網購成為人們生活中的重要組成部分,越來越多企業(yè)選擇布局線上業(yè)務,希望借助“雙11”“618”等活動,為用戶提供便捷高效的購物體驗,但瞄準此類節(jié)點的除了電商企業(yè)和用戶,還有看不見的“爬蟲”。
據Akamai的機器人管理程序統(tǒng)計的針對電商網站的69億次請求中,人類訪問僅有49.3%,剩下的50.8%來自各類機器人爬蟲,經過進一步分析機器人爬蟲的分類發(fā)現,高風險類別的爬蟲占27.5%。由此可見,爬蟲攻擊正在嚴重威脅電商行業(yè)的正常運行。
雙管齊下
為爬蟲“重災區(qū)”制定有效防御策略
在電商行業(yè),爬蟲的威脅比其他行業(yè)要更高,不法分子會先通過爬蟲廣泛搜索熱銷產品的價格、庫存等關鍵數據,然后在秒殺等場景中通過機器人程序或者爬蟲將低價或者限購的商品搶購一空,并在其他平臺上高價售賣,這樣的行為,不僅損害企業(yè)的合法權益,還會對企業(yè)形象造成極大的影響。
爬蟲的高訪問效率還會消耗大量資源,并影響正??蛻舻脑L問體驗,降低網站轉化率。如今,伴隨AI和機器學習的進步,爬蟲變得更加智能化,隱蔽性也變得更強,識別惡意爬蟲也變得越來越困難,部分采取AI僵尸網絡和“無頭瀏覽器”技術的爬蟲,甚至可以模擬人類的訪問行為,這使得傳統(tǒng)的安全手段難以有效識別和攔截高風險流量。針對日益復雜的爬蟲威脅,Akamai提出了雙管齊下的策略,應對惡意爬蟲的攻擊:
針對網絡邊緣層:利用預定義的訪問異常特征和協議質問快速識別并限制惡意爬蟲。
針對訪問行為:深入分析鼠標移動軌跡等行為和設備指紋,深入分析訪問行為,提高識別精確度,確保精準打擊潛在威脅。
見招拆招
Akamai助電商企業(yè)構建多層防護壁壘
對于爬蟲威脅,企業(yè)防護的關鍵在于如何在訪問請求中準確識別出爬蟲,而非簡單的攔截或禁止。需要針對爬蟲類型,采取不同措施,如對于掃描漏洞、抓取內容等惡意爬蟲,應提供更嚴格的防護機制;而對于提升網站質量或服務的善意爬蟲,可采取靈活的管理策略。Akamai為幫助企業(yè)更好地抵御惡意爬蟲的威脅,基于不同類型爬蟲的特點,提供了差異化的解決方案。
爬蟲技術是一把“雙刃劍”,合理利用可以為企業(yè)發(fā)展帶來更多發(fā)展機遇,但若被惡意者利用,則會給發(fā)展帶來巨大的負面影響,因此企業(yè)對于爬蟲技術,要時刻保持警惕,并構建更完善的防護策略,以更好地保護自己免受惡意爬蟲攻擊,加速電商全球發(fā)展步伐。