電商案例 | 雙拳組合，一舉解決爬蟲帶來(lái)的性能和安全問(wèn)題

電商出海符合貿(mào)易全球化的趨勢(shì)，也為中國(guó)的電商企業(yè)拓展出更廣闊的市場(chǎng)和生存空間。本文我們?yōu)榇蠹医榻B一家出海電商平臺(tái)在業(yè)務(wù)擴(kuò)展中遇到的挑戰(zhàn)，以及解決方法的真實(shí)案例。

這是一家主營(yíng)虛擬商品交易的電商平臺(tái)，致力于打造一個(gè)全球化的交易“市場(chǎng)”，供各地用戶在這里買賣虛擬商品。由于不像實(shí)體商品交易那樣牽扯到備貨、倉(cāng)儲(chǔ)、物流、配送等大量線下環(huán)節(jié)，因此他們的出海之路感覺上似乎會(huì)容易一點(diǎn)。

然而，只要是業(yè)務(wù)，只要在線上經(jīng)營(yíng)，誰(shuí)又能逃得脫爬蟲的困擾！

爬蟲造成的兩大難題

泛濫的爬蟲讓這家平臺(tái)承受了很多“無(wú)意義”的流量，進(jìn)而在性能和安全性方面遇到重重挑戰(zhàn)。

性能

為了更好地服務(wù)于各地客戶，該平臺(tái)已在全球多地設(shè)立了數(shù)據(jù)中心，并根據(jù)預(yù)測(cè)的發(fā)展速度規(guī)劃好充沛的容量。然而隨著業(yè)務(wù)逐漸在各地推廣開，吸引了大量潛在客戶的同時(shí)，他們也被各種爬蟲盯上了。本來(lái)運(yùn)轉(zhuǎn)正常的平臺(tái)開始遭遇加載速度緩慢、頻繁出錯(cuò)、頁(yè)面打不開等問(wèn)題。

雖然最開始由于缺乏相關(guān)工具，平臺(tái)無(wú)法分析出自己的流量中有多少來(lái)自爬蟲，又有多少來(lái)自真實(shí)用戶，但結(jié)合業(yè)務(wù)量來(lái)推算，猜測(cè)很大比例的流量其實(shí)都來(lái)自爬蟲，不僅無(wú)法為業(yè)務(wù)帶來(lái)任何價(jià)值，反而會(huì)造成不小的麻煩。

這些無(wú)意義的流量占用了寶貴的數(shù)據(jù)中心資源，平臺(tái)被迫只能不斷斥資擴(kuò)容數(shù)據(jù)中心，但擴(kuò)容速度依然跟不上爬蟲流量的增長(zhǎng)。不僅如此，頻繁的擴(kuò)容也導(dǎo)致運(yùn)維成本居高不下，同時(shí)真實(shí)用戶的體驗(yàn)并未有太大的好轉(zhuǎn)。

安全性

不僅如此，各類惡意爬蟲還造成了很大的安全挑戰(zhàn)。由于這個(gè)平臺(tái)主要是用于交易高價(jià)值的虛擬商品，不涉及任何實(shí)物，因此對(duì)安全性也就尤為看重。雖然平臺(tái)在建設(shè)時(shí)就已經(jīng)部署了WAF(Web應(yīng)用程序防火墻）解決方案，但此類解決方案通常只能根據(jù)規(guī)則行事，針對(duì)規(guī)則庫(kù)中存在的現(xiàn)有規(guī)則，如果發(fā)現(xiàn)匹配的可疑行為，就會(huì)自動(dòng)執(zhí)行規(guī)則中定義的應(yīng)對(duì)措施。

但面對(duì)越來(lái)越“智能”的爬蟲，行為不斷變化，并且在一定程度上為了逃避檢測(cè)識(shí)別還會(huì)模擬出類似于真實(shí)用戶的行為，這種傳統(tǒng)的WAF就力不從心了。

他們還考慮過(guò)通過(guò)在頁(yè)面上添加各種驗(yàn)證碼來(lái)區(qū)分真實(shí)用戶和爬蟲，但驗(yàn)證碼除了給真實(shí)用戶造成各種“麻煩”外，在識(shí)別爬蟲方面的效果其實(shí)并不好。如果驗(yàn)證碼太簡(jiǎn)單，很多爬蟲自己就能借助內(nèi)置的AI算法輕松破解和繞過(guò)；如果驗(yàn)證碼太復(fù)雜，攔住爬蟲的同時(shí)，絕大部分真實(shí)用戶也會(huì)被拒之門外。

總的來(lái)說(shuō)，該平臺(tái)所遇到的性能和安全性兩大問(wèn)題，都源自于爬蟲的肆虐。那么只要搞定爬蟲問(wèn)題，這兩大難題似乎都可以迎刃而解了?，F(xiàn)在的問(wèn)題就變成了：爬蟲到底該如何應(yīng)對(duì)？

mPulse+Bot Manager

組合解決爬蟲的困擾

Akamai mPulse是一種真實(shí)用戶監(jiān)控(RUM)解決方案，通過(guò)直接從瀏覽器收集每個(gè)用戶事件的數(shù)據(jù)并進(jìn)行實(shí)時(shí)分析。借此，我們可以順利地通過(guò)監(jiān)控，查找修復(fù)網(wǎng)站及應(yīng)用程序性能問(wèn)題。不僅如此，還可以通過(guò)mPulse和Bot Manager的結(jié)合，展示出爬蟲流量對(duì)網(wǎng)站性能的影響，最終同時(shí)解決爬蟲的查殺、性能和安全的問(wèn)題。

mPulse集成了Bot Manager的識(shí)別能力，讓客戶能夠排除爬蟲流量的干擾，精確分析出真實(shí)的用戶性能和業(yè)務(wù)指標(biāo)。再之，這是一個(gè)很好的手段，診斷爬蟲對(duì)性能的影響，找到影響性能的根本原因。

mPulse中Bot流量和Non Bot流量占比圖

Akamai Bot Manager Premier是Akamai專有的惡意爬蟲防護(hù)解決方案。對(duì)于電商平臺(tái)可以針對(duì)每個(gè)請(qǐng)求的流量進(jìn)行細(xì)致的識(shí)別和智能的歸類；對(duì)于真實(shí)用戶的合法流量，自然可以不受阻礙直接放行；對(duì)于爬蟲流量，則可根據(jù)爬蟲目錄中豐富的信息判斷其用途，并有針對(duì)性地采取措施，例如對(duì)于爬取網(wǎng)頁(yè)數(shù)據(jù)的爬蟲，并不會(huì)簡(jiǎn)單地一刀切攔截（這會(huì)導(dǎo)致爬蟲的管理者警覺并開始研究規(guī)避措施），而是會(huì)用虛假數(shù)據(jù)欺騙爬蟲并拖慢爬蟲的反應(yīng)速度。

同時(shí)，Bot Manager還能結(jié)合自己的洞察和分析提供詳細(xì)分析報(bào)告，幫助用戶實(shí)時(shí)獲取整體趨勢(shì)、行業(yè)洞見以及有關(guān)爬蟲流量的詳細(xì)分析。

mPulse+Bot Manager Premier組合的方案，不僅幫助客戶在出海的道路上找到了一個(gè)性能和安全的平衡點(diǎn)，還解決了多云的基礎(chǔ)架構(gòu)上的爬蟲解決方案。目前，業(yè)界很多爬蟲解決方案使用了基于源站的防護(hù)策略，要求將爬蟲防護(hù)能力植入源站，但這種方式部署不夠靈活，集成難度比較高，并且擴(kuò)展性很有限。而Akamai Bot Manager完全可以支持這種多云部署的架構(gòu)，用戶可以方便地在多云環(huán)境中，通過(guò)一個(gè)界面配置統(tǒng)一的安全防護(hù)策略，隨后即可自動(dòng)應(yīng)用到在不同公有云平臺(tái)上部署的系統(tǒng)中。這就是邊緣平臺(tái)的好處，在源站之前就部署了爬蟲屏障和策略，因此也很好地解決了后端源站擴(kuò)展性方面的問(wèn)題。

其實(shí)對(duì)任何一家企業(yè)，無(wú)論是希望立足本土開展業(yè)務(wù)，還是想走向海外觸及更龐大的市場(chǎng)，這些經(jīng)驗(yàn)都值得借鑒。