Bot流量知多少？Cloudflare帶你登高望遠(yuǎn)，一探全球Bot流量

如今惡意爬蟲(chóng)所能做的，可不僅僅是搶票這么簡(jiǎn)單。

限量球鞋，最新型號(hào)的電子產(chǎn)品，有人排隊(duì)搶購(gòu)的地方，就有爬蟲(chóng)。在直播帶貨如此火爆的今天，web爬蟲(chóng)自然也不會(huì)放過(guò)拼搶爆款好物的機(jī)會(huì)。還有一些惡意爬蟲(chóng)會(huì)利用被盜用戶的賬號(hào)密碼嘗試訪問(wèn)不同的網(wǎng)頁(yè)，造成更嚴(yán)重的后果。

如今的全球互聯(lián)網(wǎng)上有多少Bot流量？Bot又與真人有著哪些共同點(diǎn)和不同點(diǎn)呢？

Cloudflare網(wǎng)絡(luò)遍及全球上百個(gè)國(guó)家，平均每秒需處理1800萬(wàn)個(gè)HTTP請(qǐng)求，因此，我們處在觀察Bot流量的絕佳位置。接下來(lái)，讓我們登高望遠(yuǎn)，一起來(lái)了解全球Bot流量吧！

Cloudflare統(tǒng)計(jì)

Bot流量約占互聯(lián)網(wǎng)總流量的40%

在Cloudflare全球網(wǎng)絡(luò)上，有60.6％的流量可能來(lái)自于真實(shí)用戶，19.3％的流量可能是Bot，18.1％的流量是已知的未經(jīng)驗(yàn)證授權(quán)的Bot，而僅有2.1%的流量是經(jīng)過(guò)驗(yàn)證的Bot。

Bot的分類

良好的Bot有助于提升網(wǎng)站排名，網(wǎng)站監(jiān)控，幫助打通用戶體驗(yàn)閉環(huán)等。而非法爬蟲(chóng)、僵尸網(wǎng)絡(luò)等惡意Bot則會(huì)損害網(wǎng)站和訪客的利益。

在Cloudflare，我們會(huì)標(biāo)記每個(gè)請(qǐng)求的“Bot得分”，從1到99，分?jǐn)?shù)較低意味著該請(qǐng)求可能來(lái)自于Bot，分?jǐn)?shù)較高則代表著該請(qǐng)求可能來(lái)自于真人?？蛻艨稍谖覀兊姆阑饓Α⑷罩竞蚖orkers面板中找到請(qǐng)求的評(píng)分，并根據(jù)評(píng)分采取不同的措施。

Cloudflare將流量分為四個(gè)類別：

經(jīng)過(guò)驗(yàn)證的Bot

良好的Bot為搜索引擎和網(wǎng)站監(jiān)控工具提供了強(qiáng)大的動(dòng)力，我們可通過(guò)良好Bot的注冊(cè)目錄識(shí)別此類請(qǐng)求。

未經(jīng)驗(yàn)證的Bot

Cloudflare啟發(fā)式引擎管理著一個(gè)未經(jīng)驗(yàn)證的爬蟲(chóng)的目錄，此引擎可捕獲請(qǐng)求流量中確定為Bot的部分。

潛在的Bot

Cloudflare通過(guò)機(jī)器學(xué)習(xí)引擎識(shí)別具有高度自動(dòng)化可能性的請(qǐng)求，這一檢測(cè)依賴于使用我們?nèi)蚓W(wǎng)絡(luò)數(shù)據(jù)構(gòu)建的模型。

可能的人為請(qǐng)求

若在機(jī)器學(xué)習(xí)引擎中“得分”較高，則代表著該請(qǐng)求很大概率來(lái)自于真人。

Bot的流量特征

我們知道，Bot可以模仿人類的瀏覽行為，但Bot是否也會(huì)效仿人為流量的波動(dòng)模式呢？

為此，我們比較了不同Cloudflare分類流量在一天之內(nèi)的變化。圖中顯示了不同時(shí)間點(diǎn)的流量與整日平均值的偏差?？梢钥闯?，人為流量全天起伏較大，在凌晨達(dá)到低谷，在午間進(jìn)入高峰。Bot流量的波動(dòng)相對(duì)較小。

從一周的視角可以看出，許多Bot并不會(huì)在周末“休假”。

除此以外，我們還發(fā)現(xiàn)，經(jīng)驗(yàn)證的良好Bot的整日行為更為一致。原因可能是，在抓取一個(gè)網(wǎng)站時(shí)，良好Bot執(zhí)行頻率較低，目標(biāo)明確，惡意Bot出于其他原因可能會(huì)以更高的速度執(zhí)行相同操作。

Bot與人類的相似之處

在大牌新品發(fā)布，獨(dú)家物品搶購(gòu)等等場(chǎng)景，一些Bot會(huì)隨著人為流量的增多而活躍。

Bot流量的全球分布

北美是Bot流量的聚集地，全球有超過(guò)50%的Bot流量來(lái)自于北美。其中，全球經(jīng)過(guò)驗(yàn)證的Bot流量有將近80%也來(lái)自于北美。歐洲是Bot流量第二大的地區(qū)，緊接著是亞洲。

不同地區(qū)內(nèi)的Bot和真實(shí)訪客流量比例也有所不同。

Web流量自今年年初以來(lái)大幅增加了約35%，不少僵尸程序混跡其中，值得注意的是，Cloudflare網(wǎng)絡(luò)上觀察到的可疑Bot達(dá)到了39.4%的比例。

Cloudflare的Bot管理可高度精準(zhǔn)地識(shí)別互聯(lián)網(wǎng)上的可疑Bot，通過(guò)與防火墻的交互，客戶可根據(jù)Cloudflare的Bot情報(bào)快速做出應(yīng)對(duì)，即時(shí)緩解風(fēng)險(xiǎn)。想要了解更多有關(guān)Bot檢測(cè)和緩解的內(nèi)容，下方的干貨你一定不能錯(cuò)過(guò)！