Cloudflare的bot管理是怎么防爬的？

Cloudflare的Bot Management是一個專用于識別自動化流量的服務(wù)，針對的是憑證填充、庫存囤積、非法爬取、污染數(shù)據(jù)和破壞支付頁等等非法爬蟲帶來的問題。許多WAF服務(wù)也包含了以上這些場景，Bot Management的實(shí)際緩解措施也是借助防火墻來完成的。cf的不同之處在于，他們對整個Cloudflare網(wǎng)絡(luò)上的流量取樣進(jìn)行機(jī)器學(xué)習(xí)，進(jìn)行行為分析，然后對請求進(jìn)行打分，這一分?jǐn)?shù)可以給到站長比較直觀的流量視圖，例如某組評分較低的請求來自于同一IP，一個IP短時間內(nèi)發(fā)起了多次請求，且經(jīng)確認(rèn)并非搜索引擎的合法爬蟲，因此站長可以結(jié)合這些數(shù)據(jù)來對這類請求發(fā)起挑戰(zhàn)或者干脆阻止。Bot Management還包含了流量分析等等服務(wù)，cf的企業(yè)賬戶都集成了WAF，防DDoS和CDN等，基本上可以形成一個完整的SASE安全方案。

從形式上來看確實(shí)是跟WAF不太一樣的。bot管理是cf那邊會給請求評分，評分代表著請求屬于人為或自動化流量的可能性。根據(jù)這個評分，可以在cf后臺手動設(shè)置對哪些分?jǐn)?shù)區(qū)間的請求發(fā)起驗(yàn)證碼。而一般的WAF都是預(yù)先寫好規(guī)則，服務(wù)商根據(jù)規(guī)則來允許或者攔截流量。根據(jù)cloudflare的說法，這一評分是對整個cloudflare網(wǎng)絡(luò)上的流量樣本進(jìn)行機(jī)器學(xué)習(xí)得出來的，誤報(bào)率很低。但實(shí)際上有一個分?jǐn)?shù)區(qū)間是屬于“可能是bot”的，需要結(jié)合其他的一些手段來進(jìn)行判斷。例如有些請求的分?jǐn)?shù)比較偏向bot，并且一個ip有大量重復(fù)訪問的行為，就可以對這一部分請求發(fā)起驗(yàn)證碼挑戰(zhàn)。