【科普篇】什么是機(jī)器人管理？| 機(jī)器人管理器如何運(yùn)作

機(jī)器人管理是指，阻止有害或惡意的互聯(lián)網(wǎng)機(jī)器人流量，同時(shí)仍允許有用的機(jī)器人訪問(wèn) web 資產(chǎn)。為此，機(jī)器人管理檢測(cè)機(jī)器人活動(dòng)、辨別有用和有害的機(jī)器人行為，并識(shí)別有害活動(dòng)的來(lái)源。

如果不加控制，機(jī)器人有可能給 Web 資產(chǎn)帶來(lái)各種嚴(yán)重問(wèn)題，因此機(jī)器人管理必不可少。機(jī)器人流量過(guò)多會(huì)給 Web 服務(wù)器造成沉重負(fù)載，導(dǎo)致對(duì)合法用戶(hù)提供服務(wù)的速度下降或拒絕服務(wù)（有時(shí)表現(xiàn)為 DDoS 攻擊）。惡意機(jī)器人可從網(wǎng)站抓取或下載內(nèi)容、盜取用戶(hù)憑據(jù)、快速傳播垃圾內(nèi)容，或?qū)嵤┢渌鞣N網(wǎng)絡(luò)攻擊。

機(jī)器人管理的工作內(nèi)容是什么？

機(jī)器人管理器是指任何管理機(jī)器人的軟件產(chǎn)品。機(jī)器人管理程序應(yīng)該能夠阻止某些機(jī)器人并允許其他機(jī)器人通過(guò)，而不是簡(jiǎn)單地阻止所有非人為流量。例如，如果所有機(jī)器人都被阻止并且谷歌的機(jī)器人無(wú)法為頁(yè)面編制索引，則該頁(yè)面將不會(huì)顯示在谷歌搜索結(jié)果中，從而大大減少了網(wǎng)站的自然流量。

一個(gè)好的機(jī)器人管理程序可以實(shí)現(xiàn)以下目標(biāo)：

-識(shí)別機(jī)器人與訪客之間的差異

-識(shí)別機(jī)器人的信譽(yù)

-識(shí)別機(jī)器人來(lái)源 IP 地址并根據(jù) IP 信譽(yù)進(jìn)行阻攔

-分析機(jī)器人行為

-將"良性“機(jī)器人添加到白名單

-使用 CAPTCHA 測(cè)試、JavaScript 注入或其他方法質(zhì)詢(xún)可能的機(jī)器人。

-對(duì)過(guò)度使用服務(wù)的潛在機(jī)器人進(jìn)行限速

-拒絕"惡意”機(jī)器人對(duì)某些內(nèi)容或資源的訪問(wèn)

-為機(jī)器人提供替代內(nèi)容

什么是機(jī)器人？

機(jī)器人是在網(wǎng)絡(luò)上運(yùn)行的計(jì)算機(jī)程序。機(jī)器人被編程為自動(dòng)執(zhí)行某些操作。通常，機(jī)器人執(zhí)行的任務(wù)相當(dāng)簡(jiǎn)單，但是機(jī)器人可以一次又一次地以比人類(lèi)更快的速度完成任務(wù)。

例如，谷歌使用機(jī)器人不斷抓取網(wǎng)頁(yè)并將內(nèi)容編入索引以進(jìn)行搜索。一個(gè)人力團(tuán)隊(duì)需要花費(fèi)天文數(shù)字的時(shí)間才能查看整個(gè)互聯(lián)網(wǎng)上散布的內(nèi)容，但是谷歌的機(jī)器人能夠使谷歌的搜索索引始終保持最新?tīng)顟B(tài)。

作為負(fù)面示例，垃圾郵件發(fā)送者使用電子郵件收集機(jī)器人從互聯(lián)網(wǎng)上收集電子郵件地址。機(jī)器人程序會(huì)爬蟲(chóng)網(wǎng)頁(yè)，查找遵循電子郵件地址格式（文本+ @符號(hào)+域）的所有文本，然后將該文本保存到數(shù)據(jù)庫(kù)中。自然，人們可以在網(wǎng)頁(yè)上查找電子郵件地址，但是由于這些電子郵件收集機(jī)器人是自動(dòng)的，并且僅查找適合某些參數(shù)的文本，因此查找電子郵件地址的速度成倍增長(zhǎng)。

與人類(lèi)用戶(hù)訪問(wèn) Internet 不同的是，機(jī)器人通常不通過(guò) Google Chrome 或者 Mozilla Firefox 等傳統(tǒng) Web 瀏覽器訪問(wèn) Internet。機(jī)器人并不操作鼠標(biāo)（或者智能手機(jī)）也不點(diǎn)擊瀏覽器中的可視內(nèi)容，它們只是會(huì)提出 HTTP 請(qǐng)求（還有其他活動(dòng)）的軟件程序，通常使用的是所謂的“無(wú)界面瀏覽器”。

機(jī)器人能做什么？

機(jī)器人幾乎能夠執(zhí)行任何非創(chuàng)新性的重復(fù)任務(wù)，即任何可以自動(dòng)化的任務(wù)。它們能夠與網(wǎng)頁(yè)交互、填寫(xiě)并提交表格、點(diǎn)擊鏈接、掃描（或“爬取”）文本，以及下載內(nèi)容。機(jī)器人能夠“觀看”視頻、發(fā)表評(píng)論，以及在社交媒體平臺(tái)上發(fā)帖、點(diǎn)贊或者轉(zhuǎn)發(fā)文章。某些機(jī)器人甚至可以與人類(lèi)用戶(hù)進(jìn)行基本的對(duì)話，這些就是所謂的聊天機(jī)器人。

良性機(jī)器人和惡意機(jī)器人有什么區(qū)別？

令人驚訝的是，據(jù)諸多來(lái)源估計(jì)，互聯(lián)網(wǎng)所有流量中大約有一半是機(jī)器人流量。就像某些（但不是全部）軟件是惡意軟件一樣，某些機(jī)器人是惡意機(jī)器人，而有些是“良性的”。

任何濫用在線產(chǎn)品或服務(wù)的機(jī)器人均被視為"惡意“。惡意機(jī)器人的范圍很廣，從公然惡意的機(jī)器人（例如試圖闖入用戶(hù)帳戶(hù)的機(jī)器人）到輕度濫用資源的形式（例如在活動(dòng)網(wǎng)站上購(gòu)買(mǎi)門(mén)票的機(jī)器人）。

執(zhí)行所需或有用服務(wù)的機(jī)器人，可能會(huì)被視為“善意”機(jī)器人。客戶(hù)服務(wù)聊天機(jī)器人、搜索引擎爬網(wǎng)程序和性能監(jiān)測(cè)機(jī)器人都是善意機(jī)器人的示例。善意機(jī)器人通常會(huì)查找并遵守網(wǎng)站的 robots.txt 文件中所述的規(guī)則。

什么是robots.txt文件？

Robots.txt是網(wǎng)頁(yè)服務(wù)器上的文件，概述了機(jī)器人訪問(wèn)該服務(wù)器屬性的規(guī)則。但是，文件本身不執(zhí)行這些規(guī)則。從本質(zhì)上講，對(duì)機(jī)器人進(jìn)行編程的任何人都應(yīng)遵守榮譽(yù)制度，并確保其機(jī)器人在訪問(wèn)網(wǎng)站之前檢查網(wǎng)站的robots.txt文件。當(dāng)然，惡意機(jī)器人通常不遵循此系統(tǒng)，因此需要機(jī)器人管理。

機(jī)器人管理如何工作？

為了識(shí)別機(jī)器人，機(jī)器人管理者可以使用JavaScript質(zhì)詢(xún)（確定是否使用傳統(tǒng)的網(wǎng)頁(yè)瀏覽器）或CAPTCHA質(zhì)詢(xún)。他們還可以通過(guò)行為分析（即通過(guò)將用戶(hù)的行為與過(guò)往用戶(hù)的標(biāo)準(zhǔn)行為進(jìn)行比較）來(lái)確定哪些用戶(hù)是人類(lèi)用戶(hù)，哪些是機(jī)器人。要檢查到后者，機(jī)器人管理者必須收集大量的質(zhì)量行為數(shù)據(jù)進(jìn)行比對(duì)。

如果確定某個(gè)機(jī)器人是惡意的，則可以將其重定向到其他頁(yè)面，或者完全阻止其訪問(wèn)網(wǎng)頁(yè)資源。

良性的機(jī)器人則可以添加到白名單，或允許的機(jī)器人列表（與黑名單相反）。機(jī)器人管理程序還可以通過(guò)進(jìn)一步的行為分析來(lái)區(qū)分良性和惡意機(jī)器人。機(jī)器人管理器還可通過(guò)進(jìn)一步的行為分析來(lái)分辨善意機(jī)器人和惡意機(jī)器人。

另一種機(jī)器人管理方法是使用robots.txt文件設(shè)置蜜罐。蜜罐是針對(duì)不良機(jī)器人的虛假目標(biāo)，一旦被訪問(wèn)，就會(huì)將暴露不良機(jī)器人為惡意對(duì)象。對(duì)于機(jī)器人，蜜罐可能是robots.txt文件禁止機(jī)器人訪問(wèn)的網(wǎng)站上的網(wǎng)頁(yè)。好的機(jī)器人會(huì)讀取robots.txt文件，并避開(kāi)該網(wǎng)頁(yè)；一些不良的漫游器會(huì)抓取該網(wǎng)頁(yè)。通過(guò)跟蹤訪問(wèn)蜜罐的機(jī)器人的IP地址，可以識(shí)別并阻止不良的機(jī)器人。

機(jī)器人管理可緩解哪些類(lèi)型的機(jī)器人攻擊？

機(jī)器人管理解決方案可以幫助阻止各種類(lèi)型的攻擊：

-DDoS 攻擊

-DoS 攻擊

-憑證填充

-信用卡填充

-暴力破解密碼

-垃圾電子郵件內(nèi)容

-數(shù)據(jù)抓取/網(wǎng)頁(yè)抓取

-電子郵件地址搜集

-廣告欺詐

-點(diǎn)擊欺詐

下面這些其他機(jī)器人活動(dòng)并不總是被認(rèn)為是"惡意的”，但機(jī)器人管理器仍然能夠防護(hù)它們：

-庫(kù)存囤積

-在社交論壇或平臺(tái)上的自動(dòng)發(fā)布

-購(gòu)物車(chē)填充

Cloudflare如何管理機(jī)器人？

Cloudflare擁有獨(dú)一無(wú)二的能力，從每天流經(jīng)其網(wǎng)絡(luò)的數(shù)十億個(gè)請(qǐng)求中收集數(shù)據(jù)。Cloudflare 能夠利用這些數(shù)據(jù)，結(jié)合機(jī)器學(xué)習(xí)和行為分析，識(shí)別可能的機(jī)器人活動(dòng)，並能夠提供必要的數(shù)據(jù)來(lái)建立有效的善意機(jī)器人允許列表或者惡意機(jī)器人阻止列表。Cloudflare 還擁有廣泛的 IP 信譽(yù)數(shù)據(jù)庫(kù)。

超級(jí)機(jī)器人抵御模式現(xiàn)已通過(guò) Cloudflare Pro 和 Business 計(jì)劃提供，旨在幫助較小規(guī)模的企業(yè)及組織防御機(jī)器人攻擊，同時(shí)更深入地了解其機(jī)器人流量。