AWS網(wǎng)頁應(yīng)用程序防火墻現(xiàn)可辨識(shí)并阻擋機(jī)器人流量

AWS在其網(wǎng)頁應(yīng)用程序防火墻（WAF）添加功能，讓用戶能夠輕易地阻絕，像是爬蟲等不必要的請(qǐng)求流量。機(jī)器人控制能夠透過分析聯(lián)機(jī)請(qǐng)求的元數(shù)據(jù)，來阻擋有害的機(jī)器人存取，目前AWS已經(jīng)向所有提供網(wǎng)頁應(yīng)用程序防火墻服務(wù)的地區(qū)開放這項(xiàng)功能。

AWS提到，典型網(wǎng)絡(luò)應(yīng)用程序的流量，有51％來自機(jī)器執(zhí)行的腳本，這些機(jī)器人有部分是對(duì)網(wǎng)站有益，有一些則否。

對(duì)網(wǎng)站應(yīng)用程序有益的機(jī)器人，可能會(huì)對(duì)網(wǎng)站進(jìn)行檢索，提高網(wǎng)站的曝光，有益於網(wǎng)站被發(fā)現(xiàn)，有一些機(jī)器人則會(huì)監(jiān)控網(wǎng)站的可用性和性能，但絕大多數(shù)的網(wǎng)站流量，都是來自對(duì)網(wǎng)站無益甚至有害的機(jī)器人，包括以腳本檢測網(wǎng)站漏洞，或是未經(jīng)網(wǎng)站同意，將內(nèi)容復(fù)制到其他地方，除了安全風(fēng)險(xiǎn)之外，這些流量也會(huì)對(duì)基礎(chǔ)設(shè)施造成不必要的壓力，并且增加網(wǎng)站運(yùn)營成本。

不過網(wǎng)站要管制這類機(jī)器人流量并不容易，透過制定一組規(guī)則來阻擋不想要的流量，不只耗費(fèi)時(shí)間而且也容易出錯(cuò)，一不小心就可能阻擋良好的流量，或是授權(quán)了本應(yīng)阻擋的流量。為了解決這些問題，AWS開始提供阻擋機(jī)器人流量的服務(wù)，網(wǎng)頁應(yīng)用程序防火墻用戶，現(xiàn)在可以應(yīng)用該功能辨識(shí)常見的機(jī)器人流量，并且對(duì)這些流量采取行動(dòng)，針對(duì)大型企業(yè)使用案例，也可以使用AWS Firewall Manager進(jìn)行集中式管理。

機(jī)器人控制功能透過分析請(qǐng)求元數(shù)據(jù)，包括TLS交握、HTTP屬性和IP地址，來辨識(shí)機(jī)器人的用途和來源，該功能可以分類機(jī)器人類型，了解發(fā)出請(qǐng)求的機(jī)器人，屬於網(wǎng)頁抓取、爬蟲、搜尋引擎最佳化還是網(wǎng)站監(jiān)控等程序。死機(jī)器人控制功能辨識(shí)出機(jī)器人，用戶便能用來阻擋有害機(jī)器人流量，除了可以簡單地使用防火墻默認(rèn)配置之外，也可以自定義配置。

而防火墻的機(jī)器人控制功能，則是使用AWS網(wǎng)頁應(yīng)用程序防火墻兩項(xiàng)托管規(guī)則組（Managed Rule Groups）新功能，分別是標(biāo)記（Labeling）和縮小范圍聲明（Scope Down Statement）來運(yùn)作，標(biāo)記功能可以透過比對(duì)規(guī)則語句，添加元數(shù)據(jù)到請(qǐng)求中，用戶可以把這個(gè)元數(shù)據(jù)標(biāo)簽視為一個(gè)變量，并能用於之後的規(guī)則語句。

縮小范圍聲明功能則是讓用戶定義規(guī)則組（Rule Group）的執(zhí)行條件，這類似目前AWS網(wǎng)頁應(yīng)用程序防火墻所提供，以請(qǐng)求速率為基礎(chǔ)的縮小范圍功能，而使用縮小范圍聲明則可以減少托管規(guī)則組的成本，并且避免誤報(bào)或是特定路徑出現(xiàn)延遲。結(jié)合規(guī)則組配置、標(biāo)記和縮小范圍聲明功能，用戶就能夠自定義處理機(jī)器人請(qǐng)求的方法。

簡言之，機(jī)器人控制功能讓用戶可以在儀表板上，簡單地查看機(jī)器人流量，并且阻擋不必要的機(jī)器人流量，來減少運(yùn)營和基礎(chǔ)設(shè)施成本。機(jī)器人控制功能是一個(gè)付費(fèi)的AWS托管規(guī)則，可以添加到用戶的網(wǎng)頁ACL中，每月需要支付10美元，并且每百萬請(qǐng)求多支付1美元，機(jī)器人控制功能免費(fèi)層級(jí)，則提供用戶每月1,000萬個(gè)免費(fèi)請(qǐng)求。