AWS網(wǎng)頁應用程序防火墻現(xiàn)可識別并阻擋機器人流量

AWS在其網(wǎng)頁應用程序防火墻（WAF）添加機器人控制（Bot Control）功能，讓用戶能夠輕易地阻絕，像是爬蟲等不必要的請求流量。機器人控制能夠通過分析連接請求的元資料，來阻擋有害的機器人訪問，目前AWS已經(jīng)向所有提供網(wǎng)頁應用程序防火墻服務的地區(qū)開放這項功能。

AWS提到，典型網(wǎng)絡(luò)應用程序的流量，有51%來自機器執(zhí)行的腳本，這些機器人有部分是對網(wǎng)站有益，有一些則否。

對網(wǎng)站應用程序有益的機器人，可能會對網(wǎng)站進行檢索，提高網(wǎng)站的曝光，有益于網(wǎng)站被發(fā)現(xiàn)，有一些機器人則會監(jiān)控網(wǎng)站的可用性和性能，但絕大多數(shù)的網(wǎng)站流量，都是來自對網(wǎng)站無益甚至有害的機器人，包括以腳本檢測網(wǎng)站漏洞，或是未經(jīng)網(wǎng)站同意，將內(nèi)容復制到其他地方，除了安全風險之外，這些流量也會對基礎(chǔ)設(shè)施造成不必要的壓力，并且增加網(wǎng)站運營成本。

不過網(wǎng)站要管制這類機器人流量并不容易，通過制定一組規(guī)則來阻擋不想要的流量，不只耗耗時間而且也容易出錯，一不小心就可能阻擋良好的流量，或是授權(quán)了本應阻擋的流量。為了解決這些問題，AWS開始提供阻擋機器人流量的服務，網(wǎng)頁應用程序防火墻用戶，現(xiàn)在可以應用該功能識別常見的機器人流量，并且對這些流量采取行動，針對大型企業(yè)使用案例，也可以使用AWS Firewall Manager進行集中式管理。

機器人控制功能通過分析請求元資料，包括TLS握手、HTTP屬性和IP地址，來識別機器人的用途和來源，該功能可以分類機器人類型，了解發(fā)出請求的機器人，屬于網(wǎng)頁抓取、爬蟲、搜索引擎優(yōu)化還是網(wǎng)站監(jiān)控等程序。當機器人控制功能識別出機器人，用戶便能用來阻擋有害機器人流量，除了可以簡單地使用防火墻默認配置之外，也可以自定義配置。

而防火墻的機器人控制功能，則是使用AWS網(wǎng)頁應用程序防火墻兩項托管規(guī)則組（Managed Rule Groups）新功能，分別是標記（Labeling）和縮小范圍聲明（Scope Down Statement）來運行，標記功能可以通過比對規(guī)則語句，添加元資料到請求中，用戶可以把這個元資料標簽視為一個變量，并能用于之后的規(guī)則語句。

縮小范圍聲明功能則是讓用戶定義規(guī)則組（Rule Group）的執(zhí)行條件，這類似目前AWS網(wǎng)頁應用程序防火墻所提供，以請求速率為基礎(chǔ)的縮小范圍功能，而使用縮小范圍聲明則可以減少托管規(guī)則組的成本，并且避免誤報或是特定路徑出現(xiàn)延遲。結(jié)合規(guī)則組配置、標記和縮小范圍聲明功能，用戶就能夠自定義處理機器人請求的方法。

簡言之，機器人控制功能讓用戶可以在儀表板上，簡單地查看機器人流量，并且阻擋不必要的機器人流量，來減少運營和基礎(chǔ)設(shè)施成本。機器人控制功能是一個付費的AWS托管規(guī)則，可以添加到用戶的網(wǎng)頁ACL中，每月需要支付10美元，并且每百萬請求多支付1美元，機器人控制功能免費層級，則提供用戶每月1,000萬個免費請求。