AWS針對Perplexity AI進行調(diào)查　曾被指無視標記擅自抓取網(wǎng)站

Perplexity AI近來被卷入“無視協(xié)議擅自抓取網(wǎng)頁內(nèi)容”的風波，就連AWS也針對Perplexity AI的數(shù)據(jù)收集方式進行調(diào)查。

據(jù)報道指，AWS方面正在針對Perplexity AI是否使用網(wǎng)絡爬蟲程序，避開robot.txt“機器人排除協(xié)議”，來對本身不希望被網(wǎng)絡爬蟲抓取內(nèi)容的網(wǎng)站進行數(shù)據(jù)收集。之前有媒體發(fā)現(xiàn)其網(wǎng)站多次被虛擬機（也就是網(wǎng)絡爬蟲程序）所訪問，忽略了網(wǎng)站上的robot.txt協(xié)議。據(jù)稱受影響的媒體包括Wired、The Guardian、Forbes和The New York Times等等。而這個虛擬機是托管在AWS之上，因此AWS也對事件作出反應。

Perplexity AI方面否認自己違反協(xié)議，發(fā)言人強調(diào)“我們的PerplexityBot遵守robots.txt，我們確認Perplexity控制的服務沒有以任何違反AWS服務條款的方式進行抓取?！辈贿^也指出他們有使用第三方爬蟲軟件，它們可能會有忽略協(xié)議的情況，而如果用戶在聊天機器人查詢中包含特定URL時，PerplexityBot也會忽略robots.txt。