Reddit被曝屏蔽多個搜索引擎和AI爬蟲，官方稱與谷歌合作無關

7月25日消息，今年2月，谷歌宣布與Reddit達成一項新協(xié)議，Reddit數(shù)據(jù)將用于訓練谷歌的AI模型，并在谷歌搜索結(jié)果中著重顯示Reddit結(jié)果。彭博社報道稱，這筆交易的金額約為6000萬美元。從那時起，Reddit在谷歌搜索中的展示次數(shù)也大幅增加。

而最新消息稱，Reddit已禁止其他搜索引擎檢索其網(wǎng)站內(nèi)容。外媒404 Media最先報道了此行為，并指出Reddit已更新其robots.txt文件（注：網(wǎng)站與爬蟲的協(xié)議文件），阻止所有機器人抓取網(wǎng)站的任何內(nèi)容。

IT之家查詢Reddit網(wǎng)站的robots.txt文件獲悉，該平臺稱“Reddit相信開放的互聯(lián)網(wǎng)，但不相信濫用公共內(nèi)容?！逼洹癉isallow”選項設置為“/”，也就是禁止檢索網(wǎng)站根目錄下的所有文件。

該文件在今年6月首次更新，Reddit解釋說，這一更改是由于“抓取Reddit內(nèi)容的商業(yè)實體明顯增多并且內(nèi)容被濫用”。

外媒9To5Google則稱，Bing、DuckDuckGo、Mojeek和Qwant等搜索引擎都受到了影響，使用“site:reddit.com”搜索內(nèi)容時，要么不顯示最新內(nèi)容，要么不顯示完整的網(wǎng)站結(jié)果。

不過IT之家最新測試，Bing、DuckDuckGo已重新顯示“site:reddit.com”搜索內(nèi)容。

Reddit發(fā)言人Tim Rathschmidt在給The Verge的一份聲明中表示：“這與我們最近與谷歌的合作完全無關。我們一直在與多個搜索引擎進行討論，但無法與所有人達成協(xié)議，因為有些人無法或不愿意就他們使用Reddit內(nèi)容（包括他們對AI訓練的使用）作出可執(zhí)行的承諾。”