Reddit CEO：微軟等公司必須付費(fèi)才能抓取數(shù)據(jù)

8月1日消息，Reddit CEO史蒂夫?霍夫曼近日表示，如果微軟等公司希望繼續(xù)抓取該網(wǎng)站的數(shù)據(jù)，就必須付費(fèi)。此前，Reddit已經(jīng)與谷歌和OpenAI達(dá)成協(xié)議。

霍夫曼指出，如果沒(méi)有這些協(xié)議，Reddit無(wú)法控制或了解其數(shù)據(jù)的使用方式，這迫使他們不得不屏蔽那些不愿意接受數(shù)據(jù)使用條件的公司。他特別點(diǎn)名了微軟、Anthropic和Perplexity三家公司，稱他們拒絕談判，并稱封鎖這些公司“非常麻煩”。

近幾個(gè)月來(lái)，Reddit一直在加大力度打擊爬蟲。7月初，Reddit更新了robots.txt文件，屏蔽了未經(jīng)授權(quán)的網(wǎng)絡(luò)爬蟲。隨后人們發(fā)現(xiàn)，Reddit的內(nèi)容只出現(xiàn)在谷歌搜索結(jié)果中，而Bing等其他搜索引擎上則看不到。

霍夫曼指責(zé)微軟未經(jīng)授權(quán)利用Reddit的數(shù)據(jù)訓(xùn)練AI，并在Bing搜索結(jié)果中總結(jié)Reddit內(nèi)容，甚至通過(guò)Bing API將這些數(shù)據(jù)出售給其他搜索引擎。他還回應(yīng)了微軟AI負(fù)責(zé)人穆斯塔法?蘇萊曼此前關(guān)于互聯(lián)網(wǎng)公共數(shù)據(jù)是“免費(fèi)軟件”的言論，稱微軟等公司認(rèn)為互聯(lián)網(wǎng)上的所有內(nèi)容都可以供他們免費(fèi)使用，這是他們的真實(shí)立場(chǎng)。

IT之家注意到，針對(duì)Reddit搜索結(jié)果從Bing消失一事，微軟搜索主管喬迪?里巴斯在社交媒體上表示，Reddit屏蔽了Bing的爬蟲，偏袒另一家搜索引擎，影響了Bing和基于Bing的搜索引擎的競(jìng)爭(zhēng)。微軟發(fā)言人凱特琳?勞爾頓也表示，公司尊重網(wǎng)站不希望其內(nèi)容被用于生成式AI模型的意愿。

霍夫曼以O(shè)penAI的SearchGPT為例，強(qiáng)調(diào)了付費(fèi)協(xié)議的重要性。今年早些時(shí)候，Reddit和OpenAI達(dá)成協(xié)議，允許SearchGPT顯示Reddit內(nèi)容。Reddit發(fā)言人蒂姆?拉特施密特表示，目前簽訂的所有內(nèi)容許可協(xié)議都不涉及數(shù)據(jù)獨(dú)占使用權(quán)。

Reddit要求付費(fèi)的做法與傳統(tǒng)媒體出版商類似，他們也希望從允許內(nèi)容用于生成式AI中獲得收益。霍夫曼認(rèn)為，搜索引擎的傳統(tǒng)價(jià)值交換已經(jīng)改變，搜索、摘要和訓(xùn)練正在融合，單純依靠爬取內(nèi)容換取流量的模式變得模糊。