Facebook一直明確表示過要借助人工智能(AI)技術(shù),以幫助該社交網(wǎng)絡(luò)平臺更好地完成審核工作。當(dāng)機(jī)器學(xué)習(xí)過濾器遇到被標(biāo)記可能違反平臺政策、或被用戶投訴的內(nèi)容時(包括但不限于垃圾郵件、仇恨言論、煽動暴力的帖子),系統(tǒng)就會及時響應(yīng)并介入一些操作(比如刪帖或?qū)~戶加以限制),以便寶貴的人工可用于審核其它案例。
FB舊版審核系統(tǒng),結(jié)合主動式的機(jī)器學(xué)習(xí)過濾+用戶反饋。
據(jù)悉,F(xiàn)acebook在全球范圍內(nèi)雇傭了大約1.5萬名審核人員,但過去因?yàn)闆]有給予這些雇員足夠的支持而遭到批評。其主要工作是根據(jù)公司的平臺政策,對標(biāo)記的帖子進(jìn)行分類。
以往的流程,或多或少地都是根據(jù)時間先后進(jìn)行排序。不過現(xiàn)在,F(xiàn)acebook更希望借助更多機(jī)器學(xué)習(xí)算法的力量,根據(jù)內(nèi)容的權(quán)重進(jìn)行審核排序,同時設(shè)定了傳播度、敏感度、違規(guī)嚴(yán)重程度這三大參考原則。
FB新版審核系統(tǒng),借助更多的機(jī)器學(xué)習(xí)技能,幫助人工對待審核隊(duì)列進(jìn)行排序。
盡管尚不清楚這些標(biāo)準(zhǔn)的具體權(quán)重有何區(qū)別,但Facebook表示,其目標(biāo)是有限處理那些最具破壞性的內(nèi)容。換言之,傳播后果越嚴(yán)重的帖子,就越會被優(yōu)先處理。
比如涉及暴恐、剝削兒童或自我傷害等內(nèi)容,將會受到實(shí)質(zhì)性的人工審核。。同時垃圾信息等礙眼但后果不太嚴(yán)重的內(nèi)容,將被AI判定為次優(yōu)先級。
新引入的WPIE整體評估工具+各種內(nèi)容排序用的機(jī)器學(xué)習(xí)算法。
Facebook社區(qū)誠信團(tuán)隊(duì)產(chǎn)品經(jīng)理Ryan Barnes在新聞發(fā)布會上向記者表示,該公司正在使用更好的算法,以評估所有違規(guī)內(nèi)容的人工審核優(yōu)先級,比如上圖所示的WPIE完整性嵌入模型。
這意味著算法將共同判斷給定帖子中的各種元素,試圖找出圖像、標(biāo)題等共同顯示的內(nèi)容,此外新算法也有助于降低審核人員在處理某些惡劣違規(guī)內(nèi)容是所遭受的心理創(chuàng)傷。