谷歌搞了個(gè)大麻煩。

2021年2月，美國人馬克在醫(yī)生的授意下，用自己的安卓手機(jī)，給兒子腫脹疼痛的生殖器拍了幾張照片，發(fā)給護(hù)士，讓對方判斷病情。之后的診斷和治療進(jìn)展順利，馬克的兒子很快沒事了。

但麻煩找上馬克。那些照片，在同步上傳到谷歌相冊后，被谷歌的AI工具標(biāo)記為“兒童性侵內(nèi)容”。很快兒童保護(hù)組織介入，開始對事件進(jìn)行調(diào)查，進(jìn)一步確認(rèn)了這些照片涉嫌“兒童色情”。

(資料圖)

案件被報(bào)送給當(dāng)?shù)鼐健Ｒ恢芎螅烨瞄_了馬克的家門。同時(shí)谷歌徹底封禁了馬克的賬戶。

犯錯(cuò)的AI

引發(fā)此次烏龍的“罪魁禍?zhǔn)住保枪雀璧膱D像識別AI。

利用AI來預(yù)防、打擊兒童犯罪，并不是什么新鮮事。早在 2009年，微軟就曾開發(fā)過一個(gè)名為PhotoDNA的工具，來幫助追溯、阻斷兒童色情內(nèi)容的傳播。

PhotoDNA 的核心原理，是一種名為“魯棒哈希”（robust hashing）的技術(shù)。一般情況下，任何一個(gè)計(jì)算機(jī)文件，經(jīng)過哈希算法，都只會(huì)得出一個(gè)唯一的“哈希值”，常被形容為“數(shù)據(jù)的指紋”。但 PhotoDNA 所采用的算法，可以得到一個(gè)更寬泛的哈希結(jié)果。

魯棒哈希用于照片的簡單原理丨圖片來源 TechCrunch

具體到應(yīng)用層面，PhotoDNA 可以根據(jù)已有的一張兒童色情圖片，算出一個(gè)寬泛的哈希結(jié)果。之后，即便這張圖片被裁切、編輯，依然會(huì)保留原圖的一部分特征，對應(yīng)的哈希結(jié)果也能與原圖進(jìn)行匹配。用一個(gè)直觀一點(diǎn)的類比，就像只通過“半個(gè)”指紋的特征，就匹配到原指紋，進(jìn)而追溯到主人。借此方式，科技公司就可以追溯、阻斷此類內(nèi)容的傳播。

在 PhotoDNA 的基礎(chǔ)上，谷歌的 AI 工具更進(jìn)一步，它將已知的兒童性侵內(nèi)容作為樣本，進(jìn)行了深度學(xué)習(xí)，不僅能通過“哈希計(jì)算”，識別已知的兒童色情內(nèi)容，還能挖掘出泛化的特征，比如裸露、特定的器官、姿勢。谷歌的 AI 能直接識別一切“涉嫌兒童色情、虐待的圖像”，即便這個(gè)圖像是第一次被上傳到網(wǎng)絡(luò)。

2018 年，谷歌推出了這個(gè) AI 工具，還把它提供給了 Facebook 等一系列公司。這項(xiàng)技術(shù)被視為一次重大突破，成為打擊兒童性犯罪的利器。

美國對兒童性犯罪的打擊非常嚴(yán)厲，相關(guān)聯(lián)邦法律規(guī)定，公民實(shí)體有義務(wù)檢舉兒童性犯罪的相關(guān)線索。所以，在谷歌的算法推出之后，公司內(nèi)部立刻建立起一套“報(bào)送機(jī)制”，將檢測到內(nèi)容的相關(guān)線索，報(bào)送到兒童保護(hù)機(jī)構(gòu)。

兒童保護(hù)機(jī)構(gòu)的工作也因此取得了突破。在此之前，兒童犯罪的線索，大部分依賴“電話舉報(bào)”，因?yàn)閮和缸锍３０l(fā)生在私人場所、家庭內(nèi)部，想要開展調(diào)查、取證都非常困難，打擊起來也常常會(huì)力不從心。

但有了相關(guān)的 AI 工具之后，從調(diào)查到取證，難度被大大降低。根據(jù)美國國家失蹤于受虐兒童援助中心的數(shù)據(jù)，僅在 2021 年，靠著 AI 識別報(bào)送的線索，就找到了 4260 名潛在的兒童受害者。

不過，再先進(jìn)的 AI 也會(huì)犯錯(cuò)。無論是技術(shù)層面的 bug，還是事實(shí)層面的誤判。

針對這類“魯棒哈希算法”，不少技術(shù)人員都在嘗試“逆向攻破”它們的死角。比如通過逆向算法，生成一張與原圖類似，但又有本質(zhì)不同的圖片，輸入后會(huì)被 AI 識別為與原圖的“哈希結(jié)果”一致，這就是“AI 的 bug”。

名為Ribosome的逆向方法，將PhotoDNA看作一個(gè)黑盒，用機(jī)器學(xué)習(xí)的方法攻擊哈希算法

更容易出現(xiàn)的問題，是事實(shí)層面的誤判。馬克事件里，AI 的識別并沒有錯(cuò)誤（馬克拍的照片確實(shí)是他用手接觸兒子生殖器的特寫），但因?yàn)椴涣私馐录尘埃瑢?dǎo)致了烏龍發(fā)生。

不少觀點(diǎn)認(rèn)為，即便存在偶然的烏龍，也不能否定 AI 工具對打擊兒童犯罪的積極意義。但科技公司、兒童保護(hù)組織、執(zhí)法機(jī)構(gòu)，也需要建立一個(gè)更靈活的系統(tǒng)，幫助馬克這樣的無辜者。

如何糾錯(cuò)？

馬克很快洗脫了嫌疑。因?yàn)榘缸硬⒉粡?fù)雜，他向警探提供了當(dāng)晚和醫(yī)院醫(yī)生、護(hù)士溝通的記錄，證明了“照片是為了孩子求醫(yī)”之后，警方很快就撤銷了調(diào)查。

當(dāng)馬克提交相關(guān)信息，希望恢復(fù)自己的谷歌賬號時(shí)，卻遭到了拒絕。AI 把照片標(biāo)記為“兒童色情”后，谷歌對賬號展開進(jìn)一步的調(diào)查，過程中發(fā)現(xiàn)另一段，馬克的兒子和妻子，全裸躺在床上的視頻。也被判斷為“存在兒童侵犯的嫌疑。”

打擊兒童虐待和販賣丨圖片來源 NCMEC

對于類似家庭隱私內(nèi)容，幾乎所有人無法接受它們被放置在某個(gè)人工審核員的屏幕上，接受審視。人工審核效率低、成本高，還涉及復(fù)雜的隱私問題，科技公司寧愿將“審核”交給AI。

很多科技公司在用人，還是AI上“進(jìn)退兩難”。

2019 年，《衛(wèi)報(bào)》就曾報(bào)道，蘋果在 Siri 的“改進(jìn)計(jì)劃”里，雇傭第三方公司的數(shù)據(jù)標(biāo)記員，去聽用戶語音指令的“原聲”。這項(xiàng)工作原本是針對 Siri 無法識別語音指令的情況，讓真人去聽過之后，補(bǔ)充、修正語音識別數(shù)據(jù)庫的“樣本”。但在這些“指令原聲”中，包含了很多誤觸發(fā) Siri 之后的用戶錄音，涉及大量隱私信息，比如商業(yè)交易、醫(yī)療溝通，甚至是犯罪和性行為。事件爆出后，蘋果很快叫停了相關(guān)項(xiàng)目。

去年秋天，蘋果也準(zhǔn)備為 iCloud 照片系統(tǒng)部署一個(gè)與 PhotoDNA 類似的“哈希檢測算法”。但因?yàn)殡[私團(tuán)體的反對，計(jì)劃被無限期擱置。

馬克的烏龍，任何一個(gè)“人”聽了，都不難理解他是無辜的，所以警方很快就還了他清白。但對科技公司來說，很多時(shí)候，讓“人”去介入這些事情，不僅高成本低效率，還牽扯道德、隱私和倫理。

在復(fù)雜的現(xiàn)實(shí)世界里，人需要 AI 的幫助，AI 也需要人的糾錯(cuò)。但兩者到底如何合作，依然是一道難題。

互相負(fù)責(zé)

賬號被封對于馬克來說就是災(zāi)難。

他曾是忠實(shí)的谷歌全家桶用戶，被封后，郵箱、Google Fi 手機(jī)號都不能用了，幾乎與外界“斷連”，多年以來的郵件、相冊、日歷數(shù)據(jù)也全都無法取回。

馬克曾想過到法院起訴谷歌，但在咨詢律師之后，他發(fā)現(xiàn)相關(guān)的起訴費(fèi)、律師費(fèi)需要約 7000 美元，還不能保證勝訴。考慮之后，他放棄了這個(gè)計(jì)劃。

馬克的遭遇并非個(gè)例。《紐約時(shí)報(bào)》報(bào)道馬克遭遇的同時(shí)，還發(fā)現(xiàn)了另一名“受害者”卡西奧，他的遭遇和馬克近乎一致，也是因?yàn)榕臄z兒子的私密部位，發(fā)給家庭醫(yī)生咨詢病情，賬號遭到封禁。

每年數(shù)十萬的相關(guān)報(bào)告中，可能存在幾百上千個(gè)類似的“誤傷”。AI 可以識別出兒童的私密部位，但很難識別出這到底是“性侵的前奏”還是“父母幫孩子洗澡”。

谷歌判定不了父母對兒童“該做”什么丨圖片來源 unsplash

比起恢復(fù)一個(gè)賬號，谷歌更難做的是從“公共道德”角度重新審視這些內(nèi)容。因此，它直接把問題丟給 AI，AI 采取對于兒童裸露“零容忍”的政策。直到這次事件被媒體報(bào)道，谷歌仍堅(jiān)持自己的做法：不會(huì)給報(bào)道中涉及的兩名無辜父親解封。

無論是學(xué)界還是技術(shù)界，在評價(jià)這一事件時(shí)，人們幾乎無一例外地肯定了 AI 工具在打擊兒童犯罪方面起到的作用，同時(shí)也都認(rèn)為 AI 需要一套糾錯(cuò)機(jī)制。

這個(gè)問題絕非無解，事情的關(guān)鍵依然在于各方（尤其大公司）如何主動(dòng)負(fù)起責(zé)任，而不是過度依賴技術(shù)工具。

人和AI，最終需要互相負(fù)責(zé)。

關(guān)鍵詞： 兒童色情 科技公司 photodna