?

2022年3月1日，瑞萊智慧科技舉辦的《深度合成十大趨勢(shì)報(bào)告（2022）》解讀會(huì)上，中國(guó)社會(huì)科學(xué)院哲學(xué)所研究員、科學(xué)技術(shù)哲學(xué)研究室主任段偉文，做了一場(chǎng)深刻演講。

深度合成是高科技，可是這種高科技會(huì)對(duì)人類，社會(huì)，人性產(chǎn)生什么樣的影響？

這一話題值得每個(gè)關(guān)注算法安全，數(shù)據(jù)安全的從業(yè)者閱讀。Enjoy！

?

?

段偉文：大家好！

很高興有機(jī)會(huì)分享一下對(duì)于深度合成治理路徑的思考。因?yàn)槲覀儸F(xiàn)在生活在一個(gè)深度科技化的時(shí)代。

以往的科技它研究的是自然，改造的是自然，現(xiàn)在的科技改造的是人，改造的是我們生活的環(huán)境。

我們不管叫做什么，它實(shí)際上是具有顛覆性社會(huì)影響的創(chuàng)新，把它說(shuō)成偽造，可能窄化了它的概念，實(shí)際上它可以給所有人創(chuàng)造無(wú)限可能性的機(jī)會(huì)，無(wú)論他們是誰(shuí)，他們?nèi)绾闻c誰(shuí)互動(dòng)，可以有無(wú)限的方式互動(dòng)。

同時(shí)，布魯金斯學(xué)會(huì)談到：如果人工智能達(dá)到這樣地步，幾乎不可能檢測(cè)他們從未說(shuō)過(guò)的話，所以眼見不一定為實(shí)，讓人們對(duì)真實(shí)的內(nèi)容產(chǎn)生了懷疑。

這樣來(lái)看的話，如果某人做了什么壞事兒，我們拍到他的罪證，他可以說(shuō)這個(gè)罪證是造假的。同時(shí)我們可以看到深度合成視頻的數(shù)量，在將來(lái)甚至?xí)^(guò)非合成的視頻。

大綱是四個(gè)部分，首先是作為突破性創(chuàng)新的深度合成，我們可以看到將來(lái)的濾鏡不再是美顏，它是人工智能的濾鏡，這就是合成的媒體或者合成的媒介。

因?yàn)橛⑽睦锩嬷饕怯谩癉eepFake”和“合成媒介”這兩個(gè)詞來(lái)描述這一技術(shù)，當(dāng)然在中國(guó)我們創(chuàng)新走在前面，所以我們用深度合成，這代表中國(guó)在創(chuàng)新和治理之間找到一個(gè)平衡，這樣一個(gè)新的理念。

比如，我將來(lái)在這兒講座，如果我的表情不太好，它完全可以通過(guò)人工智能的濾鏡做一個(gè)修正，讓大家看到他們的參會(huì)者非常集中，甚至還可以提升你微笑的次數(shù)，假設(shè)兩國(guó)元首進(jìn)行會(huì)談，電視放出來(lái)的是非常溫馨非常友好，更有利于實(shí)現(xiàn)友好邦交，這樣的效果。

MIT的媒體實(shí)驗(yàn)室在開發(fā)一種個(gè)性化的角色的模型，這樣能夠讓演講者用更自信的方式看到自己擅長(zhǎng)的演講任務(wù)的版本，可以做排練，排練之后通過(guò)人工智能濾鏡，告訴他，甚至可以修正他的一些小問(wèn)題。盡管Deepfake它可以為無(wú)數(shù)人創(chuàng)造可能性的機(jī)會(huì)，讓我們用我們想要的方式跟人互動(dòng)。

實(shí)際上最近用人工智能創(chuàng)造有益的數(shù)字角色，比如創(chuàng)造數(shù)字“愛(ài)因斯坦”，讓愛(ài)因斯坦給小朋友講相對(duì)論和物理學(xué)，這樣從傳播和教育的影響和以前不一樣，他們還做了數(shù)字巴赫，還有心理自助，情侶分手模擬器，如果跟男女朋友分離，可以用深度合成技術(shù)讓你們兩個(gè)進(jìn)行虛擬的溝通或者談話，或者要不要跟志玲姐姐吃晚餐。

如果有人經(jīng)營(yíng)這樣的業(yè)務(wù)，也是可以的。

但是，這樣會(huì)帶來(lái)法律和倫理的挑戰(zhàn)，比如我們可不可以回到過(guò)去？我們?cè)鯓釉佻F(xiàn)歷史人物？有的美化有的丑化，這樣一個(gè)標(biāo)準(zhǔn)誰(shuí)來(lái)判定？

如果名人的人工智能的合成形象，在網(wǎng)上宣傳有害的東西，誰(shuí)來(lái)?yè)?dān)當(dāng)這樣的法律責(zé)任？

我們?nèi)绻矚g合成角色，跟合成影像互動(dòng)而不是跟真人互動(dòng)，這會(huì)帶來(lái)什么影響？

但是我覺(jué)得有一個(gè)基本思路，我們多創(chuàng)作積極的場(chǎng)景。當(dāng)然同時(shí)我們也要讓大家了解這樣一種潛在的危害。

這種可能性是非常無(wú)限的，現(xiàn)在可以有這樣的設(shè)計(jì)，我完全可以用真人的角色，然后在1000個(gè)視頻里面擔(dān)任主講，在快手和短信可以有一千個(gè)賬號(hào)，這都是可以的，這樣做可以嗎？會(huì)不會(huì)影響競(jìng)爭(zhēng)？怎么收稅？

可以用任何語(yǔ)言講話，因?yàn)楝F(xiàn)在機(jī)器翻譯已經(jīng)發(fā)生了革命性的變化，比如我半個(gè)小時(shí)把文章用機(jī)器翻譯，然后發(fā)出來(lái)，這跟以前完全不一樣。

現(xiàn)在很多國(guó)內(nèi)人去罵國(guó)外，你就可以知道現(xiàn)在通過(guò)機(jī)器翻譯，現(xiàn)在門檻特別低，它完全不一樣。

深度合成對(duì)人認(rèn)知的挑戰(zhàn)。

我們可以看到，最近一篇論文里談到深度合成已經(jīng)真假莫辨，這四個(gè)頭像有兩個(gè)真兩個(gè)假，你們能看出來(lái)嗎？這是很難辨別的。所以深度合成的信息誤認(rèn)，這里我們就要研究了，圖像、音頻、視頻會(huì)不會(huì)產(chǎn)生誤認(rèn)？產(chǎn)生什么樣的誤認(rèn)？這里有大量心理學(xué)家他們?cè)谧鲅芯?，社?huì)科學(xué)家他們?cè)谧鲅芯俊Ｗ詈笪覀冄芯康臅r(shí)候發(fā)現(xiàn)人們不擅長(zhǎng)檢測(cè)這樣的欺騙，也就是說(shuō)我們剛才猜了幾個(gè)真假，最后答對(duì)的可能性跟隨便瞎猜差不多的。這樣的準(zhǔn)確水平不受傳遞媒介的影響，你不論是什么，你都猜不出來(lái)，因?yàn)槲覀內(nèi)祟愰L(zhǎng)期以來(lái)都一直認(rèn)為眼見為實(shí)，他沒(méi)有這樣的經(jīng)驗(yàn)沒(méi)有這樣的體驗(yàn)。

這里就有另外一個(gè)問(wèn)題，叫做視覺(jué)優(yōu)勢(shì)效應(yīng)，你在判斷真假視頻的時(shí)候，跟其他的是一樣的，但是視覺(jué)交流對(duì)人的認(rèn)知更重要。所以視覺(jué)欺騙的影響比口頭更大，聽覺(jué)和視覺(jué)一起呈現(xiàn)，大家對(duì)聽的內(nèi)容是沒(méi)有感覺(jué)的，他被視覺(jué)的東西壓制住了，你主要還是在看。

還有，人們更容易回憶視覺(jué)信息而不口頭信息，視覺(jué)信息比誤導(dǎo)性的文字更容易產(chǎn)生錯(cuò)誤的認(rèn)知。換句話說(shuō)，人們更相信視聽方式而不是文字，因?yàn)閮?nèi)容與現(xiàn)實(shí)世界的相似度更高，我們平時(shí)就是在這樣的世界里生活，所以這是視覺(jué)優(yōu)勢(shì)效應(yīng)?！罢f(shuō)謊者紅利”，因?yàn)橛辛薉eepfake，他就可以否認(rèn)真實(shí)內(nèi)容的真實(shí)性，特別是當(dāng)這樣的內(nèi)容是他的所謂犯罪證據(jù)的時(shí)候。

隨著深度合成的擴(kuò)散或者大家對(duì)這個(gè)技術(shù)印象的加深，那么說(shuō)謊者紅利成為他的一個(gè)策略。這是一個(gè)加蓬共和國(guó)總統(tǒng)，他的反對(duì)派發(fā)了一個(gè)視頻，說(shuō)這個(gè)人身體不好了，說(shuō)他的視頻是假的，因?yàn)榭偨y(tǒng)他一直顯示自己很強(qiáng)壯，反正說(shuō)他是假的。

又有一個(gè)專家指出這個(gè)視頻可能是假的，但是是不是假的不重要，真正的問(wèn)題是這種可能性可以用來(lái)普通可信度并且引起懷疑，大家對(duì)所有的新聞都懷疑，就沒(méi)有真的。

那么深度合成的政治和社會(huì)影響，深度合成有很多潛在的用途也有可能的危害，比如可以用深度對(duì)抗來(lái)合成虛擬的醫(yī)學(xué)頭像，這樣訓(xùn)練那些算法去檢測(cè)罕見疾病，并且可以減少病人的隱私，比如說(shuō)臉我們可以合成一下，我們不知道究竟是誰(shuí)了。

但是惡意的使用，特別是偽造視頻在一些關(guān)鍵的政治事件里，會(huì)起到煽動(dòng)性的作用，它還會(huì)削弱公眾對(duì)所有媒體的信任，甚至喪失對(duì)揭示真相的信心，他認(rèn)為沒(méi)有真相，這樣一個(gè)技術(shù)的發(fā)展導(dǎo)致絕對(duì)的虛無(wú)主義，深度偽造它可以被用來(lái)做煽動(dòng)性的內(nèi)容，比如說(shuō)在軍事領(lǐng)域參與戰(zhàn)爭(zhēng)，比如說(shuō)兩個(gè)國(guó)家打仗的時(shí)候，他可以偽造另外一個(gè)國(guó)家軍人的暴行，這樣來(lái)激化民眾的情緒，還有可以去煽動(dòng)恐怖分子。

在美國(guó)他們比較關(guān)注深度合成對(duì)大選的影響，布魯金斯學(xué)會(huì)做了一個(gè)報(bào)告，報(bào)告題目就是：眼見還為實(shí)嗎？

Deepfake它改變了政治中的真相。這個(gè)報(bào)告提到兩點(diǎn)，第一點(diǎn)，如果人工智能現(xiàn)在已經(jīng)這么厲害，那么眼見不再為實(shí)，產(chǎn)生深度合成的能力比檢查的能力發(fā)展更快，這帶來(lái)什么樣的挑戰(zhàn)？

簡(jiǎn)單來(lái)講，Deepfake有很多影響，我們可以看到會(huì)影響到我們?nèi)说穆曌u(yù)或者財(cái)務(wù)或者是對(duì)決策的操作，在個(gè)人層面可以用這樣一個(gè)深度合成技術(shù)對(duì)人進(jìn)行辱罵、恐嚇、誹謗，可以竊取你的信息，同時(shí)可以用來(lái)攻擊政治家，組織層面可以破壞品牌，破壞對(duì)組織的信任，操作股票和保險(xiǎn)欺詐，可以捏造證據(jù)，偽造文件甚至偽造你到哪個(gè)大學(xué)上課，對(duì)于政黨和游說(shuō)團(tuán)體進(jìn)行攻擊，這里有很多值得研究的地方。

所以Deepfake對(duì)信任的影響，還有更多社會(huì)心理上的影響。

首先會(huì)削弱對(duì)信息和媒介的信任感，同時(shí)對(duì)人際關(guān)系產(chǎn)生影響，什么意思？這樣一個(gè)虛擬現(xiàn)實(shí)的研究表明，你如果看了某一段視頻之后，就算是你知道它是假的，也會(huì)影響你對(duì)這個(gè)人的態(tài)度。假設(shè)你很喜歡這個(gè)人，你看一個(gè)視頻他做了惡性，也會(huì)影響，那本書叫《思考，快與慢》，盡管理性慢思考知道那是假的，但是快思考就會(huì)植入。

更令人擔(dān)憂的是可以將內(nèi)容定位到特定的政治或宗教群體，就會(huì)放大效應(yīng)，這是值得研究的。

我們可以看到一個(gè)案例星球大戰(zhàn)：天行者的崛起，利用星球大戰(zhàn)沒(méi)有發(fā)布的視頻，這是合成的，它對(duì)人的記憶會(huì)產(chǎn)生一種干擾，什么意思？這個(gè)演員到底去世了沒(méi)有？它一定會(huì)影響到記憶。

我們從這里可以看到，通過(guò)深度合成來(lái)誹謗你，誹謗了之后就會(huì)造成虛擬的疤痕，叫做數(shù)字疤痕或者數(shù)據(jù)疤痕，任何東西不管是真假的，只要你看到了就會(huì)給你留下印象，因?yàn)槲覀儗?duì)人大腦的認(rèn)知還有很多深層次的問(wèn)題沒(méi)有深入進(jìn)入，這是一個(gè)問(wèn)題。

所謂的數(shù)字遺產(chǎn)，一旦在網(wǎng)上播放你的形象，它就會(huì)成為你的數(shù)字遺產(chǎn)，盡管誹謗造假的，比如某一個(gè)人成為色情的深度偽造目標(biāo)，這個(gè)內(nèi)容隨處可見，它就變成數(shù)字遺產(chǎn)的一部分。

它把任何東西放在一個(gè)平臺(tái)上，它用了這樣的素材來(lái)進(jìn)行表述，它把所有的東西都賦予了它意義，這個(gè)意義的過(guò)程是自我指示的過(guò)程，并不需要有一個(gè)真實(shí)的事件作為它的依據(jù)，這是深層次的影響。

我們也不要過(guò)于悲觀，為什么？

因?yàn)槲覀冊(cè)诓煌澜缋锷畹臅r(shí)候，我們都有信任的默認(rèn)值，你對(duì)事情的真假都有一個(gè)預(yù)期，我們之所以被它欺騙，因?yàn)槲覀儧](méi)有預(yù)期一直認(rèn)為它是真的，比如我們現(xiàn)在看垃圾郵件的時(shí)候很少有人上當(dāng)，以前可能會(huì)上當(dāng)，所以有一個(gè)恢復(fù)力，人對(duì)深度合成的欺騙形式產(chǎn)生彈性，人慢慢不會(huì)被這個(gè)東西愚弄，那么怎樣不會(huì)被愚弄？我們就要提升數(shù)字素養(yǎng)。

最后談一下，走向更穩(wěn)健的深度合成治理。對(duì)于深度合成沒(méi)有靈丹妙藥，你要采取多種措施才能對(duì)它進(jìn)行治理，同時(shí)可以看到將來(lái)你的檢測(cè)再準(zhǔn)確，不可能百分百，只要不是百分比，還是有很多東西會(huì)存在的。

我們可以看到技術(shù)管理，一個(gè)材料美國(guó)DARPA通過(guò)語(yǔ)義取證，通過(guò)檢測(cè)物理完整性、數(shù)字完整性和語(yǔ)義完整性進(jìn)行檢測(cè)，細(xì)節(jié)不說(shuō)了。但是這里會(huì)出現(xiàn)所謂的“貓鼠游戲”，檢測(cè)是打擊它，你檢測(cè)它的方法，反過(guò)來(lái)會(huì)進(jìn)一步提升它的合成技術(shù)。

這里有一個(gè)說(shuō)法叫做深度合成的軍備競(jìng)賽，檢測(cè)和合成雙方有一個(gè)軍備競(jìng)賽，就是道高一尺，魔高一丈這樣的問(wèn)題。這樣完全靠技術(shù)是不管的，所以我們需要內(nèi)容管理，進(jìn)行標(biāo)識(shí)和論證，這個(gè)不詳細(xì)說(shuō)了，因?yàn)槭羌夹g(shù)問(wèn)題。我們最近頒布《互聯(lián)網(wǎng) 信息服務(wù)規(guī)定》就是對(duì)法律和倫理進(jìn)行了規(guī)范，可以看到這里說(shuō)遵守法律法規(guī)，希望科技是向善的，具體內(nèi)容我不說(shuō)了。

最后，深度合成技術(shù)，無(wú)論是在哲學(xué)或者認(rèn)識(shí)上，還是從社會(huì)生活上，它都涉及到所謂的認(rèn)知安全，社會(huì)認(rèn)知安全，所以我們要提升社會(huì)認(rèn)知安全意識(shí)，把它作為集體的責(zé)任，這個(gè)從開發(fā)媒體到社交用戶到普通公眾，都應(yīng)該更了解技術(shù)內(nèi)涵它的愿景，還有惡意使用和濫用的場(chǎng)景，這要通過(guò)討論和對(duì)話，提升公眾的數(shù)字素養(yǎng)。提升每個(gè)人對(duì)深度合成時(shí)代的真相的認(rèn)識(shí)和鑒別力，這里面有很多需要去努力的事情。

最后，我們要走向具有預(yù)見性，穩(wěn)健的治理框架。

中國(guó)的人工智能治理原則有一條敏捷治理，我的理解就是我們根據(jù)程度、規(guī)模和可恢復(fù)性，

它的危害到底有多大程度？

到底是什么規(guī)模？

它是可逆還是不可逆？

這樣一個(gè)基礎(chǔ)上我們構(gòu)建一個(gè)監(jiān)管流程，這里我們采取積極行動(dòng)，包括瑞萊智慧的工作我的體會(huì)就是這樣的，對(duì)于它的社會(huì)影響或者治理的研究和考慮，與這樣一個(gè)創(chuàng)新是同步的過(guò)程，這就是積極的行動(dòng)，我們?cè)诩夹g(shù)、法律和倫理和政策以及教育層面，來(lái)采取一個(gè)積極的行動(dòng)，來(lái)減少可能性的傷害。

綜合權(quán)衡方面，在我們已經(jīng)有的數(shù)據(jù)算法基礎(chǔ)上，探索安全、倫理、監(jiān)管的平衡點(diǎn)，因?yàn)?018年以來(lái)國(guó)際出現(xiàn)“技術(shù)反沖”或者“技術(shù)后坐力”，出現(xiàn)了大量侵犯隱私、算法歧視、平臺(tái)壟斷這樣的行為，導(dǎo)致社會(huì)和學(xué)術(shù)界到公眾的批評(píng)，這樣的批評(píng)客觀上也會(huì)延緩科技的發(fā)展。

人工智能企業(yè)和行業(yè)非常希望政府或者相關(guān)部門以及各界，積極的來(lái)開展有關(guān)法律倫理、治理上的對(duì)話和相關(guān)規(guī)范的制定，以及最佳實(shí)踐地推廣，都是為了實(shí)現(xiàn)在創(chuàng)新和治理之間的動(dòng)態(tài)平衡，實(shí)施敏捷、穩(wěn)健的治理，同時(shí)使科技更好地服務(wù)數(shù)字化轉(zhuǎn)型、數(shù)字生活、數(shù)字中國(guó)、美好生活等等。

我就講這些，謝謝大家！

（完）