去年9月，一個名叫克林·麥德蘭 (Colin Madland) 的白人，在推特上發(fā)布了一張與黑人同事視頻通話的截屏。他原本只是想揭發(fā)相關(guān)視頻會議軟件Zoom的一個問題——在某種模式下，該軟件算法無法識別麥德蘭的黑人同事，并擅自將其“斬首”了。

Zoom將麥德蘭的黑人同事“斬首”了

麥德蘭沒想到的是，當(dāng)他截屏上傳推特之后，在推特的手機端上，黑人同事干脆“消失”了，圖片僅僅剩下身為白人的他自己。

截屏上傳推特之后，麥德蘭的黑人同事“消失”了

推特用算法在推特的手機端自動裁剪圖片是常規(guī)操作，目的在于防止過大圖片在寸土寸金的手機端占用太多頁面空間，同時將用戶的注意力集中到圖片最重要的部分。關(guān)于麥德蘭的圖片，算法似乎做出了這樣的判斷——相對于黑人，白人是更重要的那一部分。

麥德蘭的推文很快引爆了網(wǎng)絡(luò)狂歡。網(wǎng)友們前仆后繼、看熱鬧不嫌事大地對推特的圖片裁剪算法進行了各種明暗條件下的反復(fù)測試，測試圖片一度延伸到貓貓狗狗和毛絨玩具，直到某網(wǎng)友錘下棺材板上的最后一根釘子——在反復(fù)上傳白人參議員米奇·麥康奈爾（Mitch McConnell）和黑人前總統(tǒng)奧巴馬（Barack Obama）的照片后，該網(wǎng)友發(fā)現(xiàn)推特算法會在手機端不斷裁剪掉奧巴馬，而把麥康奈爾放在圖片中央。

換句話說，推特的算法，犯了和ZOOM一樣的毛?。悍N族歧視。

這些年，被網(wǎng)友集體抓包的網(wǎng)絡(luò)平臺不在少數(shù)。比如著名的谷歌。2015年，程序員阿爾西內(nèi)（Jacky Alciné）將自己與朋友的合影上傳到谷歌照片，詎料黑人朋友竟被標(biāo)注為“大猩猩”。此后，熱心網(wǎng)友競相“調(diào)戲”對谷歌照片的腦殘標(biāo)簽，直到2018年，谷歌“一勞永逸”地封禁了“大猩猩”、“黑猩猩”或是“猴子”的標(biāo)簽。

再如美國最大的點評網(wǎng)站Yelp。2017年，一群小企業(yè)主在對Yelp算法進行反復(fù)測試后發(fā)現(xiàn)，對于不使用該平臺廣告服務(wù)的企業(yè)，算法往往給出較低評分。被戳穿后，Yelp不得不對其算法進行了調(diào)整。

又如酒店預(yù)訂平臺繽客（booking.com）。2019年，一批用戶發(fā)現(xiàn)繽客對某酒店的綜合評分與他們給出的分?jǐn)?shù)明顯不符，發(fā)現(xiàn)問題后，他們聯(lián)合起來，通過反復(fù)測試，證明了平臺算法會在不透明的情況下調(diào)高某些低評分。

在最近的一篇論文里，我和合作者們把平臺用戶的這類“抓包”行為稱為“日常生活里的算法審計”（everyday algorithm auditing）——平日里，由于算法的算計而受困其中的用戶們，正在聯(lián)合起來，通過集體智慧，對算法進行“反向分析”。

也就是說，平臺們看似全知全能、無遠弗屆，但對于算法與人的真實互動及其結(jié)果，它們在很大程度上是無法事先知曉的。

正如推特的公關(guān)團隊在“裁圖事件”后解釋的那樣，“在模型發(fā)布前，我們的團隊進行了反復(fù)測試，并沒有發(fā)現(xiàn)種族或性別歧視的相關(guān)證據(jù)。但這些案例表明，我們還有更多的分析要做。”

各大平臺可以聘用頂級機器學(xué)習(xí)專家和軟件測試工程師，在算法上線前，對可能出現(xiàn)的漏洞進行檢測，但即便是這些專家也永遠無法預(yù)測，算法在與真實世界里的真實人生互動之后會發(fā)生什么。

其實早在1996年，在現(xiàn)代人工智能和機器學(xué)習(xí)系統(tǒng)大規(guī)模出現(xiàn)之前，巴特亞·弗里德曼（Batya Friedman）和海倫·尼森鮑姆（Helen Nissenbaum）就在他們那篇著名的短文《計算機系統(tǒng)里的偏見》（Bias in Computer Systems）里，就計算機系統(tǒng)里的“偏見”進行了分類：

一類是由社會歷史原因造成的“預(yù)存偏見”（pre-existing bias）。比如，性別和種族歧視可能會在算法里持續(xù)顯現(xiàn)。

一類是由當(dāng)時當(dāng)?shù)丶夹g(shù)限制等原因造成的“技術(shù)偏見”（technical bias)。比如，在1990年代，一種用來隨機篩選稀缺藥物接受者的算法可能會系統(tǒng)性地偏向數(shù)據(jù)庫末端的病人。

還有一類是那些只有在與人類用戶互動和日常使用的情境里展現(xiàn)出來的“突現(xiàn)偏見”（emergent bias）。比如，微軟當(dāng)年的人工智能聊天機器人Tay，與網(wǎng)友在推特上聊了不到24小時，就被“調(diào)教”成了一個“種族主義者”。

這也是為什么發(fā)現(xiàn)這些“突現(xiàn)偏見”的，往往不是平臺巨資聘請的工程師、律師和第三方審計人員，而是那些日日夜夜受困在算法里的人們——是真實生活里的真實人類在日常生活里對算法進行了千萬次的測試，以肉身為道場，才把算法的漏洞暴露出來，釘上恥辱柱。

這是我們對算法的日常抵抗。

1985年，耶魯大學(xué)政治學(xué)和人類學(xué)教授詹姆斯·C·斯科特（James C. Scott）出版了名作《弱者的武器：農(nóng)民反抗的日常形式》（Weapons of the Weak: Everyday Forms of Peasant Resistance）。這本書基于1970年代末他在馬來西亞村莊塞達卡（Sedaka）所做的田野調(diào)查。

斯科特發(fā)現(xiàn)，自1970年代引入雙耕制之后，馬來西亞農(nóng)村的貧富差距加劇，農(nóng)民們的不滿與日俱增，可奇怪的是，那里卻很少發(fā)生有組織的、公開的抵抗。從傳統(tǒng)政治學(xué)的角度來看，馬來農(nóng)民缺乏政治意識和自覺，也鮮少有意義的政治行動。

但作為人類學(xué)家，斯科特卻察覺到一種不曾被書寫的、不一樣的“抵抗”：農(nóng)民們在日常生活里，以自己獨特的方式對結(jié)構(gòu)性的不平等進行著“消耗戰(zhàn)”，雖然看似微不足道，卻也一點一滴地銷蝕著凌駕在他們頭上的統(tǒng)治機構(gòu)。

這些日常形式的反抗，我們也許再熟悉不過了——偷懶、怠工、裝糊涂、開小差，跟現(xiàn)在流行的的“躺平”“帶薪蹲坑” “日常摸魚”可謂異曲同工，一脈相承。

而這些，斯科特稱之為“弱者的武器”（weapons of the weak）。

斯科特的立場，在80年代之后受到了許多批評——如果日常形式的抵抗無法引發(fā)結(jié)構(gòu)層面的改變，而僅僅滯留在生活表面，那么這些“偷懶、怠工、裝糊涂、開小差”到底有多少意義呢？這確實不好說?？梢源_定的只是，這些日常形式的抵抗至少表明個人和公眾并不完全臣服于這些支配性的社會結(jié)構(gòu)。

在人工智能的時代，在算法統(tǒng)治一切的世界里，這些日常抵抗包括用戶們個人生活里的小動作和不配合——比如故意點擊無關(guān)內(nèi)容給推薦算法搗亂；在社交媒體上合力揪出算法的漏洞——比如，像本文開頭那個例子，大家通過集體協(xié)作一起檢測證明算法“種族歧視”，等等。

這些小打小鬧不斷給占據(jù)支配地位的算法制造麻煩，并提示我們：算法并不像我們所想象的那樣無所不知、無所不能。即使渺小如我們，在某些時刻，也有反制算法的可能。

與此同時，另一種對算法的日常抵抗正在浮現(xiàn)。

去年7月，阿明·薩米（Armin Samii) 已經(jīng)為“優(yōu)步送餐” 工作了幾個星期。在美國，“優(yōu)步送餐”很多時候是由騎手騎行送達的。這一單，薩米接下的是算法估算為20分鐘左右、1英里的工作?？墒聦嵣?，送餐app卻將他帶上了匹茲堡最陡峭的山坡之一，在地圖上看來是1英里的直線路程，實際耗費了4 英里的騎行。最終按照算法的邏輯，“優(yōu)步送餐” 僅僅支付了他1英里的費用。

還好薩米是一名軟件工程師。在發(fā)現(xiàn)優(yōu)步算法的問題之后，他創(chuàng)建了谷歌瀏覽器的擴展程序“優(yōu)步騙人” （UberCheats），幫助外賣騎手們收集算法“克扣”薪酬的證據(jù)。

薩米們想要追訴的權(quán)利。

還有一些困在算法里的人將他們的訴求告上法庭。根據(jù)歐盟的通用數(shù)據(jù)保護條例 (GDPR)， 一群英國優(yōu)步司機在阿姆斯特丹起訴了這家叫車公司。司機們表示，通過集體訴訟，他們獲得了存儲于平臺之上的所有關(guān)于他們的個人數(shù)據(jù)，他們想知道，優(yōu)步的評價體系是如何通過這些數(shù)據(jù)來給他們打分的。

司機們想要知情的權(quán)利。

36年前，斯科特在他那本引發(fā)巨大爭議的書里說：

“日常形式的抵抗不會成為頭條新聞……(然而）正如數(shù)以百萬計的珊瑚蟲制造出珊瑚礁一樣，數(shù)以萬計的個體不服從和逃避的行為也創(chuàng)造了自己的政治或經(jīng)濟堡礁。”

“Everyday forms of resistance make no headlines. Just as millions of anthozoan polyps create, willy-nilly, a coral reef, so do thousands upon thousands of individual acts of insubordination and evasion create a political or economic barrier reef of their own.” 

不高估算法的魔力，不低估自己的力量。也許，最后能夠抗衡算法的，正是我們這些困在算法里的人。

參考資料：

【1】Khristopher J Brooks. 2020. Twitter users say the platform crops out Black faces. https://www.cbsnews.com/news/ twitter-image-cropping-algorithm-racial-profiling

【2】Motahhare Eslami, Kristen Vaccaro, Karrie Karahalios, and Kevin Hamilton. 2017. “Be careful; things can be worse than they appear”: Understanding Biased Algorithms and Users’ Behavior around Them in Rating Platforms. In Proceedings of the International AAAI Conference on Web and Social Media, Vol. 11.

【3】Motahhare Eslami, Kristen Vaccaro, Min Kyung Lee, Amit Elazari Bar On, Eric Gilbert, and Karrie Karahalios. 2019. User attitudes towards algorithmic opacity and transparency in online reviewing platforms. In Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems. 1–14.

【4】Shen, Hong, Alicia DeVos, Motahhare Eslami, and Kenneth Holstein. 2021. "Everyday algorithm auditing: Understanding the power of everyday users in surfacing harmful algorithmic behaviors." arXiv preprint arXiv:2105.02980.

【5】Friedman, Batya, and Helen Nissenbaum. Bias in computer systems. Routledge, 2017.

【6】Scott, James C. 1985. Weapons of the weak: Everyday forms of peasant resistance. Yale University Press.

【7】Aarian Marshall. 2021. Gig Workers Gather Their Own Data to Check the Algorithm’s Math. Wired. https://www.wired.com/story/gig-workers-gather-data-check-algorithm-math/

-----

作者沈虹，畢業(yè)于美國伊利諾伊大學(xué)香檳分校傳播學(xué)系，現(xiàn)任職于美國卡內(nèi)基梅隆大學(xué)。她用社會學(xué)的方法研究新興科技。