一、引言

人工智能（AI）承諾采集并重塑人類最強(qiáng)大的能力—語言、創(chuàng)造力、推理和智力的本質(zhì)。進(jìn)步正飛速發(fā)生，在過去短短十年間，AI就產(chǎn)生了實(shí)際影響，自2019年以來，這種發(fā)展更是顯著加速。2022年，像OpenAI的ChatGPT和StabilityAI的StableDiffusion這樣的突破，被認(rèn)為以前所未有的方式提升了人類在語言和藝術(shù)方面的創(chuàng)造力與生產(chǎn)力。在本文中，我想聯(lián)系ELIZA來思考這一領(lǐng)域近來的進(jìn)展。在許多人看來，ELIZA是如今所謂生成式AI的前身，它是一個(gè)相對(duì)簡單的聊天機(jī)器人（對(duì)話智能體）程序，使計(jì)算機(jī)內(nèi)基于對(duì)話的界面成為可能。

ELIZA由約瑟夫·魏岑鮑姆于20世紀(jì)60年代開發(fā)?？梢哉f，它是有史以來最具影響力的計(jì)算機(jī)程序之一。ELIZA，尤其是其最著名的人格DOCTOR，仍然吸引著程序員，并催生了各種對(duì)它的模仿。雖然ELIZA影響了計(jì)算機(jī)科學(xué)乃至更廣泛的文化，但它的初始源代碼從未被公布或廣泛傳播。[1]不過，它是所有聊天機(jī)器人的前身、對(duì)話式人機(jī)互動(dòng)的鼻祖，也是大眾對(duì)計(jì)算機(jī)可能形象的想象（如1968年電影《2001：太空漫游》中的HAL9000和2013年電影《她》中的操作系統(tǒng)）的靈感來源。這個(gè)所有對(duì)話界面和聊天機(jī)器人的始祖仍然令研究人工智能和計(jì)算的工程師、歷史學(xué)家和哲學(xué)家尤為著迷。值得注意的是，ELIZA在對(duì)計(jì)算歷史產(chǎn)生實(shí)質(zhì)性影響的同時(shí)，也使其永遠(yuǎn)陷入與性別和階級(jí)的問題性假設(shè)的糾葛之中（見下文）。ELIZA能夠利用相對(duì)少量的計(jì)算機(jī)代碼生成類人回應(yīng)，憑借這一能力為大量類似程序鋪平了道路。這些程序以對(duì)話智能體和其他人機(jī)界面的形式出現(xiàn)，在計(jì)算機(jī)科學(xué)內(nèi)部激發(fā)了幾個(gè)全新的研究領(lǐng)域（Boden，1977）。

值得注意的是，OpenAI在2022年發(fā)布ChatGPT，為復(fù)雜大語言模型（LLM）系統(tǒng)GPT3設(shè)計(jì)合適界面時(shí)，決定采用聊天機(jī)器人的形式。雖然該公司尚未充分解釋使用這種基于文本的模型背后的邏輯，但使用該系統(tǒng)本身就表明，很可能是創(chuàng)造人格的能力促使開發(fā)者這樣設(shè)計(jì)系統(tǒng)。為進(jìn)一步探究這一點(diǎn)，本文認(rèn)為，回顧過去對(duì)理解像ChatGPT和類似產(chǎn)品這樣的AI產(chǎn)品的特殊性或許有用。這就意味著要思考以前的系統(tǒng)，尤其是ELIZA。我尤其想要考察約瑟夫·魏岑鮑姆（Weizenbaum，1976）在《計(jì)算機(jī)的力量和人的理性》中呈現(xiàn)的反思。在書中，他聯(lián)系人類思想不可簡化（不能把人的思想簡化為邏輯函數(shù)，尤其是簡化為ELIZA）這一特性來構(gòu)建自己的研究框架。[2]這本書提出了合理性與邏輯——尤其是計(jì)算機(jī)程序和數(shù)學(xué)公式中能實(shí)現(xiàn)的邏輯——之間關(guān)系的問題。正如魏岑鮑姆（Weizenbaum，1976：11）所論證的：“把計(jì)算機(jī)引入我們已然是‘技術(shù)社會(huì)’的社會(huì)……只是強(qiáng)化和放大了先前的那些壓力，這些壓力迫使人對(duì)自己的社會(huì)采取一種日益高度合理性的看法，并為自己塑造一個(gè)越來越機(jī)械的形象?！蔽横U姆認(rèn)為，應(yīng)該對(duì)給計(jì)算機(jī)分配的任務(wù)設(shè)限。這意味著要為計(jì)算的部署建立規(guī)范限制，因?yàn)橛?jì)算機(jī)會(huì)影響人在世界上尋找自身定位的欲望。他擔(dān)心計(jì)算機(jī)嚴(yán)格遵循工具編程邏輯時(shí)形成對(duì)同情或人際尊重的偽裝，認(rèn)為這種欺騙將會(huì)無意間給雙方帶來改變的交流性相遇變成一種造成疏離的接觸。他（Weizenbaum，1972：316）也預(yù)見到了對(duì)計(jì)算機(jī)決定提出異議的困難，他寫道：

人不再為“機(jī)器說的話”負(fù)責(zé)。因此，就不存在對(duì)錯(cuò)，不存在正義與否的問題，不存在關(guān)于同意或不同意什么的理論。最終，也不存在讓人能夠質(zhì)疑“機(jī)器說的話”的基礎(chǔ)了。

重要的是，我們要開始學(xué)著從“后端”操作和“前端”界面這兩個(gè)角度來理解這些新的AI系統(tǒng)，因?yàn)樽鳛橛?jì)算系統(tǒng)，它們可能會(huì)變得越來越普遍。就像瓦特1776年發(fā)明的蒸汽機(jī)一樣，AI常被視為具有多種潛在應(yīng)用的通用技術(shù)。因此，我們可以預(yù)計(jì)，AI的投入使用將對(duì)全球經(jīng)濟(jì)產(chǎn)生變革性影響。人們已經(jīng)在日常語境中使用AI了，如電子郵件的垃圾郵件過濾功能、媒體的推送系統(tǒng)、導(dǎo)航應(yīng)用以及支付交易的驗(yàn)證與核實(shí)。雖然AI顯然有對(duì)社會(huì)和個(gè)人產(chǎn)生巨大影響的潛力，但描繪這些影響是一項(xiàng)艱巨的任務(wù)，特別是考慮到AI領(lǐng)域經(jīng)常宣揚(yáng)自己的發(fā)現(xiàn)和潛力。[3]從監(jiān)管的角度來看，AI系統(tǒng)的自主性引發(fā)了一系列獨(dú)特的問題，涉及責(zé)任、保險(xiǎn)、公平性、風(fēng)險(xiǎn)與安全，甚至創(chuàng)意內(nèi)容的所有權(quán)。這些問題要求我們深入思考透明性與偏見、基礎(chǔ)設(shè)施決策，以及創(chuàng)造、使用和評(píng)判它們所需的各種新數(shù)字技能。

我們的社會(huì)愈發(fā)依賴數(shù)字技術(shù)，這些技術(shù)包含了計(jì)算合理性（computational rationalities），進(jìn)而也包含了算計(jì)的合理性（calculative rationalities），并且圍繞維持社會(huì)學(xué)意義上的人類推理能力這一事情提出了諸多挑戰(zhàn)（Berry，2011）。我們對(duì)小型軟件應(yīng)用日益依賴，很快就會(huì)出現(xiàn)問題，因?yàn)樗鼈兪亲詣?dòng)化、網(wǎng)絡(luò)化的，并且被接入了更大的軟件平臺(tái)和服務(wù)，這使其運(yùn)作更加復(fù)雜。雖然這些系統(tǒng)中有許多最初是為支持或輔助人們進(jìn)行大量活動(dòng)、分析和決策的判斷而設(shè)計(jì)的，但它們的運(yùn)行早已超出用戶的理解范圍，可同時(shí)它們又不可或缺。這樣，這些設(shè)備通過使人類理性的認(rèn)知過程卷積短路，通過給予某些邏輯進(jìn)程工具關(guān)系特權(quán)，改變了人類理性能力。于是，才有了“我們社會(huì)中，個(gè)體普遍存在的無力感……人們彼此之間、對(duì)自己工作的普遍疏離……以及普通人那種生活在龐大系統(tǒng)縫隙中的感覺”（Rosenberg，1980：49）。魏岑鮑姆提出的這些說服、欺騙和中介概念，與后來AI發(fā)展軌跡中普遍存在的問題非常契合。

值得注意的是，發(fā)達(dá)資本主義社會(huì)的經(jīng)濟(jì)無政府狀態(tài)，與理性化和技術(shù)相互交織，這種交織傾向于阻礙反思勞動(dòng)。在此條件下，工具理性的價(jià)值被賦予了特權(quán)地位，畢竟其體現(xiàn)于合理性概念本身。將算計(jì)和理性思考混為一談，意味著不能被簡化為數(shù)的事物都是幻想或形而上學(xué)的。結(jié)果，社會(huì)對(duì)批判思想的敏感性可能下降，這也體現(xiàn)為個(gè)體化潛能的削弱。在當(dāng)代計(jì)算社會(huì)，人們有十足的動(dòng)力采用理性化的行動(dòng)與思考方式，也就是插入算法的方式。而轉(zhuǎn)向使用AI，更確切地說是使用機(jī)器學(xué)習(xí)的自動(dòng)化系統(tǒng)，會(huì)進(jìn)一步推動(dòng)這個(gè)帶來疏離感的過程。這表明，能夠批判這些系統(tǒng)、避免再次陷入缺乏對(duì)系統(tǒng)運(yùn)行充分依據(jù)解釋的抽象行為的解釋性理解極為重要（Berry，2021）。正如魏岑鮑姆所說：“即便大型計(jì)算機(jī)系統(tǒng)，也不一定不可理解。它們可理解性的秘密在于，這些系統(tǒng)是非常穩(wěn)健的理論模型?！保≧osenberg，1980：45）

我們對(duì)合理性的構(gòu)想在多大程度上被重新表述為一種將人的思想理解為算計(jì)而非判斷的形式，這正是漢娜·阿倫特（Arendt，1972：11）聯(lián)系政治決策和政策所研究的內(nèi)容。阿倫特的研究顯然影響了魏岑鮑姆的思考。[4]他引用阿倫特的話說：“他們（政策制定者和執(zhí)行者）不僅聰明，還為（自己）‘合理’……而不下判斷感到自豪；他們算計(jì)……一種對(duì)現(xiàn)實(shí)可算計(jì)性的從根本上非理性的自信（變成了）決策的主旋律?！保╓eizenbaum，1976：14，強(qiáng)調(diào)部分為原文所有）。

在同一文本的稍后部分，他又闡述道：

計(jì)算機(jī)能夠做出司法判決，也能夠做出精神疾病診斷。它們拋硬幣的方式能比最有耐心的人所采用的方式復(fù)雜得多。關(guān)鍵在于，不應(yīng)該讓計(jì)算機(jī)承擔(dān)這類任務(wù)。在某些情況下，它們甚至能得出“正確的”決定，但這種決定總是且必然建立在沒有人愿意接受的基礎(chǔ)之上。（Weizenbaum，1976：227）

要聯(lián)系ELIZA來研究這些問題，思考魏岑鮑姆在設(shè)計(jì)和編寫該系統(tǒng)時(shí)所關(guān)注的語境和一些爭論是有幫助的。接下來，我首先要考察魏岑鮑姆開發(fā)ELIZA的環(huán)境，從而理解他是如何構(gòu)思界面的可供性（affordances）的;其次，思考ELIZA與現(xiàn)代用生成式AI開發(fā)的聊天機(jī)器人之間的異同;最后，在結(jié)論部分提出關(guān)于這種聯(lián)系的一些反思，并對(duì)魏岑鮑姆提出的警告加以引申。

二、ELIZA和早期的AI

約瑟夫·魏岑鮑姆于1923年1月8日出生在柏林的一個(gè)猶太家庭。他的父親是皮草技術(shù)員，母親叫亨利埃特。[5]13歲時(shí)，他隨父母逃離納粹德國，移民到美國并在底特律生活。他后來說自己“是在恰逢合理性的終極流產(chǎn)的成長歲月進(jìn)入世界的”（Dembart，1977：1）。雖然他最初在韋恩大學(xué)學(xué)習(xí)數(shù)學(xué)，但1941年“他因戰(zhàn)爭中斷了學(xué)習(xí)，其間在空軍氣象部門服役”（Sack，2018）。1946年，他返回大學(xué)，并分別于1948年和1950年獲得學(xué)士和碩士學(xué)位。此后，“他在底特律的韋恩大學(xué)參與設(shè)計(jì)和建造了一臺(tái)數(shù)字計(jì)算機(jī)”（MIT，2008）。1955年，他搬到西岸，加入通用電氣公司，與SRI合作開發(fā)了一個(gè)名為電子記錄機(jī)會(huì)計(jì)（electronic recording machine accounting，ERMA）的銀行自動(dòng)化系統(tǒng)。[7]ERMA是為幫助美國銀行管理此前一直依靠人工處理的海量紙質(zhì)支票而開發(fā)的。在20世紀(jì)50年代初，銀行業(yè)在本質(zhì)上處于危機(jī)邊緣：

1943—1952年，美國的支票使用量翻了一番，從每年簽發(fā)40億張?jiān)鲩L到80億張。銀行家估計(jì)，到1955年，支票數(shù)量每年將增加近10億張;到1960年，每年簽發(fā)的支票數(shù)量將高達(dá)140億張。（Fisher&McKenney，1993：44）

ERMA系統(tǒng)讓人們能夠利用打印在支票底部的磁編碼字體，借助磁墨水字符識(shí)別技術(shù)實(shí)現(xiàn)支票處理自動(dòng)化。在向媒體做最終演示時(shí)，ERMA還無法完全自動(dòng)運(yùn)作，需要一名程序員躲在后面的屋子里幫忙掩蓋系統(tǒng)故障。這種用人來替代當(dāng)前尚未運(yùn)行或未完成的算法的技巧，被稱為“奧茲國的巫師”編程。費(fèi)舍爾、麥肯尼認(rèn)為：

SRI工程師……以豎大拇指的形式表示系統(tǒng)運(yùn)行穩(wěn)定，可繼續(xù)演示。在設(shè)計(jì)周期的早期，這種樣機(jī)形式被視為有益，因其提供了研究和了解用戶預(yù)期與要求的途徑。莫茲利等人認(rèn)為，這種方式尤其適合探索待投入使用系統(tǒng)的設(shè)計(jì)可能性。ERMA的展示很順利，媒體從未質(zhì)疑（計(jì)算機(jī)系統(tǒng)）不夠理想。（Fisher & McKenney，1993：55）

萊茵戈?duì)柕拢≧heingold，1985：164）認(rèn)為，“最終將這個(gè)過程成功計(jì)算機(jī)化”是“世界銀行系統(tǒng)計(jì)算機(jī)化的一個(gè)里程碑”。不過，在計(jì)算過程中，用欺騙代替算法的引入和使用，使其看起來平穩(wěn)，以及用人力勞動(dòng)取代計(jì)算機(jī)這種做法，預(yù)見了魏岑鮑姆后來提出的關(guān)于自動(dòng)化的擔(dān)憂。[8]

在通用電氣任職期間，魏岑鮑姆著手開發(fā)一個(gè)名為對(duì)稱列表處理器（symmetriclistprocessor，SLIP）的編程系統(tǒng)，并于1963年完成。SLIP是一組函數(shù)，這些函數(shù)通過調(diào)用例行程序（routines）來執(zhí)行列表處理，這些例行程序最初由機(jī)器代碼編寫，后來用Fortan編程語言編寫。魏岑鮑姆本人將其稱為“FORTEAN/SLIP程序”（Weizenbaum，1963：524）。在離開通用電氣之前，魏岑鮑姆寫過一篇名為《怎樣使計(jì)算機(jī)看起來智能》（“HowtoMakeaComputerAppearIntelligent”）的揭秘文章。文章引用馬文·明斯基的觀點(diǎn)來論證：一種以特定觀察者無法理解的方式產(chǎn)生結(jié)果的活動(dòng)，在該觀察者看來，在某種程度上是智能的，或者至少有智能的跡象（Weizenbaum，1962：24）。在那篇文章中，魏岑鮑姆還描述了一個(gè)“五子棋”游戲，該游戲看似智能，但其底層編程實(shí)際上并未編入這種智能：

根據(jù)上述推理，“人工智能”程序的作者能在一段時(shí)間內(nèi)愚弄部分觀察者，其成功程度可通過被愚弄的觀察者所占百分比乘以他們未察覺的時(shí)長來衡量。（Weizenbaum，1962：24）

1993年，在反思自己工作時(shí)，他承認(rèn)這讓他有了“騙子或老千”的名聲（Crevier，1993：133）。[9]：他覺得：“從某種程度上說，那是我后來開發(fā)ELIZA的前身，也讓我有了騙子或老千的名聲。但另一方面，我毫無保留地說了出來。我的想法是創(chuàng)造‘計(jì)算機(jī)是智能的’這種強(qiáng)烈錯(cuò)覺。在那篇文章里，我花了很大力氣解釋，幕后沒多少東西，機(jī)器并沒有在思考。我把策略解釋得很清楚，任何人都能寫出那個(gè)程序，我寫ELIZA時(shí)也是如此?！保–review，1993：133）

基于SLIP方面的工作，1963年，他獲得了麻省理工學(xué)院提供的電子工程助理教授職位。四年間，他就拿到了終身教職，于1970年升任計(jì)算機(jī)科學(xué)與工程正教授。[10]在那里，他用密歇根算法解碼器（Michiganalgorithmdecoder，MAD，1959年為IBM7090和相關(guān)計(jì)算機(jī)開發(fā)的一種編程語言與編譯器）重寫了SLIP。MAD基于ALGOL語言，但并非ALGOL語言。MAD-SLIP這一術(shù)語常被用于指代二者的結(jié)合，可實(shí)際上，SLIP和MAD始終是分開的，它代表一組可納入MAD程序的列表處理函數(shù)。這與長期存在的誤解相反，即ELIZA最初是用LISP而非MADSLIP編寫的。值得注意的是，魏岑鮑姆后來證實(shí)，ELIZA是從他1962年編寫的那個(gè)游戲發(fā)展而來的。[   11]耶認(rèn)為：

20世紀(jì)60年代中期，魏岑鮑姆在MIT時(shí)試圖讓計(jì)算機(jī)用英語與人交談。他指出，像STUDENT這樣的現(xiàn)有程序應(yīng)用領(lǐng)域有限，而且描述這些領(lǐng)域的知識(shí)與程序結(jié)構(gòu)本身密不可分。魏岑鮑姆還探究了程序通過向用戶提問來獲取更多信息的有限能力：“我很清楚，我們?cè)诮酉聛淼膸讉€(gè)星期里解決不了這個(gè)問題?！蔽横U姆告訴我：“所以我開始思考替代方案……我把我所有的辦法整合起來，做起了ELIZA這個(gè)項(xiàng)目?！保–revier，1993：133134）

ELIZA試圖以一種相對(duì)簡單的方式模擬人與心理治療醫(yī)師可能的對(duì)話。它有一個(gè)互動(dòng)界面，用戶可通過打字來回答軟件所生成的問題。眾所周知，很多人對(duì)它介入對(duì)話的能力印象深刻，覺得這個(gè)程序具有比實(shí)際更多的理解力與智能。寫完ELIZA后，魏岑鮑姆承認(rèn)：“我沒意識(shí)到，極短時(shí)間接觸一個(gè)相對(duì)簡單的計(jì)算機(jī)程序，也會(huì)讓相當(dāng)正常的人產(chǎn)生強(qiáng)烈的妄想。”（Weizenbaum，1967：7）正如他所解釋的：“選擇這種對(duì)話模式，是因?yàn)榫窨莆钫勈菫閿?shù)不多的分類二元自然語言交流（categorized dyadic natural language）的例子之一。在這種交流中，參與雙方的其中一方可以自由地?cái)[出對(duì)真實(shí)世界一無所知的姿態(tài)?！保╓eizenbaum,1966：42;Boden，1977：108）[12]通過使用簡單的模式匹配技巧，魏岑鮑姆讓ELIZA程序能夠把輸入的英文句子轉(zhuǎn)變?yōu)閷?duì)用戶而言看起來有意義的輸出。麥考黛克認(rèn)為：

當(dāng)時(shí)，問答機(jī)器在MIT極為火爆。博布洛（Bobrow）在MIT研究STUDENT；拉斐爾（Raphaelb）在做后來的SIR；“棒球”程序則是劍橋地區(qū)的成果。魏岑鮑姆趁勢推波助瀾，他連續(xù)多日早起，與開發(fā)過CO-MIT語言的鄰居維克托·英格維（V.Yngve）一起研究模式匹配。（McCorduck，2004：292）

魏岑鮑姆在ELIZA程序里探究了許多此類問題。ELIZA這個(gè)名字源于伊萊莎·杜立德，她是蕭伯納1912年戲劇《皮格馬利翁》（也叫《賣花女》）中的一個(gè)工人階級(jí)角色。事實(shí)上，魏岑鮑姆后來表示，他是偶然觀看了由該戲劇改編、1956年首演且1964年推出電影版的《窈窕淑女》才知曉這個(gè)角色的。他為那個(gè)后來與ELIZA相混淆的人格腳本所起的名字是DOCTOR。雖然后來這個(gè)名字可能一直被視為代表心理治療師的無性名字，但ELIZA延續(xù)了這個(gè)名字的內(nèi)涵，將階級(jí)、性別乃至種族與族群的社會(huì)結(jié)構(gòu)融入程序中——因?yàn)镋LIZA這個(gè)名字包含著蕭伯納戲劇以及20世紀(jì)60年代改編的音樂劇中對(duì)女性和社會(huì)階級(jí)的再現(xiàn)所蘊(yùn)含的假設(shè)。

ELIZA會(huì)以打字的方式對(duì)所有英文輸入做出回應(yīng)，其腳本DOCTOR旨在模擬或“戲仿”一位羅杰斯學(xué)派心理治療師。羅杰斯學(xué)派心理治療由心理學(xué)家卡爾·羅杰斯于20世紀(jì)40年代創(chuàng)立，采用一種鼓勵(lì)患者多說話的非指導(dǎo)性語言方法。魏岑鮑姆將這種方法用作構(gòu)建ELIZA回應(yīng)的模型，ELIZA的回應(yīng)大多是重復(fù)用戶先前對(duì)話文本輸入中的關(guān)鍵問題。魏岑鮑姆（Weizenbaum，1967：474）將ELIZA描述為“后來被稱作DOCTOR的程序家族中的第一個(gè)程序……一個(gè)特殊成員。這些程序的家族姓氏也是ELIZA”。這組程序是在麻省理工學(xué)院的一臺(tái)IBM計(jì)算機(jī)上用MADSLIP創(chuàng)建的，發(fā)布時(shí)只有一個(gè)一般性描述（Weizenbaum，1966;Weizenbaum，1967）。在描述程序如何解析句子時(shí)，魏岑鮑姆寫道：

從左至右掃描輸入的句子，在關(guān)鍵詞詞典里查找各個(gè)詞。若某個(gè)詞被識(shí)別為關(guān)鍵詞（除關(guān)鍵詞優(yōu)先級(jí)問題外），則只需嘗試包含該關(guān)鍵詞的分解規(guī)則。（Weizenbaum，1966：38）

他接著詳細(xì)闡述了特定關(guān)鍵詞為何需要特殊處理：通常，當(dāng)一個(gè)人使用像“每個(gè)人”“總是”或“沒有人”這樣的全稱術(shù)語講話時(shí)，實(shí)際上指的是某個(gè)非常具體的事件或人物。賦予“每個(gè)人”比“我”更高的優(yōu)先級(jí)，就能生成“具體說說你想到的是誰”這樣的回應(yīng)（Weizenbaum，1966：39）。

魏岑鮑姆還提供了一個(gè)用于說明關(guān)鍵詞檢測的基本流程圖，并描述了一些衡量關(guān)鍵詞的具體算法：

魏岑鮑姆決定把領(lǐng)域知識(shí)放入一個(gè)與處理對(duì)話的程序模塊相分離的模塊。他推斷，如果用不同的知識(shí)模塊（他稱之為“腳本”）來描述不同種類的知識(shí)，程序就能談?wù)摳鞣N各樣的話題。今天想談高級(jí)時(shí)裝而非棒球？只要加載高級(jí)時(shí)裝的軟件模塊即可!由于程序會(huì)像蕭伯納《皮格馬利翁》中的伊萊莎·杜立德那樣，學(xué)著把話說得越來越好，因此魏岑鮑姆將程序命名為《伊萊莎·杜立德》。（魏岑鮑姆后來指出，另一個(gè)原因是，“和杜立德小姐一樣，它永遠(yuǎn)不清楚自己是否變得更聰明了”。）（Crevier，1993：134）

與Eliza對(duì)話

三、ELIZA的社會(huì)意義

通過開發(fā)ELIZA程序和DOCTOR腳本，魏岑鮑姆揭示了一點(diǎn)：就計(jì)算與人的行為和理性的聯(lián)系而言，它會(huì)帶來深刻的影響。魏岑鮑姆試圖對(duì)這些影響進(jìn)行探索、提出異議并加以限制：

我驚訝地看到，與DOCTOR對(duì)話的人迅速對(duì)計(jì)算機(jī)產(chǎn)生了深厚的感情，并且毫不猶豫地將其擬人化……這表明，人們以這種方式與計(jì)算機(jī)對(duì)話，就好像它是一個(gè)能夠與之用親密的語言恰當(dāng)、有效地交談的人。（Weizenbaum，1976：6）

事實(shí)上，人們傾向于對(duì)計(jì)算機(jī)投入私人情感，這讓魏岑鮑姆感到困惑與擔(dān)憂。他擔(dān)心機(jī)器可能取代人們內(nèi)心的現(xiàn)實(shí)，還擔(dān)心計(jì)算機(jī)也許會(huì)讓“相當(dāng)正常的人產(chǎn)生強(qiáng)烈的妄想”，并且強(qiáng)化那些將合理性與算計(jì)聯(lián)系起來、認(rèn)為人就是機(jī)器的想法。這便是后來所謂的“ELIZA效應(yīng)”，也就是人認(rèn)為計(jì)算機(jī)系統(tǒng)有理解力和智能的傾向。侯世達(dá)（Hofstadter，1995：167）在1995年將其描述為“人的這樣一種易感性：人們很容易從計(jì)算機(jī)串聯(lián)的字符串（尤其是文字串）中讀出遠(yuǎn)超應(yīng)有的理解”，這個(gè)極具說服力的描述也能精確地描述現(xiàn)代的生成式AI系統(tǒng)（如ChatGPT）：

在這里，我們要記住，魏岑鮑姆版的DOCTOR不是在屏幕上一閃而過，而是或多或少被永久地印在紙上。我們可能會(huì)把該系統(tǒng)理解為受到文學(xué)和心理治療影響的系統(tǒng)，留下打印記錄（如日記）的治療過程，給人的體驗(yàn)或許和在屏幕上的短暫接觸有所不同。（Montfort，2004）

的確，如今我們更熟悉出現(xiàn)在屏幕上（無論是臺(tái)式電腦、筆記本電腦、智能手機(jī)還是平板電腦）的ELIZA。但在20世紀(jì)60年代，計(jì)算機(jī)系統(tǒng)幾乎總是使用電傳打字機(jī)將輸出打印在紙上。這種“屏幕的缺失”，是理解當(dāng)時(shí)計(jì)算機(jī)的物質(zhì)特性以及使用系統(tǒng)體驗(yàn)的關(guān)鍵。顯然，ELIZA捕捉到了一種思維模式，以及我們與計(jì)算機(jī)關(guān)系中的一種焦慮。魏岑鮑姆后來也通過對(duì)自身工作的哲學(xué)、社會(huì)和政治基礎(chǔ)（我們也是基于此理解他的工作的）進(jìn)行批判性考察，探索了這種思維模式和焦慮。還需指出的是，軟件是一種動(dòng)態(tài)且不斷變化的媒介，軟件程序很少只有一個(gè)版本。實(shí)際上，在編程過程中常常會(huì)出現(xiàn)多個(gè)相互矛盾的副本：

值得注意的是，ELIZA存在多個(gè)版本。魏岑鮑姆承認(rèn)自己一直在對(duì)ELIZA進(jìn)行改進(jìn)，因?yàn)椤白畛醯腅LIZA除了生成似是而非的回應(yīng)外，做其他任何事都很困難”。他在1967年寫到，后來的版本與舊版本主要有兩方面的不同：其一，它包含一個(gè)求值器，這個(gè)求值器能夠接受無限復(fù)雜的表達(dá)式（程序）并對(duì)其求值（執(zhí)行），當(dāng)然也能夠?qū)⑶笾到Y(jié)果儲(chǔ)存起來，以供后續(xù)檢索和使用;其二，腳本的概念得到了擴(kuò)展，現(xiàn)在程序可以同時(shí)包含三個(gè)不同的腳本，能夠從磁盤存儲(chǔ)單元中無限量供應(yīng)的腳本里獲取新腳本，并且現(xiàn)有的腳本之間還可以相互通信。（Weizenbaum，1976：478）

遺憾的是，這些后續(xù)的改進(jìn)缺乏充分的記錄，許多源代碼仍然處于丟失狀態(tài)。不過，如今人們已經(jīng)從MIT檔案中恢復(fù)了ELIZA的源代碼列表以及1966年的一些腳本。[13]

作為計(jì)劃的一部分，我也參與了重建ELIZA代碼的工作。我們已經(jīng)確定，ELIZA實(shí)際上至少有五個(gè)主要版本。其中三個(gè)版本已被遺忘（并且可能已經(jīng)丟失），還有一個(gè)最終版本只在其他檔案的文字資料中被提及。按照年代順序，我們暫時(shí)識(shí)別出以下版本：

1.ELIZA1965a：僅以“.”和“，”分隔句子（證據(jù)源于MIT檔案流程圖）。

2.ELIZA1965b：用“.”“，”和“但是”來分隔句子，缺乏NEWKEY函數(shù)，包含未被記錄過的CHANGE函數(shù)以及硬編碼信息（這是從MIT檔案中恢復(fù)的版本）。

3.ELIZA1966CACM：包括NEWKEY函數(shù)、關(guān)鍵詞堆棧和“but”分隔符。

4.ELIZA1967：添加了復(fù)雜的腳本處理，證據(jù)不僅來自魏岑鮑姆和泰勒的描述，也見于檔案中現(xiàn)存的ARITHM、F29、FIGURE腳本。

5.ELIZA1968+：對(duì)這個(gè)版本的計(jì)劃描述見于泰勒。不過，腳本SPACKS、INTRVW和FVP1也證明，在更為復(fù)雜的編程中，通過瓦爾特·丹尼爾（W.Daniel）開發(fā)的腳本文本，使用過這個(gè)版本。

魏岑鮑姆認(rèn)為，ELIZA開啟了人類依賴和信任計(jì)算機(jī)的先河，而未來這樣的例子還會(huì)越來越多。然而，這只是更大問題的一個(gè)元素而已，這個(gè)問題就是：

科學(xué)向人類許諾了權(quán)力。但就像在人類被權(quán)力的許諾誘惑時(shí)經(jīng)常發(fā)生的那樣，他事先就開始并且在整個(gè)過程中都在付出代價(jià)，而實(shí)際付出的代價(jià)，是奴役和無能。權(quán)力如果不是選擇的權(quán)力，那它就什么也不是。工具理性可以做決定，但決定和選擇完全不一樣。（Weizenbaum，1976：259）

當(dāng)時(shí)，人們圍繞ELIZA和PARRY展開了激烈的爭論——RRY是由肯尼斯·科爾比（K.Colby）于1972年設(shè)計(jì)的一個(gè)競品系統(tǒng)（關(guān)于二者的結(jié)合，參看Cerf，1973）。科爾比試圖創(chuàng)造一個(gè)具有偏執(zhí)型精神分裂癥特征的聊天機(jī)器人，這在當(dāng)時(shí)引發(fā)了巨大的爭議，并引起了人們對(duì)這類軟件意義的廣泛關(guān)注，這些爭論也繼續(xù)影響著當(dāng)代圍繞聊天機(jī)器人和AI的討論。

ELIZA提出的問題在大眾文化中得到了更廣泛的響應(yīng)。例如，“火象劇場”（The Firesign Theater）在1971年的專輯《我認(rèn)為我們都是這輛巴士上的笨蛋》（I Think We're All Bozos on This Bus）中虛構(gòu)了它的各種可能性。在這張專輯中，主人公克萊姆去“未來博覽會(huì)”參觀，在那里，他與一臺(tái)用模糊、聽起來積極且與提出的問題幾乎無關(guān)的回復(fù)來回答的計(jì)算機(jī)交談。當(dāng)克萊姆（他的名字被博覽會(huì)的人格化系統(tǒng)錯(cuò)聽成“阿克萊姆”）有機(jī)會(huì)提問時(shí)，他決定黑掉它，通過說“這是工作人員在說話。你好……”進(jìn)入系統(tǒng)的維護(hù)模式；那臺(tái)名叫DOCTOR MEMORY的計(jì)算機(jī)用“系統(tǒng)狀態(tài)：運(yùn)行時(shí)間”和運(yùn)行時(shí)長來響應(yīng)他。接著，克萊姆試圖通過提出無法理解，有時(shí)甚至無法解析的問題來使系統(tǒng)混亂，從而使系統(tǒng)崩潰。最后，克萊姆問：“為什么粥鳥要在空中下蛋？”這使得系統(tǒng)停止服務(wù)并關(guān)閉。這張專輯中出現(xiàn)了一個(gè)類似于ELIZA的系統(tǒng)，這讓許多懂行的人好奇，這樣內(nèi)行的技術(shù)行話怎么會(huì)出現(xiàn)在一張喜劇專輯上。這一直是一個(gè)謎，直到2015年，“火象劇場”最初的成員之一菲利普·普洛克特在Quora上用一條評(píng)論解釋說：“我（那張專輯里）所有的計(jì)算機(jī)語言，都是從我在洛杉磯工作博覽會(huì)上找到的一張人們與ELIZA心理治療師程序互動(dòng)的打印資料上學(xué)來的?！保≒roctor，2015）

蘋果的iPhone的AI聊天機(jī)器人Siri后來也提到了這個(gè)“大眾文化時(shí)刻”，它會(huì)用“你好阿克萊姆，我能為你執(zhí)行什么功能？”來回答“這是工作人員在說話。你好……”[14]是怎么被放進(jìn)Siri的，根據(jù)普洛克特的說法，是“史蒂夫·喬布斯在皮克斯一部普洛克特?fù)?dān)任配音演員的電影放映會(huì)上遇到他，告訴他自己是‘火象的忠實(shí)粉絲’，并要求把這個(gè)橋段加入Siri”（Tannenbaum，2015）。[15]這里所展示的，在這些例子中，ELIZA的影響和它提出的問題，從技術(shù)領(lǐng)域轉(zhuǎn)移到了文化領(lǐng)域，并加劇了智能機(jī)器出現(xiàn)給公眾帶來的不安。[16]

在魏岑鮑姆1966年的文章發(fā)表后不久，伯尼·科賽爾（B.Cosell）就用LISP編寫了一個(gè)ELIZA程序。這個(gè)程序以魏岑鮑姆公布的算法為基礎(chǔ)，不過重要的是，科賽爾并未見過實(shí)際的MADSLIP源代碼。LISP很快成為AI的主要語言，而魏岑鮑姆的DOCTOR腳本格式正是LISP的符號(hào)表達(dá)方式。此外，ELIZA的原始版本僅在學(xué)術(shù)圈小范圍流傳，這些因素很可能加深了那個(gè)長期存在的誤解，即ELIZA一開始就是用LISP編寫的。需要注意的是，科賽爾的代碼也未曾廣泛公布，而且該代碼直到2013年才被恢復(fù)?？瀑悹栕钪陌姹臼?966年的那一版，GNU的EMACS版和杰夫·施拉格（J.Shrager）的BASIC版都是基于此版本編寫的。后者最初發(fā)布于1973年，1977年由《創(chuàng)意計(jì)算雜志》（Creative Computing magazine）再版。[17]施拉格的ELIZA很短，能夠快速手動(dòng)重新鍵入，并且可以在任何支持BASIC語言（當(dāng)時(shí)這種情況很常見）的個(gè)人計(jì)算機(jī)上運(yùn)行（North，1977）。如今，多個(gè)系統(tǒng)上仍然存在類似的程序，包括手機(jī)版和能在網(wǎng)頁瀏覽器上運(yùn)行的Java版。這些版本就運(yùn)行的程序語言而言稍有不同，并且僅在長度上存在差異—科賽爾的LISP版包含2500行代碼，施拉格的BASIC程序僅有250行，其他版本則介于兩者之間。[18]

魏岑鮑姆后來在《計(jì)算機(jī)的力量和人的理性》中繼續(xù)闡述操縱和誤認(rèn)的危險(xiǎn)。在該書中，他認(rèn)為計(jì)算機(jī)會(huì)給人類用戶帶來無法預(yù)見的負(fù)面影響。魏岑鮑姆早期有將人的工作自動(dòng)化（如用計(jì)算機(jī)器取代銀行職員）的經(jīng)驗(yàn)，這影響了他日后對(duì)計(jì)算機(jī)給社會(huì)帶來挑戰(zhàn)的理解。魏岑鮑姆尤其擔(dān)心人的理性會(huì)被有效的程序所取代。對(duì)他而言，有效的程序是一種操作，這種操作能讓我們?cè)谛问綌?shù)學(xué)里定義一個(gè)問題域，使該問題域能被機(jī)器進(jìn)行后續(xù)計(jì)算。而這種思想的形式化又為將人類生活的各方面貶低為機(jī)器程序（如把計(jì)算當(dāng)作思考）創(chuàng)造了條件，引出大多數(shù)人的這一問題：

根本不理解計(jì)算機(jī)。所以，除非他們有很強(qiáng)的懷疑能力……否則就只能運(yùn)用自己能想到的唯一一個(gè)類比，即按照自己的思考能力為模型，來解釋計(jì)算機(jī)的智力壯舉。（Weizenbaum，1976：10）

也就是說，存在一個(gè)共同假設(shè)：計(jì)算機(jī)對(duì)行為的抽象有助于解釋機(jī)器的運(yùn)作。在當(dāng)代計(jì)算社會(huì)中，人們有充分的動(dòng)力采用理性化、插入算法的行動(dòng)和思維方式，自魏岑鮑姆寫下相關(guān)文字以來，這種動(dòng)力有增無減。例如，引入可測量的性能指標(biāo)和輸出標(biāo)準(zhǔn)，以及以計(jì)算為前提的監(jiān)控和監(jiān)視。我們還發(fā)現(xiàn)，在資本主義社會(huì)中，相較于互動(dòng)（對(duì)話），常規(guī)工作反而增多了。同樣嚴(yán)重的是算法系統(tǒng)缺乏合法性，部分原因在于，這些系統(tǒng)在加劇與民主權(quán)威相關(guān)的結(jié)構(gòu)問題（包括它們?cè)谕ㄐ藕兔襟w系統(tǒng)中日益廣泛的部署）的同時(shí)，自身仍然不透明，它們不斷增強(qiáng)的影響力表明，它們有可能產(chǎn)生系統(tǒng)性危害，造成危險(xiǎn)的系統(tǒng)故障（Berry，2014）。也許，只要稍微回顧一下2008—2011年的美國次貸危機(jī)，就能發(fā)現(xiàn)與理性化和計(jì)算相結(jié)合的“算計(jì)式理性”（calculativereason）與以利潤為導(dǎo)向的公司和個(gè)人會(huì)形成多么令人頭疼的組合。魏岑鮑姆敏銳地察覺到了這些問題，并試圖闡明其中的重要議題，他評(píng)論道：“我們的社會(huì)對(duì)計(jì)算機(jī)系統(tǒng)（最初，我們只想讓它們‘幫助’人們進(jìn)行分析和決策）的依賴日益加深，早已超出用戶的理解范圍，并且對(duì)用戶來說變得不可或缺（……這）是一個(gè)非常嚴(yán)重的發(fā)展。”（Weizenbaum，1976：236）

在這里，魏岑鮑姆所指的是算法化帶來的物化與形式化，以及我們構(gòu)建系統(tǒng)的方式。在創(chuàng)建系統(tǒng)時(shí)，人們不再確切知曉或理解系統(tǒng)的運(yùn)作及決策方式。這就產(chǎn)生了一種危險(xiǎn)：因害怕未知的后果，我們不愿修正系統(tǒng)。這進(jìn)而引出了增強(qiáng)技術(shù)所體現(xiàn)和支持的人的主體間歷史概念的創(chuàng)造與維持問題。魏岑鮑姆1976年的評(píng)論就觸及了這一點(diǎn)，他說：“《紐約時(shí)報(bào)》已經(jīng)開始建立一個(gè)實(shí)時(shí)數(shù)據(jù)庫……這離讓系統(tǒng)來判定什么算事實(shí)，進(jìn)而直接宣布其他所有知識(shí)、所有記憶不合法還有多遠(yuǎn)呢？”（Weizenbaum，1976：238）在復(fù)雜系統(tǒng)、龐大的數(shù)據(jù)集合與快速流動(dòng)的數(shù)據(jù)流之間進(jìn)行協(xié)調(diào)的能力，為社會(huì)將“規(guī)模”作為一個(gè)新的智識(shí)視域來運(yùn)用提供了條件。在業(yè)界和知識(shí)界的研究中可以看到，人們?cè)絹碓蕉嗟剡\(yùn)用計(jì)算系統(tǒng)對(duì)復(fù)雜的“大數(shù)據(jù)”現(xiàn)象進(jìn)行抽象、簡化和可視化處理，并且傾向于使用過于簡單化的因果和統(tǒng)計(jì)模型來理解復(fù)雜的社會(huì)現(xiàn)象，“社會(huì)物理學(xué)”概念就是一個(gè)例證（Pentland，2015）。魏岑鮑姆可能會(huì)評(píng)論說，這種“技術(shù)、政治和社會(huì)的不可避免性”的混合，“對(duì)良知來說是一種強(qiáng)大的鎮(zhèn)靜劑”，它不但賦予計(jì)算決定的權(quán)力，還賦予其行動(dòng)的權(quán)力（Weizenbaum，1976：241）。

魏岑鮑姆依據(jù)他和ELIZA及其他系統(tǒng)打交道的經(jīng)驗(yàn)論證稱，我們必須對(duì)人工智能及其技術(shù)發(fā)展持批判態(tài)度，如此才能理解當(dāng)下的處境，并且防止其失控：

我不太清楚計(jì)算機(jī)科學(xué)及其分支學(xué)科（AI）是否尤其偏愛委婉。我們?nèi)绱丝鋸堄中廊坏卣務(wù)撃芾斫?、能觀看、能決定、能下判斷等的計(jì)算機(jī)系統(tǒng)，卻不承認(rèn)自己在這些概念上的淺薄與極度的天真。而且，在這樣的談?wù)撨^程中，我們麻痹了評(píng)估自身工作質(zhì)量的能力，更重要的是，麻痹了識(shí)別和認(rèn)知其最終用途的能力。（Weizenbaum，1987：44）

人類與 ELIZA 的 DOCTOR 之間的對(duì)話

四、現(xiàn)代的迭代

魏岑鮑姆指出，人的思想和勞動(dòng)自動(dòng)化存在危險(xiǎn)。這要求我們以一種拒絕忽視和平息現(xiàn)象層面的矛盾及矛盾主張、努力把握主體動(dòng)態(tài)時(shí)刻（dynamicmoment）的方式來解釋。這種解釋方式要始終為批判反思理解算法的歷史和傳統(tǒng)留出空間，接受傳統(tǒng)意義結(jié)構(gòu)的重要性，同時(shí)力求避免將其理想化。也就是說，在這些計(jì)算社會(huì)中，傳統(tǒng)可能繼續(xù)表現(xiàn)為基于欺騙和扭曲的互動(dòng)，而這種互動(dòng)往往會(huì)被不加反思地轉(zhuǎn)換為算法形式，用魏岑鮑姆的話來說：

我們所討論的各種系統(tǒng)的程序都具備一些非常重要的特征：從某種意義上說，它們都很簡單;它們都會(huì)扭曲和濫用語言;在否認(rèn)規(guī)范內(nèi)容的同時(shí)，它們也都支持一種基于專業(yè)知識(shí)的威權(quán)主義。（Weizenbaum，1976：248）

現(xiàn)在，為進(jìn)一步強(qiáng)調(diào)這點(diǎn)，我想簡要考察一個(gè)例子，它將說明ELIZA的界面可能性與我們對(duì)計(jì)算機(jī)功能的預(yù)期為何可能以極其反人類的方式互動(dòng)。在這個(gè)例子里，社會(huì)沖突內(nèi)嵌于算法機(jī)器，勞動(dòng)通過界面被轉(zhuǎn)化為一種商品。這個(gè)例子就是用于隱藏社會(huì)勞動(dòng)，使工人隱藏在網(wǎng)頁表單、聊天機(jī)器人和應(yīng)用程序接口（這些能讓雇主將自己視為創(chuàng)新技術(shù)的建造者，而非不關(guān)心工作條件的老板）背后的計(jì)算（Irani&Silberman，2013：613）。在此語境下，算法造就的“自由”和“創(chuàng)造”可能實(shí)際上只是掩蓋了控制和管理系統(tǒng)而已。

為理解社會(huì)沖突如何隱藏于算法形式之中，研究在新計(jì)算技術(shù)條件下才成為可能的現(xiàn)代生成式AI系統(tǒng)（或聊天機(jī)器人）是有益的。從某種意義上講，這是“大腦之間的合作”。斯蒂格勒（Stiegler，2010：47）指出，這種合作“通過語法化系統(tǒng)產(chǎn)生，該系統(tǒng)使神經(jīng)系統(tǒng)活動(dòng)最高水平上的所有質(zhì)性任務(wù)的無產(chǎn)階級(jí)化成為可能”。關(guān)鍵是，這是對(duì)勞動(dòng)力的實(shí)時(shí)抽象，將勞動(dòng)力抽象為一種潛能，一種像電力或水一樣按需持續(xù)供應(yīng)的“勞動(dòng)力流”。經(jīng)由聊天機(jī)器人和應(yīng)用的調(diào)節(jié)，這種抽象造就了一種高度異化的勞動(dòng)力。從某種意義上說，這種勞動(dòng)力實(shí)現(xiàn)了控制論系統(tǒng)，該系統(tǒng)試圖在緊密聯(lián)系的反饋回路中讓機(jī)器與人緊密耦合。這也描繪了魏岑鮑姆在《計(jì)算機(jī)的力量和人的理性》中所警告的威脅。

這方面的范例當(dāng)屬OpenAI的ChatGPT。該公司首席執(zhí)行官稱ChatGPT能改變資本主義：“技術(shù)的改進(jìn)及其對(duì)社會(huì)的積極影響將持續(xù)指數(shù)級(jí)增長?！保↘onrad&Cai，2023）ChatGPT是基于生成式預(yù)訓(xùn)練Transformer模型[大語言模型（LLM）的一種]的聊天機(jī)器人，LMM是基于真實(shí)對(duì)話、文本以及像Reddit那樣的平臺(tái)上的文章訓(xùn)練而成的。它讓當(dāng)代觀察者感到驚奇，因?yàn)橥ㄟ^輸入和問題來提示系統(tǒng)，它似乎將書面文本的生產(chǎn)機(jī)械化了。同時(shí)，系統(tǒng)的力量實(shí)際上隱藏在聊天機(jī)器人的“界面”之后。這種既通過軟件匯集人類文化生產(chǎn)，又將其作為計(jì)算系統(tǒng)儲(chǔ)備資源的想法，體現(xiàn)了魏岑鮑姆有先見之明地警示過的計(jì)算社會(huì)中流行的控制論思想。從很多方面來看，這使人類活動(dòng)變得離散。不過，這也是人通過用于協(xié)調(diào)更普遍文化生產(chǎn)的計(jì)算層的非人化。它還表明界面如何將表面之下進(jìn)行的社會(huì)勞動(dòng)物化，從而使機(jī)器能夠真正將數(shù)百萬人類寫作和對(duì)話的痕跡據(jù)為己有，而這一切都是人們沒有意識(shí)到且未曾同意的。

這也開啟了按需求進(jìn)行管理、控制、監(jiān)控、分解與再集合的自動(dòng)化文化生產(chǎn)的可能性。資本主義公司將其操作化后，就有造成社會(huì)休克的危險(xiǎn)，因?yàn)樾碌募夹g(shù)實(shí)踐往往能避開勞動(dòng)法與勞動(dòng)保護(hù)的監(jiān)管，還能帶來巨大利潤。

這可能扭曲更廣泛的經(jīng)濟(jì)，這是缺乏政府監(jiān)管和工會(huì)等勞動(dòng)組織監(jiān)督的結(jié)果。或許我們還會(huì)發(fā)現(xiàn)，未來的社會(huì)沖突與這種自動(dòng)化系統(tǒng)的擴(kuò)大使用有關(guān)。實(shí)際上，它們營造出一種算法拜物教的感覺，勞動(dòng)被算法掩蓋，這意味著通過面板界面和編程代碼互動(dòng)的程序員或用戶無須承認(rèn)勞動(dòng)的社會(huì)性。對(duì)界面另一邊的工人來說，對(duì)能動(dòng)性、體力勞動(dòng)、情感控制和自我規(guī)訓(xùn)的要求可能造成嚴(yán)重的心理緊張（在失范與宿命論之間切換）。消費(fèi)者或客戶的一條差評(píng)就可能立即導(dǎo)致失業(yè)，而且資方幾乎不會(huì)給出解雇原因。這是否會(huì)為必要性政治和社會(huì)學(xué)反身性創(chuàng)造條件還有待觀察，但它肯定是傳統(tǒng)工人階級(jí)之外未來勞動(dòng)祛魅的一個(gè)可能來源。我們?cè)诋?dāng)前流行的基于文本界面的聊天機(jī)器人中也能看到類似的例子。和ELIZA一樣，這些聊天機(jī)器人也是部分自動(dòng)化、部分由人來管理客戶的詢問和問題（Marino，2006）。不用說，ELIZA啟發(fā)創(chuàng)造認(rèn)知工廠的計(jì)算系統(tǒng)這一想法會(huì)讓魏岑鮑姆感到恐懼。

通過使用這種新范式，運(yùn)用生成式AI的系統(tǒng)指出了新一類知識(shí)—權(quán)力化界面的各種可能性。在此，機(jī)器被界面模糊，它可能是人類勞動(dòng)、聊天機(jī)器人或者其他形式的AI。從界面用戶的視角看，沒有任何差別。這個(gè)程序?qū)㈥P(guān)系物化，在用戶與底層過程之間創(chuàng)造出一種命令—執(zhí)行關(guān)系。對(duì)手段的模糊（不論它可能編碼何種剝削關(guān)系）以及在計(jì)算系統(tǒng)中對(duì)真實(shí)人類進(jìn)行理性化和抽象所帶來的后果，也讓人聯(lián)想到魏岑鮑姆1976年的評(píng)論：

當(dāng)個(gè)體不被當(dāng)作完整的人來對(duì)待時(shí)，就被非人化了。各種形式的人類和社會(huì)工程……在繞過人的語境，尤其是繞開那些賦予人的語言以真實(shí)意義的語境時(shí)，就在做這樣的事。（Weizenbaum，1976：266）

五、關(guān)于生成式AI意義的反思

通過考察先前有關(guān)早期計(jì)算的論證和討論，我們找到了一種反思當(dāng)下困境與問題的有用方式，這些困境與問題出現(xiàn)在我們急于將社會(huì)合理化和計(jì)算機(jī)化之時(shí)。身為計(jì)算科學(xué)家，魏岑鮑姆樂于反思自己的實(shí)踐及其工作的意義：

這應(yīng)該教會(huì)我們什么呢？特別是就至少保住甚至增加人在人類事務(wù)中的選擇這一問題而言。當(dāng)然是，與其說構(gòu)建可靠的計(jì)算機(jī)軟件依靠計(jì)算機(jī)科學(xué)的研究成果，不如說是對(duì)人類狀況更深入的理論理解。（Rosenberg，1980：103）

雖然ELIZA放在今天或許顯得原始，但它仍反映出諸多設(shè)計(jì)決策，這些決策在我們?nèi)缃袷褂玫南到y(tǒng)中依舊有所體現(xiàn)，比如人機(jī)如何互動(dòng)，以及應(yīng)在多大程度上允許計(jì)算管理我們的生活與心智等。它還表明，早期軟件的發(fā)展脈絡(luò)對(duì)于理解我們?cè)诤畏N程度上必須始終對(duì)過去的假設(shè)以及技術(shù)可能且應(yīng)該如何發(fā)展的想法保持質(zhì)疑非常關(guān)鍵。雖然如今我們不會(huì)把ELIZA視為AI（即便過去我們?cè)羞^這種錯(cuò)誤認(rèn)知），但我們也應(yīng)認(rèn)識(shí)到，類似的工具合理性仍然內(nèi)置于機(jī)器學(xué)習(xí)和當(dāng)今的AI系統(tǒng)之中。

今天的計(jì)算機(jī)科學(xué)環(huán)境與魏岑鮑姆當(dāng)時(shí)的環(huán)境有實(shí)質(zhì)性不同。他在學(xué)院環(huán)境下工作，雖得到美國國防部MAC計(jì)劃的項(xiàng)目資助，卻從實(shí)驗(yàn)研究視角探索技術(shù)（如ELIZA）。如今，AI日益被資本主義需求所涵蓋（Berry，2021;McQuillan，2023）。多數(shù)AI的發(fā)展趨向計(jì)算的歷史規(guī)范，包括強(qiáng)調(diào)技術(shù)層面將控制與執(zhí)行分開的能力。計(jì)算的批判史顯示，這種方法常被用于與資本主義相符的進(jìn)程，其中隱含一套假設(shè)，如在構(gòu)建社會(huì)關(guān)系時(shí)對(duì)市場優(yōu)先性的先驗(yàn)假設(shè)。其次——在我看來與之不無關(guān)聯(lián)——當(dāng)前理解AI的方式傾向于促使人們對(duì)其運(yùn)作進(jìn)行形而上學(xué)或形式主義的辯護(hù)與解釋。這可能使思想的數(shù)學(xué)化成為一種價(jià)值，在這種價(jià)值觀念下，思想的形式化不僅是思考AI的一種方式，而且是唯一可效仿的方式。這可能催生一種傾向于理念論，卻不關(guān)注誰擁有和控制新“認(rèn)知手段”的計(jì)算理論，就如布萊茲·帕斯卡爾在17世紀(jì)評(píng)論的那樣：

數(shù)學(xué)的心智（esprit de geométrie，幾何學(xué)精神）和直覺的心智（esprit de finesse，敏感性精神）是存在差別的。數(shù)學(xué)家不講直覺，原因在于他們看不到眼前的事物。他們習(xí)慣了明確、顯而易見的數(shù)學(xué)原理，習(xí)慣在正確理解和處理原理之前就得出結(jié)論，所以在需要直覺的問題中就會(huì)迷失。在這類問題里，原理不能像之前那樣被處理……這些事物極為微妙且眾多，需要一種非常微妙和精確的性情去感受它們，然后依據(jù)這種感知做出準(zhǔn)確、正確的判斷。最常見的情況是，我們無法像在數(shù)學(xué)中那樣從邏輯上對(duì)其進(jìn)行證明，因?yàn)槲覀冋J(rèn)識(shí)原理的方式不同，那樣做會(huì)是一項(xiàng)無盡的任務(wù)。“真”必須直接去看，一眼便知，至少在一定程度上不需要通過推理過程。所以，數(shù)學(xué)家很少按直覺行事，憑直覺行事的人也很少是數(shù)學(xué)家。因?yàn)閿?shù)學(xué)家想用數(shù)學(xué)的方式處理直覺方面的事物，他們荒謬地想從定義開始，再按照原理……倒不是說心智不會(huì)這么做，而是說，心智會(huì)沉默、自然而簡單地這樣做。（Pascal，1995：151，譯文有改動(dòng)）

在不否認(rèn)人文學(xué)科或社會(huì)科學(xué)對(duì)AI或機(jī)器學(xué)習(xí)的研究方法尚不成熟的情況下，我想魏岑鮑姆會(huì)認(rèn)同，AI思考中的嚴(yán)重問題確切地說正是這樣一個(gè)假設(shè)：數(shù)學(xué)化或形式化是理解的前提。畢竟，魏岑鮑姆本人解釋過：

他們一開始可能只是相信，自己采用的運(yùn)算不過是在描述所處理現(xiàn)象時(shí)一種便捷的速記方式。但隨著他們用從外部語境借來的基本要素構(gòu)建出越來越龐大的概念框架，為這些框架命名，并且像操控更復(fù)雜思想體系的元素一樣操控它們，這些框架就不再僅僅是描述方式了，而是像馬斯洛的錘子一樣，成為他們世界觀的規(guī)定。（Weizenbaum，1976：102）

隨著以ChatGPT這類系統(tǒng)為代表的機(jī)器學(xué)習(xí)不斷進(jìn)步，人類思維能力被毀滅這一危險(xiǎn)（可能會(huì)被誤解為只是AI偶然的副作用）已隨之而來了。不過，對(duì)于任何技術(shù)而言，在創(chuàng)造技術(shù)、應(yīng)用技術(shù)以及圍繞技術(shù)在社會(huì)中的使用進(jìn)行限制和管制方面，人類總有選擇。魏岑鮑姆富有先見之明地認(rèn)識(shí)到，無知、無意義的機(jī)器可能會(huì)對(duì)我們的理解能力、主體間交流能力以及基本人性構(gòu)成挑戰(zhàn)。他發(fā)現(xiàn)人類對(duì)彼此存在自然的同理心，也明白這種同理心可能會(huì)被錯(cuò)誤地導(dǎo)向計(jì)算機(jī)，還認(rèn)識(shí)到對(duì)于技術(shù)主義者來說，利用這種同理心誤導(dǎo)或欺騙人們以謀取利益、煽動(dòng)或說服他們，乃至破壞民主本身具有巨大的誘惑。我們正生活在ELIZA所指向，而魏岑鮑姆試圖警示的未來。現(xiàn)在，聽從他的警告，明確可計(jì)算事物的限度是我們的責(zé)任。[20]

首先，魏岑鮑姆開發(fā)ELIZA的初衷是探索計(jì)算機(jī)與人類交互的可能性。在當(dāng)時(shí)的技術(shù)環(huán)境下，這是一項(xiàng)極具開創(chuàng)性的工作。他的貢獻(xiàn)不僅在于創(chuàng)造了一個(gè)可模擬對(duì)話的程序，更在于引發(fā)了人們對(duì)人工智能本質(zhì)的深入思考。