·“我們現(xiàn)在仍舊在加緊迭代MOSS，預(yù)計(jì)將于4月中旬開源。整體而言，MOSS基于公開的中英文數(shù)據(jù)訓(xùn)練，目前已經(jīng)擁有200億參數(shù)，具有和人類對(duì)話的能力，并可以通過與人類交互實(shí)現(xiàn)迭代優(yōu)化。但與此同時(shí)，盡管對(duì)語言的理解能力和ChatGPT已經(jīng)非常相近，但是目前MOSS的整體完成度卻并不高，主要原因在于MOSS在部署和訓(xùn)練上投入的資本還非常有限。”

復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院教授、MOSS系統(tǒng)負(fù)責(zé)人邱錫鵬。

近日，在復(fù)旦大學(xué)管理學(xué)院主辦的“Beyond ChatGPT：大型語言模型引發(fā)的時(shí)代變革”復(fù)旦科創(chuàng)先鋒論壇上，復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院教授、MOSS系統(tǒng)負(fù)責(zé)人邱錫鵬從技術(shù)和原理的角度深度解構(gòu)ChatGPT模型，并介紹了國(guó)內(nèi)首個(gè)類ChatGPT模型MOSS的相關(guān)細(xì)節(jié)。

ChatGPT為什么這么強(qiáng)？

ChatGPT是2022年底由美國(guó)OpenAI公司發(fā)布的人工智能模型，60天內(nèi)月活用戶直接破億，成為史上用戶增長(zhǎng)最快的消費(fèi)級(jí)應(yīng)用，其主要功能就是與人類直接對(duì)話，比爾·蓋茨稱贊它是繼PC和互聯(lián)網(wǎng)之后技術(shù)上的又一次全新突破。

ChatGPT所展現(xiàn)出的令人驚艷的對(duì)話、理解與表達(dá)能力，讓越來越多人意識(shí)到人工智能已經(jīng)迎來了全新的里程碑，并且有望作為一個(gè)至關(guān)重要的基座系統(tǒng)，以前所未有的速度滲透進(jìn)各行各業(yè)，持續(xù)引爆未來世界的數(shù)字經(jīng)濟(jì)體系。

那么，ChatGPT背后的技術(shù)原理到底是什么呢？

在正式解答這個(gè)問題之前，邱錫鵬認(rèn)為，首先有必要先了解一下“語言模型”（Language Model）。語言模型，即利用計(jì)算機(jī)去重新建模人類語言，把自然語言轉(zhuǎn)化為機(jī)器能夠理解并判斷的語言的一種機(jī)制。

人類的自然語言是十分靈活的，它一方面有規(guī)則，另一方面又隨時(shí)可以打破規(guī)則，甚至存在巨大的歧義性，任何一句話，放在不同的情景下，大家對(duì)其理解都會(huì)大不相同，這就給建模造成了極大的困難與挑戰(zhàn)。

人們可以利用概率判斷來進(jìn)行語句處理。如果這個(gè)句子符合自然語言的規(guī)律，就賦予它一個(gè)比較高的概率，反之，則賦予它一個(gè)比較低的概率。不過這樣的話，新的問題又產(chǎn)生了：應(yīng)該怎么去賦予句子以概率？

據(jù)邱錫鵬介紹，這就需要我們從互聯(lián)網(wǎng)上獲取海量的文本數(shù)據(jù)。但這也是一個(gè)難題，這個(gè)概率空間很大，難以直接建模。目前的解決方案是通過把整個(gè)句子的聯(lián)合概率拆解成其中每個(gè)詞的條件概率的連乘，大幅降低語言模型的建模難度。這樣語言模型就轉(zhuǎn)換為給定上文預(yù)測(cè)下文的機(jī)器學(xué)習(xí)任務(wù)。

語言模型，即利用計(jì)算機(jī)去重新建模人類語言，把自然語言轉(zhuǎn)化為機(jī)器能夠理解并判斷的語言的一種機(jī)制。

一個(gè)好的語言模型，要想預(yù)測(cè)得越準(zhǔn)，就越需要充分理解人類語言和世界常識(shí)。比如讓模型預(yù)測(cè)雞蛋是圓的而不是方的，本身便隱含著一定的生活常識(shí)。此外，在語言學(xué)上還有一個(gè)非常難的問題叫“指代”，比如說，“你”“我”“他”是代詞，但是到底指的是誰卻不知道，有些中文場(chǎng)景下，預(yù)測(cè)時(shí)甚至連代詞都直接省略了，這就需要通過上下文補(bǔ)全，才能夠把下一個(gè)詞預(yù)測(cè)得更加準(zhǔn)確。

只要見的公式足夠多，模型也還是能夠捕捉到“×”是什么規(guī)則，“+”是什么規(guī)則，從數(shù)據(jù)中完成自我學(xué)習(xí)。

再比如說“12×3+9=？”，則需要預(yù)測(cè)這個(gè)數(shù)學(xué)公式的結(jié)果。但是在訓(xùn)練時(shí)未必會(huì)告訴模型“×”代表什么意思，“+”代表什么意思，只是輸入大量數(shù)學(xué)公式讓它自己訓(xùn)練。然而只要見的公式足夠多，模型也還是能夠捕捉到“×”是什么規(guī)則，“+”是什么規(guī)則，從數(shù)據(jù)中完成自我學(xué)習(xí)。

為什么能夠自我學(xué)習(xí)？這里面有一個(gè)信息壓縮的概念，比如說有一萬億個(gè)詞，可以把它原封不動(dòng)保存在硬盤上，也可以用10億個(gè)參數(shù)的神經(jīng)網(wǎng)絡(luò)把所有的語料知識(shí)記住。這就迫使神經(jīng)網(wǎng)絡(luò)不單要把這些淺層的知識(shí)存下來，還要把其中所蘊(yùn)含的知識(shí)、規(guī)律累計(jì)下來，因?yàn)橛泻芏嘈畔⑹侨哂嗟?。道理很?jiǎn)單：把規(guī)律記下來就可以勝過很多淺層的文字。通過這樣的方式，迫使語言模型努力發(fā)現(xiàn)這些文字背后所蘊(yùn)含的各種各樣的規(guī)律，從而使這個(gè)模型更好地理解人類語言和世界知識(shí)。

另外，在大型語言模型使用的神經(jīng)網(wǎng)絡(luò)構(gòu)架方面，邱錫鵬提到Transformer，這個(gè)詞的本意是變壓器，有輸入和輸出，是一個(gè)類似于雙塔式的結(jié)構(gòu)。帶入到語言模型里面，就是進(jìn)去一個(gè)句子，出來另一個(gè)句子，給定上句預(yù)測(cè)下句的特定網(wǎng)絡(luò)模型。

Transformer這個(gè)詞的本意是變壓器，有輸入和輸出，是一個(gè)類似于雙塔式的結(jié)構(gòu)。

如今Transformer已經(jīng)在整個(gè)人工智能領(lǐng)域成為了最主流的架構(gòu)體系。除了能力強(qiáng)之外，還有一個(gè)非常重要的原因在于它的架構(gòu)設(shè)計(jì)對(duì)于GPU（圖形處理器）運(yùn)算特別友好。因?yàn)門ransformer架構(gòu)和卷積、循環(huán)神經(jīng)網(wǎng)絡(luò)不一樣，卷積、循環(huán)神經(jīng)網(wǎng)絡(luò)都是在GPU誕生之前設(shè)計(jì)的，然后再去實(shí)現(xiàn)GPU加速。而Transformer則出現(xiàn)在GPU之后，所以設(shè)計(jì)方面就可以天然地充分考慮最大限度利用GPU能力，更容易做到大規(guī)模語言模型的效果。

不過，要想讓模型的預(yù)測(cè)更準(zhǔn)確，就勢(shì)必需要大量的參數(shù)對(duì)其進(jìn)行訓(xùn)練，以幫助大規(guī)模語言模型充分理解人類語言規(guī)則及其邏輯關(guān)系。目前在Transformer的加持之下，研究人員已經(jīng)可以把模型規(guī)模做到百億級(jí)、千億級(jí)。這就是如今的大型語言模型（Large Language Model）。在大型語言模型當(dāng)中，可以通過輸入一些上文，經(jīng)過語言模型背后的仿人類神經(jīng)元構(gòu)成的Transformer神經(jīng)網(wǎng)絡(luò)加工處理，從而實(shí)現(xiàn)對(duì)下一個(gè)詞的預(yù)測(cè)，并輸出相應(yīng)文本。

“而在訓(xùn)練過程當(dāng)中，科學(xué)家發(fā)現(xiàn)，計(jì)算量大概在10的22次方之后，模型能力會(huì)完成從量變到質(zhì)變的飛躍，呈現(xiàn)出驚人的爆發(fā)式增長(zhǎng)，我們通常也將其稱之為‘涌現(xiàn)能力’?！鼻皴a鵬說。

計(jì)算量大概在10的22次方之后，模型能力會(huì)完成從量變到質(zhì)變的飛躍，呈現(xiàn)出驚人的爆發(fā)式增長(zhǎng)，我們通常也將其稱之為“涌現(xiàn)能力”。

涌現(xiàn)能力背后隱藏著哪些關(guān)鍵技術(shù)？

“大型語言模型在達(dá)到百億級(jí)規(guī)模后開始獲得‘涌現(xiàn)能力’，而涌現(xiàn)能力的背后，則進(jìn)一步隱含著三個(gè)非常重要的技術(shù)：情景學(xué)習(xí)、思維鏈和指令學(xué)習(xí)，這也是ChatGPT得以在人工智能領(lǐng)域叱咤風(fēng)云的關(guān)鍵原因。”邱錫鵬說。

涌現(xiàn)能力的背后隱含著三個(gè)非常重要的技術(shù)：情景學(xué)習(xí)、思維鏈和指令學(xué)習(xí)。

情景學(xué)習(xí)（In-context Learning）深刻改變了傳統(tǒng)機(jī)器學(xué)習(xí)范式，只需要通過一系列精心設(shè)計(jì)的條件語句（Prompt），對(duì)任務(wù)進(jìn)行詳細(xì)描述，然后再輔以一些情景例子，就能夠讓模型參考著既定例子完成特定任務(wù)。

邱錫鵬舉了個(gè)例子，如果現(xiàn)在想要開發(fā)一個(gè)電影評(píng)論的情感分類器，去統(tǒng)計(jì)某部電影的評(píng)分到底是正面居多還是負(fù)面居多，那么就可以設(shè)計(jì)一個(gè)條件語句，先對(duì)任務(wù)進(jìn)行描述，比如：“這是一個(gè)電影評(píng)論情感分類器。評(píng)論：‘我喜歡這部電影！’這條評(píng)論是正面的。評(píng)論：‘我不知道，它還行吧?！@條評(píng)論是中立的。評(píng)論：‘真是浪費(fèi)時(shí)間，不推薦這部電影?！@條評(píng)論是負(fù)面的?！蹦敲茨Ｐ途蜁?huì)自動(dòng)結(jié)合上下文進(jìn)行學(xué)習(xí)并預(yù)測(cè)。這種模式跟傳統(tǒng)的將知識(shí)直接儲(chǔ)存在參數(shù)里，顯然是不太一樣的，也在一定程度上揭示了為什么ChatGPT通常是以多輪對(duì)話的形式來呈現(xiàn)。

事實(shí)上，對(duì)于ChatGPT來說，每一次接受人類發(fā)來的對(duì)話，它都會(huì)把之前的聊天歷史全部作為上文，輸入給語言模型，然后由語言模型續(xù)寫出一個(gè)下文，反饋給用戶。這樣讓一個(gè)大型語言模型直接和人類進(jìn)行交互，從產(chǎn)品創(chuàng)新的角度確實(shí)是非常有智慧和遠(yuǎn)見。

情景學(xué)習(xí)（In-context Learning）深刻改變了傳統(tǒng)機(jī)器學(xué)習(xí)范式。

模型能力可以通過擴(kuò)大參數(shù)規(guī)模來提升，但是谷歌的研究員卻另辟蹊徑，想了一個(gè)更好的方法：將模型具有把一個(gè)復(fù)雜問題分解為多步推理的簡(jiǎn)單問題，讓模型能夠明白并學(xué)習(xí)人類到底是怎么一步一步推導(dǎo)到這個(gè)答案的，這個(gè)就叫做思維鏈（Chain-of-Thought）。

“大型語言模型經(jīng)過海量預(yù)訓(xùn)練之后，已經(jīng)見過了很多推理方式，我們只需要一步一步引導(dǎo)，就可以讓它按照你想要的方式去推理?！鼻皴a鵬說，思維鏈方式進(jìn)一步解放了模型潛力，讓本來模型不會(huì)解的一個(gè)個(gè)復(fù)雜問題，可以有辦法分解成很多簡(jiǎn)單問題，然后通過逐一解決簡(jiǎn)單問題，最終使得復(fù)雜問題同樣迎刃而解。

至于自然指令學(xué)習(xí)（Learning from Natural Instructions），傳統(tǒng)上，機(jī)器學(xué)習(xí)都需要大量標(biāo)記數(shù)據(jù)，才能讓機(jī)器學(xué)習(xí)模型從數(shù)據(jù)當(dāng)中實(shí)現(xiàn)學(xué)習(xí)。但是標(biāo)數(shù)據(jù)本身又非常繁瑣，人類總歸是希望語言模型最好能夠直接從指令中進(jìn)行學(xué)習(xí)，能夠直接聽懂人的意圖。

而事實(shí)也證明，這個(gè)思路是可行的，甚至人類只需要在少量的任務(wù)上進(jìn)行指令化，在經(jīng)歷大概40多個(gè)任務(wù)指令化之后對(duì)模型進(jìn)行適度微調(diào)，就很容易泛化到上百、上千種任務(wù)，即使那些任務(wù)可能從來沒有見過，它也仍舊能夠很好地進(jìn)行應(yīng)對(duì)。

邱錫鵬認(rèn)為，現(xiàn)在技術(shù)領(lǐng)域唯一存在的問題可能是：很多現(xiàn)有任務(wù)的指令化，尚未真正能夠與人類實(shí)現(xiàn)“對(duì)齊”。盡管自然指令學(xué)習(xí)大幅提升了泛化能力，但是對(duì)人類真實(shí)意圖的理解仍然有著很大差異，OpenAI（ChatGPT的開發(fā)機(jī)構(gòu)）就希望收集真實(shí)的人類意圖，讓專家來寫答案，從而更好地與人類偏好進(jìn)行匹配。“在這個(gè)過程當(dāng)中，人的參與意義非常重要，使得機(jī)器在迭代中始終保持和人類的價(jià)值觀、思維方式對(duì)齊，也避免了機(jī)器自己迭代起來有可能會(huì)離人類的偏好和初衷越來越遠(yuǎn)?！鼻皴a鵬說。

MOSS是如何煉成的？

“在了解了ChatGPT背后的這些基本技術(shù)原理之后，我們大致就可以嘗試復(fù)現(xiàn)這一大型語言模型了。”邱錫鵬接著說。

第一步需要先實(shí)現(xiàn)語言模型基座，第二步是指令微調(diào)，第三步是能力不斷強(qiáng)化迭代。雖然這些關(guān)鍵步驟以及發(fā)展大勢(shì)都已經(jīng)十分明朗，但每一步的細(xì)節(jié)都需要我們自己去一一摸索，還是充滿著各種未知的挑戰(zhàn)性。

第一步需要先實(shí)現(xiàn)語言模型基座，第二步是指令微調(diào)，第三步是能力不斷強(qiáng)化迭代。

關(guān)于第一步，MOSS團(tuán)隊(duì)主要是在Transformer架構(gòu)上進(jìn)行模塊優(yōu)化。在這其中最具挑戰(zhàn)性的是，讓模型處理中文。

“首先，對(duì)于ChatGPT來說，它并沒有特別關(guān)注中文，很多時(shí)候只是直接把中文按照英文的方式進(jìn)行編碼，我們作為中國(guó)人自然是希望對(duì)中文進(jìn)行優(yōu)化，就需要重新實(shí)現(xiàn)更好的中文編碼，并想辦法把中文和英文打通；此外，將來如果接入多模態(tài)，編碼問題同樣會(huì)帶來架構(gòu)設(shè)計(jì)以及訓(xùn)練穩(wěn)定性等諸多問題與麻煩?！鼻皴a鵬說。

其次，關(guān)于指令微調(diào)，邱錫鵬認(rèn)為，指令微調(diào)的難度甚至比預(yù)訓(xùn)練更高，“在預(yù)訓(xùn)練階段，大家可以利用一些大公司成熟的預(yù)訓(xùn)練模型，在短時(shí)間內(nèi)取得不錯(cuò)的訓(xùn)練效果；但是指令微調(diào)則非常難以立馬做到，這一點(diǎn)上和OpenAI之間存在著非常明顯的差距?！?/p>

在與人類對(duì)齊方面，想要讓模型的回答盡可能符合人類的思維習(xí)慣，這個(gè)其實(shí)也很難做到?！岸铱紤]到OpenAI暫不開源，我們只能夠一步步慢慢向前探索。如果要想超過ChatGPT，肯定就得去找到一條比它更好的實(shí)現(xiàn)路徑，而這個(gè)過程無疑充滿艱險(xiǎn)?！鼻皴a鵬說。

MOSS的實(shí)現(xiàn)方案。

邱錫鵬也具體談到了MOSS的實(shí)現(xiàn)方案。

首先，激發(fā)MOSS大型語言模型的對(duì)話能力。“因?yàn)閷W(xué)校不像OpenAI公司可以雇很多人去寫答案，所以我們一開始是通過所謂的自指令技術(shù)先寫一些種子，通過‘達(dá)芬奇’幫我們擴(kuò)展很多的條件語句和答案。寫完之后有一些小規(guī)模的對(duì)話數(shù)據(jù)開始產(chǎn)生，我們就可以進(jìn)一步利用監(jiān)督策略做一個(gè)模型出來，然后在此基礎(chǔ)上進(jìn)行工程開發(fā)，讓它能夠和人類的真實(shí)需求逐步對(duì)齊?！鼻皴a鵬說。

使用MOSS的這個(gè)過程其實(shí)就是幫助它對(duì)齊人類、變得越來越好的必由之路。對(duì)此，科學(xué)家就是要讓機(jī)器自己去寫答案，鼓勵(lì)它按照我們?nèi)祟惖钠貌粩鄬?shí)現(xiàn)迭代優(yōu)化，去生產(chǎn)越來越符合人類習(xí)慣的數(shù)據(jù)類型。

邱錫鵬透露，“我們現(xiàn)在仍舊在加緊迭代MOSS，預(yù)計(jì)將于4月中旬開源，到時(shí)候大家就可以盡情使用了?！倍?月21日，邱錫鵬在2023全球人工智能開發(fā)者先鋒大會(huì)上曾表示，順利的話MOSS大模型將于3月底開源。

整體而言， MOSS基于公開的中英文數(shù)據(jù)訓(xùn)練，目前已經(jīng)擁有200億參數(shù)，具有和人類對(duì)話的能力，并可以通過與人類交互實(shí)現(xiàn)迭代優(yōu)化。但與此同時(shí)，邱錫鵬也坦承，盡管對(duì)語言的理解能力和ChatGPT已經(jīng)非常相近，但是目前MOSS的整體完成度卻并不高。主要原因在于MOSS在部署和訓(xùn)練上投入的資本還非常有限，相較于千億級(jí)的ChatGPT，大概只是其規(guī)模的十分之一，所以MOSS還有很多事實(shí)類知識(shí)記不住，思維鏈能力也相對(duì)較差。但邱錫鵬也表示，目前團(tuán)隊(duì)也在積極嘗試引入一些外部工具，來進(jìn)一步擴(kuò)大模型參數(shù)規(guī)模，不斷實(shí)現(xiàn)改進(jìn)與優(yōu)化。

AI如何對(duì)未來社會(huì)形成顛覆性影響？

考慮到ChatGPT已擁有通用語言理解的能力，并可以進(jìn)一步增加對(duì)外接口，成為通用人工智能（Artificial General Intelligence，AGI）的技術(shù)基座，這也就意味著通用人工智能的加速實(shí)現(xiàn)對(duì)于現(xiàn)階段的人類來說已經(jīng)不是夢(mèng)想。甚至樂觀一點(diǎn)說，像科幻片里面的人工智能形象可能很快就會(huì)在人類生活中出現(xiàn)。

以ChatGPT為代表的通用人工智能技術(shù)，可以引爆數(shù)字經(jīng)濟(jì)，充分發(fā)揮數(shù)據(jù)和算力效能，并催生出海量的新商業(yè)模式；可以賦能產(chǎn)業(yè)數(shù)字化，并通過人機(jī)協(xié)同的方式解決行業(yè)專家資源不足的問題；可以以數(shù)字人、個(gè)人助理、搜索引擎等形式對(duì)數(shù)字經(jīng)濟(jì)新業(yè)態(tài)、新模式提供發(fā)展動(dòng)能；更將深刻改變教育、社會(huì)治理、司法等領(lǐng)域的生態(tài)，大幅提升行業(yè)水平。

通用人工智能（Artificial General Intelligence，AGI）的加速實(shí)現(xiàn)對(duì)于現(xiàn)階段的人類來說已經(jīng)不是夢(mèng)想。

“當(dāng)然，我們也必須正視，目前的通用人工智能技術(shù)尚且存在很多不足，包括隨機(jī)性、不可控、容易‘一本正經(jīng)地胡說八道’等，不過，相信這些問題隨著時(shí)間的推移，都將在未來通過各種方式逐步得到改進(jìn)?！鼻皴a鵬說。

那么對(duì)于下一階段的大型語言模型，邱錫鵬認(rèn)為，目前重點(diǎn)需要去做的事情是讓模型和現(xiàn)實(shí)世界以及人類的價(jià)值觀進(jìn)行“對(duì)齊”，成為一個(gè)真正的智能體，具有自身學(xué)習(xí)、跨模態(tài)學(xué)習(xí)、知識(shí)和工具利用等能力。與此同時(shí)，AI與人類價(jià)值觀“對(duì)齊”也同樣不可忽視，畢竟如果AI的價(jià)值觀和人的價(jià)值觀背道而馳，那將會(huì)是非常危險(xiǎn)的。

在演講的最后，邱錫鵬說，“或許正如圖靈獎(jiǎng)得主、著名人工智能專家楊立昆（Yann LeCun）所言：下一代模型應(yīng)該更加具有事實(shí)性、無害性、即時(shí)性，并且能夠靈活使用計(jì)算器、數(shù)據(jù)庫(kù)、搜索引擎、模擬器等各種輔助工具，而這也是人們亟需重點(diǎn)解決的時(shí)代課題?！?/p>