李星

CERNET網(wǎng)絡(luò)中心副主任、清華大學(xué)教授

　　對(duì)于人工智能領(lǐng)域來說，ChatGPT是一個(gè)嶄新的起點(diǎn)。雖然它給出的內(nèi)容對(duì)錯(cuò)參半，但是它可以幫助我們拓寬思路，給予我們新的靈感。ChatGPT的成功無疑是巨大的，那么它為什么成功，我們能從中學(xué)到點(diǎn)什么，理解出什么，都值得進(jìn)一步分析。

　　ChatGPT的理論基礎(chǔ)與“無限猴子定理”

　　ChatGPT是一個(gè)大語言模型(Large Language Model)。一般來說，語言模型有兩種，分別是next token prediction和masked language modeling。Next token prediction指單向推導(dǎo)，即知道最前面的話，一步步推導(dǎo)出后面的話，每次推導(dǎo)時(shí)都找最有道理的一個(gè)字，從而遞歸串出一整句話。另一種則是先確定開頭結(jié)尾的內(nèi)容，據(jù)此去推測中間的內(nèi)容。

　　有一個(gè)定理叫做“無限猴子定理”，而ChatGPT可以說就是一只升級(jí)版的、講邏輯、懂道理的猴子。

　　“無限猴子定理”認(rèn)為，讓一只猴子在打字機(jī)上隨機(jī)地按鍵，當(dāng)按鍵時(shí)間達(dá)到無窮時(shí)，猴子幾乎必然能夠打出任何給定的文字，比如莎士比亞的全套著作，也曾有人用電腦虛擬的猴子來模擬執(zhí)行這一定理。2004年8月4日，電腦模擬的猴子在經(jīng)過4.21625×10^28個(gè)猴年之后，打出了以下內(nèi)容“VALENTINE.Ceasetoldor:eFLPOFRjWK78aXzVOw- m)-;8t......”而這胡亂敲打出的前十六個(gè)字母，正屬于莎士比亞的劇作《維洛那二紳士》的第一行：VALENTINE: Cease to persuade, my loving Proteus.

　　如果說猴子的選擇來自于純粹的巧合、運(yùn)氣與概率，那么ChatGPT的選擇則是基于模型運(yùn)算，把大概率有用的字詞留下，無用的字詞撇去，從而得到一句符合人類邏輯的話。

　　沒有試錯(cuò)就沒有ChatGPT

　　人工智能的發(fā)展歷程大概可分為三個(gè)階段。1950年圖靈最早提出了人工智能的概念，他在論文中直截了當(dāng)?shù)靥釂?，“機(jī)器是否可能具有人類智能?”開創(chuàng)了人工智能領(lǐng)域的先河。

　　1997年，IBM的超級(jí)計(jì)算機(jī)“深藍(lán)”(Deep Blue)以2勝1負(fù)3平的成績戰(zhàn)勝了當(dāng)時(shí)世界排名第一的國際象棋大師加里·卡斯帕羅夫，一時(shí)間轟動(dòng)全球。但是，“深藍(lán)”還算不上足夠智能，因?yàn)樗乃惴ê诵氖潜┝λ阉?，換言之，它每走一步，都是在窮舉后續(xù)所有可能的情況下再做出決策。再后來，機(jī)器學(xué)習(xí)算法如雨后春筍般涌現(xiàn)，包括線性回歸法、邏輯回歸法、決策樹法、隨機(jī)森林法、最近鄰居法、貝葉斯法、支持向量機(jī)法、 k 平均法、強(qiáng)化學(xué)習(xí)法等，每一個(gè)新算法都是對(duì)舊算法的改進(jìn)與提升。

艾倫·圖靈與其論文

深藍(lán)打敗象棋大師加里·卡斯帕羅夫

機(jī)器學(xué)習(xí)的常見方法

　　最簡單的方法是線性回歸，如果對(duì)數(shù)據(jù)進(jìn)行線性回歸后發(fā)現(xiàn)依然有問題，那就在此基礎(chǔ)上做邏輯回歸；但選項(xiàng)也可能不止A、B兩種，此時(shí)我們就構(gòu)造決策樹呈現(xiàn)出多種選擇；但決策樹是一門走過去，如果決策錯(cuò)了怎么辦?于是就出現(xiàn)了隨機(jī)森林算法，用多棵隨機(jī)生成的決策樹來生成最后的輸出結(jié)果。

　　所以說每一個(gè)理論、算法都是研究人員在前人的基礎(chǔ)上探索、摸索而來，是一代代人不斷在已有的基礎(chǔ)上創(chuàng)新、更新，思考下一步如何做得更好，而非一開始就設(shè)計(jì)、錨定了最終結(jié)果。

　　機(jī)器學(xué)習(xí)中主要有三類學(xué)習(xí)的方式，分別是監(jiān)督式學(xué)習(xí)、非監(jiān)督式學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。監(jiān)督學(xué)習(xí)是從外部監(jiān)督者提供的帶標(biāo)注訓(xùn)練集中進(jìn)行學(xué)習(xí)(任務(wù)驅(qū)動(dòng)型)。非監(jiān)督學(xué)習(xí)則是一個(gè)典型的尋找未標(biāo)注數(shù)據(jù)中隱含結(jié)構(gòu)的過程(數(shù)據(jù)驅(qū)動(dòng)型)。強(qiáng)化學(xué)習(xí)則會(huì)告訴模型自身好不好，給予模型更大的探索自由，從而突破監(jiān)督學(xué)習(xí)的天花板。

　　三者之間也是漸進(jìn)式前進(jìn)的關(guān)系，為了應(yīng)對(duì)更多問題，人們總是基于一個(gè)已有的方法，想方設(shè)法找出一個(gè)更一般性的方法進(jìn)行超越，超越完成后自然進(jìn)入下一個(gè)階段。

　　隨著數(shù)據(jù)量的增加，傳統(tǒng)的機(jī)器學(xué)習(xí)方法表現(xiàn)得不盡人意。在監(jiān)督式學(xué)習(xí)下就出現(xiàn)了一個(gè)嶄新的分支——深度學(xué)習(xí)。深度學(xué)習(xí)的基礎(chǔ)是神經(jīng)網(wǎng)絡(luò)，即通過模擬人的神經(jīng)元系統(tǒng)做出判斷。神經(jīng)網(wǎng)絡(luò)有輸入層、輸出層和隱藏層，輸入通過非線性函數(shù)的加權(quán)后得到了最終的輸出，而我們要做的就是根據(jù)誤差準(zhǔn)則調(diào)整權(quán)重參數(shù)，不需要，也不可能完全知道這些參數(shù)選擇的具體原因。

神經(jīng)網(wǎng)絡(luò)模型示意圖

　　什么叫深度學(xué)習(xí)?神經(jīng)網(wǎng)絡(luò)的層數(shù)直接決定了它對(duì)現(xiàn)實(shí)的刻畫能力，但是原來隱含層只有一層，對(duì)稍微復(fù)雜一些的函數(shù)都無能為力。為此，就可以多加一些隱含層，深度學(xué)習(xí)由此誕生。早期的深度學(xué)習(xí)又有兩個(gè)常用的方法，即卷積神經(jīng)網(wǎng)絡(luò)(CNN)與循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)，前者專門解決圖像問題，最大利用圖像的局部信息，將局部特征拼接起來，從而得到整幅圖的特征，類似于通過拼圖來還原圖像；后者則專門解決時(shí)間序列問題，用來提取時(shí)間序列信息，其最重要的特征是具有時(shí)間“記憶”的能力，就像人只有記住前面的對(duì)話內(nèi)容，才能決定之后該說什么一樣。

　　此外，生成模型也是深度學(xué)習(xí)領(lǐng)域內(nèi)較為重要的一類模型。生成對(duì)抗網(wǎng)絡(luò)(GAN)是一種讓兩個(gè)神經(jīng)網(wǎng)絡(luò)相互博弈從而完成學(xué)習(xí)的生成模型，其由一個(gè)生成器和一個(gè)判別器組成。比如說，生成器生成了一只虛擬狗，判別器需要將其與真實(shí)世界中的狗作對(duì)比，并判斷虛擬狗是否“過關(guān)”，生成器和判別器相互對(duì)抗、不斷學(xué)習(xí)，最終目的是使虛擬狗無限接近于真實(shí)的狗，讓它通過判別器的檢驗(yàn)。

　　自此，三大模型流派形成—— CNN，RNN和GAN，語言模型屬于RNN模型之流。但RNN模型依舊有其缺陷，對(duì)于相隔越久的信息，它的記憶力就越差，那么對(duì)于過去很久但有用的信息，它就很容易遺漏。為了提高RNN的記憶力，人們又開發(fā)了Self-attention自注意力模型，運(yùn)用抓大放小的思想，不管重要的東西在哪，都更注重對(duì)它的加權(quán)，強(qiáng)化對(duì)它的注意力，讓模型牢牢將其印入“腦?！薄?/p>

　　在上述各類模型的基礎(chǔ)上，ChatGPT的核心結(jié)構(gòu)——Transformer模型橫空出世，中文翻譯也很恰切，譯為變形金剛。

　　那什么是變形金剛?簡單來說，它就像是一個(gè)黑盒子，在做文本翻譯任務(wù)時(shí)，我們輸入一個(gè)中文，經(jīng)過這個(gè)黑盒子，就得到了翻譯后的英文。

　　如果我們探秘黑盒中的內(nèi)容，可以看到黑盒由若干個(gè)編碼器(Encoder)和解碼器(Decoder)組成，同時(shí)盒子里還具備并行(Multi-headed)和自注意力(Self-attention)機(jī)制，自注意力機(jī)制負(fù)責(zé)挑選出重要的有用的信息，并行機(jī)制則負(fù)責(zé)對(duì)這些信息進(jìn)行并發(fā)處理，有了這兩大特性，變形金剛也就可以同成千上萬人同時(shí)對(duì)話，奠定了商業(yè)化的基礎(chǔ)與可能。

　　回溯人工智能的歷史，可以發(fā)現(xiàn)模型的成功歸根結(jié)底來源于試錯(cuò)。一開始是簡單的人工神經(jīng)網(wǎng)絡(luò)，后來是卷積神經(jīng)網(wǎng)絡(luò)、遞歸神經(jīng)網(wǎng)絡(luò)，每一步都使我們對(duì)模型的理解愈發(fā)深入。而在用其解決問題的過程中，一旦發(fā)現(xiàn)現(xiàn)有方法的不足，研究人員就會(huì)想方設(shè)法在原有基礎(chǔ)上改進(jìn)，從而開發(fā)出新的模型。

　　雖然我們看到了成功的CNN、RNN模型，但在我們的視野之外，可能還會(huì)有別的模型沉寂于歷史長河中。但是，看不到不意味著不重要。如果沒有那些失敗的嘗試幫助我們排除了錯(cuò)誤的技術(shù)路線，就不會(huì)有CNN、RNN的成功，變形金剛的成功和ChatGPT的出現(xiàn)更無從談起。

　　所以創(chuàng)新、創(chuàng)造都是在不斷試錯(cuò)、迭代中出現(xiàn)，不可能預(yù)先設(shè)計(jì)好路線，一蹴而就。因此，若想有創(chuàng)新，就必須有配套機(jī)制，允許科研人員大量試錯(cuò)，盡快改進(jìn)。只要有成熟的機(jī)制，能快速迭代、改進(jìn)，科研人員就不怕犯錯(cuò)，不怕冒險(xiǎn)，不怕沒有成果，也就不怕再接再厲、不停嘗試。因此，要鼓勵(lì)大膽思考，大膽試驗(yàn)，即便失敗了也要表揚(yáng)、肯定。否則就會(huì)形成“喪事當(dāng)喜事辦的壞習(xí)慣”，創(chuàng)新也就沒戲唱。

　　創(chuàng)新與機(jī)制密不可分 失敗也是創(chuàng)新成功的基礎(chǔ)

　　ChatGPT是初創(chuàng)公司的產(chǎn)物，不是大公司，更不是國企，這其中有一定的必然性。大公司激勵(lì)機(jī)制的依據(jù)是職工的KPI，但小公司是創(chuàng)業(yè)公司，一旦做出了大的成果，公司就可以上市或者收到巨大的市場效益，這種激勵(lì)舉足輕重。如果激勵(lì)機(jī)制不合適，比如所有人都是低工資，那么人們的積極性就會(huì)降低;所有人都是高工資，也無法激發(fā)進(jìn)取心與積極性。只有科研人員的投入、興趣與其回報(bào)成正比才能激勵(lì)人們?nèi)σ愿啊?/p>

　　德國、日本的工業(yè)很發(fā)達(dá)，但是德國、日本的創(chuàng)新程度依舊不及美國，這是因?yàn)樗鼈兊募?lì)機(jī)制不同。美國的產(chǎn)業(yè)是高度市場化的，資金籌集來自于風(fēng)險(xiǎn)投資，而德國、日本依舊依靠大銀行資助。

　　真正的顛覆性的創(chuàng)新，一定來自于市場驅(qū)動(dòng)的機(jī)制。風(fēng)險(xiǎn)投資一百個(gè)公司，可能九十幾個(gè)都失敗了，成功的只有一兩個(gè)，但只要有一個(gè)成功了，回報(bào)就是成千上百倍的。雖然德國、日本也可以做一些輔助性的創(chuàng)新，但是它們的創(chuàng)造很難具有完全的革命性，因?yàn)樵谒鼈兊募?lì)機(jī)制下，投資方對(duì)成果、回報(bào)有要求，創(chuàng)造者就要為錯(cuò)誤負(fù)責(zé)，那么人們就會(huì)害怕犯錯(cuò)，小心翼翼不敢輕舉妄動(dòng)，只敢在“安全區(qū)”內(nèi)做一些小成果。而這也再次證明，創(chuàng)新是一種可能，帶有必然的風(fēng)險(xiǎn)，如果要求資金投入一定有相應(yīng)成果，那么一定會(huì)扼殺創(chuàng)新的空間。

　　此外，很多人沒有意識(shí)到的是，當(dāng)我們發(fā)現(xiàn)一個(gè)東西錯(cuò)了，錯(cuò)誤本身就是一個(gè)非常大的成果，雖然投入的成本泡湯了，但是這個(gè)路子不用蹚了，錯(cuò)誤選擇被排除了，那么我們離最終的成功一定是更近了。

　　我曾有個(gè)機(jī)會(huì)去美國國家科學(xué)基金會(huì)(NSF)，那里的人給我看了他們之前資助過的項(xiàng)目，其中一些項(xiàng)目好像還有些道理，但是有的看上去就天馬行空，似乎是胡說八道。他們卻表示，美國NSF資助的項(xiàng)目只會(huì)成功不會(huì)失敗，這是為什么呢?

　　NSF的人給出了兩條解釋：第一，真正的創(chuàng)新項(xiàng)目可能看上去就是胡說八道，如果都是自圓其說、在我們理解范圍內(nèi)的東西，那就說明還不夠新，所以我們必須要容忍看上去胡說八道或不靠譜的項(xiàng)目，說不定它們就是大成果的孵化器；第二，此類項(xiàng)目一般是由教授和他們指導(dǎo)的研究生去承擔(dān)。實(shí)際上，一個(gè)研究生完成了一個(gè)失敗項(xiàng)目，他本人的收獲和對(duì)于社會(huì)進(jìn)步的貢獻(xiàn)一定比做一個(gè)成功的項(xiàng)目更大。而且在美國，即使項(xiàng)目沒有正向成果，對(duì)失敗原因進(jìn)行有效總結(jié)后也可以拿到學(xué)位。

　　這兩條解釋可以說意味深長、引人深思，尤其是第二條。第二條正是在說明，我們必須要允許人失敗、犯錯(cuò)，因?yàn)榉稿e(cuò)之后，就會(huì)收獲相應(yīng)的教訓(xùn)、經(jīng)驗(yàn)，將來就不會(huì)再犯相同的錯(cuò)誤，后來者也不會(huì)再犯同樣的錯(cuò)誤，因此犯錯(cuò)也是一種貢獻(xiàn)，甚至可能比成功的貢獻(xiàn)更大。創(chuàng)新正是在千千萬萬次嘗試與犯錯(cuò)后修正路線、逼近成功，這是個(gè)人成長和創(chuàng)新出現(xiàn)的必然且科學(xué)的過程，這也是為什么我們必須要有允許犯錯(cuò)的體制機(jī)制。

　　ChatGPT后，教育何為?

　　ChatGPT可以把海量的信息和數(shù)據(jù)匯集起來，非常全面，在這一層面上，人類難以望其項(xiàng)背。既然ChatGPT能回答各式各樣稀奇古怪、刁鉆、偏僻的問題，那我們就要思考，人的價(jià)值是什么?如果我們的教育最終讓人回答出了與ChatGPT同樣的答案，那么教育還有何意義?如果要我回答，教育的價(jià)值就應(yīng)當(dāng)是培養(yǎng)學(xué)生想出不同于ChatGPT的答案的能力，未來教育的目標(biāo)也應(yīng)當(dāng)如此。

　　因此，未來的教育，應(yīng)當(dāng)注意培養(yǎng)批判性思維、邏輯能力，并且允許年輕人暢所欲言、自由思想，再給予他們充分的試錯(cuò)空間。

　　首先，要培養(yǎng)孩子的批判性思維。有些國家對(duì)孩子的教育是，誰說的話都可以被挑戰(zhàn)、質(zhì)疑。而且孩子必須講不同于老師的話，而不是對(duì)老師的觀點(diǎn)全盤接受、信以為真。在這種教育理念下，孩子們更傾向于擁有自己的判斷，相信自己的判斷，勇于質(zhì)疑。

　　其次，要培養(yǎng)孩子們的邏輯能力，ChatGPT的回答基本符合人類邏輯，一言一語都有因果關(guān)聯(lián)，都是由前推后、由此及彼，所以它的回答有意義，也能解決我們提出的問題。而我們培養(yǎng)孩子的思考能力、邏輯能力，就是培養(yǎng)他們真正解決現(xiàn)實(shí)問題的能力。

　　第三，要有探索的空間，否則無法創(chuàng)新。為什么 ChatGPT 由初創(chuàng)公司而非大公司創(chuàng)造而成?除激勵(lì)機(jī)制外，還因?yàn)樯鐣?huì)對(duì)它們的容忍度更高，所以初創(chuàng)公司的自由度更高，即便發(fā)表了錯(cuò)誤、出格的內(nèi)容大家也并不在意。但對(duì)于微軟、谷歌等大公司來說，“小心駛得萬年船”才是值得恪守的原則，萬一出現(xiàn)錯(cuò)誤，就難免對(duì)名譽(yù)造成巨大影響，公司效益也會(huì)因而受損。因此，做 AI、 前沿科技的一定是小公司，小公司的自由度更高，不怕犯錯(cuò)，探索空間就更大，而這也證明只有言論自由、思想自由后，探索才能自由，探索自由后，創(chuàng)新才能生根發(fā)芽。

　　未來教育的目標(biāo)

　　未來教育的目標(biāo)是，年輕人會(huì)提出正確的問題，并且判斷答案是否合理，中間的過程就是人和機(jī)器的交互，讓機(jī)器、人工智能幫助我們?nèi)ネ瓿珊芏喙ぷ?。但這并不代表人與人之間無需再有交流，相反，人和人的交互依然需要，而且更加重要。

　　知名組織理論家羅素·艾可夫曾提出由數(shù)據(jù)、信息、知識(shí)、智慧組成的知識(shí)金字塔。在知識(shí)金字塔中，每一層都比下一層多擁有一些特質(zhì)。數(shù)據(jù)來源于我們的原始觀察與度量，信息來源于我們對(duì)數(shù)據(jù)的篩選、整理與分析，知識(shí)則來源于我們對(duì)信息的加工、提取與評(píng)價(jià)，而智慧作為我們獨(dú)有的能力，意味著我們可以收集、加工、應(yīng)用、傳播知識(shí)，以及預(yù)測事物的發(fā)展與未來走向。

　　ChatGPT之后，甚至在其出現(xiàn)以前，計(jì)算機(jī)對(duì)于數(shù)據(jù)處理、信息處理以及知識(shí)處理都已經(jīng)非常在行。雖然機(jī)器和人工智能并不“懂”知識(shí)，但是它可以存儲(chǔ)、調(diào)用知識(shí)，可以在特定的情境里與人交互，給出的答案也合乎情理。因此，未來的教育應(yīng)當(dāng)是教人擁有智慧，而不僅僅是擁有知識(shí)、信息與技能。智慧是設(shè)計(jì)體系結(jié)構(gòu)的能力，而技能僅僅是依照設(shè)計(jì)搬磚添瓦的能力，智慧與思維是創(chuàng)新真正的來源，而知識(shí)與技能則相當(dāng)次要。

知識(shí)金字塔

　　有些大學(xué)為防止學(xué)生作弊而禁止其使用ChatGPT，我覺得此舉值得商榷。ChatGPT是個(gè)工具，是種技術(shù)，而技術(shù)是道德中立的，關(guān)鍵在于老師應(yīng)改變傳統(tǒng)的考核方式以適應(yīng)它的出現(xiàn)。斯坦福大學(xué)曾統(tǒng)計(jì)，50% 的學(xué)生做學(xué)期論文時(shí)都用到了ChatGPT。因此在這種趨勢(shì)下，老師必須學(xué)會(huì)如何考核。

　　一個(gè)可用的考核方式是：學(xué)生用ChatGPT完成一道題后，必須能給別人講清楚答案中哪些是對(duì)的，又有哪些是錯(cuò)的?？赡軐W(xué)生又會(huì)把這個(gè)問題拋回給ChatGPT，再采用它的答案，但關(guān)鍵是，如果你問得太深入，ChatGPT自己就會(huì)“崩潰”，答案也會(huì)漏洞百出。在這種情況下，學(xué)生就必須要?jiǎng)幽X子，要靠自己找到最初答案的漏洞。而老師正可以對(duì)這一點(diǎn)做考察，看學(xué)生能否找到ChatGPT的漏洞，能找到，就說明學(xué)生已將知識(shí)掌握透徹。

　　我們這一代人是“數(shù)字移民”，新一代的孩子是“數(shù)字原住民”，所以我們一定要為他們創(chuàng)造自由的空間，而不是讓他們因循守舊、依照傳統(tǒng)行事。

　　科研的層次與大學(xué)的包容

　　科研必須要區(qū)分層次。大型項(xiàng)目是國家發(fā)展、社會(huì)前進(jìn)的根本，例如美國NASA牽頭的各類航天、物理項(xiàng)目，中國舉國體制支持的各種重大項(xiàng)目，這些目的明確、規(guī)模投入巨大的項(xiàng)目是不可或缺的。

　　但與此同時(shí)，小型的、看上去“沒用”的項(xiàng)目也必須存在。因?yàn)榭蒲惺且环N探索未知的活動(dòng)，未來哪個(gè)項(xiàng)目能開花結(jié)果，哪個(gè)能“冒泡”，我們當(dāng)下都是霧里看花，看不真切。所以我們必須要包容一些人，去做一些可能毫無用處的東西，或者是有點(diǎn)出格、方向冷僻的東西，我們必須要讓這些人生存，讓一些可能存在。

　　如果大學(xué)的考核制度過于嚴(yán)苛，青年教師們只能為了保住自己的工作去做“短平快”、功利性的研究，那么優(yōu)秀的人無法靜心思考真正的問題，只能為科研而科研，只做實(shí)用性強(qiáng)的科研，這對(duì)于科研是一種實(shí)質(zhì)性的損害。

　　所以我也有個(gè)理論：大學(xué)，要培養(yǎng)精神境界高的、有教養(yǎng)的人，還要包容一些特立獨(dú)行的看似是在胡思亂想的“無用的人”的存在。有些研究當(dāng)下看似沒有一點(diǎn)用處，但可能百年之后就有了大用，這都是我們預(yù)料之外的事。

　　有些全球頂尖大學(xué)就會(huì)保留不同類型的人才，把一些聰明、能干但怪異、另類的人養(yǎng)在大學(xué)里。未來，我們也可以嘗試包容各式各樣的人才，讓他們做些有意思的、胡思亂想的、短期內(nèi)沒有結(jié)果甚至沒用的東西，或許現(xiàn)在的無心插柳，在未來就變成了夏日炎炎里茂密濃郁的柳蔭。

　　本文根據(jù)CERNET網(wǎng)絡(luò)中心副主任、清華大學(xué)電子工程系李星教授報(bào)告、訪談?wù)怼?/p>