xJC即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

  ?xJC即熱新聞——關(guān)注每天科技社會生活新變化gihot.com

去年春節(jié)，美國OpenAI開發(fā)的視頻生成AI工具Sora橫空出世，成為世界關(guān)注的焦點。今年春節(jié)前夕，一家低調(diào)的中國AI企業(yè)DeepSeek推出的開源大模型在全球引發(fā)了不啻Sora的震撼——它在模型算法和工程優(yōu)化方面所進行的系統(tǒng)級創(chuàng)新，為在受限資源下探索通用人工智能開辟了新的道路，并為打破以“大模型、大數(shù)據(jù)和大算力”為核心的生成式AI“擴展定律”天花板帶來了無限遐想。

過去幾周，DeepSeek超越ChatGPT，登頂蘋果美國地區(qū)應(yīng)用商店免費App下載排行榜。1月28日，美國“外交學(xué)者”網(wǎng)站（The Diplomat）發(fā)表題為《中國的DeepSeek是美國人工智能的“斯普特尼克時刻”》的文章指出，DeepSeek此次的開源之舉延續(xù)了OpenAI的初心使命——為了人類利益推動人工智能發(fā)展。

DeepSeek的出圈，再次印證了一個科技創(chuàng)新硬道理：贏得比賽的關(guān)鍵是精益求精、富有創(chuàng)造力的創(chuàng)新，而非單純的金融實力和一味的出口管制。

“大力出奇跡”并非AI唯一出路

2019年，人工智能領(lǐng)域強化學(xué)習(xí)鼻祖、DeepMind研究科學(xué)家、加拿大阿爾伯塔大學(xué)計算機學(xué)教授理查德·薩頓發(fā)表了一篇題為《苦澀的教訓(xùn)》的文章，認(rèn)為“縱觀過去70年的AI發(fā)展歷史，想辦法利用更大規(guī)模的算力總是最高效的手段”。

在“數(shù)據(jù)是燃料、模型是引擎、算力是加速器”這一深度學(xué)習(xí)理念支持下，以Transformer為基本模型的生成式AI（如ChatGPT等）不再從互聯(lián)網(wǎng)中搜索和羅列已有的匹配信息，而是從海量數(shù)據(jù)中洞悉單詞與單詞之間的共現(xiàn)概率，以組合意義下“昨日重現(xiàn)”方式合成眾所周知的語言內(nèi)容。

Transformer是2017年谷歌公司提出的一種新型深度神經(jīng)網(wǎng)絡(luò)，其核心在于通過自注意力機制讓每個單詞記住在不同語境下的“左鄰右舍”，然后以似曾相識之感來概率合成新的內(nèi)容。“Transformer”這一名字或許受到了電影《變形金剛》的英文名“Transformers”的啟發(fā)，因此可以將合成內(nèi)容的生成式AI看成一個“魔鏡”，它能夠根據(jù)輸入內(nèi)容如變魔術(shù)般輸出與之對應(yīng)的內(nèi)容。

由于每個單詞要記住越來越多不同語境下的“左鄰右舍”，因此模型參數(shù)不斷增多而導(dǎo)致模型規(guī)模不斷增大，隨之出現(xiàn)了大模型的“擴展定律”（Scaling Law），即隨著模型規(guī)模、訓(xùn)練數(shù)據(jù)和計算資源的增加，模型性能會得到顯著提升，并且這些關(guān)系遵循可預(yù)測的模式。

面對越來越大的模型，訓(xùn)練模型所需的AI算力不斷飆升，“大力出奇跡”這一算力霸權(quán)開始左右人工智能的發(fā)展。英偉達創(chuàng)始人兼首席執(zhí)行官黃仁勛據(jù)此提出過“黃氏定律”：在計算架構(gòu)改進的推動下，人工智能芯片的性能每年可提升1倍，速度遠超集成電路領(lǐng)域的摩爾定律。

人工智能“擴展定律”雖然也需要算法和系統(tǒng)創(chuàng)新，但是這一“無他、但手熟爾”的模式不應(yīng)是AI發(fā)展的唯一出路，因為“化繁為簡、大巧不工”才是推動“機器學(xué)習(xí)”邁向“學(xué)習(xí)機器”的初衷。

“萬物之始，大道至簡，衍化至繁”，以簡單直接思路解決復(fù)雜問題才是科學(xué)研究之道。1953年，諾貝爾物理學(xué)獎得主恩利克·費米提 到，馮·諾依曼曾對他說 過，用4個參數(shù)就能畫出一頭大象，用5個參數(shù)就可以讓象鼻子動起來。英國數(shù)學(xué)家雅各布·布魯諾斯基也曾提到，馮·諾依曼認(rèn)為圍棋不是博弈，雖然因為計算復(fù)雜而難以找到答案，但在理論上，下圍棋一定有個最佳落子方案。

這些故事告訴我們，用簡單方法解決復(fù)雜問題是科學(xué)研究基本思路之一。正如愛因斯坦所言，“所有科學(xué)中最重大的目標(biāo)就是從最少數(shù)量的假設(shè)和公理出發(fā)，用邏輯演繹推理的方法解釋最大量的經(jīng)驗事實”。由此可見，DeepSeek的研發(fā)初心切合了大模型發(fā)展的內(nèi)在邏輯，為遏制其規(guī)?！隘傞L”勢頭提供了一劑良藥。

從“學(xué)而不思則罔”到“思而不學(xué)則殆”

能用眾力，則無敵于天下矣；能用眾智，則無畏于圣人矣。DeepSeek的精彩表現(xiàn)在于其對算法、模型和系統(tǒng)等進行的系統(tǒng)級協(xié)同創(chuàng)新，是眾智和眾力相互疊加的成果。

應(yīng)該說，DeepSeek模型仍是基于此前的Transformer架構(gòu)，沒有實現(xiàn)改變游戲規(guī)則的顛覆性基礎(chǔ)理論創(chuàng)新。但是，它在模型算法和工程優(yōu)化方面進行了系統(tǒng)級創(chuàng)新，在2048塊英偉達H800 GPU（針對中國市場的低配版GPU）集群上完成訓(xùn)練，打破了大語言模型以大算力為核心的預(yù)期天花板，為在受限資源下探索通用人工智能開辟了新的道路。其算法和工程創(chuàng)新主要包括混合專家模型、低秩注意力機制、強化學(xué)習(xí)推理、小模型蒸餾，以及諸如FP8混合精度和GPU部署優(yōu)化等工程創(chuàng)新。

其中，混合專家稀疏模型與傳統(tǒng)大語言模型“眾人拾柴、咸與維新”的路徑不同，它另辟蹊徑利用了“術(shù)業(yè)有專攻”的理念，每次讓若干個合適專家協(xié)作發(fā)揮各自能力，完成特定任務(wù)。

實際上，人腦也是一個稀疏模型。雖然人腦由800多億個神經(jīng)元和100萬億個突觸連接而成，但它在完成識人辨物和舉手投足等任務(wù)時，每次只有一小部分神經(jīng)元被激活。實現(xiàn)“弱水三千，只取一瓢飲”，且讓被選擇的若干專家能夠以“十個指頭彈鋼琴”的形式，負載均衡地合作完成任務(wù)，而不是“三個和尚無水喝”——這正是DeepSeek所做出的難得的算法創(chuàng)新。

低秩注意力機制的引入使DeepSeek在保持模型性能的同時顯著降低了計算和存儲成本。人類在理解外界信息時，往往看到的是內(nèi)嵌在信息中的本質(zhì)結(jié)構(gòu)。例如，我們理解一篇文章，更關(guān)切若干單詞組合所刻畫的主題概念，而非單詞從頭到尾的羅列。傳統(tǒng)大模型中的注意力機制由于需要記錄每個單詞在不同上下文中的左鄰右舍，因此變得龐大無比。DeepSeek對這一巨大的注意力機制矩陣進行了壓縮，從而極大提升了模型運行效率。

在強化學(xué)習(xí)推理方面，傳統(tǒng)大模型訓(xùn)練時采用了“授之以魚，不如授之以漁”的方法，即人類給出大量思維鏈數(shù)據(jù)，通過監(jiān)督式微調(diào)來讓大語言模型仿照思維鏈完成相應(yīng)任務(wù)。但DeepSeek的做法則如同讓一個天才兒童在沒有任何范例的指導(dǎo)下，完全通過“嘗試與試錯”來不斷探索未知空間，并利用已有經(jīng)驗不斷取得進步，最終完成從“摸著石頭過河”到“先知后行”的蝶變。

而且，DeepSeek進一步提出了讓模型從若干答案中進行比較的選擇方法，以實現(xiàn)自我提升。

這種直接訓(xùn)練方法不僅耗時更短、計算資源需求大幅減少，更讓模型學(xué)會了思考，而且是以見證“啊哈時刻（Aha Moment）”（指讓用戶眼前一亮?xí)r刻）的頓悟方式思考。

但值得注意的是，該方法難免導(dǎo)致推理過程難以被溯源和理解等局限。為此，DeepSeek收集了一部分思維鏈數(shù)據(jù)，引入冷啟動和有監(jiān)督微調(diào)等方法，對模型進行再次訓(xùn)練，從而讓模型在保持強大推理能力的同時，還學(xué)會了用人類易懂的方式表達思維過程。

廣受關(guān)注的“模型蒸餾”就是讓小模型模仿大模型回答問題的結(jié)果，來提升自身能力。比如，在對一篇文章分類時，大模型認(rèn)為該文章以85%、10%和5%的概率分別屬于正面、負面和中性等不同情感類別。小模型就從大模型輸出的結(jié)果中認(rèn)真思考，不斷調(diào)整參數(shù)，以期望繼承大模型能力，從而輸出類似結(jié)果。

由于神經(jīng)網(wǎng)絡(luò)有強大的非線性映射能力，蒸餾學(xué)習(xí)不僅沒有導(dǎo)致“東施效顰”的笑話，反而使得大模型的能力之道以“他山之石、可以攻玉”的蒸餾之術(shù)遷移到了小模型。這不禁讓人感嘆，對于大模型而言，“學(xué)而不思則罔”；對于小模型而言，“思而不學(xué)則殆”。

智能時代，教育何為？

人工智能是一種類似于內(nèi)燃機或電力的“通用目的技術(shù)”，天然具備“至小有內(nèi)，至大無外”推動學(xué)科交叉的潛力。無論是從人工智能角度解決科學(xué)問題（AI for Science，如利用人工智能預(yù)測蛋白質(zhì)序列的三維空間結(jié)構(gòu)），還是從科學(xué)的角度優(yōu)化人工智能（Science for AI，如從統(tǒng)計物理規(guī)律角度優(yōu)化神經(jīng)網(wǎng)絡(luò)模型），未來的重大突破都將源自于這種交叉領(lǐng)域的工作。

如果說過往的技術(shù)發(fā)明是從機械化增強角度提升人類與環(huán)境的互動能力，那么人工智能的出現(xiàn)將對人類的這一根本能力和角色發(fā)起挑戰(zhàn)——生成式人工智能的出現(xiàn)使得智能機器成為知識生產(chǎn)的輔助者，這將深刻改變個體學(xué)習(xí)者的自主思考、判斷、學(xué)習(xí)能力，乃至倫理道德觀。

如何看待一項新技術(shù)的發(fā)展，這是進行技術(shù)預(yù)測的一項必需認(rèn)知準(zhǔn)備。遺憾的是，人類總是習(xí)慣于線性思維（這符合人類自然的認(rèn)知模式：節(jié)省能量與快速計算），但這種認(rèn)知配置很容易出現(xiàn)認(rèn)知偏差，其中最常見的就是對于技術(shù)近期與遠期影響的判斷出現(xiàn)不對稱性——短期內(nèi)傾向于高估技術(shù)的影響，長期內(nèi)低估技術(shù)的影響，即美國科學(xué)家羅伊·阿瑪拉提出的“阿瑪拉法則”。

那么，隨著智能時代的來臨，如何通過教育體系的變革來應(yīng)對這一時代之變？在浙江大學(xué)2024年6月發(fā)布的《大學(xué)生人工智能素養(yǎng)紅皮書》中，我們提出，大學(xué)生人工智能素養(yǎng)是由體系化知識、構(gòu)建式能力、創(chuàng)造性價值和人本型倫理構(gòu)成的有機整體，其中知識為基、能力為重、價值為先、倫理為本。

目前，浙江大學(xué)和復(fù)旦大學(xué)等高校已將人工智能作為全校大學(xué)生通識必修課程。而且，浙江大學(xué)、復(fù)旦大學(xué)、上海交大、南京大學(xué)、中科大和同濟大學(xué)已在四年前共同推出“課程共建、學(xué)分互認(rèn)、證書共簽”的AI+X微專業(yè)，今年還將推出升級版，以進一步加強人工智能通識教育和交叉學(xué)科教育。

2024年春節(jié)，我為文匯報撰寫《Sora“超級涌現(xiàn)力”將把AI引向何方》的文章，今年春節(jié)又為DeepSeek撰稿。雖然希望人工智能年年有精彩，但我更期盼全社會分享的普遍智能到來。

DeepSeek模型特點速讀

混合專家稀疏模型

DeepSeek的基座模型V3采用了混合專家機制，每一個Transformer層包含256個專家和1個共享專家，V3基座模型總共有6710億參數(shù)，但每次token僅激活8個專家、370億參數(shù)。這一創(chuàng)新算法與稠密模型相比，預(yù)訓(xùn)練速度更快；與具有相同參數(shù)數(shù)量的模型相比，具有更快的推理速度。

低秩注意力機制

低秩注意力機制又被稱為多頭潛在注意力機制。DeepSeek引入“低秩”這一概念，對巨大的注意力機制矩陣進行壓縮，減少參與運算的參數(shù)數(shù)量，從而在保持模型性能的同時顯著降低計算和存儲成本，把顯存占用降到了其他大模型的5%—13%，極大提升了模型運行效率。

強化學(xué)習(xí)推理

DeepSeek這次在訓(xùn)練推理模型中直接采用了一條前所未有的“純”強化學(xué)習(xí)路徑，僅根據(jù)模型輸出答案優(yōu)劣以及輸出答案格式完整等簡單信息，對模型行為進行獎懲。

該方法不僅對計算資源的需求大幅減少，還可讓模型以“頓悟”的方式學(xué)會思考，并用人類易懂的方式表達思維過程。

模型蒸餾

為了讓簡潔緊湊的小模型具備DeepSeek-R1那樣的推理能力，DeepSeek開發(fā)團隊采用蒸餾方法來增強小模型的推理能力，即讓小模型模仿大模型回答問題的結(jié)果，來提升自身能力。

工程創(chuàng)新

DeepSeek使用FP8混合精度加速訓(xùn)練并減少GPU內(nèi)存使用，使用DualPipe算法（即將前向和后向計算與通信階段重疊，以最大限度減少計算資源閑置）提升訓(xùn)練效率，并進行了極致的內(nèi)存優(yōu)化。他們開發(fā)了一套完善的數(shù)據(jù)處理流程，著重于最小化數(shù)據(jù)冗余，同時保留數(shù)據(jù)的多樣性。xJC即熱新聞——關(guān)注每天科技社會生活新變化gihot.com