視覺(jué)模型訓(xùn)練成本一年下降80%，中國(guó)AI廠商“掀起”全球算力降價(jià)潮X9L即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

　　2024年過(guò)去，AI又走過(guò)了狂奔的一年，大模型加速落地的熱切、應(yīng)用場(chǎng)景創(chuàng)新的火熱和高投入、商業(yè)化緩慢帶來(lái)的“下牌桌”焦慮同時(shí)處在這個(gè)行業(yè)。X9L即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

　　回過(guò)頭看來(lái)，過(guò)往行業(yè)共識(shí)的一些問(wèn)題在2024年中被打上了問(wèn)號(hào)，例如智能算力還是否短缺、中國(guó)AI企業(yè)的“算力焦慮”是必要的嗎？Scaling Law(規(guī)模法則)還值得信仰嗎？X9L即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

　　辭舊迎新之際，中國(guó)AI行業(yè)的“拐點(diǎn)”時(shí)刻更受關(guān)注。不再統(tǒng)一的答案背后，值得關(guān)注的是，對(duì)中國(guó)AI企業(yè)來(lái)說(shuō)，一些好的變化正在發(fā)生，也有更多挑戰(zhàn)等待2025年去回答。X9L即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

　　訓(xùn)練成本下降X9L即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

　　2024年12月27日，海外社交媒體平臺(tái)X被來(lái)自中國(guó)的大模型DeepSeek-V3刷屏，這一模型能力對(duì)標(biāo)頭部模型，但訓(xùn)練的預(yù)算卻非常低，“2048個(gè)GPU、2個(gè)月、近600萬(wàn)美元”，相比之下，GPT-4o等模型的訓(xùn)練成本約為1億美元，至少在萬(wàn)個(gè)GPU量級(jí)的計(jì)算集群上訓(xùn)練。X9L即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

　　這是一項(xiàng)展現(xiàn)了極致性價(jià)比的訓(xùn)練成本數(shù)據(jù)。在已開(kāi)源的論文中，幻方量化旗下AI公司深度求索(DeepSeek)強(qiáng)調(diào)了DeepSeek-V3訓(xùn)練成本較低――通過(guò)對(duì)算法、框架和硬件的優(yōu)化協(xié)同設(shè)計(jì)，在預(yù)訓(xùn)練階段，模型每訓(xùn)練1萬(wàn)億token僅需要18萬(wàn)個(gè)GPU小時(shí)，即在團(tuán)隊(duì)配備2048個(gè)H800 GPU的集群上只需3.7天，也就是說(shuō)，團(tuán)隊(duì)的預(yù)訓(xùn)練在不到2個(gè)月的時(shí)間完成。加上后訓(xùn)練，DeepSeek-V3完整訓(xùn)練消耗了278.8萬(wàn)個(gè)GPU小時(shí)。假設(shè)H800 GPU的租用價(jià)格為每塊GPU 2美元/小時(shí)，DeepSeek-V3的全部正式訓(xùn)練成本總計(jì)僅為557.6萬(wàn)美元。X9L即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

　　DeepSeek的成功并非個(gè)例，值得關(guān)注的是，在英偉達(dá)顯卡等高端算力資源受限的情況下，2024年，許多中國(guó)AI企業(yè)正在找到降低訓(xùn)練成本的方法。X9L即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

　　極佳科技聯(lián)合創(chuàng)始人兼首席科學(xué)家朱政向第一財(cái)經(jīng)記者透露，過(guò)去一年，極佳科技訓(xùn)練大模型的成本也在大規(guī)模下降。朱政介紹，之前極佳科技訓(xùn)練一個(gè)視覺(jué)模型大概需要500萬(wàn)美金，基本上是一個(gè)語(yǔ)言模型的1/10，但現(xiàn)在他們已經(jīng)把這個(gè)成本降到了100萬(wàn)美金以下。X9L即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

　　從訓(xùn)練成本的降低來(lái)看，朱政表示“方法有很多”，一方面，大模型公司正在關(guān)注與云廠商加強(qiáng)合作，通過(guò)做一些訓(xùn)練加速、通訊優(yōu)化、設(shè)置優(yōu)化等降低成本。同時(shí)，行業(yè)對(duì)數(shù)據(jù)優(yōu)化也更為重視，之前行業(yè)用Scaling Law只是在對(duì)數(shù)據(jù)，但對(duì)完數(shù)據(jù)后并沒(méi)有做非常多相應(yīng)的優(yōu)化，事實(shí)上數(shù)據(jù)優(yōu)化帶來(lái)的訓(xùn)練效率提升空間也很大。X9L即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

　　中國(guó)AI企業(yè)的“搶卡”焦慮也因此有所緩解，朱政表示，例如英偉達(dá)最新發(fā)布的顯卡還是要買，得買最新的架構(gòu)的顯卡，但隨著訓(xùn)練效率的提升，需要的規(guī)模會(huì)下降。他同時(shí)表示，來(lái)到100萬(wàn)美金以下，未來(lái)進(jìn)一步下探大模型的訓(xùn)練成本將是一件更困難的事情，可能不是一家企業(yè)能搞定的事情，可能需要訓(xùn)練框架的支持、編程語(yǔ)言的支持包括顯卡算式的支持。X9L即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

　　從全行業(yè)的角度來(lái)看，螞蟻集團(tuán)科技戰(zhàn)略與執(zhí)行部副總經(jīng)理彭晉對(duì)第一財(cái)經(jīng)記者表示，在采購(gòu)先進(jìn)算力有些困難的情況下，國(guó)內(nèi)也在推進(jìn)國(guó)產(chǎn)算力的替代，各大公司都在不斷采購(gòu)一些國(guó)產(chǎn)算力，從螞蟻的實(shí)踐來(lái)看，國(guó)產(chǎn)算力已經(jīng)可以支撐很大規(guī)模，比如在千億參數(shù)甚至以上規(guī)模的模型訓(xùn)練中國(guó)產(chǎn)算力是沒(méi)有問(wèn)題的。至于到下一步，例如說(shuō)要建十萬(wàn)卡規(guī)模的集群，國(guó)產(chǎn)算力能否支撐有待進(jìn)一步檢驗(yàn)。X9L即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

　　“遠(yuǎn)慮”仍存，但走過(guò)2024年，中國(guó)企業(yè)的“算力焦慮”正在回歸理性。X9L即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

　　未來(lái)趨勢(shì)X9L即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

　　2025年，中國(guó)AI行業(yè)會(huì)有哪些變化？X9L即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

　　北京智源人工智能研究院在《2025十大AI技術(shù)趨勢(shì)》報(bào)告中指出，從基礎(chǔ)設(shè)施到產(chǎn)品應(yīng)用，Scaling Law、基礎(chǔ)模型、具身智能、超級(jí)應(yīng)用、AI安全等AI發(fā)展的關(guān)鍵方向都可能在2025年迎來(lái)新的變化。X9L即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

X9L即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

　　報(bào)告認(rèn)為，AI4S驅(qū)動(dòng)科學(xué)研究范式變革；具身智能領(lǐng)域具身大小腦和本體的協(xié)同進(jìn)化；統(tǒng)一的多模態(tài)大模型實(shí)現(xiàn)更高效AI；Scaling Law擴(kuò)展向RL + LLMs，模型泛化從預(yù)訓(xùn)練向后訓(xùn)練、推理遷移；世界模型加速發(fā)布，有望成為多模態(tài)大模型的下一階段；合成數(shù)據(jù)成為大模型迭代與應(yīng)用落地的重要催化劑；推理優(yōu)化迭代加速，成為AI Native應(yīng)用落地的必要條件；Agentic AI成為產(chǎn)品落地的重要模式；AI應(yīng)用將迎來(lái)Super APP以及AI安全治理體系的持續(xù)完善將成為2025年AI技術(shù)發(fā)展的十大趨勢(shì)。X9L即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

　　不少中國(guó)自研的技術(shù)和產(chǎn)品讓業(yè)內(nèi)看到了這些趨勢(shì)的到來(lái)。2024年9月，螞蟻發(fā)布了支小寶、螞小財(cái)?shù)认盗蠥I管家產(chǎn)品，探索更多服務(wù)類智能體形態(tài)，2024年10月，智源研究院發(fā)布了完全自研的基于自回歸技術(shù)的原生多模態(tài)世界模型Emu3，實(shí)現(xiàn)了視頻、圖像、文本三種模態(tài)的統(tǒng)一理解和生成，2024年年底，豆包月活躍用戶數(shù)達(dá)到了7116萬(wàn)，成為國(guó)內(nèi)第一、全球第二的AI原生應(yīng)用。X9L即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

　　智能研究院行業(yè)研究組負(fù)責(zé)人倪賢豪提到，走過(guò)2024年全年來(lái)看，與2023年相比，國(guó)內(nèi)AI整體的應(yīng)用熱度已明顯升溫，相比2023年第一季度，他所在的團(tuán)隊(duì)調(diào)研到，2024年第四季度，整個(gè)基礎(chǔ)模型的垂直產(chǎn)業(yè)鏈以及其他賽道AI應(yīng)用的成熟度已有了明顯提升，例如AI在3D內(nèi)容、AI硬件等場(chǎng)景的應(yīng)用以及醫(yī)療文獻(xiàn)處理等未來(lái)場(chǎng)景的探索中，都有了明顯拓展。X9L即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

　　從國(guó)內(nèi)大模型公開(kāi)中標(biāo)項(xiàng)目的類型分布來(lái)看，2024年10月，大模型應(yīng)用類項(xiàng)目數(shù)量首次超過(guò)了算力類項(xiàng)目，應(yīng)用類大模型招標(biāo)項(xiàng)目占比已達(dá)到56%，國(guó)產(chǎn)大模型在垂直行業(yè)實(shí)現(xiàn)了加速落地，或是在諸多中大型企業(yè)扮演中臺(tái)性質(zhì)的基礎(chǔ)設(shè)施。X9L即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

　　AI應(yīng)用領(lǐng)域的Super APP能否在2025年出現(xiàn)同樣受到業(yè)內(nèi)關(guān)注。從C端的用戶規(guī)模、交互頻次、停留時(shí)長(zhǎng)等維度來(lái)看，目前，國(guó)產(chǎn)AI應(yīng)用尚未出現(xiàn)爆發(fā)式增長(zhǎng)，倪賢豪表示，隨著大模型推理成本的下降，包括開(kāi)發(fā)工具的適配、框架的創(chuàng)新以及應(yīng)用安全、決策的可解釋性、魯棒性等問(wèn)題的解決，未來(lái)，推動(dòng)Agent解決復(fù)雜問(wèn)題的能力提升將變得更有可能也更關(guān)鍵。他認(rèn)為，從用戶視角切入，以需求反推技術(shù)或許能撬動(dòng)AI應(yīng)用的用戶存量和增量市場(chǎng)，Super APP在2025年的誕生值得期待。X9L即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

　　“當(dāng)前，我們處在人工智能發(fā)展的新拐點(diǎn)，大模型的能力涌現(xiàn)加速通用人工智能時(shí)代的到來(lái)，原生統(tǒng)一多模態(tài)、具身智能、AI for Science，將進(jìn)一步深化人工智能對(duì)世界的感知、理解與推理，連接數(shù)字世界與物理世界，驅(qū)動(dòng)科學(xué)研究創(chuàng)新突破?！敝窃囱芯吭涸洪L(zhǎng)王仲遠(yuǎn)表示。X9L即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com