中國大模型,首登Nature封面。
9月17日,在最新一期的國際權威期刊Nature(自然)中,DeepSeek-R1推理模型研究論文登上了封面。該論文由DeepSeek團隊共同完成,梁文鋒擔任通訊作者,首次公開了僅靠強化學習就能激發(fā)大模型推理能力的重要研究成果。這是中國大模型研究首次登上Nature封面,也是全球首個經(jīng)過完整同行評審并發(fā)表于權威期刊的主流大語言模型研究,標志著中國AI技術在國際科學界獲得最高認可。
Nature在其社論中評價道:“幾乎所有主流的大模型都還沒有經(jīng)過獨立同行評審,這一空白終于被DeepSeek打破。”
中國AI大模型的“Nature時刻”
自大模型浪潮席卷全球以來,技術發(fā)布、性能榜單層出不窮,但始終缺乏一個權威的“科學認證”機制。OpenAI、谷歌等巨頭雖屢有突破,但其核心技術多以技術報告形式發(fā)布,未經(jīng)獨立同行評審。
DeepSeek以其公開性和透明性打破了這一局面。DeepSeek-R1模型的研究論文最早于今年年初發(fā)布在預印本平臺arXiv上。自今年2月14日向Nature投遞論文至今,歷經(jīng)半年,8位外部專家參與了同行評審,DeepSeek-R1推理模型研究論文終獲發(fā)表,完成了從預印本到Nature封面的“學術躍遷”。審稿人不僅關注模型性能,更對數(shù)據(jù)來源、訓練方法、安全性等提出嚴格質(zhì)詢,這一過程是AI模型邁向更高的透明度和可重復性的可喜一步。
因此,Nature也對DeepSeek的開放模式給予高度評價,在其社論中評價道:“幾乎所有主流的大模型都還沒有經(jīng)過獨立同行評審,這一空白終于被DeepSeek打破。”全球知名開源社區(qū)Hugging Face機器學習工程師Lewis Tunstall也是DeepSeek論文的審稿人之一,他強調(diào):“這是一個備受歡迎的先例。如果缺乏這種公開分享大部分研發(fā)過程的行業(yè)規(guī)范,我們將很難評估這些系統(tǒng)的潛在風險。”
據(jù)了解,DeepSeek本次在Nature上發(fā)表的論文較今年年初的初版論文有較大的改動,全文64頁,不僅首次披露了R1的訓練成本,而且透露了更多模型訓練的技術細節(jié),包括對發(fā)布初期外界有關“蒸餾”方法的質(zhì)疑作出了正面回應,提供了訓練過程中減輕數(shù)據(jù)污染的詳細流程,并對R1的安全性進行了全面評估。
其中,在訓練成本方面,R1-Zero和R1都使用了512張H800GPU,分別訓練了198個小時和80個小時,以H800每GPU小時2美元的租賃價格換算,R1的總訓練成本為29.4萬美元(約合人民幣209萬元)。不到30萬美元的訓練成本,與其他推理模型動輒上千萬美元的花費相比,可謂實現(xiàn)了極大的降本。
關于R1發(fā)布最初時所受到的“蒸餾”質(zhì)疑,DeepSeek介紹,其使用的數(shù)據(jù)全部來自互聯(lián)網(wǎng),雖然可能包含GPT-4生成的結果,但并非有意而為之,更沒有專門的蒸餾環(huán)節(jié)。所謂“蒸餾”,簡單理解就是用預先訓練好的復雜模型輸出的結果,作為監(jiān)督信號再去訓練另外一個模型。R1發(fā)布時,OpenAI稱它發(fā)現(xiàn)DeepSeek使用了OpenAI專有模型來訓練自己的開源模型的證據(jù),但拒絕進一步透露其證據(jù)的細節(jié)。
R2何時問世引發(fā)關注
自今年年初發(fā)布R1以來,DeepSeek在全球樹立了開源模型的典范,但過去數(shù)月,外界對于R2何時發(fā)布始終保持高度關注,相關傳言一直不斷。不過,R2的發(fā)布時間一再推遲,外界分析R2研發(fā)進程緩慢可能與算力受限有關。
值得注意的是,今年8月21日,DeepSeek正式發(fā)布DeepSeek-V3.1,稱其為“邁向Agent(智能體)時代的第一步”。據(jù)DeepSeek介紹,V3.1主要包含三大變化:一是采用混合推理架構,一個模型同時支持思考模式與非思考模式;二是具有更高的思考效率,能在更短時間內(nèi)給出答案;三是具有更強的智能體能力,通過后訓練優(yōu)化,新模型在工具使用與智能體任務中的表現(xiàn)有較大提升。
由于R1的基座模型為V3,V3.1的升級也引發(fā)了外界對于R2“在路上”的猜測。V3.1的升級更深刻的意義在于,DeepSeek強調(diào)DeepSeek-V3.1使用了UE8M0 FP8 Scale的參數(shù)精度,而UE8M0 FP8是針對即將發(fā)布的下一代國產(chǎn)芯片設計。這也表明未來基于DeepSeek模型的訓練與推理有望更多應用國產(chǎn)AI芯片,助力國產(chǎn)算力生態(tài)加速建設。這一表態(tài)一度帶動國產(chǎn)芯片算力股股價飆升。
中國銀河證券研報指出,DeepSeek從V3版本就開始采用FP8參數(shù)精度驗證了其訓練的有效性,通過降低算力精度,使國產(chǎn)ASIC芯片能在成熟制程(12-28nm)上接近先進制程英偉達GPU的算力精度,DeepSeek-V3.1使用UE8M0 FP8 Scale參數(shù)精度,讓軟件去主動擁抱硬件更喜歡的數(shù)據(jù)格式,“軟硬協(xié)同”的生態(tài)技術壁壘逐漸成為AI浪潮下新范式,未來國產(chǎn)大模型將更多擁抱FP8算力精度并有望成為一種新技術趨勢,通過軟硬件的協(xié)同換取數(shù)量級性能的提升,國產(chǎn)算力芯片將迎來變革。
校對:王朝全