首頁(yè)  ?  新聞?lì)l道  ?  國(guó)際新聞

新聞分析|全球科研團(tuán)隊(duì)競(jìng)逐低成本AI模型研發(fā)新范式

2025-02-23 15:56:42

來(lái)源:新華網(wǎng)

  新華社北京2月23日電 新聞分析|全球科研團(tuán)隊(duì)競(jìng)逐低成本AI模型研發(fā)新范式

  新華社記者彭茜

  美國(guó)斯坦福大學(xué)等機(jī)構(gòu)研究團(tuán)隊(duì)近日宣布,在基座大模型基礎(chǔ)上,僅耗費(fèi)數(shù)十美元就開(kāi)發(fā)出相對(duì)成熟的推理模型。盡管其整體性能尚無(wú)法比肩美國(guó)開(kāi)放人工智能研究中心(OpenAI)開(kāi)發(fā)的o1、中國(guó)深度求索公司的DeepSeek-R1等,但此類嘗試意味著企業(yè)可以較低成本研發(fā)出適合自身的AI應(yīng)用,AI普惠性有望增強(qiáng)。同時(shí),其所應(yīng)用的“測(cè)試時(shí)擴(kuò)展”技術(shù)或代表一條更可持續(xù)的AI研發(fā)路徑。

  低成本玩轉(zhuǎn)高級(jí)推理

  美國(guó)斯坦福大學(xué)和華盛頓大學(xué)研究團(tuán)隊(duì)近日宣布研發(fā)出名為s1的模型,在衡量數(shù)學(xué)和編碼能力的測(cè)試中,可媲美o1和DeepSeek-R1等。研究團(tuán)隊(duì)稱,訓(xùn)練租用所需的計(jì)算資源等成本只需約幾十美元。

  s1的核心創(chuàng)新在于采用了“知識(shí)蒸餾”技術(shù)和“預(yù)算強(qiáng)制”方法。“知識(shí)蒸餾”好比把別人釀好的酒進(jìn)一步提純。該模型訓(xùn)練數(shù)據(jù)是基于谷歌Gemini Thinking Experimental模型“蒸餾”出的僅有1000個(gè)樣本的小型數(shù)據(jù)集。

  “預(yù)算強(qiáng)制”則使用了AI模型訓(xùn)練新方法——“測(cè)試時(shí)擴(kuò)展”的實(shí)現(xiàn)方式。“測(cè)試時(shí)擴(kuò)展”又稱“深度思考”,核心是在模型測(cè)試階段,通過(guò)調(diào)整計(jì)算資源分配,使模型更深入思考問(wèn)題,提高推理能力和準(zhǔn)確性。

  “預(yù)算強(qiáng)制”通過(guò)強(qiáng)制提前結(jié)束或延長(zhǎng)模型的思考過(guò)程,來(lái)影響模型的推理深度和最終答案。s1對(duì)阿里云的通義千問(wèn)開(kāi)源模型進(jìn)行微調(diào),通過(guò)“預(yù)算強(qiáng)制”控制訓(xùn)練后的模型計(jì)算量,使用16個(gè)英偉達(dá)H100 GPU僅進(jìn)行26分鐘訓(xùn)練便達(dá)成目標(biāo)。

  美國(guó)加利福尼亞大學(xué)伯克利分校研究團(tuán)隊(duì)最近也開(kāi)發(fā)出一款名為TinyZero的精簡(jiǎn)AI模型,稱復(fù)刻了DeepSeek-R1 Zero在倒計(jì)時(shí)和乘法任務(wù)中的表現(xiàn)。該模型通過(guò)強(qiáng)化學(xué)習(xí),實(shí)現(xiàn)了部分相當(dāng)于30億模型參數(shù)的大語(yǔ)言模型的自我思維驗(yàn)證和搜索能力。團(tuán)隊(duì)稱項(xiàng)目訓(xùn)練成本不到30美元。

  “二次創(chuàng)造”增強(qiáng)AI普惠性

  清華大學(xué)計(jì)算機(jī)系長(zhǎng)聘副教授劉知遠(yuǎn)接受記者采訪時(shí)說(shuō),部分海外研究團(tuán)隊(duì)使用DeepSeek-R1、o1等高性能推理大模型來(lái)構(gòu)建、篩選高質(zhì)量長(zhǎng)思維鏈數(shù)據(jù)集,再用這些數(shù)據(jù)集微調(diào)模型,可低成本快速獲得高階推理能力。

  相關(guān)專家認(rèn)為,這是AI研發(fā)的有益嘗試,以“二次創(chuàng)造”方式構(gòu)建模型增強(qiáng)了AI普惠性。但有三點(diǎn)值得注意:

  首先,所謂“幾十美元的低成本”,并未納入開(kāi)發(fā)基座大模型的高昂成本。這就好比蓋房子,只算了最后裝修的錢,卻沒(méi)算買地、打地基的錢。AI智庫(kù)“快思慢想研究院”院長(zhǎng)田豐告訴記者,幾十美元成本只是最后一個(gè)環(huán)節(jié)的算力成本,并未計(jì)算基座模型的預(yù)訓(xùn)練成本、數(shù)據(jù)采集加工成本。

  其次,“二次創(chuàng)造”構(gòu)建的模型,整體性能尚無(wú)法比肩成熟大模型。TinyZero僅在簡(jiǎn)單數(shù)學(xué)任務(wù)、編程及數(shù)學(xué)益智游戲等特定任務(wù)中有良好表現(xiàn),但無(wú)法適用于更復(fù)雜、多樣化的任務(wù)場(chǎng)景。而s1模型也只能通過(guò)精心挑選的訓(xùn)練數(shù)據(jù),在特定測(cè)試集上超過(guò)早期版本o1 preview,而遠(yuǎn)未超過(guò)o1正式版或DeepSeek-R1。

  最后,開(kāi)發(fā)性能更優(yōu)越的大模型,仍需強(qiáng)化學(xué)習(xí)技術(shù)。劉知遠(yuǎn)說(shuō),就推動(dòng)大模型能力邊界而言,“知識(shí)蒸餾”技術(shù)意義不大,未來(lái)仍需探索大規(guī)模強(qiáng)化學(xué)習(xí)技術(shù),以持續(xù)激發(fā)大模型在思考、反思、探索等方面的能力。

  AI模型未來(lái)如何進(jìn)化

  在2025年美國(guó)消費(fèi)電子展上,美國(guó)英偉達(dá)公司高管為AI的進(jìn)化勾畫(huà)了一條路線圖:以智能水平為縱軸、以計(jì)算量為橫軸,衡量AI模型的“規(guī)模定律”呈現(xiàn)從“預(yù)訓(xùn)練擴(kuò)展”、到“訓(xùn)練后擴(kuò)展”,再到“測(cè)試時(shí)擴(kuò)展”的演進(jìn)。

  “預(yù)訓(xùn)練擴(kuò)展”堪稱“大力出奇跡”——訓(xùn)練數(shù)據(jù)越多、模型規(guī)模越大、投入算力越多,最終得到AI模型的能力就越強(qiáng)。目標(biāo)是構(gòu)建一個(gè)通用語(yǔ)言模型,以GPT早期模型為代表。而“訓(xùn)練后擴(kuò)展”涉及強(qiáng)化學(xué)習(xí)和人類反饋等技術(shù),是預(yù)訓(xùn)練模型的“進(jìn)化”,優(yōu)化其在特定領(lǐng)域的任務(wù)表現(xiàn)。

  隨著“預(yù)訓(xùn)練擴(kuò)展”和“訓(xùn)練后擴(kuò)展”邊際收益逐漸遞減,“測(cè)試時(shí)擴(kuò)展”技術(shù)興起。田豐說(shuō),“測(cè)試時(shí)擴(kuò)展”的核心在于將焦點(diǎn)從訓(xùn)練階段轉(zhuǎn)移到推理階段,通過(guò)動(dòng)態(tài)控制推理過(guò)程中的計(jì)算量(如思考步長(zhǎng)、迭代次數(shù))來(lái)優(yōu)化結(jié)果。這一方法不僅降低了對(duì)預(yù)訓(xùn)練數(shù)據(jù)的依賴,還顯著提升了模型潛力。

  三者在資源分配和應(yīng)用場(chǎng)景上各有千秋。預(yù)訓(xùn)練像是讓AI模型去學(xué)校學(xué)習(xí)基礎(chǔ)知識(shí),而后訓(xùn)練則是讓模型掌握特定工作技能,如醫(yī)療、法律等專業(yè)領(lǐng)域。“測(cè)試時(shí)擴(kuò)展”則賦予了模型更強(qiáng)推理能力。

  AI模型的迭代還存在類似摩爾定律的現(xiàn)象,即能力密度隨時(shí)間呈指數(shù)級(jí)增強(qiáng)。劉知遠(yuǎn)說(shuō),2023年以來(lái),大模型能力密度大約每100天翻一番,即每過(guò)100天,只需要一半算力和參數(shù)就能實(shí)現(xiàn)相同能力。未來(lái)應(yīng)繼續(xù)推進(jìn)計(jì)算系統(tǒng)智能化,不斷追求更高能力密度,以更低成本,實(shí)現(xiàn)大模型高效發(fā)展。

  • 相關(guān)閱讀
  • 以色列總理:以在加沙“隨時(shí)準(zhǔn)備重返激烈戰(zhàn)斗”

      新華社耶路撒冷2月23日電(記者王卓倫 馮國(guó)芮)據(jù)以色列媒體23日?qǐng)?bào)道,以總理內(nèi)塔尼亞胡當(dāng)天發(fā)出警告說(shuō),以色列在加沙地帶“隨時(shí)準(zhǔn)備重返激烈戰(zhàn)斗,作戰(zhàn)計(jì)劃已準(zhǔn)備就緒”。  內(nèi)塔尼亞胡當(dāng)天在參加以軍方活動(dòng)時(shí)說(shuō),巴勒斯坦...

    時(shí)間:02-24
  • 所羅門群島附近海域發(fā)生6.0級(jí)地震

      新華社悉尼2月24日電 霍尼亞拉消息:南太平洋島國(guó)所羅門群島附近海域24日發(fā)生6.0級(jí)地震。目前尚無(wú)人員傷亡和財(cái)產(chǎn)損失報(bào)告。  據(jù)美國(guó)地質(zhì)調(diào)查局地震信息網(wǎng)消息,此次地震發(fā)生在當(dāng)?shù)貢r(shí)間24日5時(shí)16分(北京時(shí)間2時(shí)16分),...

    時(shí)間:02-24
  • 出口民調(diào)顯示聯(lián)盟黨在德國(guó)聯(lián)邦議院選舉中得票領(lǐng)先

      新華社柏林2月23日電(記者邰思聰 李超)德國(guó)新一屆聯(lián)邦議院(議會(huì)下院)選舉投票于當(dāng)?shù)貢r(shí)間23日18時(shí)結(jié)束。出口民調(diào)顯示,基督教民主聯(lián)盟和基督教社會(huì)聯(lián)盟組成的聯(lián)盟黨得票率領(lǐng)先其他政黨。  德國(guó)電視一臺(tái)發(fā)布的出口民調(diào)...

    時(shí)間:02-24
  • 中國(guó)駐英國(guó)使館為“里斯本丸”號(hào)船幸存者家屬舉辦新春招待會(huì)

      新華社倫敦2月23日電(記者章博寧 趙小娜)中國(guó)駐英國(guó)大使館22日在倫敦為“里斯本丸”號(hào)船幸存者家屬舉辦新春招待會(huì),共同追憶80多年前中國(guó)漁民英勇?tīng)I(yíng)救英軍戰(zhàn)俘的感人事跡。  1942年10月,日本軍隊(duì)征用“里斯本丸”...

    時(shí)間:02-23
  • 國(guó)際觀察|烏克蘭危機(jī)升級(jí)三年 多方博弈仍在激化

      新華社莫斯科/基輔2月23日電 題:烏克蘭危機(jī)升級(jí)三年 多方博弈仍在激化  新華社記者黃河 李東旭  烏克蘭危機(jī)升級(jí)已三年。這場(chǎng)沖突劇烈沖擊地區(qū)安全、經(jīng)濟(jì)、社會(huì)等諸多領(lǐng)域,同時(shí)深刻...

    時(shí)間:02-23
  • 尼日利亞中部交通事故造成至少14人死亡

      新華社阿布賈2月23日電(記者楊喆)尼日利亞警方23日說(shuō),尼日利亞中部尼日爾州22日發(fā)生車輛相撞事故,造成至少14人死亡、6人受傷。  尼日爾州交警部門負(fù)責(zé)人說(shuō),22日下午,一輛客車在該州一條高速公路上試...

    時(shí)間:02-23
  • 《哪吒2》在斐濟(jì)上映 預(yù)售火爆臨時(shí)加映

      新華社蘇瓦2月23日電(記者郭鑫惠)斐濟(jì)首都蘇瓦市達(dá)莫達(dá)爾影院市場(chǎng)部經(jīng)理克利夫22日接受新華社記者采訪時(shí)表示,中國(guó)動(dòng)畫(huà)電影《哪吒之魔童鬧海》(以下稱《哪吒2》)自20日在蘇瓦上映以來(lái),票房表現(xiàn)出色,上座率超出預(yù)...

    時(shí)間:02-23
  • 全球連線 | 40天1004公里 他們徒步穿越塔克拉瑪干

      近日,職業(yè)徒步者周揚(yáng)和張治國(guó)完成一項(xiàng)壯舉,他們以全自助方式徒步40天,由東往西橫穿“死亡之海”塔克拉瑪干沙漠,總距離達(dá)1004公里,期間他們克服沙塵暴、寒潮、脫水等多重困難。周揚(yáng)說(shuō)他為這次穿越塔克拉瑪干沙...

    時(shí)間:02-23
  • 以借口“羞辱性儀式”推遲釋放巴方人員

      新華社北京2月23日電 巴勒斯坦伊斯蘭抵抗運(yùn)動(dòng)(哈馬斯)22日釋放6名以方被扣押人員后,以色列方面卻以哈馬斯釋放以方被扣押人員時(shí)舉行“羞辱性儀式”為由,未按照約定于當(dāng)天釋放600多名巴方在押人員。哈馬斯指責(zé)以色列公...

    時(shí)間:02-23
免責(zé)聲明:本網(wǎng)對(duì)文中陳述、觀點(diǎn)判斷保持中立,不對(duì)所包含內(nèi)容的準(zhǔn)確性、可靠性或完整性提供任何明示或暗示的保證。請(qǐng)讀者僅作參考,并請(qǐng)自行承擔(dān)全部責(zé)任。 本網(wǎng)站轉(zhuǎn)載圖片、文字之類版權(quán)申明,本網(wǎng)站無(wú)法鑒別所上傳圖片或文字的知識(shí)版權(quán),如果侵犯,請(qǐng)及時(shí)通知我們,本網(wǎng)站將在第一時(shí)間及時(shí)刪除。
主站蜘蛛池模板: 免费无码又爽又刺激毛片| 免费无码成人AV片在线在线播放| 91精品国产综合久久久久久| 日本加勒比在线精品视频| 亚洲熟妇色xxxxx欧美老妇| 色播在线观看免费| 国产精品午夜小视频观看| 三上悠亚亚洲一区高清| 晚上睡不着来b站一次看过瘾| 伊人这里只有精品| 色综合久久久无码中文字幕| 国产精品国产三级国产在线观看| 一个人免费视频观看在线www| 日韩三级小视频| 亚洲国产精品无码久久一区二区| 精品四虎免费观看国产高清午夜| 国产女人高潮视频在线观看 | 四只虎免费永久观看| 亚洲综合色区中文字幕| 天堂影院www陈冠希张柏芝| 久久99精品视频| 欧美a级v片不卡在线观看| 人与动人物A级毛片在线| 美女胸被狂揉扒开吃奶二次元| 国产欧美日韩综合精品一区二区| 99久久人妻精品免费一区| 成人免费视频国产| 久久国产乱子伦免费精品| 欧美大交乱xxxxxbbb| 人人澡人人爽人人| 精品女同一区二区三区免费站| 国产在线观a免费观看| 浮力国产第一页| 国内一级纶理片免费| 一二三四日本高清社区5| 日产精品久久久久久久性色| 九一制片厂免费传媒果冻| 欧美性色19p| 亚洲福利一区二区三区| 福利视频999| 午夜网站在线观看免费网址免费|