2022年6月，浪潮“源(yuan)1.0”大模型登頂中文(wen)語(yu)(yu)言(yan)能力(li)理解(jie)(jie)和生成評測基準(zhun)CUGE總(zong)榜(bang)(bang)榜(bang)(bang)首，并獲(huo)得語(yu)(yu)言(yan)理解(jie)(jie)（篇(pian)章級）、語(yu)(yu)言(yan)生成、對話交互、多語(yu)(yu)言(yan)、數學(xue)推理等5項評測最佳成績(ji)。這是繼(ji)源(yuan)1.0攬獲(huo)權威中文(wen)語(yu)(yu)言(yan)評測基準(zhun)CLUE榜(bang)(bang)單(dan)的零樣本(ben)學(xue)習和小(xiao)樣本(ben)學(xue)習兩類(lei)總(zong)榜(bang)(bang)冠軍后，再次在評測中展現強大實力(li)。

CUGE(Chinese Language Understanding and Generation Evaluation)智(zhi)源指數(shu)是由清華大學(xue)、北京大學(xue)、北京智(zhi)源研究院等(deng)高校機(ji)構共(gong)同建(jian)立的(de)(de)中文機(ji)器(qi)語言(yan)(yan)能(neng)力(li)評測基準(zhun)(zhun)，該基準(zhun)(zhun)針對當前(qian)自然語言(yan)(yan)處理和人(ren)工智(zhi)能(neng)發展新范式，面(mian)向具有(you)“通用語言(yan)(yan)能(neng)力(li)”的(de)(de)預訓練模型，全面(mian)系統、多(duo)層次、多(duo)維度(du)地評測大模型能(neng)力(li)。

源1.0領跑多類綜合語言場景

在語(yu)言理(li)解(篇章級)評測中，源1.0僅用時11分鐘，便完成數千篇閱讀(du)理(li)解回答4000多個問題，以86.9高(gao)分的成績位居榜首，展(zhan)現出(chu)頂(ding)尖的語(yu)言理(li)解能力。基于源1.0大模型(xing)強大的閱讀(du)理(li)解能力及(ji)高(gao)速處理(li)大量(liang)樣本的特點，未(wei)來將加速勞動密集型(xing)文本處理(li)等(deng)行業變革，如應用于智(zhi)能客服根據(ju)用戶(hu)提(ti)供的信息在產品文檔(dang)中快速找到(dao)解決方案及(ji)智(zhi)能司(si)法、智(zhi)能招聘(pin)系統等(deng)。

在語(yu)言生成評測中(zhong)(zhong)，源1.0僅用(yong)時70秒，就完(wan)成近800條摘要(yao)內容的生成，登頂該項榜單。源大模(mo)型(xing)強大的文(wen)本生成能(neng)力可(ke)提升智能(neng)問(wen)答(da)與(yu)對話(hua)、新(xin)聞(wen)摘要(yao)、報告(gao)生成等場(chang)景(jing)中(zhong)(zhong)AI智能(neng)化(hua)水平，如從長篇幅的新(xin)聞(wen)資(zi)訊等文(wen)本中(zhong)(zhong)提取(qu)出簡明(ming)扼(e)要(yao)的文(wen)字描述，便于及時、高效的獲取(qu)有價值的信息及智能(neng)文(wen)案、協助寫作(zuo)等場(chang)景(jing)。

在多語言機(ji)器翻譯(yi)(yi)(yi)評測中(zhong)，基于源(yuan)1.0大(da)模型蒸餾出來(lai)的翻譯(yi)(yi)(yi)模型在完(wan)成(cheng)近4000千對(dui)中(zhong)英文互譯(yi)(yi)(yi)后(hou)，登(deng)頂(ding)榜首(shou)，領先(xian)第(di)二名15%。翻譯(yi)(yi)(yi)模型在基于源(yuan)1.0大(da)模型閱(yue)讀的海量(liang)高質(zhi)量(liang)數據(ju)集(ji)基礎上，采用(yong)維基百科、書(shu)籍、聯(lian)合國文件及字幕組等近80G高質(zhi)量(liang)數據(ju)集(ji)進行(xing)強化訓(xun)練，因此翻譯(yi)(yi)(yi)不僅專業準確，同(tong)時更符合中(zhong)文表述。未來(lai)可(ke)廣(guang)泛應(ying)用(yong)于新聞、哲學(xue)、小說(shuo)等日常(chang)的語言翻譯(yi)(yi)(yi)場(chang)景中(zhong)。

在對(dui)話交互評測中，基于源1.0大模(mo)(mo)型蒸餾出來的(de)對(dui)話模(mo)(mo)型回答(da)了電影(ying)、音樂、旅行(xing)(xing)3個(ge)(ge)領域共近萬(wan)個(ge)(ge)主題對(dui)話，成績位居榜首，領先第二名成績30%，展現(xian)了極強(qiang)的(de)智能對(dui)話能力。在繼承源1.0大模(mo)(mo)型能力的(de)基礎上(shang)，對(dui)話模(mo)(mo)型采用了2660萬(wan)條(tiao)醫療(liao)、法律、保險(xian)等不同行(xing)(xing)業(ye)，歷史、電影(ying)、娛樂等不同場景的(de)對(dui)話語料(liao)數(shu)據(ju)進行(xing)(xing)強(qiang)化訓練，在知識問答(da)、高頻閑聊等開(kai)放式任務(wu)上(shang)表現(xian)突(tu)出，此前已獲得業(ye)界權威(wei)測評WebQA開(kai)放問答(da)數(shu)據(ju)集榜單(dan)冠軍。

當前，智能對話(hua)(hua)(hua)(hua)普(pu)遍存(cun)在內容(rong)乏味、主題不連(lian)貫等問題，往往幾輪對話(hua)(hua)(hua)(hua)后，回答便(bian)空洞重復(fu)，大大降低用(yong)戶體(ti)(ti)驗。知識驅(qu)動的(de)(de)(de)(de)對話(hua)(hua)(hua)(hua)模型(xing)直(zhi)接(jie)(jie)連(lian)接(jie)(jie)到廣泛的(de)(de)(de)(de)知識庫，大大增加對話(hua)(hua)(hua)(hua)內容(rong)的(de)(de)(de)(de)豐富度，在一定知識背景下也(ye)不會偏題，更趨(qu)向于(yu)人類(lei)之間的(de)(de)(de)(de)交(jiao)談。不久前，源開發者社區的(de)(de)(de)(de)一位開發者基于(yu)源的(de)(de)(de)(de)對話(hua)(hua)(hua)(hua)模型(xing)創建了一位能與(yu)(yu)人類(lei)玩(wan)劇(ju)本殺(sha)的(de)(de)(de)(de)AI虛擬玩(wan)家(jia)，一位人類(lei)玩(wan)家(jia)與(yu)(yu)AI虛擬玩(wan)家(jia)聊天到深(shen)夜凌晨仍(reng)興趣盎(ang)然。以(yi)知識驅(qu)動的(de)(de)(de)(de)對話(hua)(hua)(hua)(hua)模型(xing)，可廣泛應用(yong)于(yu)各類(lei)虛擬人、智能助手、智能客服等場景，并(bing)極大提(ti)升對話(hua)(hua)(hua)(hua)的(de)(de)(de)(de)智能水(shui)平(ping)和用(yong)戶體(ti)(ti)驗。

源1.0在數學推理鋒芒初露

當前業界(jie)各類大模(mo)型在自然語言處(chu)理(li)領域展示(shi)出了強(qiang)大的(de)(de)能力，但(dan)在數(shu)(shu)學(xue)(xue)領域卻還存在盲區。數(shu)(shu)學(xue)(xue)對邏(luo)輯和推理(li)能力有極強(qiang)的(de)(de)要求，Open AI開發出多種方法訓練GPT-3的(de)(de)數(shu)(shu)學(xue)(xue)推理(li)能力，但(dan)在挑戰小學(xue)(xue)數(shu)(shu)學(xue)(xue)應用(yong)題時，GPT-3也尚未及格，數(shu)(shu)學(xue)(xue)推理(li)能力甚至低(di)于9-12歲兒童。

為更好評測大(da)模型(xing)邏輯(ji)推(tui)理(li)能力(li)，CUGE專門設立了數(shu)(shu)(shu)(shu)學推(tui)理(li)能力(li)榜單，主要考察(cha)模型(xing)數(shu)(shu)(shu)(shu)值計算(suan)能力(li)，即考察(cha)對應(ying)(ying)用情景(jing)和任務的(de)理(li)解抽象能力(li)以及數(shu)(shu)(shu)(shu)值計算(suan)能力(li)，類似于小學數(shu)(shu)(shu)(shu)學應(ying)(ying)用題。數(shu)(shu)(shu)(shu)學推(tui)理(li)能力(li)榜單數(shu)(shu)(shu)(shu)據(ju)庫內的(de)數(shu)(shu)(shu)(shu)學題來自在(zai)線教育網站(zhan)提供(gong)的(de)小學數(shu)(shu)(shu)(shu)學應(ying)(ying)用題。

在CUGE數學(xue)推理(li)評測中，源(yuan)1.0大(da)模型完成(cheng)1000道小學(xue)數學(xue)應用題，以76.9的高分大(da)幅領先高居(ju)榜(bang)首。

為(wei)應對大模型在(zai)數學推理方(fang)(fang)面的(de)(de)挑戰(zhan)，浪(lang)潮為(wei)源1.0開(kai)發了(le)一(yi)套相(xiang)(xiang)似(si)(si)啟(qi)(qi)發式數據(ju)增強的(de)(de)方(fang)(fang)案，給每一(yi)個要求解(jie)的(de)(de)數學問(wen)題(ti)(ti)從數據(ju)庫中檢索并匹配一(yi)個相(xiang)(xiang)似(si)(si)的(de)(de)題(ti)(ti)目(mu)(mu)并與(yu)原(yuan)題(ti)(ti)目(mu)(mu)進(jin)行拼接，通過(guo)(guo)類(lei)比學習，啟(qi)(qi)發大模型能夠根據(ju)兩道(dao)相(xiang)(xiang)似(si)(si)問(wen)題(ti)(ti)更好地學習如(ru)何給出解(jie)題(ti)(ti)表(biao)達式，進(jin)而學會每一(yi)類(lei)題(ti)(ti)目(mu)(mu)的(de)(de)解(jie)法(fa)，類(lei)似(si)(si)于(yu)人類(lei)在(zai)學習過(guo)(guo)程中會通過(guo)(guo)連續(xu)(xu)學習同一(yi)類(lei)型的(de)(de)題(ti)(ti)目(mu)(mu)來提(ti)高對這(zhe)一(yi)類(lei)型題(ti)(ti)目(mu)(mu)的(de)(de)理解(jie)能力(li)；同時(shi)，浪(lang)潮在(zai)源1.0改進(jin)了(le)算(suan)法(fa)掩碼策(ce)略，使得(de)模型在(zai)學習過(guo)(guo)程中只關(guan)注于(yu)連續(xu)(xu)的(de)(de)相(xiang)(xiang)似(si)(si)的(de)(de)題(ti)(ti)目(mu)(mu)，不(bu)受同一(yi)個輸入序(xu)列中不(bu)相(xiang)(xiang)關(guan)題(ti)(ti)目(mu)(mu)的(de)(de)影響，這(zhe)樣模型可以更專注于(yu)學習同一(yi)類(lei)型的(de)(de)題(ti)(ti)目(mu)(mu)，極大地提(ti)升了(le)解(jie)題(ti)(ti)準確(que)度，全方(fang)(fang)面培養一(yi)個數學學霸(ba)。

源1.0開源開放計劃收效顯著

目前，浪(lang)潮(chao)“源1.0”已經(jing)將(jiang)模型API、高質量數據(ju)集、模型訓練代碼、推理代碼和(he)應(ying)(ying)用(yong)(yong)(yong)代碼等等工具(ju)和(he)能力(li)開源開放，超過300家行(xing)業(ye)用(yong)(yong)(yong)戶和(he)開發(fa)者，通(tong)過“源1.0”提(ti)供的(de)數據(ju)和(he)API顯(xian)著提(ti)升了金融(rong)、互聯網(wang)、醫療和(he)自動駕(jia)駛(shi)等行(xing)業(ye)應(ying)(ying)用(yong)(yong)(yong)的(de)精度。浪(lang)潮(chao)源1.0將(jiang)持續助力(li)行(xing)業(ye)用(yong)(yong)(yong)戶和(he)開發(fa)者，攜手推動技術創新、場景(jing)融(rong)合(he)、應(ying)(ying)用(yong)(yong)(yong)開發(fa)，共同促進大(da)模型的(de)健康(kang)發(fa)展(zhan)與(yu)產業(ye)落地，加速AI產業(ye)化(hua)和(he)產業(ye)AI化(hua)發(fa)展(zhan)。