6月1日，北京智源人工智能研究院在2021北京智源大會(huì)上發(fā)布超大規(guī)模智能模型“悟道2.0”。據(jù)悉，其參數(shù)規(guī)模達(dá)1.75萬(wàn)億，是AI模型GPT-3的10倍，打破之前由GoogleSwitchTransformer預(yù)訓(xùn)練模型創(chuàng)造的1.6萬(wàn)億參數(shù)記錄，是目前中國(guó)首個(gè)、全球最大的萬(wàn)億級(jí)模型。

智源研究院理事長(zhǎng)張宏江表示，目前，“大模型+大算力”是邁向通用人工智能的一條可行路徑。大模型對(duì)于人工智能發(fā)展具有重大意義，未來(lái)將基于大模型形成類(lèi)似電網(wǎng)的變革性AI產(chǎn)業(yè)基礎(chǔ)設(shè)施。AI大模型相當(dāng)于“發(fā)電廠”，將數(shù)據(jù)，也就是“燃料”，轉(zhuǎn)換為智能能力，驅(qū)動(dòng)各種AI應(yīng)用。如果將大模型和所有的AI應(yīng)用相連接，為用戶(hù)提供統(tǒng)一的智能能力，全社會(huì)將形成一個(gè)智能能力生產(chǎn)和使用的網(wǎng)絡(luò)，即“智網(wǎng)”。大模型就是下一個(gè)AI的基礎(chǔ)平臺(tái)，是未來(lái)AI發(fā)展的戰(zhàn)略基礎(chǔ)設(shè)施。

智源研究院學(xué)術(shù)副院長(zhǎng)唐杰教授介紹說(shuō)，“悟道”超大模型智能模型旨在打造數(shù)據(jù)和知識(shí)雙輪驅(qū)動(dòng)的認(rèn)知智能，讓機(jī)器能夠像人一樣思考，實(shí)現(xiàn)超越圖靈測(cè)試的機(jī)器認(rèn)知能力。“悟道”團(tuán)隊(duì)在大規(guī)模預(yù)訓(xùn)練模型研發(fā)上做了很多基礎(chǔ)性工作，形成自主的超大規(guī)模智能模型技術(shù)創(chuàng)新體系，擁有從預(yù)訓(xùn)練理論技術(shù)到預(yù)訓(xùn)練工具，再到預(yù)訓(xùn)練模型構(gòu)建和最終模型測(cè)評(píng)的完整鏈條，從技術(shù)上是完整成熟的。“悟道2.0”實(shí)現(xiàn)了“大而聰明”，具備大規(guī)模、高精度、高效率的特點(diǎn)。

據(jù)了解，“悟道”團(tuán)隊(duì)研發(fā)的FastMoE技術(shù)，是打破國(guó)外技術(shù)瓶頸，實(shí)現(xiàn)“萬(wàn)億模型”基石的關(guān)鍵。其研究并開(kāi)源的FastMoE是首個(gè)支持PyTorch框架的MoE系統(tǒng)，具有簡(jiǎn)單易用、靈活、高性能等特點(diǎn)，并且支持大規(guī)模并行訓(xùn)練。而且，其還支持Switch、GShard等復(fù)雜均衡策略以及不同模型。

關(guān)鍵詞： 智能模型 悟道 人工智能 AI模型