達(dá)摩院發(fā)布中文社區(qū)最大規(guī)模預(yù)訓(xùn)練語言模型

　　近日，阿里巴巴達(dá)摩院發(fā)布中文社區(qū)最大規(guī)模預(yù)訓(xùn)練語言模型PLUG。該模型參數(shù)規(guī)模達(dá)270億，集語言理解與生成能力于一身。

　　該模型背后的操作原理是自然語言處理。這是人工智能的核心技術(shù)。它無縫彌合了復(fù)雜的人類語言和編碼機(jī)器之間的通信鴻溝，讓機(jī)器“聽得懂”人話。而預(yù)訓(xùn)練語言模型正是目前自然語言處理的一種主流技術(shù)。它可以基于大規(guī)模文本預(yù)訓(xùn)練，得出通用的語言知識，然后經(jīng)過微調(diào)，有針對性地將學(xué)習(xí)到的知識傳遞給不同的下游任務(wù)。

　　從產(chǎn)業(yè)發(fā)展的角度來看，基于人工智能的語言模型提供了一種基于海量非監(jiān)督數(shù)據(jù)自學(xué)習(xí)的范式，減少人工干預(yù)成本，加快AI技術(shù)的商業(yè)化落地。近年來，AI領(lǐng)域興起了預(yù)訓(xùn)練語言模型浪潮。2020年5月，OpenAI發(fā)布的1750億參數(shù)超大規(guī)模預(yù)訓(xùn)練模型GPT-3“一炮而紅”。微軟巨額投資跟進(jìn)，獲得GPT-3語言模型的獨(dú)家許可。2021年1月，谷歌推出1.6萬億參數(shù)的超級語言模型Switch Transformer，也受到了高度關(guān)注。

　　“通常情況下，越多訓(xùn)練數(shù)據(jù)，越大參數(shù)規(guī)模，一般能夠獲得更好的性能。當(dāng)然，到了一定程度也有一定的上限?！边_(dá)摩院深度語言模型團(tuán)隊負(fù)責(zé)人黃松芳在接受記者采訪時表示。大規(guī)模AI語言模型競爭的背后，實際上是數(shù)據(jù)量、算力和模型結(jié)構(gòu)設(shè)計之間的較量。

　　據(jù)黃松芳介紹，PLUG的亮點(diǎn)主要體現(xiàn)在兩個方面：首先，不同于GPT-3單向生成模型，PLUG是一個雙向的自然語言理解和生成統(tǒng)一模型，集成了達(dá)摩院自研的語言理解StructBERT和語言生成PALM雙模型，通過構(gòu)建輸入文本雙向理解能力，顯著提升了輸出文本的相關(guān)性。其次，得益于阿里云EFLOPS高性能AI計算集群和高效的并行訓(xùn)練優(yōu)化算法，PLUG基于1TB的文本數(shù)據(jù)訓(xùn)練，參數(shù)規(guī)模達(dá)到270億，在語言理解任務(wù)上，PLUG以80.614分刷新了CLUE分類榜單紀(jì)錄；在語言生成任務(wù)上，PLUG多項應(yīng)用數(shù)據(jù)較業(yè)內(nèi)最優(yōu)水平提升了8%以上。

　　然而，黃松芳也坦言：“目前PLUG是全球中文領(lǐng)域最大的純文本預(yù)訓(xùn)練語言模型，但相比國外以英文為核心的GPT-3模型1750億的參數(shù)規(guī)模，還只有其1/6不到。”據(jù)介紹，達(dá)摩院計劃將PLUG參數(shù)規(guī)模擴(kuò)大至2000億級，并進(jìn)一步提升文本生成質(zhì)量。

　　“后續(xù)，我們在盡力繼續(xù)擴(kuò)大模型參數(shù)規(guī)模的同時，也會關(guān)注超大模型的落地應(yīng)用實踐，努力探索低碳、高效、業(yè)務(wù)可用的預(yù)訓(xùn)練語言模型。另外，對于大規(guī)模訓(xùn)練語言模型的發(fā)展趨勢，我們將從數(shù)據(jù)驅(qū)動逐步發(fā)展到知識驅(qū)動，探索數(shù)據(jù)和知識深度融合的預(yù)訓(xùn)練語言模型?！秉S松芳說。

　　未來，PLUG有望廣泛運(yùn)用于日常生產(chǎn)及生活的場景中。例如，在醫(yī)療領(lǐng)域中，PLUG可用于電子病歷的質(zhì)量控制、臨床醫(yī)學(xué)的輔助診療等；在電力領(lǐng)域，可用于各種電力設(shè)備文檔的解析，打造為電力企業(yè)員工提供設(shè)備故障診斷的AI助手，還可以幫助理解電力故障報案需求，提供高效的電力調(diào)度支持。

　　“超大規(guī)模預(yù)訓(xùn)練模型將作為一種AI基礎(chǔ)設(shè)施，推動相關(guān)理論研究和技術(shù)應(yīng)用更上一層，從而改變整個產(chǎn)業(yè)格局。”智源學(xué)術(shù)副院長、清華大學(xué)教授唐杰表示，“繼基于數(shù)據(jù)的互聯(lián)網(wǎng)時代、基于算力的云計算時代之后，接下來可能將進(jìn)入基于模型的AI時代?！保ㄓ浾咚捂海?/p>

　　轉(zhuǎn)自：中國電子報

　　【版權(quán)及免責(zé)聲明】凡本網(wǎng)所屬版權(quán)作品，轉(zhuǎn)載時須獲得授權(quán)并注明來源“中國產(chǎn)業(yè)經(jīng)濟(jì)信息網(wǎng)”，違者本網(wǎng)將保留追究其相關(guān)法律責(zé)任的權(quán)力。凡轉(zhuǎn)載文章及企業(yè)宣傳資訊，僅代表作者個人觀點(diǎn)，不代表本網(wǎng)觀點(diǎn)和立場。版權(quán)事宜請聯(lián)系：010-65363056。

延伸閱讀