AI考官自動評估AI翻譯結(jié)果 達(dá)摩院獲WMT2021第一


中國產(chǎn)業(yè)經(jīng)濟信息網(wǎng)   時間:2021-08-25





  記者近日獲悉,在業(yè)界權(quán)威的WMT2021國際機器翻譯大賽上,阿里巴巴達(dá)摩院翻譯團隊打造的翻譯質(zhì)量評估系統(tǒng),在極具挑戰(zhàn)的 Sentence-level Direct Assessment  QE Shared Task 2021質(zhì)量估計比賽上獲得第一名。該系統(tǒng)堪比AI考官,能夠自動給AI翻譯的結(jié)果打分,以此不斷優(yōu)化翻譯模型,提升AI翻譯的質(zhì)量。


  國際機器翻譯大賽WMT已有15年歷史,其賽事眾多。其中包括較為常見的翻譯任務(wù),比如將新聞從英文翻譯為中文,其質(zhì)量好壞評估是用人類譯文來做參考,越接近越好,即BLEU值越高越好。大會還有更為挑戰(zhàn)的翻譯質(zhì)量估計比賽,參賽者需要創(chuàng)造一套AI系統(tǒng),在沒有人類參考譯文的情況下,自動評估機器翻譯的質(zhì)量,因為真實世界就是如此,很少有人類標(biāo)準(zhǔn)答案。


  達(dá)摩院翻譯團隊打造的AI考官,參與了Sentence-level Direct Assessment任務(wù)的全部11項子任務(wù),獲得總平均分第一,從華為、Unbabel等國內(nèi)外資深團隊中脫穎而出。其中,達(dá)摩院在7項有樣本的語向中獲得5項第一,分別為英語-中文、羅馬尼亞語-英語、愛沙尼亞語-英語、尼泊爾語-英語、俄語-英語;在4項零樣本(zero-shot)語向中獲得3項第一,分別為英語-捷克語、普什圖語-英語、高棉語-英語。


(達(dá)摩院翻譯團隊獲得總平均分第一名)


  據(jù)介紹,該項目的創(chuàng)新之處在于,達(dá)摩院翻譯團隊在大規(guī)模預(yù)訓(xùn)練模型和遷移學(xué)習(xí)的基礎(chǔ)上,改進(jìn)了機器翻譯的“白盒”特征,洞悉了機器翻譯模型的內(nèi)部狀態(tài)和原理,包括非常重要的翻譯解碼概率。與此同時,他們還發(fā)現(xiàn)了新的重要質(zhì)檢特征,先使用Levenshtein算法和Masked語言模型對原文進(jìn)行適度加噪,然后利用待評估質(zhì)量的翻譯模型提取相應(yīng)的譯文解碼概率,結(jié)果發(fā)現(xiàn)它與譯文質(zhì)量緊密相關(guān)。更關(guān)鍵的是,研究團隊驗證發(fā)現(xiàn),這些創(chuàng)新方法能夠跨語言通用,在多語向項融合的翻譯質(zhì)量估計模型訓(xùn)練過程中也表現(xiàn)優(yōu)秀,有望推動機器翻譯整個領(lǐng)域的進(jìn)步。


  達(dá)摩院AI考官已用于阿里多個業(yè)務(wù)場景,包括全球速賣通AliExpress、Lazada、釘釘、阿里云技術(shù)文檔等,能實時監(jiān)測線上翻譯質(zhì)量,定向優(yōu)化翻譯模型,讓這些場景里的機器翻譯性能提升5%-15%不等。



  據(jù)了解,這是達(dá)摩院翻譯團隊第二次參與WMT的翻譯質(zhì)量估計比賽,2018年他們曾獲得英-德、德-英語向句子級別和詞級別等六項質(zhì)量估計子任務(wù)冠軍。達(dá)摩院翻譯團隊近兩年在國際頂會上發(fā)表論文100余篇,已實現(xiàn)214種語言的高質(zhì)量翻譯,日調(diào)用量突破13億次,創(chuàng)造了多項世界紀(jì)錄。他們還揭榜了工信部人工智能產(chǎn)業(yè)創(chuàng)新重點任務(wù)中的智能翻譯系統(tǒng),在2021年第一期評比中榮獲優(yōu)勝單位。


  轉(zhuǎn)自:C114通信網(wǎng)

  【版權(quán)及免責(zé)聲明】凡本網(wǎng)所屬版權(quán)作品,轉(zhuǎn)載時須獲得授權(quán)并注明來源“中國產(chǎn)業(yè)經(jīng)濟信息網(wǎng)”,違者本網(wǎng)將保留追究其相關(guān)法律責(zé)任的權(quán)力。凡轉(zhuǎn)載文章及企業(yè)宣傳資訊,僅代表作者個人觀點,不代表本網(wǎng)觀點和立場。版權(quán)事宜請聯(lián)系:010-65363056。

延伸閱讀

  • 自動駕駛領(lǐng)域新突破!達(dá)摩院“造”了新款“夜視鏡”

    記者從阿里巴巴達(dá)摩院方面獲悉,達(dá)摩院已自主研發(fā)出用于車載攝像頭的ISP處理器,這項技術(shù)將保障自動駕駛車輛在夜間擁有更好的“視力”,大幅提升自動駕駛安全性。目前,該處理器已經(jīng)用于自動駕駛物流車,路測性能達(dá)到業(yè)界領(lǐng)先...
    2020-04-13

熱點視頻

高質(zhì)量發(fā)展穩(wěn)步推進(jìn) 中國經(jīng)濟基本面持續(xù)向好 高質(zhì)量發(fā)展穩(wěn)步推進(jìn) 中國經(jīng)濟基本面持續(xù)向好

熱點新聞

熱點輿情

?

微信公眾號

版權(quán)所有:中國產(chǎn)業(yè)經(jīng)濟信息網(wǎng)京ICP備11041399號-2京公網(wǎng)安備11010502035964