【TWINHOW評點：基于人工智能的自動化科技平臺“紫東太初”將大有作為】自動化網(wǎng)推好（TWINHOW）高質(zhì)量發(fā)展聯(lián)盟（平臺）評論要點：

• “紫東太初”大模型開拓性地實現(xiàn)了圖-文-音語義統(tǒng)一表達，首次實現(xiàn)了“語音生成視頻”的功能，邁出朝向人工智能通用化的關(guān)鍵一步。并依托紫東太初大模型研發(fā)了跨模態(tài)通用人工智能平臺，打造了多模態(tài)人機對話機器人“小初”，兼具圖文音的理解、推理和生成能力，具有圖像生成、智能問答、語音識別、文字識別、視頻生成、視頻描述、智能翻譯等30多項功能。
• 基于人工智能的自動化科技平臺“紫東太初”，在具有自主可控的自然語言處理、模式識別、知識圖譜、機器學(xué)習(xí)、自動學(xué)習(xí)等人工智能科技的基礎(chǔ)上，通過 在工業(yè)、醫(yī)療、城市、金融、物流、科學(xué)研究等行業(yè)領(lǐng)域開展典型應(yīng)用示范，必將大有作為，為推動高質(zhì)量發(fā)展、共創(chuàng)更美好未來作出“自動化者”應(yīng)有的貢獻！

據(jù)中科院自動化所信息，日前，工業(yè)和信息化部公布了“2021年人工智能產(chǎn)業(yè)創(chuàng)新任務(wù)揭榜掛帥項目”立項名單，由中科院自動化所牽頭的“大規(guī)模多模態(tài)預(yù)訓(xùn)練模型的研發(fā)與行業(yè)應(yīng)用”項目在1200余個申報項目中脫穎而出，獲得優(yōu)勝揭榜資格。 

該項目聚焦大規(guī)模多模態(tài)預(yù)訓(xùn)練模型的研發(fā)與行業(yè)應(yīng)用，以自主可控基礎(chǔ)軟硬件平臺為基礎(chǔ)，突破不同領(lǐng)域的共性平臺技術(shù)，實現(xiàn)萬億級參數(shù)量規(guī)模的大模型分布式訓(xùn)練，構(gòu)建覆蓋多語種文本、語音、圖像、視頻的多模態(tài)預(yù)訓(xùn)練大模型，通過在工業(yè)、醫(yī)療、城市、金融、物流、科學(xué)研究等行業(yè)領(lǐng)域開展典型應(yīng)用示范，改變當(dāng)前單一模型對應(yīng)單一任務(wù)的人工智能研發(fā)范式，推動我國人工智能研發(fā)規(guī)則產(chǎn)生重大變革。 

此前，已經(jīng)以全棧自主可控基礎(chǔ)軟硬件平臺為基礎(chǔ)，與武漢市東湖高新區(qū)深度合作，依托武漢智能計算中心的昇騰GPU，研發(fā)了面向超大規(guī)模模型的高效分布式訓(xùn)練框架，在圖、文、音三個基礎(chǔ)模型上加入跨模態(tài)編碼和解碼網(wǎng)絡(luò)，打造了業(yè)內(nèi)首個千億參數(shù)三模態(tài)大模型“紫東太初”。

“紫東太初”大模型開拓性地實現(xiàn)了圖-文-音語義統(tǒng)一表達，首次實現(xiàn)了“語音生成視頻”的功能，邁出朝向人工智能通用化的關(guān)鍵一步。并依托紫東太初大模型研發(fā)了跨模態(tài)通用人工智能平臺，打造了多模態(tài)人機對話機器人“小初”，兼具圖文音的理解、推理和生成能力，具有圖像生成、智能問答、語音識別、文字識別、視頻生成、視頻描述、智能翻譯等30多項功能。目前，“紫東太初”已經(jīng)與上汽集團、魏橋創(chuàng)業(yè)、愛奇藝和新華社、美亞大千等行業(yè)領(lǐng)軍企業(yè)合作，共同探索了豐富的應(yīng)用落地場景。 

2021年12月5日，第九屆中國新興媒體產(chǎn)業(yè)融合發(fā)展大會在海南博鰲舉行。中國科學(xué)院自動化研究所、新華社技術(shù)局、媒體融合生產(chǎn)技術(shù)與系統(tǒng)國家重點實驗室聯(lián)合發(fā)布“全媒體多模態(tài)大模型研發(fā)計劃”，將在媒體科技領(lǐng)域進行全新合作，通過技術(shù)創(chuàng)新推動媒體融合發(fā)展。 

此次計劃研發(fā)的“全媒體多模態(tài)大模型”，將基于中科院自動化所“聞海”多模態(tài)媒體大數(shù)據(jù)和“紫東太初”三模態(tài)大模型核心技術(shù)積累，面向新華社技術(shù)局、媒體融合生產(chǎn)技術(shù)與系統(tǒng)國家重點實驗室等部門的業(yè)務(wù)領(lǐng)域模型，構(gòu)建“大數(shù)據(jù)+大模型+多模態(tài)”的多任務(wù)統(tǒng)一學(xué)習(xí)體系，以及“知識與數(shù)據(jù)混合驅(qū)動”的可信建模方式，從而實現(xiàn)對全媒體數(shù)據(jù)理解與生成的統(tǒng)一建模，打造全棧國產(chǎn)化媒體人工智能平臺。

中國科學(xué)院自動化研究所王金橋研究員在會上分享了“紫東太初”三模態(tài)大模型與媒體業(yè)務(wù)融合方面的新進展，介紹了內(nèi)容理解、圖像生成、視頻生成等方面的性能提升，展示了多模態(tài)對話虛擬人“小初”在高清圖片生成、新聞續(xù)寫和熱點新聞發(fā)現(xiàn)等方面的強大能力。 

“紫東太初”三模態(tài)大模型兼具跨模態(tài)理解和生成能力，結(jié)合新華社在海量全媒體數(shù)據(jù)積累和媒體融合業(yè)務(wù)場景，共同打造“全媒體多模態(tài)大模型”，將加速推動AI在如視頻配音、語音播報、標(biāo)題摘要、海報創(chuàng)作等更多元媒體業(yè)務(wù)場景的應(yīng)用。 

據(jù)悉，工業(yè)和信息化部組織開展的“2021年人工智能產(chǎn)業(yè)創(chuàng)新任務(wù)揭榜掛帥工作”，聚焦人工智能產(chǎn)業(yè)發(fā)展的核心基礎(chǔ)、重點產(chǎn)品、公共支撐等3類創(chuàng)新任務(wù)，旨在發(fā)掘培育一批掌握關(guān)鍵核心技術(shù)、具備較強創(chuàng)新能力的優(yōu)勢單位，突破一批人工智能標(biāo)志性技術(shù)產(chǎn)品，加快突破產(chǎn)業(yè)發(fā)展瓶頸、補齊短板，推動我國人工智能產(chǎn)業(yè)與實體經(jīng)濟融合發(fā)展。