【ZiDongHua 之動感惠民生收錄關(guān)鍵詞： 聯(lián)想  ChatGPT  AIGC 生成式人工智能 算力】

 

解密：大模型背后的推手

 

在發(fā)布不到兩個月的時間內(nèi)就擁有了1億活躍用戶，讓ChatGPT成為了有史以來用戶數(shù)量增長最快的應(yīng)用，也讓人類從此進(jìn)入了AI的“iPhone時刻”。

通過使用大模型算法和大量數(shù)據(jù)訓(xùn)練，ChatGPT不僅上知天文、下曉地理，還能根據(jù)聊天場景的上下文與人類進(jìn)行交流互動，這樣前所未有的功能引發(fā)了公眾對于大模型訓(xùn)練應(yīng)用的熱情，各大廠商也紛紛進(jìn)入大模型訓(xùn)練賽道。然而，大模型訓(xùn)練對于算力有著極高的要求，算力需求因此出現(xiàn)了迸發(fā)式增長。

6月27日，來自中國人工智能學(xué)會、聯(lián)想和英偉達(dá)的專家在“從ChatGPT看大模型訓(xùn)練背后的算力推手”云端研討會中共同探討了ChatGPT引發(fā)的算力需求背后的故事，并展望了生成式人工智能的發(fā)展前景。

詳解ChatGPT

北京郵電大學(xué)教授、中國人工智能學(xué)會高級會員張成文介紹了ChatGPT大模型的技術(shù)及其發(fā)展趨勢。

北京郵電大學(xué)教授、中國人工智能學(xué)會高級會員張成文

張成文表示，在經(jīng)歷了蒸汽化、電氣化、自動化為特征的三次工業(yè)革命之后，我們已經(jīng)進(jìn)入了以智能化為特征的第四次工業(yè)革命時代，ChatGPT正是第四次工業(yè)革命的一個標(biāo)志性成果，而以ChatGPT為代表的AI大模型也被認(rèn)為是一種顛覆性的技術(shù)，它不僅能夠創(chuàng)造全新的價值，也具有全新的范式。

張成文指出，全新范式的體現(xiàn)方式之一就是技術(shù)原生，也就是當(dāng)前的業(yè)務(wù)要基于該技術(shù)重做一遍，未來的業(yè)務(wù)要以該技術(shù)為基礎(chǔ)進(jìn)行設(shè)計與實施。目前企業(yè)正在從與AI相結(jié)合的階段進(jìn)入到AI原生階段。因此，以大模型能力為基礎(chǔ)來開發(fā)AI產(chǎn)品的AI原生應(yīng)用，有了“顛覆”傳統(tǒng)AI應(yīng)用的機(jī)會。AI原生應(yīng)用將會超越現(xiàn)有的僅支持AI輔助嵌入的應(yīng)用。

“ChatGPT引發(fā)了新一輪AI算力需求的爆發(fā)。”據(jù)張成文介紹，大模型對算力的需求主要體現(xiàn)在訓(xùn)練和推理兩個層面。根據(jù)OpenAI團(tuán)隊2020年發(fā)表的論文顯示，訓(xùn)練一次1750億參數(shù)的GPT-3所需的算力約為3640 PFlop/s-day(如果每秒計算一千萬億次，需要計算3640天)，算力成本超過460萬美元。如果把這個算力需求換算成英偉達(dá)A100，在理想情況下需要約6000張A100，在考慮到互聯(lián)損失的情況下，則需要一萬張A100。

另外，ChatGPT在運(yùn)行中需要不斷調(diào)優(yōu)，才能確保一直處于最佳應(yīng)用狀態(tài)。預(yù)計ChatGPT一個月微調(diào)所需的算力至少為1350 PFlop/s-day。2023年1月ChatGPT的運(yùn)營算力成本已經(jīng)高達(dá)890萬美元。

根據(jù)OpenAI發(fā)布的分析報告，2012年以來，AI訓(xùn)練的算力需求每3-4個月就會翻倍，從2012年至今，AI算力增長已超過了30萬倍。因此，算力成了AI突破的關(guān)鍵因素。

張成文還預(yù)計，未來大模型將向自主代理GPT和多模態(tài)具身智能兩個方向發(fā)展。

聯(lián)想：愿做大模型的“生產(chǎn)車間”

聯(lián)想研究院人工智能實驗室主任研究員王奇剛分享了生成式AI及大模型賦能行業(yè)智能化轉(zhuǎn)型的情況。

聯(lián)想研究院人工智能實驗室主任研究員王奇剛

王奇剛介紹，AI學(xué)習(xí)知識的方法主要分為監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)兩種。監(jiān)督學(xué)習(xí)的數(shù)據(jù)是有標(biāo)簽的，AI通過學(xué)習(xí)過往的知識可以預(yù)測未來。非監(jiān)督學(xué)習(xí)的數(shù)據(jù)沒有標(biāo)簽，AI通過發(fā)現(xiàn)數(shù)據(jù)的共性特征，進(jìn)行聚類或生成。

模型也分為兩類：判別式模型和生成式模型。判別式模型可以學(xué)習(xí)數(shù)據(jù)和標(biāo)注之間的關(guān)系，給該模型輸入新數(shù)據(jù)時，它能夠輸出與原始標(biāo)注類似的新結(jié)果。生成式模型可以學(xué)習(xí)統(tǒng)計規(guī)律，在輸入圖片、語音等非結(jié)構(gòu)化數(shù)據(jù)時能夠輸出新內(nèi)容。生成式模型通常會伴隨大量的非監(jiān)督學(xué)習(xí)。

王奇剛指出，近年來涌現(xiàn)出了很多生成式模型的應(yīng)用，如文本、圖片、聲音、視頻、代碼的生成，企業(yè)可以利用生成式模型來寫郵件、寫文案、做海報等等。而ChatGPT的發(fā)布則讓我們從深度學(xué)習(xí)時代進(jìn)入到了通用人工智能時代，也就是AGI時代。

作為大語言模型的一類，ChatGPT(GPT3.5)從GPT1發(fā)展到GPT4時，參數(shù)量從1.17億增長到了1-1.7萬億，對于算力的消耗也成倍的增長。

王奇剛表示，在大模型時代，聯(lián)想的愿景是做大模型的“生產(chǎn)車間”，做一套工具給到用戶。借助這套工具，用戶只要上傳數(shù)據(jù)，無需自己編寫代碼，點點鼠標(biāo)就可以產(chǎn)生自己的大模型，并為用戶內(nèi)部提供大模型服務(wù)，這樣就避免了用戶數(shù)據(jù)外泄的風(fēng)險。聯(lián)想還可以幫助用戶去訓(xùn)練、微調(diào)大模型，讓大模型能夠滿足用戶的各種需求。如果用戶是軟件公司，聯(lián)想也可以幫助用戶實現(xiàn)類似微軟Copilot的應(yīng)用。

事實上，聯(lián)想很早就研發(fā)出了一個叫煉AI大師的軟件產(chǎn)品，它既是GPU服務(wù)器的集群管理軟件，也是AI算法的開發(fā)平臺。在大模型時代，聯(lián)想將這套工具鏈延伸到大模型，讓用戶可以通過聯(lián)想完備的流程，輕松訓(xùn)練出大模型的各種功能。目前聯(lián)想已經(jīng)實現(xiàn)了AIGC文生圖應(yīng)用和類似ChatGPT的對話應(yīng)用，其中大模型LLM實現(xiàn)了一般指令、網(wǎng)頁生成、代碼生成、表格生成、回答問題、計算、多輪對話、多模態(tài)對話理解等功能;大模型AIGC則實現(xiàn)了可控生成、姿態(tài)控制、任意位置修改、多條件控制、高質(zhì)量生成、定制化圖像生成等功能。

王奇剛還透露，以上只是聯(lián)想在大模型領(lǐng)域中所做的一小部分事情，在今年10月舉行的聯(lián)想Tech World大會上將會發(fā)布更多AI相關(guān)信息。

此外，英偉達(dá)資深系統(tǒng)架構(gòu)師胡麟也在會上介紹了大語言模型和英偉達(dá)相關(guān)的訓(xùn)練、推理技術(shù)以及解決方案。

唯有與時俱進(jìn)，才能不被時代淘汰。在這個通用人工智能時代，及時把握大模型帶來的新機(jī)遇，企業(yè)才能在市場上贏得先機(jī)。據(jù)透露，聯(lián)想將在9月左右發(fā)布全新的系列人工智能服務(wù)器產(chǎn)品，將幫助企業(yè)更便捷的應(yīng)用各種人工智能服務(wù)，讓我們共同拭目以待!