【ZiDongHua之方案應(yīng)用場收錄關(guān)鍵詞：神州數(shù)碼 人工智能】
 
　　神州問學(xué)論文發(fā)布：提出企業(yè)級LLM功能調(diào)用訓(xùn)練流程，助力智能化轉(zhuǎn)型
 
　　2024年12月20日，神州數(shù)碼旗下神州問學(xué)產(chǎn)品在arXiv上發(fā)布了一篇名為《Adaptable and Precise:Enterprise-Scenario LLM Function-Calling Capability Training Pipeline》的論文。該研究專注于構(gòu)建一個適應(yīng)性強且精準(zhǔn)的企業(yè)場景大型語言模型（LLM）功能調(diào)用能力訓(xùn)練流程，能夠更好地驅(qū)動AI智能體應(yīng)用。隨著企業(yè)對人工智能解決方案的需求日益復(fù)雜化和具體化，這一訓(xùn)練流程旨在提升大模型在特定業(yè)務(wù)環(huán)境下的響應(yīng)能力和操作效率，通過定制化的訓(xùn)練讓模型能夠更好地理解和執(zhí)行企業(yè)級的任務(wù)指令。這篇論文代表了神州問學(xué)在推動AI技術(shù)更貼近實際應(yīng)用、為企業(yè)提供更具針對性的智能服務(wù)方面所作出的努力。
 
 
　　論文作者：曾冠程、丁文韜、徐貝凝、張弛、韓文強、李剛、莫晶晶、邱鵬旭、陶心然、汪濤、胡浩文（通訊）
 
　　在當(dāng)今數(shù)字化的企業(yè)中，各種API接口組成了業(yè)務(wù)的核心，如何高效利用這些資產(chǎn)以提高操作效率是企業(yè)面臨的主要挑戰(zhàn)。通用的LLM（大語言模型）雖在一般功能調(diào)用任務(wù)中表現(xiàn)不俗，但在精細(xì)化企業(yè)場景下，頻發(fā)的計算資源瓶頸和功能調(diào)用精度問題仍待解決?；诖耍裰輪枌W(xué)提出需要一種高效的訓(xùn)練流水線，專為企業(yè)制定，以滿足其特定需求。
 
 
　　圖1：企業(yè)場景函數(shù)調(diào)用大型語言模型的整體訓(xùn)練流程
 
　　場景數(shù)據(jù)合成與增強
 
　　在生成式AI時代，AI智能體通過調(diào)用函數(shù)工具（如API、算法、代碼流程等）來實現(xiàn)復(fù)雜任務(wù)的分解與執(zhí)行，并與企業(yè)系統(tǒng)整合以提升運營效率。然而，對于專業(yè)場景，開源或商用的大模型由于特定場景的訓(xùn)練數(shù)據(jù)的局限性，在提供準(zhǔn)確、穩(wěn)定的函數(shù)調(diào)用指令方面存在明顯不足，主要體現(xiàn)在函數(shù)解析、選用、參數(shù)填寫及使用場景識別上的錯誤。這不僅影響了任務(wù)執(zhí)行的準(zhǔn)確性，還導(dǎo)致了資源浪費和響應(yīng)速度減慢等問題，為了解決這些問題，需要針對專業(yè)場景進行特定的數(shù)據(jù)合成?；谏倭康恼鎸嵎N子數(shù)據(jù)自動化生成高質(zhì)量、多樣化的訓(xùn)練集，從而讓模型獲得適應(yīng)特定業(yè)務(wù)環(huán)境的能力。這種方法不僅能克服數(shù)據(jù)稀缺的問題，還能顯著改善模型的專業(yè)場景適用性和經(jīng)濟效益。
 
　　在數(shù)據(jù)合成與增強階段，神州問學(xué)使用14個工作流集合生成了一套完整的訓(xùn)練數(shù)據(jù)。這些數(shù)據(jù)包括1260個全自動生成的樣本和1035個人工標(biāo)注增強樣本，確保了模型能夠在實際業(yè)務(wù)中精準(zhǔn)調(diào)用對應(yīng)工具，提取正確的參數(shù)。數(shù)據(jù)的多樣性和量度大幅提升了模型的泛化能力，使其能更好地適應(yīng)不同的業(yè)務(wù)需求。
 
 
　　圖2：14種數(shù)字人力資源場景工具的數(shù)據(jù)量和分布
 
　　LoRA微調(diào)：資源優(yōu)化的解決方案
 
　　在模型微調(diào)階段，神州問學(xué)選擇了Qwen2.5-Coder-7B-Instruct模型作為基礎(chǔ)模型，并通過LoRA方法在四個24GB VRAM的GPU上進行微調(diào)。LoRA（Low-Rank Adaptation）方法不僅減少了參數(shù)過多的問題，還顯著降低了計算資源的消耗，使得中小型企業(yè)也能輕松負(fù)擔(dān)模型訓(xùn)練所需的資源。這種方法在約五小時的訓(xùn)練后，微調(diào)模型在評估中表現(xiàn)優(yōu)異，結(jié)構(gòu)完整性、工具選擇準(zhǔn)確性和參數(shù)輸入準(zhǔn)確性均超過了GPT-4o。
 
 
　　表1：不同基礎(chǔ)模型對訓(xùn)練性能的影響
 
　　量化模型性能：精準(zhǔn)評估工具選擇與調(diào)用
 
　　在評估模型性能時，神州問學(xué)采用了基于AST的方法，對模型生成的函數(shù)調(diào)用指令進行逐步解析。這一方法不僅有效評估了模型的結(jié)構(gòu)完整性、工具選擇準(zhǔn)確性和參數(shù)輸入準(zhǔn)確性，還通過混淆矩陣分析，進一步優(yōu)化了工具功能描述，提高了模型的整體表現(xiàn)。此外，評估方法還具備多方面優(yōu)勢，包括無需實際執(zhí)行調(diào)用指令、高效驗證輸出結(jié)果等，這些都確保了評估過程的全面和高效。
 
　　展望未來：多領(lǐng)域的應(yīng)用潛力
 
　　神州問學(xué)的這一創(chuàng)新解決方案，不僅在DHR場景中取得了顯著成效，還展示了其在其他專業(yè)領(lǐng)域的廣泛應(yīng)用潛力。無論是集成邊緣設(shè)備中的邊緣模型支持診斷系統(tǒng)，還是為組織內(nèi)的超級員工提供動力，這一解決方案都具備廣闊的應(yīng)用前景。未來，通過引入數(shù)據(jù)反饋模塊，系統(tǒng)將能夠結(jié)合用戶與代理應(yīng)用的交互數(shù)據(jù)，自動進行數(shù)據(jù)標(biāo)注并持續(xù)迭代優(yōu)化模型，進一步增強企業(yè)的智能化水平。
 
　　神州問學(xué)通過其功能調(diào)用能力訓(xùn)練流水線，不僅解決了企業(yè)智能化轉(zhuǎn)型中的實際難題，還為企業(yè)提供了經(jīng)濟高效的模型訓(xùn)練方法。這一創(chuàng)新解決方案的成功應(yīng)用，必將推動更多企業(yè)實現(xiàn)智能化、高效化的業(yè)務(wù)運作，開啟企業(yè)智能化發(fā)展的新路徑。