首頁|必讀|視頻|專訪|運營|制造|監(jiān)管|大數(shù)據(jù)|物聯(lián)網(wǎng)|量子|元宇宙|博客|特約記者
手機|互聯(lián)網(wǎng)|IT|5G|光通信|人工智能|云計算|芯片報告|智慧城市|移動互聯(lián)網(wǎng)|會展
首頁 >> 頭條資訊 >> 正文

關(guān)于未來大模型跨群跨域跨云面臨挑戰(zhàn)的思考與建議

2024年4月10日 11:08  CCTIME飛象網(wǎng)  

飛象網(wǎng)訊(易歡)在今天“2024年云網(wǎng)智聯(lián)大會”上,中國電信科技委主任韋樂平分享了為未來大模型跨群跨域跨云面臨挑戰(zhàn)的思考與建議。

韋樂平指出,由于單站資源受限,未來可能需要在園區(qū)、AZ乃至更大范圍內(nèi)由多個物理集群構(gòu)成一個超級邏輯集群進行聯(lián)合訓(xùn)練才能支撐超大模型的訓(xùn)練。推理本身與具體業(yè)務(wù)場景相關(guān),更可能需要跨域跨云實施。

“挑戰(zhàn)也隨著而來,其中,距離增大導(dǎo)致時延變大,高頻次通信的效率將降低,導(dǎo)致網(wǎng)絡(luò)吞吐量降低,影響GPU利用率。此外,故障概率也將增大!

對此,韋樂平也給出了應(yīng)對策略,解決不同集群間參數(shù)的傳遞和同步以及大量數(shù)據(jù)跨群跨域跨云傳輸?shù)牟煌瑫r延導(dǎo)致的訓(xùn)練速度減慢的問題。一是訓(xùn)練任務(wù)被拆分到不同集群上實行并行訓(xùn)練,根據(jù)不同的訓(xùn)練任務(wù)和場景,采用數(shù)據(jù)并行、流水線并行、張量并行等多種不同策略。二是采用空芯光纖從物理層上直接降低數(shù)據(jù)傳遞時延(降33%)。

與此同時,韋樂平強調(diào),單站單園區(qū)集中訓(xùn)練是首選,跨群跨域跨云的訓(xùn)練依然充滿挑戰(zhàn)!

編 輯:路金娣
聲明:刊載本文目的在于傳播更多行業(yè)信息,本站只提供參考并不構(gòu)成任何投資及應(yīng)用建議。如網(wǎng)站內(nèi)容涉及作品版權(quán)和其它問題,請在30日內(nèi)與本網(wǎng)聯(lián)系,我們將在第一時間刪除內(nèi)容。本站聯(lián)系電話為86-010-87765777,郵件后綴為#cctime.com,冒充本站員工以任何其他聯(lián)系方式,進行的“內(nèi)容核實”、“商務(wù)聯(lián)系”等行為,均不能代表本站。本站擁有對此聲明的最終解釋權(quán)。
相關(guān)新聞              
 
人物
陳忠岳:中國聯(lián)通正在開展6G技術(shù)指標(biāo)制定等工作
精彩專題
CES 2024國際消費電子展
2023年信息通信產(chǎn)業(yè)盤點暨頒獎禮
飛象網(wǎng)2023年手機評選
第24屆中國國際光電博覽會
CCTIME推薦
關(guān)于我們 | 廣告報價 | 聯(lián)系我們 | 隱私聲明 | 本站地圖
CCTIME飛象網(wǎng) CopyRight © 2007-2024 By CCTIME.COM
京ICP備08004280號-1  電信與信息服務(wù)業(yè)務(wù)經(jīng)營許可證080234號 京公網(wǎng)安備110105000771號
公司名稱: 北京飛象互動文化傳媒有限公司
未經(jīng)書面許可,禁止轉(zhuǎn)載、摘編、復(fù)制、鏡像