近日，螞蟻集團AI創新研發部門NextEvo全面開源AI Infra技術，可幫助大模型千卡訓練有效時間占比超過95%，能實現訓練時“自動駕駛”，這推動了AI研發效率。
該技術框架名為DLRover，目標在于大規模分布式訓練的智能化。目前很多企業的訓練作業都是跑在混合部署的集群中，運行環境復雜多變，不管多么“崎嶇的地形”，DLRover都可以“輕松行駛”。
2023年大模型技術的發展，帶來了工程實踐的爆發，如何管理數據，提高訓練和推理效率，最大化利用現有算力，成了關鍵一環。
完成一個千億參數級別的大模型，如GPT-3，用一張卡訓練一次要耗時32年，那么訓練時的算力利用尤為重要。方法之一是把能用的算力用得更好，比如進一步壓榨已購買GPU的性能；二是把以前利用不了的算力用起來，比如CPU、內存等，這就需要通過異構計算平臺來解決。
據悉，最新集成進DLRover的是Flash Checkpoint（FCP）方案。模型訓練時，一般要打Checkpoint（檢查點），以便中斷時能恢復到最近狀態，目前常規的做法，存在著耗時長、高頻打點易降低訓練可用時間、低頻打點恢復時丟失過多等缺點。新方案FCP應用在千卡千億參數模型訓練后，Checkpoint 導致的訓練浪費時間降低約5倍，其中持久化時間降低約70倍，有效訓練時間從90%提升至95%。
本站內容除特別聲明的原創文章之外，轉載內容只為傳遞更多信息，并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題，請及時通過電子郵件或電話通知我們，以便迅速采取適當措施，避免給雙方造成不必要的經濟損失。聯系電話：010-82306118；郵箱：aet@chinaaet.com。