當前位置 > 向心力動態(tài) > 國產(chǎn)GPU首次實現(xiàn)大模型訓練

國產(chǎn)GPU首次實現(xiàn)大模型訓練

發(fā)布時間:2024-05-27瀏覽次數(shù):

5月27日,摩爾線程與無問芯穹聯(lián)合宣布,雙方已經(jīng)正式完成基于國產(chǎn)全功能GPU千卡集群的3B規(guī)模大模型實訓。此次訓練,是行業(yè)內(nèi)首次實現(xiàn)基于國產(chǎn)GPU芯片從0到1的端到端大模型實訓案例。訓練總共用時13.2天,全程穩(wěn)定無中斷,集群訓練穩(wěn)定性達到100%,千卡訓練和單機相比擴展效率超過90%。目前,實訓出來的模型在同規(guī)模模型中躋身前列。本次實訓充分驗證了夸娥千卡智算集群在大模型訓練場景下的可靠性,同時也在行業(yè)內(nèi)率先開啟了國產(chǎn)大語言模型與國產(chǎn)GPU千卡智算集群深度合作的新范式。(c114通信網(wǎng))