【梁文鋒等發(fā)表DeepSeek V3回顧性論文】《科創(chuàng)板日報》16日訊，近日DeepSeek創(chuàng)始人梁文鋒等人發(fā)表了一篇名為《Insights into DeepSeek-V3: Scaling Challenges and Reflections on Hardware for Al Architectures（深入了解DeepSeek-V3：人工智能架構(gòu)硬件的擴(kuò)展挑戰(zhàn)與思考）》的回顧性論文，深入分析了DeepSeek-V3/R1模型架構(gòu)及其人工智能基礎(chǔ)架構(gòu)，重點介紹了一些關(guān)鍵創(chuàng)新，如提高內(nèi)存效率的多頭潛意識（MLA）、優(yōu)化計算與通信權(quán)衡的專家混合（MoE）架構(gòu)、釋放硬件能力全部潛力的FP8混合精度訓(xùn)練，以及最大限度降低集群級網(wǎng)絡(luò)開銷的多平面網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。