中文字幕欧美激情_色婷婷久久一区二区爽爽爽_爱作爱无码视频在线观看_国产在线观看第五页_日韩国产欧美一区免费观看_A级毛片免费播放网站_日韩欧美在线综合网另_午夜无码人妻av大片不卡_肉食家庭食取报告3樱花_免费开放的api大全软件

原創(chuàng) 張廣凱 觀察者網(wǎng)

? 文 觀察者網(wǎng) 張廣凱

今天是DeepSeek“開源周”第二日，DeepSeek宣布開源DeepEP，第一個用于MoE模型訓練和推理的開源EP通信庫。

昨天，DeepSeek則開源了代碼庫Flash MLA，這是針對Hopper GPU優(yōu)化的高效MLA解碼內(nèi)核，針對可變長度序列作了優(yōu)化。

MoE（混合專家架構(gòu)）和MLA（多頭潛在注意力機制）被認為是DeepSeek以低成本實現(xiàn)杰出表現(xiàn)的核心原因。

簡單理解，MoE架構(gòu)是由多個專注于垂直技能的專家模型分工協(xié)作來實現(xiàn)最終輸出結(jié)果，訓練成本和推理成本更低。有消息稱，GPT-4就使用了MoE架構(gòu)，由8個220B模型組成。但MoE架構(gòu)的缺點之一是會增加通信成本。

DeepEP通信庫就是針對通信環(huán)節(jié)的優(yōu)化，其特點包括：高效、優(yōu)化的全員溝通；節(jié)點內(nèi)和節(jié)點間均支持 NVLink 和 RDMA；用于訓練和推理預(yù)填充的高吞吐量內(nèi)核；用于推理解碼的低延遲內(nèi)核；原生 FP8 調(diào)度支持；靈活的 GPU 資源控制，實現(xiàn)計算-通信重疊。

MLA則是讓模型預(yù)測更遠位置的token，從而增強語義理解能力。DeepSeek的Flash MLA專為英偉達Hopper GPU打造了高效MLA解碼內(nèi)核，特別針對變長序列進行了優(yōu)化。

來源|觀察者網(wǎng)