document.writeln('');

在公车被猛烈进入爽文,啊灬轻点大JI巴太粗又长A片,亚洲色欲AV成人无码久久精品 ,国产大片内射1区2区,久久久网址,亚洲一区二区三区免费视频,精品欧美一区二区三区久久久,久久国产精品-久久精品

當(dāng)前位置:首頁 > 云服務(wù)器 > 全球首個(gè)“純 AMD”訓(xùn)練 MoE 大模型 ZAYA1 發(fā)布

全球首個(gè)“純 AMD”訓(xùn)練 MoE 大模型 ZAYA1 發(fā)布

游戲科技網(wǎng)2026年09月15日 01:04云服務(wù)器110

amd聯(lián)合ibm及ai新銳zyphra推出zaya1——全球首款完全基于amd硬件訓(xùn)練的moe基礎(chǔ)模型,完成14t tokens預(yù)訓(xùn)練,整體表現(xiàn)媲美qwen3系列,數(shù)學(xué)與stem推理能力在未進(jìn)行指令微調(diào)的情況下已接近qwen3專業(yè)版本。

訓(xùn)練配置

  • 集群架構(gòu):IBM Cloud平臺(tái)部署128節(jié)點(diǎn),每節(jié)點(diǎn)搭載8塊AMD Instinct MI300X,總計(jì)1024張加速卡;采用InfinityFabric互聯(lián)技術(shù)與ROCm軟件棧,實(shí)現(xiàn)峰值算力750PFLOPs
  • 訓(xùn)練數(shù)據(jù):涵蓋14萬億tokens,采用課程學(xué)習(xí)策略,逐步聚焦于數(shù)學(xué)、代碼與復(fù)雜推理任務(wù);后續(xù)將發(fā)布進(jìn)一步優(yōu)化的后訓(xùn)練版本

架構(gòu)亮點(diǎn)

  • CCA注意力機(jī)制:融合卷積操作與壓縮嵌入注意力頭設(shè)計(jì),顯存消耗降低32%,長序列處理吞吐提升18%
  • 線性路由MoE結(jié)構(gòu):細(xì)化專家粒度并引入負(fù)載均衡正則化,Top-2路由準(zhǔn)確率提高2.3個(gè)百分點(diǎn),在70%稀疏度下仍維持高效資源利用

性能表現(xiàn)

Qwen3-tts

使用 Qwen3-TTS-12Hz-1.7B-CustomVoice 進(jìn)行本地文本轉(zhuǎn)語音。適用于文本生成音頻、語音消息或 TTS需求。支持10種語言(含意大利語),提供9種高級音色,可通過指令控制情感、語調(diào)、風(fēng)格。首次下載模型后即可完全離線運(yùn)行,替代 ElevenLabs 等云端 TTS 服務(wù)。

下載

ZAYA1-Base(非指令調(diào)優(yōu)版)在MMLU-Redux、GSM-8K、MATH、ScienceQA等多項(xiàng)評測中與Qwen3-Base相當(dāng);在CMATH與OCW-Math任務(wù)上表現(xiàn)更優(yōu),凸顯其在科學(xué)與數(shù)學(xué)領(lǐng)域的強(qiáng)大潛力。Zyphra透露,指令微調(diào)及RLHF增強(qiáng)版本計(jì)劃于2026年第一季度上線,并將開放API接口與模型權(quán)重下載。

AMD指出,本次合作成功驗(yàn)證了MI300X搭配ROCm在超大規(guī)模MoE模型訓(xùn)練中的穩(wěn)定性與競爭力,未來將攜手更多云服務(wù)商推廣“全AMD”訓(xùn)練集群方案,目標(biāo)在2026年實(shí)現(xiàn)訓(xùn)練超百億參數(shù)MoE模型時(shí),總體擁有成本(TCO)與NVIDIA方案持平。

源碼地址:點(diǎn)擊下載