Kimi K3.1 Pro 现已开源,本地配置成本可达800万元起展示图
Article View 聚焦正文与后续浏览
READING MODE

Kimi K3.1 Pro 现已开源,本地配置成本可达800万元起

围绕正文阅读、信息层级与阅读后延伸推荐建立更顺滑的内容链路,让用户阅读完成后更容易继续探索。

Kimi K3.1 Pro 现已开源,本地配置成本可达800万元起

球盟会.QMH(中国)-官方网站 282 阅读 约 5.5 分钟

本地部署 Kimi K3.1 Pro 的起始预算为800万元,推荐配置预算约为3000万元,建议大家向公司领导申请相应的资金。近期,我对 Kimi K3.1 Pro 进行了实测,并与 DeepSeek、Opus 5.5 和 GPT-6 的表现进行了比较。虽然大家对其性能有不同的看法,但我坚信它的实力不可小觑。

本月,K3.1 Pro 已如期开源,阿里云也宣布完成对灵骏真武 M890 超节点的 Day0 适配。今年7月 K3 开源时,我曾估算过配置需求,当时基于英伟达 H200 测试,需用到8台超节点,预算直指3000万元(当前 H200 的价格显著上涨)。K3.1 Pro 权重发布后,我们来看看本地部署所需的硬件和预算。

K3.1 Pro 的架构主要基于 K3,提升体现在后续训练和跨领域强化学习上。该架构具有2.8T总参数的稀疏 MoE,支持约100万 Token 的上下文窗口,权重原生 MXFP4,实测大小为1.56TB,采用线性和稀疏注意力相结合的混合架构,支持多 Token 预测,优化了长上下文的显存和吞吐性能。本次重构涵盖了训练、推理到沙箱评测的全栈工程,成效显著:在 Terminal-Bench 4.0 上,K3.1 Pro 的成绩为65.7%,优于 GPT-6 Astra 的58.2%,仅次于 Claude Opus 5.5(66.4%),而 Kimi Code Bench 3.0 的成绩也提升至61.2%。

阿里云的超节点 M890 现已完成 K3.1 Pro 的 Day0 适配,并在 vLLM 和 SGLang 框架下实现了全链路验证。针对大规模 MoE 的并行计算,阿里云进行了一系列深度优化,减少了高并发时的访问延迟,并加速了低精度矩阵计算。

对于有意进行本地私有化部署的企业,购买 M890 的数量和预算至关重要。经过调查,电信陕西分公司的一则公告显示,32台真武 M890 的预算为约11942.76万元,单台均价约为373万元。每台服务器搭载8张 OAM 加速卡,显存总计约1152GB,而 K3.1 Pro 的权重为1.56TB,这意味着单台服务器难以承担全部权重,必须考虑多机部署。

我整理出了三种配置方案: 方案一:两台16卡配置,预算约820万至850万元,支持1.56TB权重的存储。但显存使用需谨慎。 方案二:四台32卡配置,预算约1600万元,提供4608GB显存的余量,适合企业级应用。 方案三:八台64卡超节点配置,预算约3100万至3200万元,满足64卡全带宽互联的需求,能够最大限度释放算力。

根据技术博客的建议,建议企业使用64卡以上的超节点以保证性能。

觉得有用?分享给朋友

让更多人看到这篇内容

推荐阅读