Latent Space·· 3 小时前精选AI 评分86
Latent Space 汇总 DeepSeek 开源 DeepInfer 及 V4.1 Flash 生产推理数据
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
Latent Space 汇总了 DeepSeek 开源 DeepInfer 推理引擎及相关生产数据。该引擎支持 NVIDIA 和 Huawei Ascend 平台，官方报告单集群日处理 155T tokens，非高峰时段每卡每小时收入 $38。文章指出 KV cache 管理和负载均衡等核心组件尚未完全开源，且 vLLM 团队已复现出相近的 decode 吞吐量。
推荐理由
原文梳理了 DeepInfer 的开源边界与生产数据，读者可据此评估其真实复用价值与推理经济性。
来源：Latent Space · latent.space