DeepSeek 开源高性能推理引擎 DeepInfer

DeepSeek 开源了高性能推理框架 DeepInfer，该框架支撑其大规模生产服务，目前主要支持 DeepSeek-V4.1-Flash 模型。它提供了优化内核、并行策略、异步调度、确定性采样和结构化输出等核心功能，并支持 NVIDIA SM100 GPU 和华为 Ascend 950 NPU。用户需通过源码构建进行离线推理，但完整的在线服务仍需自行集成 KV cache 系统和负载均衡组件。