跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

4 条精选近 30 天 4 条共收录 8 条

更新

部署工程的精选

10月16日周五第 1–4 条
  1. AWS Machine Learning Blog65

    AWS 宣布 Meta Muse Spark Open 模型上线 SageMaker JumpStart

    Meta 的编码优化开源权重模型 Muse Spark Open 现已在 Amazon SageMaker JumpStart 中可用。该模型支持 100 万 token 上下文窗口,提供 BF16 和 NVFP4 两种变体,分别对应 ml.p6-b300.48xlarge 和 ml.p5e.48xlarge 实例。

    推荐理由:原文提供了在 SageMaker JumpStart 部署 Muse Spark Open 的具体步骤、实例选型及推理代码,适合开发者快速评估其在私有仓库中的表现。

  2. Microsoft Research65

    Microsoft Research 发布 Magnetar:基于标准哈希函数的通用零知识虚拟机

    Microsoft Research 推出 Magnetar,一种能直接证明 Rust、Go 或 C 程序执行的零知识虚拟机(zkVM)。它在普通笔记本上实现每秒数百万指令的证明速度,比现有最快同类系统快 10 到 39 倍,且安全性仅依赖 SHA-256 等标准哈希函数,无需椭圆曲线或可信设置。

    推荐理由:原文详细阐述了Magnetar在效率、通用性和安全性上的突破,为理解零知识证明如何走向实用化提供了关键的技术路径参考。

9月24日周四
  1. Microsoft Research65

    微软研究院发布物理 AI 机器人推理卸载研究及工具链

    微软研究院发表研究指出,仅在机器人端侧 GPU 运行物理 AI 推理会限制性能、电池寿命和可扩展性,而将推理卸载至边缘或云端可带来显著优势。在移动操作工作负载中,推理卸载提高了任务成功率,支持了更大的 AI 模型,并使机器人在动态环境中响应更有效。

    推荐理由:微软研究院通过系统实测证明将机器人推理卸载至边缘或云端能显著提升任务成功率与续航,并发布了基于 Kubernetes 的配套工具链。