AWS演示在Trainium上用torchtitan训练Qwen3

AWS Machine Learning Blog发布教程，展示如何在AWS Trainium trn2.48xlarge实例上使用torchtitan框架训练Qwen3-4B-Instruct-2507模型。该教程提供了三种配置方法：使用Transformers v5后端、torchtitan原生模型以及NKI MoE内核，均支持预训练与微调流程。 实测数据显示，加载发布权重时首步损失为6.54，而随机初始化时为12.43。用户需配合AWS Deep Learning AMI for Neuron或Neuron PyTorch训练容器环境使用，并在安装torchtitan-neuron前检查现有环境是否已包含该组件。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。