在 AWS Trainium 上使用 torchtitan 训练 Qwen3

教程演示了在 AWS Trainium trn2.48xlarge 实例上，利用 torchtitan 通过三种配置训练 Qwen3-4B-Instruct-2507。方法涵盖使用 Transformers v5 后端、torchtitan 原生模型及 NKI MoE 内核，支持预训练与微调。实测显示加载发布权重时首步损失为 6.54，随机初始化时为 12.43。