AWS Machine Learning Blog· Kevin Shabahang·· 4 小时前AI 评分40
i14 在 AWS Trainium2 上训练与部署 Laplace 3B 线性注意力模型
Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorch
AI 导读
i14 联合 AWS 利用 TorchNeuron Native 将 Laplace 3B 线性注意力模型适配至 AWS Trainium2，保留 GLA 设计与 Muon 优化器。该模型推理状态固定为 29.5 MB，单 trn2.48xlarge 实例训练速度达 120,000 tokens/秒，支持 1,280 并发序列下 11,544 output tokens/秒的吞吐量。
来源：AWS Machine Learning Blog · aws.amazon.com