Instella-MoE

该发布覆盖完整训练流程，包括预训练、中期训练、长上下文扩展、监督微调、直接偏好优化和强化学习。AMD 提供了多个检查点，便于研究者查看和复用不同阶段，而不是只拿到最终指令模型。

Instella-MoE 适用于开放 LLM 研究、高效推理、训练流程研究和 AMD GPU 优化。其公开代码、公开检查点和完整训练阶段文档的组合，使其对需要可复现 MoE 模型开发的团队非常有价值。