算法训练通用

分享海报

@user_db1d96f9/music-algo-train

Joanna 在 amt_ai 仓库（YourMT3 全区旋律转谱）上的通用大模型训练经验，覆盖 PyTorch Lightning + DDP 多卡训练、W&B 日志、AdamW/AdamWScale + cosine/constant 调度、warm-start vs resume、混合精度（bf16-mixed/16-mixed）NaN 防护、CE 主损失 + 八度/chroma/boundary 辅助损失、checkpoint 保存与监控、数据增强与按 preset 排除、动态数据集采样权重、RL token-acc 增益等。当用户讨论 amt / amt_ai / YourMT3 训练脚本、配置 wandb、设置训练 batch / 学习率 / 损失函数、排查 NaN、调度 checkpoint、跑 phase1/scratch/warm-start 实验、或问"我以前训练 xxx 是怎么做的"时触发本 skill。