| 参数 | 默认值 | 说明 ||----------------------|------------|--------|| lr | 6e-4 | 最大学习率 || warmup_ratio | 0.02 | Warmup 比例 || weight_decay | 1e-1 | 权重衰减 || beta1 | 0.9 | Adam 一阶矩 || beta2 | 0.95 | Adam 二阶矩 || grad_clip | 1.0 | 梯度裁剪 || batch_size | 32 | 每 GPU 批次 || block_size | 4096 | 序列长度 |