Google MaxText 弹性训练：训练中途终止 TPU，数秒内恢复

分布式 AI 训练常因单台机器故障导致整个多节点作业崩溃，需耗时重启。Google 的 JAX 生态通过 Pathways 实现弹性训练，将硬件故障转化为可捕获的 Python 异常，使运行进程存活。测试中，训练中途终止一个 TPU 后，系统自动替换损坏的节点、从 Cloud Storage 恢复最新检查点并原地恢复训练，总停机时间低于 2 分钟，主控制器进程全程无需重启。