SpikingBrain2.0：面向高效长上下文与跨平台推理的类脑基础模型

SpikingBrain2.0（SpB2.0）是一个5B参数的类脑基础模型，在架构和训练效率上取得突破。其核心创新是双空间稀疏注意力机制，融合稀疏Softmax与线性注意力，优化长上下文建模的效能平衡；同时支持INT8脉冲编码与FP8量化双路径，分别适配事件驱动计算与GPU推理。该模型仅用不足7k A100 GPU小时即恢复基础Transformer大部分能力，在4M上下文长度下实现10.13倍的首次令牌生成加速，并支持超过1000万令牌的长序列。实验表明，其FP8 GPU推理可提速2.52倍，神经形态执行则实现高稀疏度，显著降低面积与功耗，为资源受限场景提供了轻量级多模态脉冲基础模型的可行路径。