清华大学电子工程系方璐教授课题组和自动化系戴琼海院士课题组日前实现了光计算系统大规模神经网络的高效精准训练。该研究成果以“光神经网络全前向训练”为题,于北京时间8月7日晚在线发表于《自然》期刊。
人工智能大模型的迅猛发展与广泛应用,使得算力成为重大的战略抓手与基础设施。长期以来电子芯片的算力增长支撑着AI模型规模的不断发展,然而其高能耗亦带来了前所未有的能源挑战,新兴计算范式的建立与发展迫在眉睫。以光为计算媒介,以光的可控传播构建计算模型,光计算以其高算力低能耗特性打开了智能计算的新赛道,在后摩尔时代展现出巨大的潜力。
训练和推理是AI大模型核心能力的两大基石,缺一不可。相较于推理而言,模型训练对算力更为急需,然而电训练架构要求前向-反向传播模型高度匹配,这对光计算物理系统的精准对齐提出了苛刻的要求,致使梯度计算难、离线建模慢、映射误差大,极大地禁锢了光训练的规模与效率。
清华大学电子工程系方璐教授课题组、自动化系戴琼海教授课题组构建了光子传播对称性模型,摒弃了电训练反向传播范式,首创了全前向智能光计算训练架构,研制了通用光训练芯片“太极-II”,摆脱了对离线训练的依赖,支撑智能系统的高效精准光训练。“太极-II”的面世,填补了智能光计算在大规模训练这一核心拼图的空白。