要点:DeepMind的研究团队提出了分布式低通信(DiLoCo)训练语言模型的方法,采用分布式优化算法,使语言模型在连接性较差的设备集群上训练,性能超过完全同步模型,通信开销减少500倍。DiLoCo借鉴联邦学习文献,采用..
要点:Google DeepMind通过GNoME框架成功发现了超过220万种新材料,为人类技术可行材料的数量大幅增加。GNoME框架采用图神经网络和主动学习方法相结合,通过对材料的晶体结构建模,成功预测了材料的形成能量,实现了..