CatBERTa：一种基于 Transformer 的AI模型 能够处理人类可理解的文本数据

摘要：CatBERTa 是一种基于 Transformer 的人工智能模型，旨在通过文本输入进行能量预测。该模型建立在预训练的 Transformer 编码器之上，这是一种在自然语言处理任务中表现出色的深度学习模型。CatBERTa 的独特之处在于它..

CatBERTa 是一种基于 Transformer 的人工智能模型，旨在通过文本输入进行能量预测。该模型建立在预训练的 Transformer 编码器之上，这是一种在自然语言处理任务中表现出色的深度学习模型。

CatBERTa 的独特之处在于它能够处理人类可理解的文本数据，并添加用于吸附能量预测的目标特征。这使得研究人员可以以简单易懂的格式提供数据，提高了模型预测的可用性和可解释性。

论文地址:https://arxiv.org/abs/2309.00563

研究发现，CatBERTa 倾向于集中关注输入文本中的特定标记。这些指标与吸附物（附着在表面上的物质）、催化剂的整体组成以及这些元素之间的相互作用有关。CatBERTa 似乎能够识别和重视影响吸附能量的催化系统的关键因素。

研究还强调了相互作用原子作为描述吸附排列的有用术语的重要性。吸附剂中的原子与块体材料中的原子相互作用对于催化至关重要。有趣的是，与吸附能量的准确预测几乎没有影响的是链接长度和这些相互作用原子的原子组成。这个结果表明，CatBERTa 可能会优先考虑任务的重要内容，并从文本输入中提取最相关的信息。

在准确性方面，CatBERTa 在吸附能量预测中显示出0.75电子伏特的平均绝对误差（MAE）。这个精度水平与广泛使用的图神经网络(GNNs)相当，用于进行此类预测。CatBERTa 还具有额外的好处，即对于化学上相同的系统，从 CatBERTa 估计的能量可以通过彼此相减有效地消除系统误差，达到19.3%。这表明，CatBERTa 有潜力大大减少催化剂筛选和反应性评估中预测能量差异的错误，这是催化剂研究中至关重要的一部分。

总之，CatBERTa 提供了一种可能的替代传统的 GNNs 的方法。它展示了提高能量差异预测精度的可能性，为更有效和精确的催化剂筛选程序打开了大门。