一种集成回波状态图神经网络和模拟随机电阻存储器阵列的系统

图神经网络 (GNN) 是很有前途的机器学习架构，旨在分析可以表示为图的数据。这些架构在各种实际应用中取得了非常有希望的结果，包括药物发现、社交网络设计和推荐系统。

由于图形结构化数据可能非常复杂，因此应仔细有效地设计基于图形的机器学习架构。此外，理想情况下，这些架构应在高效的硬件上运行，以支持其计算需求，而不会消耗太多功率。

香港大学、中国科学院、InnoHK中心和全球其他研究所的研究人员最近开发了一种软硬件系统，该系统将GNN架构与电阻存储器相结合，电阻存储器是一种以阻性状态形式存储数据的存储器解决方案。他们的论文发表在Nature Machine Intelligence上，展示了基于电阻存储器的新硬件解决方案在高效运行图形机器学习技术方面的潜力。

“数字计算机的效率受到冯-诺依曼瓶颈和摩尔定律减速的限制，”进行这项研究的研究人员之一王绍聪告诉Tech Xplore。“前者是物理上分离的内存和处理单元的结果，由于在运行图学习时在这些单元之间频繁和大量数据穿梭，会产生大量的能量和时间开销。后者是因为晶体管缩放在3nm技术节点时代正在接近其物理极限。

电阻存储器本质上是可调电阻器，它们是抵抗电流通过的器件。事实证明，这些基于电阻的存储器解决方案对于运行人工神经网络(ANN)非常有前途。这是因为单个电阻式存储单元既可以存储数据又可以执行计算，从而解决了所谓的瑙曼瓶颈的局限性。

“电阻记忆也是高度可扩展的，保留了摩尔定律，”王说。“但普通的电阻存储器对于图学习来说仍然不够好，因为图学习经常改变电阻存储器的电阻，与使用SRAM和DRAM的传统数字计算机相比，这导致了大量的能耗。更重要的是，电阻变化不准确，这阻碍了精确的梯度更新和权重写入。这些缺点可能会破坏电阻记忆在高效图学习方面的优势。

Wang和他的同事最近工作的主要目标是克服传统电阻存储器解决方案的局限性。为此，他们设计了一种基于电阻存储器的图形学习加速器，无需电阻存储器编程，同时保持高效率。

他们专门使用了回声状态网络，这是一种基于递归神经网络的储层计算架构，具有稀疏连接的隐藏层。这些网络的大多数参数(即权重)可以是固定的随机值。这意味着它们可以允许电阻存储器立即适用，而无需编程。

“在我们的研究中，我们通过实验验证了图学习的这个概念，这非常重要，事实上，相当普遍，”王说。“实际上，图像和顺序数据，如音频和文本，也可以表示为图形。即使是变压器，最先进和最主要的深度学习模型，也可以表示为图形神经网络。

Wang和他的同事开发的回声状态图神经网络由两个不同的组件组成，称为回声状态和读出层。回声状态层的权重是固定和随机的，因此它们确实需要随着时间的推移进行反复训练或更新。

“回声状态层充当图卷积层，以递归方式更新图中所有节点的隐藏状态，”王说。“每个节点的隐藏状态都会根据其自身的特征和其相邻节点在前一个时间步中的隐藏状态进行更新，两者都使用回波状态权重提取。这个过程重复四次，然后将所有节点的隐藏状态汇总到一个向量中以表示整个图形，该图形使用读出层进行分类。这个过程重复四次，然后将所有节点的隐藏状态汇总成一个向量，作为整个图的表示，这是由读出层分类的。

王和他的同事提出的软硬件设计有两个显著的优势。首先，它所基于的回声状态神经网络需要的训练要少得多。其次，该神经网络在不需要编程的随机和固定电阻存储器上有效实现。

“我们研究最显着的成就是随机电阻存储器和回波状态图神经网络(ESGNN)的集成，它保留了内存计算的能量区域效率提升，同时还利用介电击穿的内在随机性来提供低成本和纳米级的硬件随机化ESGNN，”王说。“具体来说，我们提出了一种用于图学习的硬件 - 软件协同优化方案。这种协同设计可能会激发电阻存储器的其他下游计算应用。

在软件方面，Wang和他的同事引入了一个由大量神经元组成的ESGNN，这些神经元具有随机和循环互连。该神经网络采用迭代随机投影来嵌入节点和基于图的数据。这些投影在混沌边缘生成轨迹，从而实现高效的特征提取，同时消除与传统图神经网络开发相关的艰苦训练。

“在硬件方面，我们利用电阻开关中介电击穿的内在随机性来物理实现ESGNN中的随机投影，”王说。“通过将所有电阻电池偏置到其击穿电压的中位数，如果某些电池的击穿电压低于施加的电压，则一些电池将经历介电击穿，形成随机电阻阵列来表示ESGNN的输入和递归矩阵。与使用数字系统的伪随机数生成相比，这里的随机性来源是由电阻存储单元的成分不均匀性引起的随机氧化还原反应和离子迁移，为内存计算提供了低成本和高度可扩展的随机电阻阵列。

在初步评估中，Wang和他的同事创建的系统取得了有希望的结果，比数字和传统的电阻存储器解决方案更有效地运行ESGNN。将来，它可以实现到需要分析可以表示为图形的数据的各种现实世界问题。

Wang和他的同事们认为，他们的软硬件系统可以应用于广泛的机器学习问题，因此他们现在计划继续探索其潜力。例如，他们希望评估其在序列分析任务中的性能，其中在忆阻阵列上实现的回波状态网络可以消除编程的需要，同时确保低功耗和高精度。

“这项工作中展示的原型是在相对较小的数据集上进行测试的，我们的目标是通过更复杂的任务来突破其极限，”王补充说。“例如，ESN可以用作特征提取的通用图形编码器，并增强内存以执行少样本学习，使其可用于边缘应用。我们期待在未来探索这些可能性，并扩展ESN和忆阻阵列的功能。

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！