一种深度强化学习模型 允许AI代理跟踪气味羽流

长期以来，科学家和工程师从动物的惊人能力中汲取灵感，并试图在机器人和人工智能(AI)代理中对这些能力进行逆向工程或复制。其中一种行为是气味羽流跟踪，这是一些动物，特别是昆虫，通常远距离寻找感兴趣的特定气味(例如食物或配偶)来源的能力。

华盛顿大学和内华达大学里诺分校的研究人员进行的一项新研究采用了一种使用人工神经网络(ANN)的创新方法来理解飞行昆虫的这种非凡能力。他们的工作最近发表在《自然机器智能》上，举例说明了人工智能如何推动突破性的新科学见解。

“我们有动力研究一种复杂的生物学行为，气味羽流跟踪，飞行昆虫(和其他动物)用来寻找食物或配偶，”该研究的第一作者Satpreet H. Singh告诉Tech Xplore。“生物学家已经通过实验详细研究了昆虫羽流跟踪的许多方面，因为它是昆虫生存和繁殖的关键行为。

虽然羽流跟踪是一种至关重要的生物学能力，但它也是生物智能的一个显着例子，因为它需要整合对当前和以前经历的气味的记忆，以及处理间歇性或不可靠的嗅觉线索和风感信号，使昆虫能够快速适应它们的飞行轨迹。

“他们这样做时没有他们飞行的环境的全球地图，”辛格补充道。

如果在机器人或人工代理中可靠地复制，气味羽流跟踪可以让研究人员制造出更好的机器人，可以检测和跟踪有害气体泄漏、野火和其他环境威胁。

“我们没有进行传统的实验室风洞实验，而是使用人工神经网络的互补'计算机'方法，”Singh解释说。“这有助于我们在多个层面上对羽流跟踪形成综合理解，包括紧急行为、神经表征和神经动力学。

许多神经科学家已经开始使用在标记数据上训练的人工神经网络(ANN)来研究和人工复制生物过程。在他们的研究中，Singh和他的同事使用了深度强化学习(DRL)，这是一种算法工具包，才刚刚开始在神经科学中获得牵引力，它使用模拟而不是标记数据来训练人工神经网络。

“DRL最近在神经科学之外的一些非常成功的应用包括DeepMind著名的围棋游戏AI，或者OpenAI最近的一些GPT语言模型，”Singh说。“就像在动物训练中一样，DRL使用模拟的'奖励'和'惩罚'来训练可以自主完成任务的ANN代理。

为了使用DRL训练他们的羽流跟踪剂，研究人员首先模拟了位于总面积约为120米的多风竞技场内散发的气味。2.当他们的代理人确定气味来源的位置时，他们得到了奖励。相反，如果他们忘记了气味羽流并离开了竞技场，他们就会受到“惩罚”。

“经过培训后，我们利用模拟器的灵活性来生成具有各种气味浓度和风力模式的羽流，以查看代理在不同条件下的精确行为，”辛格说。“在真实的风洞中重现对羽流配置的这种细粒度控制将是一项相当费力的工作。

Singh和他的同事们还能够观察他们的人工神经网络的各个单位(即人工神经元)的活动，因为它跟踪了气味羽流。在追踪过程中，这种个体神经元记录尚未在昆虫自由形态飞行期间收集到，因为它们是使用现有技术无法实现的。

“在我们训练有素的人工代理中出现的行为与生物学家之前在进行羽流跟踪的飞行昆虫中观察到的行为模块非常相似，”辛格说。

研究人员收集的记录表明，他们的模型可能会复制支持动物气味羽流追踪的生物学过程。随后，Singh和他的同事模拟了可以在未来的风洞真实世界实验中重现的羽流配置。

这些模拟使他们能够生成不同的假设，说明人工代理在不断变化的风力条件下跟踪羽流时的行为。他们专门研究了风向经常变化的情况。

“利用来自ANN代理的同时行为和神经观察，我们对支持羽流跟踪的算法和神经计算产生了直觉和洞察力，”Singh解释说。“例如，我们看到神经活动编码变量，例如自最后一次气味相遇以来的时间，这些变量以前被假设对羽流跟踪很重要。先前的实验和计算结果之间的这些相似性表明，这些数量对于成功的羽流跟踪至关重要。

除了实现关键技术进步外，还可以对ANN试剂进行逆向工程，以更好地了解它们的工作原理，这反过来又可能为神经科学研究提供信息。因此，Singh和他的同事创建的模型也可能被神经科学家用于研究气味羽流跟踪背后的生物学过程。

在未来，研究人员希望他们的模型能够激发机器人代理的创建，这些机器人代理可以在搜救任务，环境监测工作和其他应用中跟踪气味。在接下来的研究中，他们计划通过提高模拟和代理的物理和生物保真度来进一步发展他们的模型，以便它们更好地代表现实世界的气味羽流。此外，他们希望人工再现飞行昆虫的其他生理特征和能力。

“还需要更多的理论工作来理解我们的人工神经网络，进一步了解产生紧急行为的计算，”辛格补充道。“最后，我们的代理执行一项任务，即羽毛跟踪，而飞行昆虫的行为要丰富得多。开发可以重现如此丰富的生物复杂性的模拟和代理训练范式是一项艰巨的工程挑战，应该激发未来的工作。

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！