IBM受生物学启发的AI生成哈希码的速度比传统方法快

 
听说过FlyHash吗?这是一种受果蝇嗅觉电路启发的算法，已证明该算法可以生成哈希码(对象的数字表示)，性能优于经典算法。不幸的是，由于FlyHash使用随机投影，因此无法从数据中学习。为了克服这一限制，普林斯顿大学，圣地亚哥大学，IBM研究中心以及MIT-IBM Watson AI实验室的研究人员开发了BioHash，该技术应用“本地”和“生物学上可行的”突触可塑性规则来产生哈希码。他们说，它的性能优于以前发布的各种哈希方法的基准，并且可以产生对相似性搜索有用的事物的二进制表示形式。
正如研究人员在详细说明其工作的预印本论文中所解释的那样，神经生物学中几乎普遍存在被称为膨胀表示的现象。在本文中，“扩展”是指将高维输入数据映射到甚至更高维的辅助表示形式。例如，在上述的果蝇嗅觉系统中，大约50个神经元将它们的活动发送到大约2500个称为Kenyon细胞的细胞中，实现了大约50倍的扩展。
从计算角度看，扩展尤其可以增加AI模型的存储容量。正是出于这种动机，团队设计了哈希算法BioHash，该算法可用于相似性搜索。
在相似性搜索中，给定查询，相似性度量以及包含任意数量项目的数据库，目标是从数据库中检索与查询最相似的项目排序列表。当数据是高维度的(例如图像或文档)并且数据库很大(数以百万计的项目)时，这是一个计算难题。但是，近似解决方案通常是可以接受的，包括一种称为局域敏感哈希(LHS)的哈希方案，其中，每个数据库条目都用二进制表示形式编码，并检索紧密相关的条目。
FlyHash和BioHash一样都利用LHS。但重要的是，BioHash更快且可扩展性更高。
研究人员在MNIST上对Biohash进行了培训和测试，MNIST是一个包含70,000个手写数字的灰度图像的数据集，其中包括10个数字类别，范围从“ 0”到“ 9”，而CIFAR-10是一个语料库，该语料库包含来自10个类别的60,000个图像(例如， “汽车”，“鸟”)。他们说，就速度而言，BioHash表现出最佳的检索性能，大大优于其他方法，而且由于结合了专用过滤器，BioHash的改进版本– BioConvHash –表现更好。
研究小组断言，这提供了证据，表明生物中普遍存在膨胀表示的原因是它们执行LHS。换句话说，它们将相似的刺激聚集在一起，并将相异的刺激推开很远。 “ [我们的工作为该提议提供了证据，即LHS可能是稀疏扩展电路所利用的基本计算原理……[Biohash]以数据驱动的方式生成稀疏的高维哈希码，并以神经生物学的合理方式学习突触。 。”
事实证明，神经生物学和机器学习领域是齐头并进的。 Google母公司Alphabet的DeepMind本月早些时候发表了一篇论文，研究大脑是否代表了未来可能的回报，而不是作为一个单一的平均值，而是作为概率分布的一种数学函数，该数学函数提供了发生不同结果的概率。 Google和马克斯·普朗克神经生物学研究所的科学家最近展示了一种递归神经网络-一种映射到大脑神经元的机器学习算法，通常用于手写和语音识别。