Google的Neural Tangents库为AI模型的行为提供了“前所未有的”见解

 
谷歌今天提供了Neural Tangents，这是一个用JAX编写的开源软件库，该系统用于高性能机器学习研究。它旨在帮助同时构建可变宽度的AI模型，Google表示，这可以允许“前所未有的”洞察模型的行为并“帮助…打开黑匣子”的机器学习。
正如Google高级研究科学家Samuel S.Schoenholz和研究工程师Roman Novak在博客文章中所解释的那样，推动AI研究取得进展的主要见解之一是，增加模型的宽度会导致更规则的行为，并使它们更易于理解。通过复习，所有神经网络模型都包含排列在互连层中的神经元(数学功能)，这些层传输来自输入数据的信号并缓慢调整每个连接的突触强度(权重)。他们就是这样提取特征并学会做出预测的。
允许无限扩展的机器学习模型趋于收敛到另一种更简单的模型，称为高斯过程。在这个极限内，复杂的现象归结为简单的线性代数方程，可以用作研究AI的镜头。但是，推导有限模型的无限宽度限制需要数学专业知识，并且必须针对每种体系结构分别进行计算。一旦推导出无限宽度模型，要想实现高效且可扩展的实施，就需要精通工程技术，这可能需要几个月的时间。
这就是神经切线的用处-它使数据科学家只需使用五行代码即可一次构建和训练无限宽网络的集合。根据Schoenholz和Novak的说法，所构建的模型可以应用于可以应用常规模型的任何问题。
研究人员写道：“我们看到，无限宽网络模仿有限的神经网络，遵循相似的性能等级，其性能比卷积网络差，而反卷积网络的性能却比卷积网络差。” “但是，与常规训练不同，这些模型的学习动态是完全封闭形式的，可以让[新]洞察其行为。”
可从GitHub获得Neural Tangents，并附带一个教程和Google Colaboratory笔记本。
值得注意的是，与TensorFlow Quantum(一种用于培训的AI框架)紧随其后-Neural Tangents的发布-与TensorFlow Dev Summit峰会在同一周举行，该峰会是使用谷歌的TensorFlow平台的机器学习从业者年会，在硅谷的Google办事处举行。量子模型。该框架可以构建量子数据集，原型混合量子模型和经典机器学习模型，支持量子电路模拟器以及训练判别和生成量子模型。