Netflix开源Polynote可简化数据科学和机器学习工作流程

 
机器学习和数据科学开发并不是在公园里散步，但Netflix希望通过新的免费平台简化繁琐的工作。这家科技巨头今天宣布已开源Polynote，这是一种多语言编程笔记本环境，与Apache Spark集成，并为Scala，Python和SQL提供强大的支持。
Netflix在一篇博客文章中说，Polynote(在其个性化和推荐团队中已被“大量”采用)旨在让数据科学家和AI研究人员将Netflix的基于JVM的机器学习框架与Python机器学习和可视化库相集成。从今天起可以从Polynote.org和GitHub免费获得。
“在Netflix个性化基础架构团队中，我们的工作是通过构建可消除痛点并使研究人员专注于研究的工具来加速机器学习创新。 Polynote源自对现有笔记本工具缺点的无奈，特别是在对Scala的支持方面。” “在Netflix，我们一直对与开源社区共享充满强烈的信心，并相信Polynote在满足Netflix之外的类似需求方面具有巨大的潜力。”
对于初学者，笔记本执行是在特定时间和特定环境中运行的特定代码的记录。它是一个有序的单元格集合，每个单元格可以保存代码或文本，并可以独立进行修改和执行。可以重新排列，插入和删除单元格，它们通常取决于笔记本电脑中其他单元格的输出。
Polynote新颖的可重复性功能在执行之前先考虑了单元格在笔记本中的位置，从而有助于防止使笔记本电脑难以从顶部重新运行的不良做法。此外，除了具有支持高质量LaTeX排版系统的富文本编辑器之外，它还具有类似于集成开发环境的功能，包括交互式自动完成和参数提示以及行内错误突出显示。
顾名思义，Polynote是一个多语言系统，这意味着笔记本中的每个单元格都可以用不同的语言编写，并且它们之间可以共享变量。 (内核或执行代码的计算引擎将可用的类型化输入值提供给单元格的语言解释器，语言解释器又将结果类型化的输出值提供回内核。)此外，Polynote还提供了保存在其中的配置和依赖项设置笔记本本身，同时使用Matplotlib(Python 2D绘图库)和可视化语法Vega启用数据探索。
Polynote中的符号表可让您深入了解笔记本的内部状态，而单独的状态区域则显示有关内核执行状态的关键信息。方便的配置部分使用户可以为每个笔记本设置依赖项，Polynote会自动在本地或从存储库中获取和加载依赖项。
Netflix写道：“前方还有许多激动人心的工作。” “我们对Polynote的潜力非常乐观，我们希望向社区学习，就像我们希望他们将从Polynote中获得价值一样。”
Polynote的开源是在开源机器学习工具(如Uber的Ludwig)发布之后进行的，Uber的Ludwig是在Google TensorFlow机器学习框架之上构建的工具箱。就Facebook而言，最近提供了Pythia，这是一种用于图像和语言模型的深度学习框架。大约在同一时间，谷歌启动了一个名为TensorFlow.Text的语言人工智能模型库。