MLPerf引入了机器学习推理基准套件

 
今天，AI社区利益相关者的一个主要联盟推出了MLPerf Inference v0.5，这是该集团首个用于测量AI系统电源效率和性能的套件。推理基准对于理解为预测图像内容的计算机视觉等常见任务部署神经网络所需的时间和功率至关重要。
该套件包括5个基准测试，包括带有WMT英语 – 德语数据集的英德机器翻译，带有COCO数据集的2个物体检测基准，以及带有ImageNet数据集的2个图像分类基准。
组织发言人在一封电子邮件中告诉VentureBeat，9月份将对提交的内容进行审核，MLPerf将在10月份分享绩效结果。
MLPerf在与VentureBeat分享的一份声明中表示，过去11个月中，Arm，Facebook，谷歌，通用汽车，Nvidia和多伦多大学等合作伙伴组织决定了推理标准。
MLPerf推理工作组联合主席David Kanter在电话采访中告诉VentureBeat，基准测试对于使用推理系统明确决定哪些解决方案值得投资非常重要。它们对于工程师了解在他们制造的系统中优化什么也很重要。
“如果你是一名研究人员，或者你是设计这些下一代系统的工程师，重要的是要知道什么是重要的工作负载和指标，因为最终在一天结束时，所有工作这些东西的工程师都非常聪明而有才华的人，但我们必须指出他们正确的方向，并确保他们正在优化正确的事情，以便出来的解决方案 – 无论是从现在开始的2年或5年 – 是为工作负载而设计的今天和明天，“坎特说。
今天推出的推理基准测试遵循2018年12月MLPerf培训基准的alpha版本。结果发现谷歌张量处理单元和Nvidia图形处理单元是加速机器学习的顶级硬件之一。
MLPerf是由阿里巴巴，百度，Facebook和谷歌等40个组织组成的团队，它们共同创建了一套基准 – 商定的常用模型和数据集 – 用于确定硬件可以多快地训练AI模型或从云计算平台等环境，PC和智能手机等设备部署，以及自动驾驶汽车的多流系统部署。
MLPerf参考代码实现将被纳入流行的工具，如Facebook的PyTorch，谷歌的TensorFlow和ONNX联盟，用于机器学习的硬件和框架之间的互操作性。
在研究人员发现培训深度学习算法(如OpenAI的GPT-2和谷歌的BERT和变压器)的碳足迹可能是汽车的5倍之后，MLPerf计划测量人工智能能效率的计划不久。
上周，超级计算机分析组TOP500发布了Green500的节能硬件排名，发现Shoubu系统B是最高效的AI加速器，功率为17.6千兆次/瓦。随后是Nvidia的DGX SaturnV Volta以及Summit在东京大学建立的人工智能桥接云基础设施。