英特尔和阿贡国家实验室采用“ exascale”及其新型Aurora超级计算机

 
超级计算的规模几乎已经变得太大了，难以理解，数百万个计算单元以第一次需要exa前缀的速度执行计算，每秒表示万亿次。这是如何完成的?经过仔细的计划…和大量的布线，两个人接近该项目。
注意到英特尔和Argonne国家实验室计划在今年早些时候从新的百亿级计算机上拆下包装纸的消息，该计算机名为Aurora(美国制造的几台计算机之一)，最近，我有机会与该公司负责人Trish Damkroger进行了交谈。英特尔的极限计算组织和Argonne的计算，环境与生命科学副实验室主任Rick Stevens。
两人在丹佛举行的超级计算会议上讨论了该系统的技术细节，在那儿，大多数可以真正说出自己已经了解这种工作的人已经在。因此，尽管您可以在行业杂志和新闻稿中阅读有关系统细节的信息，包括英特尔的新Xe架构和Ponte Vecchio通用计算芯片，但我还是试图从两者中获得更多的了解。
没有人会惊讶，这是一个漫长的计划—但是您可能不会确切猜出它会持续多长时间：十多年。那么，挑战的一部分就是建立计算硬件，这在当时是不可能的。
史蒂文斯说：“百亿亿美元的规模始于2007年。那时我们甚至还没有达到万亿级的目标，因此我们正计划将其扩展至三到四个等级。” “那时，如果我们有百亿分之一兆安，那将需要一千兆瓦的功率，这显然是不现实的。因此，达到百亿亿美元的很大一部分就是降低功耗。”
英特尔面向超级计算机的Xe架构基于7纳米工艺，推动了牛顿物理学的发展-体积更小，量子效应开始发挥作用。但是，当您谈论数十亿亿万亿个闸门时，闸门越小，它们占用的功率就越少，而且微观的节省量会迅速增加。
但这仅暴露了另一个问题：如果将处理器的功能提高1000倍，则会遇到内存瓶颈。该系统可能能够快速思考，但是如果它不能同样快速地访问和存储数据，那就没有意义了。
史蒂文斯说：“通过拥有亿兆级的计算能力，但没有兆字节级的带宽，您最终会得到一个非常不平衡的系统。”
一旦清除了所有这些障碍，就会遇到第三个障碍：所谓的并发。高性能计算同样意味着在大量计算单元之间同步任务，就像使这些单元尽可能强大一样。机器作为一个整体运行，因此每个部分都必须与其他部分进行通信-在您进行扩展时，这成为一个问题。
史蒂文斯解释说：“这些系统有成千上万个节点，节点有数百个核心，而核心则具有成千上万个计算单元，因此存在十亿路并发性。” “处理这一问题是架构的核心。”
他们是如何做到的，我完全不了解高性能计算体系结构设计的各种变化，甚至都不会尝试解释。但是，随着这些亿万亿次级系统上线，他们似乎已经做到了。我只能说，该解决方案实质上是网络方面的重大进步。所有这些节点和单元之间的持续带宽水平是惊人的。
尽管即使在2007年，您都可以预测到我们最终将达到这样的低功耗过程并改善了内存带宽，但几乎无法预测其他趋势，例如，对AI和机器学习的需求激增。那时甚至还没有考虑过，现在创建任何尚未针对机器学习问题进行了至少部分优化的高性能计算系统，将是一件愚蠢的事情。
Damkroger说：“到2023年，我们预计AI工作负载将占整个HPC服务器市场的三分之一。” “这种AI-HPC融合将这两个工作负载整合在一起，可以更快地解决问题并提供更深入的见解。”
为此，Aurora系统的架构被构建为灵活的，同时保留了加速某些常见操作的能力，例如构成大量某些机器学习任务的矩阵计算的类型。
她继续说：“但这不仅关乎性能，还关乎可编程性。” “ exacale机器的最大挑战之一是能够编写软件以使用该机器。 oneAPI将成为统一的编程模型-它基于Open Parallel C ++的开放标准，这是在社区中促进使用的关键。”
截至本文撰写时，Summit与世界上开发人员正在使用的许多系统非常不同。如果新超级计算机的创建者希望它具有广泛的吸引力，则需要使它尽可能接近像“普通”计算机那样来运行。
史蒂文斯指出：“将基于x86的程序包引入Summit确实是一项挑战。” “对我们来说，最大的优势在于，因为我们拥有x86节点和Intel GPU，因此该产品基本上将运行现有的每个软件。它将运行标准软件，Linux软件以及数百万个应用程序。”
我询问了涉及的费用，因为对于像这样的系统来说，如何将这五亿美元的预算分解是一个谜。确实，我只是想知道将其中的多少用于RAM与处理核心，或者它们必须运行多少英里的连线会很有趣。尽管史蒂文斯(Stevens)和丹姆格罗格(Damkroger)均未发表评论，但前者确实指出：“这台机器上的反向链路带宽是整个互联网总数的很多倍，而且确实要花一些钱。”随您便。
与劳伦斯·利弗莫尔国家实验室的堂兄El Capitan不同，Aurora不会用于武器开发。
史蒂文斯说：“阿贡是一所科学实验室，它是开放的，而不是机密的科学。” “我们的机器是国家用户资源;我们有来自全国各地的人们在使用它。通过经过同行评审和定价的过程分配大量时间，以适应最有趣的项目。大约三分之二是这个问题，而能源部的其他三分之一是问题，但仍然是未分类的问题。”
最初的工作将在气候科学，化学和数据科学领域，他们之间的15个团队签署了将在Aurora上运行的重大项目的计划-详细信息即将公布。