9位院士12位专家联合撰文：智能计算的新进展、挑战与未来( 四 ) _神经网络

尽管在智能的四个层面上（数据智能，感知智能，认知智能，自主智能）取得了重大进展，但目前仅通过计算/统计模型还难以从极其复杂的场景中实现完全的智能。
在这些场景中，人类应该继续在解决问题和决策中发挥不可或缺的作用，来探索人类认知过程中涉及的要素，并将其与机器智能相结合。下一步，将聚焦于人机交互、人机融合和脑机接口等技术。
面向智能的计算
AI的发现不断涌现，这在很大程度上归功于不断增长的计算能力。AI的快速变化是由新思想或革命性理论推动的。通常，最新的先进模型仅依赖于更大的神经网络和更强大的处理系统。
Open AI研究人员在2018年进行了一项研究，追踪基于计算能力的最大模型的增长情况。利用AI研究史上训练的一些最著名的AI模型所需的计算量，他们发现了计算资源快速增长的两个趋势。
开发突破性模型所需的计算能力的增长速度与摩尔定律大致相同，即在2012年之前，单个微芯片的计算能力往往每两年翻一番。但图像识别系统AlexNet在2012年发布时引起了人们的新兴趣。AlexNet的引入刺激了顶级模型的计算需求急剧增加，从2012年到2018年，这种需求每3到4个月翻一番，如图9所示。

文章插图

△图9：过去十年计算能力需求的增长大大超过宏观趋势
当摩尔定律失效时，超大算力主要依赖于海量计算、内存和存储资源的并行叠加。
例如，“高性能计算”是指将大量计算机快速联网成一个“集群”以进行密集计算的做法，使用户能够比传统计算机更快地处理大量数据，从而获得更深入的洞察力和竞争优势。
此外，得益于云计算（图10），用户现在可以选择增加其高性能计算程序的容量，从而继续提高算力。

文章插图

△图10：云、雾和边缘计算的表示
推进智能计算架构创新的目标包括更高效的能源管理、更低的功耗、更便宜的总芯片成本以及更快速的错误检测和纠正。当涉及某些无法在CPU上执行的AI操作时，AI加速器可能会大大减少训练和执行时间。
在短期内，所使用加速器的架构专业化将是保持计算能力增长的最佳方式，如图11所示为已公开发布的AI加速器和处理器的峰值性能与功耗。
另外，内存计算（图12）是一个非常有效的方案，它能够使内存单元执行原始逻辑操作，因此它们可以在不需要与处理器交互的情况下进行计算，这是内存和处理器之间不断扩大速度差距的主要原因。

文章插图

△图11：公开发布的 AI 加速器和处理器的峰值性能与功耗散点图

文章插图

△图12：计算的三种概念方法：（a）传统数字计算，（b）近内存阵列计算（NMAC）和（c）内存阵列计算（IMAC）
复杂性是传统计算机进一步突破的瓶颈。当今高度复杂的AI模型（例如深度神经网络）在边缘设备中仍然难以实现普遍使用。这是由于运行这些模型的高级GPU和加速器存在功率和带宽紧缩的缺陷，导致处理时间长并且架构设计繁琐。
由于这些问题，研究人员开始创造新的计算模式，主要包括：
量子计算（图13），因为其具有纠缠或其他非经典相关性带来的量子优势，可以在许多复杂的计算问题中实现指数速度；