惊人的想象力，NetSpeed把互联网思维引入到AI SoC设计中

作者:单祥茹  来源:中国电子商情

发布时间:2018-07-05

最近两年，AI（人工智能）很热，AI芯片市场更热。据统计，仅仅在中国就有50多家做自动驾驶的公司。随着人工智能技术在视频、语音、预测、机器人及诊断等应用中渐入佳境，这些新兴应用对芯片的处理能力提出了更高需求，比如处理海量数据需要更大的带宽。这样一来，现有的计算架构必将发生天翻地覆的变化，要求SoC的设计模式也必须进行创新。

NetSpeed Systems是一家诞生于硅谷的初创公司，成立仅几年的时间，地平线机器人、寒武纪、百度以及Esperanto等领先的人工智能公司都成为了它的客户，并将NetSpeed的Orion AI授权用于AI SoC设计中。究其原因，NetSpeed Systems大中华区销售总监黄啓弘认为，主要是NetSpeed将互联网数据流控制方法应用到芯片内部互连，与传统总线架构相比，性能、带宽、效率等都有明显提升。

图1  NetSpeed Systems大中华区销售总监黄啓弘

把互联网总线架构搬到芯片内部
人工智能工作负载具有独特性，在训练侧与推理侧都需要大型矩阵乘法。而在架构上，芯片内部内核数量多，有大量的并行结构以及点对点通信。不断提升的运算速度，需要极高带宽的支持，内核之间的数据传输速率达到GB/s。“这些新SoC内部体现出的是一种新的数据流，” 黄啓弘表示，“一般来说，想实现快速有效的点对点数据交换，就需要大量的计算单元。传统架构运行方式主要采用中央存储作为数据交换系统。而人工智能系统需要任意位置数据交换，必须通过广泛的接口而实现，并需要支持长突发传输。Orion AI的一个关键优势就是能够支持多重多播请求，并支持非阻塞传输。”

图2  Orion AI架构

Orion AI由NetSpeed的图灵机器学习引擎提供支持，该引擎使用监督学习来探索和优化SoC设计与架构。这是一种以人工智能为核心的设计方法，就像有一位随时在线的建筑大师给出设计建议。处理器架构师可以采纳图灵的建议，然后花时间去解决SoC设计中的其他难题。NetSpeed的片上系统总线设计理念是抛弃过去的网状总线结构，在芯片内部建立一个类似于互联网的网络拓扑。即用数据路由和分组交换技术替代传统的总线结构，旨在从架构上解决由于地址空间有限导致的传统总线结构可扩展性差，分时通信引起的通信效率低下，以及全局时钟同步引起的功耗和面积较大等问题。NetSpeed的做法相当于把所有的数据都通过桥接模块的形式分成数据包，然后再用互联网的方法分发出去，形成了片上网络（NoC）。

这种片上网络好比在芯片内部布了一张互联网，它还有一个很大的优点，那就是“无需回应发送信息模式”，深谙数据传输之道的人会非常理解这一优点带来的好处。

价格低效率高的AI SoC设计工具
据黄啓弘介绍，Orion AI是业界首款以人工智能为基础的SoC芯片内部互连解决方案，由经过硅验证的Orion IP构建而成。支持多播与广播等先进特性，能极大提升人工智能SoC与加速器ASIC的性能与效率，可广泛应用于数据中心、自动驾驶、AR/VR，以及先进视频分析。正如上文提到的，著名的人工智能公司，如地平线机器人、寒武纪、百度以及Esperanto等都已经是NetSpeed Orion AI的客户。

有关授权费，黄啓弘表示这个费用绝对低于arm核的费用，但也肯定高于普通接口IP的费用，通常是根据定制的复杂度来决定该怎么收费。NetSpeed一般会在授权完成之后对客户进行1-2天的培训，因为无论简单还是复杂的工具，最后都是由AI工具自动生成RTL，所以商业模式相对比较灵活。

Orion AI为极致性能而生，片上带宽高达万亿位，并具备支持数千计算引擎的底层架构。它提供超宽数据通路，接口位宽高达1024位，内部结构位宽更高，并可支持高达4K字节的长突发传输。黄啓弘表示，以SoC应用为代表的新技术正在改变全世界沟通与交互的方式，而NetSpeed正是下一代SoC技术的核心。不论是正在为缓存一致性解决方案殚精竭虑的硬件架构师，还是试图用高性能、高效率互连技术打破性能瓶颈的SoC设计师，抑或是为构建高弹性、高容错性系统而百转千回的安全产品经理，都能在NetSpeed找到最佳的解决方案。