行业资讯

现场直播中国电信北研院主任王峰:人工智能服务器技术探讨

2019-01-24 07:30

  10月16日,2018年开放数据峰会(Open Data Center Summit 2018,下文简称ODCC)网络分论坛在北京国际会议中心举办。ODCC关注数据中心产业的各个方面,从国家政策和法规,到地方制度和项目,从产业全局发展到具体技术落地,从尖端热点技术到传统行业推广,从国内到国际,从宏观到微观,全力推动中国数据中心产业发展。

  王峰:人工智能现在是产业热点,从ODCC服务器工作组的角度来讲,服务器作为人工智能所需的计算能力的最重要载体,它的发展要能够与时俱进。因此,我们发起了一个专门的研究项目,对人工智能服务器的技术体系做全面的梳理,今天在这里给各位来宾汇报下工作进展。

  人工智能到现在耳熟能详,它的发展历程也是有起有伏。1956年,AI概念提出后就迎来了第一小高潮,标志性事件是人工智能技术对数学原理第二章的内容作了证明,但是因为算法模型难以满足更广阔的需求,以及激增的计算能力需求得不到满足,使得AI跌入第一次低谷;第二波高潮的标志性事件则是专家系统的问世与应用,但是因为专家系统的建设投入、运行维护的代价很高,最终PC机的性能提升和应用普及影响了它的价值;当前,我们正面临第三波高潮,以深度学习为基础的AI正快速进入到我们生产生活的方方面面。

  从人工智能的发展历程不难看出,计算能力始终是推动人工智能发展的重要动力。特别是在当前这一波以深度神经网络为理论基础的人工智能浪潮中,算法、数据和计算能力是业界公认的三大基石。其中,算法、数据的作用比较难以量化,而计算能力则可以用数字来说话。这个图是来自OpenAI的数据,可以从中看出典型人工智能训练负载对计算能力的需求的变化情况。图中的左下角是2012年出现的最早期的深度神经网络模型AlexNet,右上角是这两年最火爆的AlphaGo系列。从图中可以看出,从2012年一直到现在,人工智能的计算能力需求是一个指数性的增长,大概每3.5个月就要翻一番。在这种压力下,计算能力受到挑战。遵循摩尔定律发展的CPU计算能力,每18-24个月翻一番,与前面提到了人工智能算力的每3.5个月翻一番的需求有较大差距。同时,摩尔定律也面临发展的物理极限,功耗墙等已经严重影响了新的芯片工艺的发展,最典型的就是10nm工艺迟迟未能面世。而在计算领域,除了摩尔定律外还有Gustafson定律,这个定律是说系统优化某一个部件所获得的系统性能的改善程度,取决于该部件被使用的频率或其所占总执行时间的比例。这意味着什么呢?这意味着如果我们的程序中串行部分比例比较小,并行部分的比例比较大,那么通过增加处理器个数,就能获得更大的加速比。这也是CPU从单核走向多核多线程的理论依据,而当前GPU、FPGA等则通过提供更多的计算核个数,获得更高的加速比。

  发挥硬件的并行加速能力,还需要业务场景和算法模型的支持。在并行计算领域有一个很著名的案例,一只鸡孵出小鸡需要21天,但是不能指望7只鸡在3天就孵出小鸡。但是,当前的人工智能大发展所依托的深度神经网络,恰恰就是适合于并行处理的架构。从左边这个图上可以看出,深度神经网络的模型有输入层、输出层,中间是隐藏层。而之所以叫深度神经网络,就是中间的隐藏层可以有很多层,每层里都有神经元、突触。深度神经网络里面,BP算法非常关键。例如:在训练说话网络时,网络的输入可以是单词的各个英语字母,输出则是单词的英语发音,中间是多个隐藏层;在输入单词字母后,可以通过标注过的数据在输出层检测输出发音,如果发音错误,则调整上一层神经元的输入突触权重并以此向上层迭代;通过重复学习各个单词,不断调整上层输入突触,能够实现网络发音的逐渐改进,并最终可正确发出没有学过的单词的发音。这一过程中,海量神经元的突触的参数调整就是典型的并行计算过程。

  在上述理论基础上,落实到具体场景还会有不同的计算能力需求。当前,AI的典型业务场景有三类:第一类场景是海量重复计算的场景,例如人脸识别,主要是对大量人脸数据的分析,任务相对重复;第二类是专家经验辅助的场景,针对一个个案,例如在医疗领域开展人工智能的辅助诊断;第三类场景是跨领域协同,例如像智能交通系统,就需要把方方面面的数据汇聚起来再做全面的分析。不同场景都会有不同的计算能力需求。另外,AI服务器的设计也和它们是用于训练还是用于推理、是放在数据中心还是边缘机房等因素密切相关。当前,人工智能领域越来越看重边缘,希望在边缘提供低延迟的反馈,解决用户的体验问题。而在集中化的数据中心中,除了必备的高性能计算外,如果是用于数据训练那么对存储会有较高要求,如果是用于推理则需要对高速网络等配置做全面考虑。

  针对CPU计算能力现状,AI服务器会采用“CPU+”的架构。其中,AI服务器少不了CPU,而无论是是GPU还是FPGA,它们都是作为人工智能加速单元出现在服务器中。人工智能服务器里的主要工作过程,需要CPU与加速器件的协同。其中,加速器件更多是用海量数据的并行处理,强调数据处理的流量;而CPU则侧重在计算过程的控制。它们在人工智能服务器里有不同的分工,如何配比是一个关键问题。

  当前,AI加速芯片是业界关注的焦点。从通用性的角度看,最优的是CPU,然后是GPGPU,也就是通用GPU,然后是硬件可编程的FPGA芯片,最后是专用的集成电路ASIC。从性能、专用性来讲,因为ASIC是专用的,典型的像谷歌的TPU、寒武纪、包括上周华为刚发布的处理器,可以针对细节做优化,算法的实现都可以做专项能力的提升,所以在性能、功耗等方面有优势。而在通用性、灵活性、应用兼容性等方面,CPU、GPU等则更优。虽然AI加速器件非常重要,但是从服务器整体来讲,它们也只是其中的一小部分,从这个我们合作伙伴仁宝做的GPU服务器的主板图可以看出,GPU只是其中一小块儿,服务器的设计与实现是系统化的工程,除了AI加速芯片外还有很多事情要做。

  我们针对AI服务器的相关技术体系做了一些梳理。CPU方面,x86架构是主流,但是ARM在功耗上的优势使得它也在日益得到关注。AI加速是重中之重,刚才已经讨论过了,不在赘述。内存方面,我们现看到类似Intel傲腾的技术,能够在内存、存储之间做灵活的调配,也许以后在应对多样化的AI场景时会有帮助。存储这块主要是NVMe SSD的引入,之前NVMe价格是个大问题,而现在一方面是器件成本在逐步下降,另一方面就是AI业务的高价值使得这类此前认为的高端技术能够在现网里有需求。主板总线,NVLink等协议比PCIE有更高的性能,而PCIE也在持续发展中,在未来也有广阔空间。网络这一块,传统的云服务也许万兆网络就够用了,但是现在我们要讨论100G的RDMA技术,比如InfiniBand,是否更加适合AI应用。另外,管理、散热等也要做专门的主板布局和相关的设计。不要以为在现在的PC服务器上插一个GPU或者显卡就能当一个GPU服务器来用。还是刚才说的,AI服务器的设计实现一定是一个系统化科、学化的工程,我们对这个事情有一个比较全面的阐述。

  有了上述的技术体系梳理,在AI服务器的设计中就要考虑典型配置参数,而高性价比的服务器配置一定和前面提到的业务场景密切相关,另外,现在我们也有一些经验配置,例如:内存越大性能越强,因此容量至少和GPU总的显存大小相同;SSD需要保存与用户通常要处理的数据集大小相当的存储容量,然后再多留出数十GB空间;HDD最容易成为性能瓶颈,它需要容纳下典型AI业务所需的全部数据。最后,服务器实现了还要有相应的评测,我们重点看三方面:第一方面是看计算指标,最主要的是单精、半精的浮点计算性能;第二方面是从主板的系统指标来讲,最典型的是GPU间的数据带宽等;第三方面是看场景指标,不同的领域里都有不同的要求,我们需要通过典型的AI框架和算法,评测服务器的业务性能指标。

  最后做一下展望,我们认为软硬件融合、低功耗、边缘智能、新型AI加速技术的引入是未来人工智能服务器发展的趋势。

  以上是我给大家汇报的我们在人工智能服务器方面的研究。后面会有一个白皮书发布在ODCC网站上,也希望各位同仁多对我们指导,谢谢大家!

  关注中国IDC圈官方微信:idc-quan我们将定期推送IDC产业最新资讯

  小型企业在最初设置机房之时,偶尔会在桌面或者机架上叠堆设备,虽然部署成本低,但是不利于后期发展和扩容,暴露在外的机房设备,也容易造成事故,安全性极差。

  现场直播中国信通院云大所数据中心研究部项目经理王少鹏:《无损网络技术与应用白皮书》解析

  对于未来的工作,OCDD始终是一个开放的组织,一直保持开放的态度,希望业界同仁一起加入进来,共同推动无损网络的发展。

  性能表现,这边提供了非常多的实际测试,这个测试是Anakin跟TensorRT的对比。这个是在ARM端的测试,这是我们在两款ARM处理器上的性能对比。下面看一下Anakin和Tensorflow在

  现场直播浪潮集团高密度服务器产品线总监王玮:ODCC标准下的新一代多节点高密度服务器

  目前在这种新的IDC的趋势下,有这么几个新的挑战是原来没有存在的,一个是部署交付效率大幅提升,数据中心服务器数量非常庞大的时候,无法使用原有交付过程进行交付,这种

  9月 19 日,国内顶尖的物联网人工智能服务商云知声宣布完成6亿元人民币C+ 轮融资。

      和记娱乐,和记娱乐官网

网站地图