摘要:在大数据时代,图被用于各类领域表示具有复杂联系的数据.图估算应用被广泛用于各类领域,以挖掘图数据中潜在的价值.图估算应用特有的不规则执行行为,引起了不规则负载、密集读改写更新操作、不规则访存和不规则通讯等挑战.现有通用构架未能有效地应对上述挑战.为了克服加速图估算应用面临的挑战加速度计算,大量的图估算硬件加速构架设计被提出.它们为图估算应用订制了专用的估算流水线、访存子系统、存储子系统和通讯子系统.得益于这种订制的硬件设计,图估算加速构架相比于传统的通用处理器构架,在性能和能效上均取得了明显的提高.为了让相关的研究学者深入了解图估算硬件加速构架,首先基于计算机的金字塔组织结构,从上到下对现有工作进行分类和总结,并以多个完整构架实例剖析应用于不同层次的优化技术之间的关系.接着以图神经网路加速构架的具体案例讨论新兴图估算应用的加速构架设计.最后对该领域的前沿研究方向进行了总结加速度计算,并放眼于未来阐述图估算加速构架的发展趋势.
大数据时代,越来越多的数据采用图结构进行表示.图是一种才能抒发对象之间复杂关系的数据储存方法,被广泛用于表示人际关系、分子拓扑结构、大脑神经元链接等.图数据中蕴涵着丰富的信息,图估算应用是一种挖掘图数据中蕴涵价值的重要应用.为了快速处理图数据和应对不断下降的图数据,图估算应用被广泛布署于各大数据中心,成为数据中心的典型应用.
始于图的无结构特点,图估算应用在现有通用构架上难以被高效执行.现实生活中的图没有固定的结构,节点的出边分布极其不均匀,节点与节点之间的联接极为随机.因为图估算应用的执行行为依赖于图数据,图数据的以上特点造成图估算应用的执行行为极其不规则.这些不规则的执行行为造成现有的通用构架在估算、访存和通讯3个方面都面临巨大挑战.在估算方面,估算单元面临负载不均衡、密集读改写更新等挑战,造成基于CPU和GPU的图估算软件框架的性能严重不足.在访存方面,不规则的细细度访存造成CPU的L2和L3Cache的命中率极低[1],借助效率低下,同时也造成了GPU的SIMT()执行模型遇见了大量的访存歧义(Ggence).在多节点估算、存储系统方面,不规则的细细度通讯,造成了大量无效通讯和通讯带宽浪费.
为了应对图估算应用带来的挑战,为图估算订制专用的加速构架是一种高效的解决方案.它还能为数据中心带来数百倍的性能提高和数千倍的煤耗提高.图估算加速器的设计理念是按照图估算应用的操作特点改建硬件数据通路,量身定做估算流水线、内存子系统、存储子系统和通讯子系统,因而为图估算应用的操作进行固化的硬件抒发.近些年来,大量的图估算加速构架设计被提出,从不同的角度采取多样的方式解决图估算应用的各项挑战。
为了让相关的研究人员对图估算加速构架的研究现况和发展方向有深入的了解,本文从现有工做出发阐述图估算加速构架设计面临的关键问题和主要解决技巧.值得关注的是,本文还注重阐述了一种新兴的图估算应用,即图神经网路.该新兴图估算应用同时具有传统图估算应用和传统神经网路应用的执行特点,而且还具有与传统应用不同的估算和访存特点.比如,因为节点的属性是高维数据,所以节点的属性访问是粗细度的不规则访问,与传统图估算的细细度不规则访问不同.除此之外,本文还对图估算加速构架的前沿研究问题进行了归纳和总结,并放眼于未来阐述其发展趋势.本文的工作具有一定的指导作用,读者才能快速明白传统图估算应用加速构架和新兴图神经网路加速构架的设计要点、关键问题及对应的解决方案,了解目前图估算加速构架设计的趋势和机遇,而且将相应的概念和技术应用到未来的图估算加速构架的设计上现有督查文献[2]是基于硬件平台对现有的图估算加速工作进行分类,囊括了现场可编程门阵列(,FPGA)、3DG、特定应用集成电路(,ASIC)、GPU,目的是对每位工作的设计思想进行介绍.文献[3]基于图估算加速的主要技术(预处理、并行图估算和运行时调度)对现有工作分类.本文的分类方式与前人不同.本文从图估算加速构架的设计角度出发,基于计算机的金字塔组织结构[4],从上到下,按照图估算应用带来的挑战、衍生的问题和解决方案对现有工作进行分类和总结,并为前人的督查工作补充了许多新的先进设计,以及加入了新兴的图神经网路加速构架的研究工作.除此之外,本文也从图估算加速构架的测试评估与全栈设计角度出发,对未来的研究方向进行了展望.Fig.1图1CSR格式
本文的主要贡献包括3个方面:
1)以加速图估算应用遇见的关键挑战为导向,以解决方案为核心,基于计算机金字塔组织结构,从上到下,逐层对图估算加速构架的研究现况进行了系统的归纳和总结,并以具体事例剖析了不同层次优化技术之间的关系.
2)以具体图神经网路加速构架设计作为反例,侧重介绍和总结了新兴图估算应用(图神经网路)与其特定的加速器设计.继神经网路加速构架以后,图神经网路加速器必定掀起新的研究和产业化风潮.
3)从图估算加速构架评估与设计的角度对图估算加速构架进行了展望,强调了全栈式设计方案是实现产业化应用的关键,并探讨了基于RISCGV生态环境,有助于快速且低成本地实现图估算加速构架的设计方案
专知方便查看
方便下载,请关注专知公众号(点击上方红色专知关注)
专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登入专知,获取5000+AI主题干货知识资料!
欢迎陌陌扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询!