期刊
  出版年
  关键词
结果中检索 Open Search
Please wait a minute...
选择: 显示/隐藏图片
1. 基于图形重写和融合探索的张量虚拟机算符融合优化
王娜, 蒋林, 李远成, 朱筠
《计算机应用》唯一官方网站    2024, 44 (9): 2802-2809.   DOI: 10.11772/j.issn.1001-9081.2023091252
摘要154)   HTML2)    PDF (2329KB)(55)    收藏

针对计算密集型神经网络在使用张量虚拟机(TVM)算符融合过程中对计算图进行逐层查找导致访问次数过多、内存资源利用率低等问题,提出一种基于图形重写和融合探索的TVM算符融合优化方法。首先,对运算符的映射类型进行分析;其次,基于运算定律对计算图进行重写,简化计算图结构以减少中间结果生成,降低内存资源消耗并提升融合效率;再次,采用融合探索算法寻找融合代价较小的算符优先进行融合,避免数据冗余和寄存器溢出;最后,在CPU上实现神经网络算符融合,并测试融合加速性能。实验结果表明,所提方法可有效减少计算图层数和算符个数,降低访存频率和数据传输量。与TVM算符融合方法相比,所提方法在融合过程中的计算图层数平均减少18%,推理速度平均提升23%,验证了该方法在优化计算图融合过程中的有效性。

图表 | 参考文献 | 相关文章 | 多维度评价
2. 异构平台下卷积神经网络推理模型自适应划分和调度方法
尚绍法, 蒋林, 李远成, 朱筠
《计算机应用》唯一官方网站    2023, 43 (9): 2828-2835.   DOI: 10.11772/j.issn.1001-9081.2022081177
摘要408)   HTML15)    PDF (3025KB)(150)    收藏

针对卷积神经网络(CNN)在异构平台执行推理时存在硬件资源利用率低、延迟高等问题,提出一种CNN推理模型自适应划分和调度方法。首先,通过遍历计算图提取CNN的关键算子完成模型的自适应划分,增强调度策略灵活性;然后,基于性能实测与关键路径-贪婪搜索算法,在CPU-GPU异构平台上根据子模型运行特征选取最优运行负载,提高子模型推理速度;最后利用张量虚拟机(TVM)中跨设备调度机制,配置子模型的依赖关系与运行负载,实现模型推理的自适应调度,降低设备间通信延迟。实验结果表明,与TVM算子优化方法在GPU和CPU上的推理速度相比,所提方法在模型推理准确度无损前提下,推理速度提升了5.88%~19.05%和45.45%~311.46%。

图表 | 参考文献 | 相关文章 | 多维度评价