写CUDA到底难在哪?

2025-06-25 04:30:10

对GPU进行性能优化时,cudagraph是绕不开的话题。

不仅是GPU,大部分的xpu都会提供类似graph mode的优化,相比于每次分别由CPU进行kernel launch的eager mode,graph mode通常都会有较大性能提升,然而也经常容易出现各种各样的奇怪问题。

NVIDIA有一个简单的 博客 介绍,其中只使用了stream capture的形式来构造cudagraph,而且本质上就是多个kernel前后提交,根本无法展示cudagraph的复杂性。

本文尝试从底层原理出发,根据文档 和 …。

写CUDA到底难在哪?
广告位810*200
相关阅读
初学者学编程,最关键的技能是什么?

初学者学编程,最关键的技能是什么?

首先,你没有告诉我你学的什么语言,我就不可能知道你语言最关键...

2025-06-23
自己有车位,但是没有车,就想把对象的车停进去,结果物业不允许,这合法吗?

自己有车位,但是没有车,就想把对象的车停进去,结果物业不允许,这合法吗?

这个社会不认合不合理,只认合不合法。 不让停,好了,接下来...

2025-06-23
中国的防空系统能有效防止B2、B21这类飞翼隐身战略轰炸机入侵吗?

中国的防空系统能有效防止B2、B21这类飞翼隐身战略轰炸机入侵吗?

从电子侦查船这两个街溜子开赴中东,我们就知道B2来的概率非常...

2025-06-23
ant-design-vue 社区为什么不维护了?

ant-design-vue 社区为什么不维护了?

社区用爱发电很难,除非作者弄这个是爱好。 有其它业务是赚钱的...

2025-06-23
未来几年,市场对 AI 人才的需求会集中在哪几个方向?

未来几年,市场对 AI 人才的需求会集中在哪几个方向?

最近发现两个有意思的现象。 一个是从25年开始,AI智能体...

2025-06-23