写CUDA到底难在哪?

2025-06-25 09:50:13

对GPU进行性能优化时,cudagraph是绕不开的话题。

不仅是GPU,大部分的xpu都会提供类似graph mode的优化,相比于每次分别由CPU进行kernel launch的eager mode,graph mode通常都会有较大性能提升,然而也经常容易出现各种各样的奇怪问题。

NVIDIA有一个简单的 博客 介绍,其中只使用了stream capture的形式来构造cudagraph,而且本质上就是多个kernel前后提交,根本无法展示cudagraph的复杂性。

本文尝试从底层原理出发,根据文档 和 …。

写CUDA到底难在哪?
广告位810*200
相关阅读
周杰伦为什么不告粥饼伦黑伦侵犯他的名誉权?

周杰伦为什么不告粥饼伦黑伦侵犯他的名誉权?

关于粥饼伦、黑伦等模仿者,周杰伦本人去年曾经公开回应过,他的...

2025-06-27
炫富真的很爽吗?

炫富真的很爽吗?

“我家电费一年有40多万,很多人不信。 ” “大部分人很难相...

2025-06-27
为什么Steam Deck能做好Windows游戏转译但是Apple Mac就做不好?

为什么Steam Deck能做好Windows游戏转译但是Apple Mac就做不好?

SD转译Win游戏的难度跟Mac比根本不是一个量级的。 SD...

2025-06-27
工程师离职,如果领导让你们把自己的技术教会一个人才能走,你们会教吗?

工程师离职,如果领导让你们把自己的技术教会一个人才能走,你们会教吗?

我爸是高级钳工,可以纯手工弯外径1.5壁厚0.2mm的不锈钢...

2025-06-27
家用服务器内网穿透对外提供服务需要备案吗?

家用服务器内网穿透对外提供服务需要备案吗?

2025年6月21日,接到中国电信郫都区公司工作人员来电,将...

2025-06-27