写CUDA到底难在哪?

2025-06-20 17:25:13

对GPU进行性能优化时,cudagraph是绕不开的话题。

不仅是GPU,大部分的xpu都会提供类似graph mode的优化,相比于每次分别由CPU进行kernel launch的eager mode,graph mode通常都会有较大性能提升,然而也经常容易出现各种各样的奇怪问题。

NVIDIA有一个简单的 博客 介绍,其中只使用了stream capture的形式来构造cudagraph,而且本质上就是多个kernel前后提交,根本无法展示cudagraph的复杂性。

本文尝试从底层原理出发,根据文档 和 …。

写CUDA到底难在哪?
广告位810*200
相关阅读
把《武林外传》中的打工人郭芙蓉放在现代,她能干长久吗?

把《武林外传》中的打工人郭芙蓉放在现代,她能干长久吗?

当然可以干长久!必须肯定以及一定! 而且放到现代?那更得干长...

2025-06-18
大家猜猜伊朗的结局如何?

大家猜猜伊朗的结局如何?

中国卖给伊朗的导弹防御系统变成了摆设,建国同志也喊话普京去调...

2025-06-18
伊朗和以色列为什么此时爆发冲突?背后有哪些深层原因?

伊朗和以色列为什么此时爆发冲突?背后有哪些深层原因?

以色列从来都无法接受伊朗发展核武器,即便两家六七十年代关系亲...

2025-06-18
iOS 26 的新设计被吐槽丑,苹果在设计更新时考虑了哪些因素?你对这一设计都有哪些评价?

iOS 26 的新设计被吐槽丑,苹果在设计更新时考虑了哪些因素?你对这一设计都有哪些评价?

正常,iOS7的时候也说丑,甚至比现在更甚。 但是...

2025-06-18
为什么开发一个 AI Agent 看似容易,但真正让它「好用」却如此困难?技术瓶颈主要在哪里?

为什么开发一个 AI Agent 看似容易,但真正让它「好用」却如此困难?技术瓶颈主要在哪里?

先写一个短的结论。 那就是AI Agent = 多个AI大...

2025-06-18