写CUDA到底难在哪?

2025-06-23 08:20:11

对GPU进行性能优化时,cudagraph是绕不开的话题。

不仅是GPU,大部分的xpu都会提供类似graph mode的优化,相比于每次分别由CPU进行kernel launch的eager mode,graph mode通常都会有较大性能提升,然而也经常容易出现各种各样的奇怪问题。

NVIDIA有一个简单的 博客 介绍,其中只使用了stream capture的形式来构造cudagraph,而且本质上就是多个kernel前后提交,根本无法展示cudagraph的复杂性。

本文尝试从底层原理出发,根据文档 和 …。

写CUDA到底难在哪?
广告位810*200
相关阅读
是什么原因导致HDR无法推行?

是什么原因导致HDR无法推行?

连基础条件都没有,推行有什么意义?你所谓的大部分显示器支持 ...

2025-06-28
为什么负荷那么大的腰部力量训练的人不会受伤,长期无载荷久坐的人会出现腰肌劳损?

为什么负荷那么大的腰部力量训练的人不会受伤,长期无载荷久坐的人会出现腰肌劳损?

进行大负荷 腰部(相关)力量训练的人,不是不会受伤,只是受伤...

2025-06-28
我应该设置多少kb才能让他不能玩游戏?

我应该设置多少kb才能让他不能玩游戏?

只有两根笔都能玩出花来 举个例子: 这是两根笔,一根是晨光本...

2025-06-28
公司规定所有接口都用 post 请求,这是为什么?

公司规定所有接口都用 post 请求,这是为什么?

我之前也是喜欢严格遵循restful规范,什么get,pos...

2025-06-28
为什么长得漂亮却没什么用?

为什么长得漂亮却没什么用?

我家楼下的快递站,原来负责人是一个男人婆,每次快递车到了,司...

2025-06-28