写CUDA到底难在哪?

2025-06-21 13:00:11

对GPU进行性能优化时,cudagraph是绕不开的话题。

不仅是GPU,大部分的xpu都会提供类似graph mode的优化,相比于每次分别由CPU进行kernel launch的eager mode,graph mode通常都会有较大性能提升,然而也经常容易出现各种各样的奇怪问题。

NVIDIA有一个简单的 博客 介绍,其中只使用了stream capture的形式来构造cudagraph,而且本质上就是多个kernel前后提交,根本无法展示cudagraph的复杂性。

本文尝试从底层原理出发,根据文档 和 …。

写CUDA到底难在哪?
广告位810*200
相关阅读
银行股为什么大涨几年?

银行股为什么大涨几年?

1,上头铁了心保息差。 银行其实是变相的包税人。 因为大型...

2025-06-26
postgres集群的选择?

postgres集群的选择?

我们需要谈谈困扰我几个月的事情。 我一直看到独立黑客和初创公...

2025-06-26
为什么 macOS 并不差,可市场总敌不过 Windows?

为什么 macOS 并不差,可市场总敌不过 Windows?

如果你还用OSX系统,哪怕只是9年前的版本,市面上也几乎没有...

2025-06-26
开源掌机值得买吗?

开源掌机值得买吗?

买过一些开源掌机 一开始买的也是周哥的RG35XX(不是后面...

2025-06-26
obsidian用一两年后会有多大?全文搜索还快吗?

obsidian用一两年后会有多大?全文搜索还快吗?

用内存虚拟化方案就可以了。 因为 Obsidian 对于 ....

2025-06-26