写CUDA到底难在哪?

2025-06-20 18:00:12

对GPU进行性能优化时,cudagraph是绕不开的话题。

不仅是GPU,大部分的xpu都会提供类似graph mode的优化,相比于每次分别由CPU进行kernel launch的eager mode,graph mode通常都会有较大性能提升,然而也经常容易出现各种各样的奇怪问题。

NVIDIA有一个简单的 博客 介绍,其中只使用了stream capture的形式来构造cudagraph,而且本质上就是多个kernel前后提交,根本无法展示cudagraph的复杂性。

本文尝试从底层原理出发,根据文档 和 …。

写CUDA到底难在哪?
广告位810*200
相关阅读
最近突发奇想,想做以NAS为主的家用媒体中心。下面是我做的一个草图,各位大神看看可行吗?

最近突发奇想,想做以NAS为主的家用媒体中心。下面是我做的一个草图,各位大神看看可行吗?

这篇分享的是一个非常潜力股的实用项目。 Yamtrack ...

2025-06-26
现在写 J***aScript 的是不是已经没人在用 class 这个关键字了?

现在写 J***aScript 的是不是已经没人在用 class 这个关键字了?

两年以前,我在这个回答下边写了一千来字草稿,试图论证 cla...

2025-06-26
Windows上有没有一分多屏和多屏合一的软件?

Windows上有没有一分多屏和多屏合一的软件?

原神,启动! 我现在用的方法可以将游戏同时在两台显示器上...

2025-06-26
有人对sse(server sent events)了解的吗?

有人对sse(server sent events)了解的吗?

J***aScript提供了一种SSE(Server-sen...

2025-06-26
请问一下图中***的名字,谢啦?

请问一下图中***的名字,谢啦?

啧……鬼知道叫什么。 谁拍的倒是可以告诉你,是 CHOKm...

2025-06-26