目前有什么可以本地部署的大模型推荐?

2025-06-22 05:40:10

这里推荐一个本地微调大模型的框架。

ZO2,一个仅用18G显存就能全参微调175B大模型的框架(当然也支持微调小一些的模型)。

更新:现在ZO2支持Qwen3啦,全参微调32B的版本只需要6GB显存。

Code: ***s://github***/liangyuwang/zo2 Paper: ***s://arxiv.org/abs/2503.12668。

目前有什么可以本地部署的大模型推荐?
广告位810*200
相关阅读
消息称苹果 macOS 26 将不再支持部分旧款英特尔 CPU 机型,这背后原因有哪些?

消息称苹果 macOS 26 将不再支持部分旧款英特尔 CPU 机型,这背后原因有哪些?

严禁贩卖焦虑!我现在正在用10岁的iMac 27寸给你们回帖...

2025-06-28
为什么用 electron 开发的桌面应用那么多?

为什么用 electron 开发的桌面应用那么多?

在桌面应用开发的漫长历史中,我们见证了技术范式的演进:从 j...

2025-06-28
公司有一块纯屏幕,能不能做到让他插上u盘就自动播放里面的***?

公司有一块纯屏幕,能不能做到让他插上u盘就自动播放里面的***?

如果不是智能屏幕,或者像智能电视那样内置操作系统的话,那插上...

2025-06-28
消息称三大运营商将于今年下半年全面重启eSIM,eSIM有哪些好处?为何此前暂停这一业务?

消息称三大运营商将于今年下半年全面重启eSIM,eSIM有哪些好处?为何此前暂停这一业务?

好处概括起来就是:编户齐机。 你能想到的,它们也能想到。 ...

2025-06-28
深圳湾爆炸***中的女子有可能跳到下一层吗?

深圳湾爆炸***中的女子有可能跳到下一层吗?

都仔细看***了没? 这是什么: 这女生已经做出了非...

2025-06-28