Skip to content
GEEKR.Lee
Go back

想在本地跑 235B 大模型?先别急着买 192GB

Every Way to Get 192GB for Local AI (Without a $9,500 Mac) 视频封面
Martin Weinberg 的这期视频(26:30),把六条路线逐条放上称

目录

「本地 AI 就是费内存」——听到这句话,第一反应都是去看内存条。看到 Qwen3-235B 这种模型,自然就想凑 192GB。

Martin Weinberg 的这期视频做的事很具体:把「本地 AI 怎么拿到 192GB(甚至更多)内存」的常见路线一条条放上称——价格、速度、真正用得上的上下文——最后回答那个终极问题:到底该买还是该租?

本文是对该视频(26:30)的总结。先交代清楚:文中所有价格和速度,都是作者录制时汇总的厂商标价、二手价和他人实测,不是现价,也没有经过独立核实。真要下手之前,自己再查一遍。

1. 先说结论

别为盒子上印的 GB 买单,要为你真正用得上的上下文买单。

作者的暂定选择:一台 128GB 的 Strix Halo,用 3-bit 文件跑 Qwen3-235B。它是这几条路线里最便宜、真能跑起 235B 的机器,代价是只适合短对话。

还有一个更诚实的结论:除非你的数据不能离开本机,否则算完账之后,租用托管模型往往比自己买更划算。

2. 起点:一台已经买不到的 Mac

作者拿来当标尺的,是他差点下单、如今已经停售的 512GB M3 Ultra Mac Studio——当时把选项加起来约 9,499 美元。

他给「合格」定了两条标准:

  1. 装得下大型 MoE(混合专家)模型;
  2. 还要留出约 128K 上下文需要的 KV cache。

第二条是关键,也是大多数人漏掉的部分:模型占的内存和上下文占的内存,是两笔账。

3. 内存这笔账:三个容易算错的地方

3.1 权重是书架,KV cache 是书桌

模型权重一旦定了量化方式,占的空间就是固定的;KV cache 则随对话长度增长——像同一间屋子里的一张书桌,对话越长,铺开的东西越多。

同样 128K 上下文,Qwen3-235B 的 KV cache 大约要 25GB;用了压缩注意力的 DeepSeek 类模型大约只要 9GB。同样体量的「大模型」,要的「书桌」能差出一倍多。

内存预算图:128GB 机器上权重与 KV cache 的占用对比
内存预算:权重是书架,KV cache 是书桌(数据来自视频,以 128GB 机器为例)

3.2 标称内存 ≠ GPU 能用的内存

Strix Halo 默认只把大约一半内存分给 GPU:一台 128GB 的机器,开箱只有约 64GB 可用。Mac 也有类似的上限。

所以「改设置调大」这件事,改完要在你实际用的软件里确认确实生效——改了设置不等于生效了。

3.3 长文档要等多久,看算力,不看带宽

读长提示、吐出第一个 token,这一步叫预填充(prefill)。视频里给了两组对照:

上下文差 8 倍,等待时间几乎一样。教训是:如果你经常喂长文档,先看预填充表现,别被解码速度带偏。

4. 六条路线,逐条看

先看总览:

六条路线的内存与价格对比图
六条路线总览(价格与速度为作者录制时汇总,仅供参考)

4.1 四张二手 RTX 3090:买一张就够了

PCIe 通道窄,默认按层切分时,同一时刻只有一张卡在干活。有人花约 5,000 美元组装了四卡,结果第三张卡几乎没带来提速;按作者汇总的价格,当时光四张卡就要约 5,800 美元。

更实际的做法是只用一张卡,把专家层放到系统内存里:解码速度大约 25 token/s,只是预填充很慢。作者的结论很直接:买一张,别买四张。

4.2 单台 DGX Spark(128GB):到不了 192GB

实测跑 GPT-OSS-120B 大约 41–60 token/s(官方宣传约 80);跑密集的 70B 模型不到 3 token/s。它到不了 192GB,也不能扩容,而价格已经从约 4,000 美元涨到将近 7,000 美元。

4.3 Intel Arc Pro B60 八卡(Battle Matrix):纸面上的 192GB

纸面上有 192GB,但从四张卡加到八张卡,吞吐量反而下降了,而且没有个人能买到的标价。它更像工程参考,不是购买选项。

4.4 128GB Strix Halo:最便宜的能跑 235B 的机器

这里指的是 Framework 的 Ryzen AI Max 395。调高 GPU 内存上限后,它能跑约 3-bit、大约 105GB 的 Qwen3-235B,速度约 17 token/s。

问题是长上下文装不下,预填充要按分钟来等。价格也从 1,999 美元涨到了报道中的 3,449 美元。

一句话定位:最便宜、真能跑 235B 的机器,但只适合短对话。

4.5 192GB Ryzen AI Max Pro 495:先确认 128GB 真不够

报道价约 6,799 美元,目前还没有公开的测速。它存在的唯一理由:128GB 确实不够用。

4.6 两台 DGX Spark 直连:最快,也最贵

一个日本团队用它跑 DeepSeek V4 Flash(2840 亿参数,权重约 167GB):131K 的提示大约 78 秒出首字,之后约 65 token/s;32K 的提示大约 20 秒出首字。

这是六条路线里性能最好的,但要约 13,900 美元——比那台 Mac 还贵。另外注意:如果模型单机就能装下,第二台只会增加空间,不会增加速度。

5. 租还是买:先算回本时间

不同月租额度下的硬件回本时间对比图
回本时间:月租 $200 与 $20 两种情形(作者算法,未计电费)

按作者的算法:

所以自己买才真正划算的前提,是数据不能离开本机。作者的建议很实际:先花几美分,把你真实的长提示交给托管大模型试一遍,确认结果真的更好,再考虑买硬件——先验证需求,再买工具。

6. 按预算怎么选

7. 两样不建议买的东西

顺带一提:64GB 的 Mac mini 适合跑 30B 级的模型,但装不下 GPT-OSS-120B(权重超过 63GB)。这类大模型,作者的建议是按需租用。

8. 写在最后

这期视频真正有用的地方,不是那份购买清单,而是它换了一个问题:不是「我能买到多少 GB」,而是「我的模型加上我要的上下文,到底能用上多少 GB,读完一份长文档要等多久」。

把这两点想清楚,很多看起来很大的配置就不那么诱人了。


视频:Every Way to Get 192GB for Local AI (Without a $9,500 Mac)(Martin Weinberg,26:30)

相关讨论:Hacker News 讨论帖

素材说明:本文依据视频的 YouTube 自动英文字幕和视频简介整理,没有补充其他数据。自动字幕里的型号和数字可能有误;价格和速度是作者录制时汇总的厂商标价、二手价和他人实测,会很快变化,不代表现价。视频简介注明这不构成财务建议,也没有赞助或推广链接。


Share this post:

Previous Post
HN 日报 · 2026-11-12:AI 智能体两头受气,英伟达治理危机霸榜
Next Post
在树莓派上驱动 4.2 寸墨水屏:一个常亮的时钟日历看板