Tag: Inference
All the articles with the tag "Inference".
想在本地跑 235B 大模型?先别急着买 192GB
Martin Weinberg 视频总结:本地 AI 拿 192GB 内存的六条路线——4 张二手 3090、DGX Spark、Strix Halo、双 Spark 直连。内存预算、预填充/解码速度、回本周期逐条对比,最后回答租还是买。
在四块 2080 Ti 上跑 Qwen3.8-Flash-Next(Strata)
4×RTX 2080 Ti + 188 GB RAM,用 Strata 跑 125B MoE:71–85 tok/s 解码、1.4K tok/s prefill,专家缓存驻留显存,HumanEval 40/41。附部署过程、coding bench、调参结论和踩坑清单。