Tag: LLM
All the articles with the tag "LLM".
想在本地跑 235B 大模型?先别急着买 192GB
Martin Weinberg 视频总结:本地 AI 拿 192GB 内存的六条路线——4 张二手 3090、DGX Spark、Strix Halo、双 Spark 直连。内存预算、预填充/解码速度、回本周期逐条对比,最后回答租还是买。
Pi:一个最小 agent harness,和我怎么把它跑在本地
Pi 1.2.0 的设计理念和架构:agent loop、JSONL 会话树、context 组装。记录本地部署、接 llama.cpp/Ollama 本地模型,以及 pi-web-ui 这个浏览器界面日常用下来的感受。
在四块 2080 Ti 上跑 Qwen3.8-Flash-Next(Strata)
4×RTX 2080 Ti + 188 GB RAM,用 Strata 跑 125B MoE:71–85 tok/s 解码、1.4K tok/s prefill,专家缓存驻留显存,HumanEval 40/41。附部署过程、coding bench、调参结论和踩坑清单。