教程 · 分步实操
怎么在本地跑一个开源大模型：4 步选型与上手（2026）
结论在前：本地跑模型要先算清「显存能装下多大的量化模型」，再倒推能跑哪一档——跑得动比跑得聪明更重要。下面 4 步按这个顺序来。
本地模型的吸引力是隐私与不按次计费；代价是速度、显存与质量上限。先把硬件这一关算清，能省掉大量试错。下面这 4 步按「先算再选、先跑通再调优」的顺序来，跑通之后再谈要不要换更大的模型。
分步做法
算显存能装下多大
以 4-bit 量化为例，每 10 亿参数通常约占 0.6GB 显存（档位越高越占显存），再加上上下文占用的 KV 缓存。先按可用显存的七成估一个安全值。
选量化档位
常见的 Q4 体积小、速度可接受；Q8 更接近原精度但更吃显存。显存紧就降档位，质量要求高就升档位，两者通常要取舍。
装运行时并下载模型
用 llama.cpp 或 Ollama 这类运行时加载 GGUF 模型文件；先挑一个体积明显小于显存上限的模型跑通，再往上试。
用同一组提示词对比云端
拿你真实会用的几个提示词，在本地与云端各跑一次，比较速度、质量和显存占用，再决定哪些任务留在本地。
一上来就下最大的模型：装不下只会反复报错。
忽略 KV 缓存：上下文越长越占显存，长对话可能比模型本身更吃内存。
只看参数量不看量化：同一个模型不同量化档位，显存需求能差一倍以上。
没和云端对比就全迁本地：某些任务本地质量差得多，不如留在云端。
自检清单
常见问题
显存不够能跑大模型吗？
可以降量化档位或换更小的模型；也可以用内存做部分卸载，但速度会明显下降。先按可用显存的七成估一个安全值更稳妥。
4-bit 量化会损失很多质量吗？
对多数日常任务影响有限，但强推理或长链任务可能变差。质量要求高时可以升到更高档位，代价是更吃显存。
本地模型能完全替代订阅吗？
多数人的实际做法是混合：隐私敏感或高频任务放本地，难题交给云端前沿模型。是否值得取决于你的硬件与用量。
用什么工具跑最省事？
想要开箱即用可以选带模型库的运行时；想要精细控制加载参数，用底层推理工具自己配。两者都支持常见的 GGUF 模型格式。
来源参考
以上为官方文档/定价页；操作步骤与数值口径为 2026-10-08 核对所得，产品会变，请回源核对当日。
下一步：想先判断要不要自建，读 本地模型 vs 订阅；想看显存与带宽的关系，读 显存与带宽。