本地跑大模型、生图、视频，需要什么显卡？
选模型、显卡、量化档和上下文长度，看能不能跑，再看租这张卡大概多少钱。每个数字都标了证据等级。
快速判断
结论: 能跑（余量充足）
- 权重: 17.8 GB · KV 缓存: 0.27 GB · 开销: 2 GB
- 合计: 20.1 GB · RTX 4090 24GB 24 GB · 剩余显存: 3.9 GB
各模型显存需求
每行给出该量化档的最低与推荐显存。章节号指向中文源文档《本地部署大模型硬件配置参考》。
文本模型
| 模型 | 参数 | 量化 | 权重 (GB) | 最小显存 (GB) | 推荐 (GB) | 证据 | 出处章节 |
|---|---|---|---|---|---|---|---|
| Qwen3-8B | 8B | Q4 | 5 | 5 | — | A | §2.1 |
| Qwen3-14B | 14B | Q4 | 9 | 9 | — | A | §2.1 |
| Qwen3-32B | 32B | Q4_K_M | 20 | 20 | — | A | §2.1 |
| Qwen3-30B-A3B | 30B | Q4 | 未实测 | 未实测 | — | A | §2.1 |
| Qwen3-235B-A22B | 235B | Q4 | 未实测 | 单卡：不可行 | — | A | §2.1 |
| Qwen3.8-27B | 27B | Q4_K_M | 17.8 | 17 | 24 | B | §2.2 |
展开全部 4 行
| 模型 | 参数 | 量化 | 权重 (GB) | 最小显存 (GB) | 推荐 (GB) | 证据 | 出处章节 |
|---|---|---|---|---|---|---|---|
| Qwen3.8-27B | 27B | Q3_K_M | 14 | 16 | — | B | §2.2 |
| Qwen3.8-27B | 27B | Q3_K_XL | 13 | 16 | — | B | §2.2 |
| Qwen3.8-27B | 27B | UD-Q2_K_XL | 10.7 | 未实测 | — | B | §2.2 |
| Qwen3.8-Max | 2400B | API | 未实测 | 单卡：不可行 | — | A | §2.2 |
图像模型
| 模型 | 参数 | 量化 | 权重 (GB) | 最小显存 (GB) | 推荐 (GB) | 证据 | 出处章节 |
|---|---|---|---|---|---|---|---|
| Flux.2 Klein 4B | 4B | FP16 | 13 | 13 | — | A | §3.1 |
| Flux.2 Klein 9B | 9B | FP16 | 29 | 29 | — | A | §3.1 |
| Flux.2 Klein 9B | 9B | FP8 | 15 | 15 | — | A | §3.1 |
| Flux.2 Dev | — | FP16 | 未实测 | 未实测 | — | A | §3.1 |
| Flux.2 Dev | — | GGUF-Q4 | 19 | 19 | — | A | §3.1 |
视频模型
| 模型 | 参数 | 量化 | 权重 (GB) | 最小显存 (GB) | 推荐 (GB) | 证据 | 出处章节 |
|---|---|---|---|---|---|---|---|
| Wan2.2-TI2V-5B | 5B | FP16 | 未实测 | 27.4 | — | B | §3.2 |
| Wan2.1/2.2-14B | 14B | FP16 | 未实测 | 65 | — | C | §3.2 |
| Wan2.1/2.2-14B | 14B | GGUF-Q5+T5-offload | 未实测 | 未实测 | — | C | §3.2 |
| Wan2.7-14B | 14B | Q5_K_M | 未实测 | 16 | 24 | C | §3.2 |
| Hailuo 3.0 (MiniMax H3) | — | INT8 | 未实测 | 21 | — | C | §3.3 |
GPU 租价
目前只有 RTX 4090 有公布报价。其他显卡显示「报价未定」，不做外推。
Vast.ai 市场参考：按需、单卡，滚动 7 个有效日的中位价（每日样本 ≥ 20 条才计入）。样本不足的卡只显示样本数，不给数字。更新于 2026-10-21。
| 显卡 | 显存 | 我们的报价（即时 / 排队） | host 实得 | 中国电费 | Vast.ai 市场中位价（7 日） |
|---|---|---|---|---|---|
| RTX 4090 24GB | 24 GB | $0.25 / $0.15 | $0.20 | $0.05 | $0.54 |
| RTX 5090 32GB | 32 GB | 报价未定 | $0.22 | $0.06 | $0.75 |
| RTX 3090 24GB | 24 GB | 报价未定 | $0.08 | $0.04 | $0.22 |
| RTX 4080 16GB | 16 GB | 报价未定 | $0.09 | $0.04 | 样本不足（n=1） |
| RTX 3080 10GB | 10 GB | 报价未定 | $0.05 | $0.04 | 样本不足（n=10） |
| RTX 6000 Ada 48GB | 48 GB | 报价未定 | — | — | 样本不足（n=6） |
| RTX 6000 Blackwell 96GB | 96 GB | 报价未定 | — | — | 样本不足（n=28） |
数据说明
数据更新：2026-10-21（0 天前）
证据等级的含义
- A：官方文档或模型卡
- B：独立第三方实测，交代测试条件
- C：单一来源实测，无第二方验证
- D：自行推算，必须说明依据
上游署名：Nodegrove, LLM VRAM dataset (nodegrove.io), CC BY 4.0. https://doi.org/10.5281/zenodo.22966137
常见问题
RTX 4090 能跑 64K 上下文的 Qwen3.8-27B 吗？
余量很紧。Q4_K_M 权重 17.8 GB，64K 的 KV 缓存约 4.3 GB（每 1K tokens 约 0.066 GB，依据架构公式与 llama.cpp 实测），加上约 2 GB 开销，合计约 24.1 GB，正好在 24 GB 上限附近。想留 2 GB 余量，上下文控制在约 3.3 万 tokens 以内，或换更小的量化档。
10G 的 RTX 3080 能跑 Qwen3.8-27B 吗？
按我们的公式不能。连 2-bit 的 UD-Q2_K_XL 权重就有 10.7 GB，还没算 KV 和开销已经超过 10 GB。社区有人用 llama.cpp 的 CPU offload 跑通，但我们的估算不计 offload。16G 的 RTX 4080 短上下文可以跑。
Flux.2 Klein 9B 需要什么显卡？
FP8 版本约 15 GB，24G 的 RTX 4090 绰绰有余（证据 A，官方说明）。FP16 版本约需 29 GB。
这里租一张 RTX 4090 多少钱？
公布报价：即时档 $0.25/卡时，排队档 $0.15/卡时。目前处于上线前，仅接受候补登记，暂无在线库存。