RTX 4090 vs A100 vs H100：你到底需要哪一张？

图像、视频和小模型推理，用 RTX 4090 就够。任务需要约 80GB 显存、多卡训练，或者卡与卡之间的数据中心互联，才轮到 A100 或 H100。租金差距很大：4090 的中位价是 $0.49/hr，H100 SXM 的中位价是 $3.06/hr。同一份活，两张账单。

01. RTX 4090 vs A100 vs H100：你在给哪份活算钱？

4090 是一张 24GB 的推理和媒体卡。

RTX 4090 有 24GB 显存。图像工作流、短视频、7B–8B 推理，都在这个盘子里。如果你要的产出是一张图、一段短片，或者一句 7B、8B 模型的回答，RTX 4090 vs H100 的对比到这里就可以停了。你要买的就是一张媒体和推理卡。牌子再大，像素不会变。

A100 和 H100 是 80GB 的数据中心卡。

它们为训练和装不进 24GB 的权重而生。A100 也有 40GB 版本。和 H100 对比时，用 80GB 这个数。两张卡都是数据中心件，都默认要有一条通向下一张 GPU 的数据中心互联。多卡训练花钱买的就是这条链路。一桌子消费级卡，长不出同样的结构。

A100 vs RTX 4090 是一道容量选择题。4090 止步于 24GB，也没有 NVLink。A100 是 80GB 的数据中心件。拿 A100 画图，浪费的是训练小时。需要 80GB 的权重，在 4090 上根本起不来。

问题是显存和互联，不是名气。

小活用大名气芯片，账单更大。Vast.ai 上 RTX 4090 的中位价是 $0.49/hr，H100 SXM 的中位价是 $3.06/hr。把一个 24GB 的图像任务挪到 H100 那一行，文件还是那个文件，账单不是。

训练用 H100，推理用 4090。打开的每一个出租列表，都拿这句话套一遍。不少读者是被 H100 的标题带进这个页面的，可磁盘上那个文件夹里装的还是图片、短视频，或者一次小型微调。给文件夹定价。标题里的那颗芯片，等权重真的装不下再说。

02. 每张卡能装多少？

4090 有 24GB，和邻卡之间没有 NVLink。

两张 4090 不是一口 48GB 的池子。A100 和 H100 用来共享一个训练步骤的那条链路，这里不存在。要么在软件里拆任务——用一个本来就会分片的运行器——要么直接上更大显存。别计划在两张 4090 上跑 48GB 模型，还指望驱动替你补上那根缺失的线缆。框架拆不动任务时，第二张卡闲着，第一张先爆显存。

A100 有 40GB 和 80GB 两种，天生是数据中心件。

和 H100 对比时用 80GB 这个数。40GB 版是另一台机器，聊 A100 对 H100 时拿它顶替是错的。本页不给出任何一种 A100 容量的租价。容量和卡的类型才是手上的事实。美元那一行是实时挂牌，租的那天读一眼，不是写死在指南里的数。

H100 SXM 有 80GB。

价格表里训练那一行就是它。Vast.ai 上 H100 SXM 的中位价是 $3.06/hr，最低价 $1.73/hr。写进预算的是中位价。最低价只是板上的一台机器，不是团队能按周规划的费率。你付钱买的是 80GB 加一个数据中心训练件。一批图片用不上这个件。

5090（32GB）和 PRO 6000（96GB）就在这三张卡旁边。

RTX 5090 有 32GB，是视频在 24GB 上已经吃紧、而 80GB 训练卡又是一张错误账单时，消费级这一档的台阶。RTX PRO 6000 有 96GB，Vast.ai 中位价 $1.49/hr，给的是单张工作站级卡就装得下的那些大权重。完整的阶梯，一张卡一张卡排开，见 按任务选 NVIDIA AI 显卡。

A100 价格两格里的破折号是故意的：本页不给出 A100 的美元数字。

03. 什么时候 4090 是你唯一需要的卡？

模型装得进 24GB、产出是图像或短视频时，选卡这件事就结束了。

RTX 4090 就是那张卡。爆显存报错是唯一能推翻这个选择的信号，而在眼下的图像工作流里，画一张图就爆显存是少见的事。还装得下的短视频是同一个决定。别为了显得专业去加一张 A100。渲染不知道发票上印的是哪家 logo。

按价格排序市场列表之前，先把显存数字写下来。checkpoint 文件加整条流水线能带着余量装进 24GB，胜出的那一行就是 4090。按芯片名气排序，就是把 $0.49 的一小时排成 $3.06 的一小时。

7B–8B 模型就是生产模型时，H100 的一小时不会让那句回答变好。

已经在生产里答题的 7B 或 8B 模型，仍然是一个 24GB 推理任务。答案来自你加载的权重，不来自权重下面那块板子的名气。为这套部署付 H100 中位价，买到的是闲置显存，不是新模型。

同一个 7B 或 8B 模型的微调，装得下的话，也还是 4090 的活。任务需要 80GB、或者需要不止一张数据中心 GPU 时，再离开 4090。给你已经在服务的模型加个小适配器，不是那种任务。

队列一阵一阵来时，为忙的那一小时付 $0.49，而不是常年抱着一台 80GB 的卡。

上线周、客户的一批单、素材库的一次更新：计时器在渲染帧的时候走，渲完就停。闲着的那些天还抱着一台 80GB 卡，等于把那些小时记到你自己的账本上，却没有帧跟着进来。4090 的租用中位价，就是只买忙碌那一小时的价格。对来了又走的队列，对得上的就是这个。

04. 什么时候 A100 或 H100 才成为真正的需求？

当一个权重装不进 24GB，80GB 是需求本身，不是偏好。

我需要 H100 吗？权重加载失败的时候，你需要 H100，或者一张 80GB 的 A100。单卡跑 70B 级模型，是最常见的撞墙姿势。4090 返回爆显存报错。在同一张卡上重试，文件不会变小。到了 80GB，任务才变得可行。亲眼看到那个报错之前，80GB 只是为同样的成功换一张更大的发票。

当训练要跨不止一张数据中心 GPU 时，消费级卡接不上那块互联结构。

H100 SXM 和 A100 天生就坐在数据中心互联上。4090 没有 NVLink，两张卡变不成一个池子，也接不进那条数据中心链路。为互联的 80GB GPU 写的脚本，第二张 4090 答不上来。软件能在一台 24GB 卡上把活拆开，就留在那张卡上。任务真正要跨不止一张数据中心 GPU 时，再换 A100 或 H100 的件。

当交期就是慢一周的代价，而且你已经给那一周标好了价，$3.06 的 H100 一小时就必须跑赢它替下来的那些 4090 小时。

这笔账要用你自己的运行时间算。本页不发布提速倍数，因为图像活、7B–8B 推理、多卡训练，没有任何一个倍数能同时成立。取你预估在 4090 上要耗的钟表小时，乘 $0.49 的中位价。再取你预估在 H100 上要耗的小时，乘 $3.06 的中位价。乘积小的赢。连小时数都不知道，就还没到为 H100 付钱的时候。

05. 怎么只租选中的那张卡，不为另外两张掏钱？

按胜出那一行的中位价排序，别按最低价。

RTX 4090 在 Vast.ai 上，中位价 $0.49/hr，最低价 $0.14/hr，比中位价低 3.5×。预算按 $0.49 写。最低价只是一个挂牌，写进月度计划就是错的那个数。H100 SXM 在 Vast.ai 上，中位价 $3.06/hr，最低价 $1.73/hr。预算按 $3.06 写。3.5× 这个差距只属于 4090。别把它贴到 H100 那一行，把最低价当成计划。

如果胜出的那一行是 A100，本页依然没有美元数字。打开实时看板。找 A100 租用报价的人，应该在租的那天读那一行，然后回到 4090 的 $0.49/hr 中位价和 H100 SXM 的 $3.06/hr 中位价，把这两个数当成这份指南靠得住的两端。

别让图像任务碰 H100 筛选器。

小团队选错卡，多半就错在筛选器上。名字里带训练、数据中心 GPU 或 H100 的筛选器，会把 4090 藏起来，把一块 80GB 的件顶到最上面。你的图像流水线从此跑在一张按多日训练定价的卡上。先把你量出来的显存设进去——图像、视频和 7B–8B 的活是 24GB——然后才去挑型号。产出是一批图片的话，H100 那个勾就别打。

SpareHive 不改变这个选择。

上面那张卡的决定，不随你渲染时用不用任务型产品而变。

SpareHive 的方案是按任务计费的图像和视频工作，存储是临时的，不是一台常驻的训练服务器。要存 checkpoint 的多小时训练，该放在一台你能存东西的服务器上。只有当你的活是图像和视频，才 加入等候名单。

06. 接下来打开哪一页？

还没想好显存落在哪一档？在这三张卡里挑之前，先走一遍任务阶梯。

上面链接的那篇《按任务选 NVIDIA AI 显卡》，从 24GB 媒体卡一路走到 96GB 单卡权重。等选择收窄到这三张——4090、A100、H100——再回到这里。

准备给小时标价了？预算写你已选中那张卡的中位价。

把最低价敲进表格之前，先读 那些一小时值多少钱。4090 的计划用 $0.49/hr。H100 SXM 的计划用 $3.06/hr。A100 的计划用实时那一行，不用本页的数字。这两张卡任何一张的最低价——4090 的 $0.14/hr、H100 SXM 的 $1.73/hr——都只是一台机器。不是拿去乘一周小时数的费率。

反过来想直接买整机？先定卡，再定要不要拥有它。

只有那张卡年复一年、大多数日子都在跑，拥有它才划算。一阵子的图像活或一次短微调到不了那个量，而一张全年开机的日历，本来就不是工作室一周的真实图景。按上面的规则先挑定 4090、A100 或 H100。然后把按小时租和买整机当作独立的问题去比，别把本页的中位价当成购机价。

FAQ

H100 对每项活都比 4090 快三倍吗？

不是。本页不使用万能提速倍数。需要 80GB 或数据中心训练时，H100 才是那张卡。24GB 的图像活，4090 的中位价是 $0.49/hr，H100 的中位价是 $3.06/hr。

RTX 4090 能替代 A100 吗？

图像、视频和 7B–8B 推理，能。80GB 的训练任务，不能。4090 止步于 24GB，也没有 NVLink。

A100 一小时多少钱？

本页不印美元数字。用实时挂牌，并把 4090 的 $0.49 和 H100 的 $3.06 这两个中位价当作经过核对的两端。

我需要 GPU 集群吗？

默认不需要。一张显存合适的卡，胜过一个集群筛选器。单张 80GB 的卡仍然装不下这个任务时，再上更多 GPU。