AI买下了GPU；却没人负责让它们保持忙碌

购买GPU有截止日期、预算和采购团队。让它们保持忙碌却三者皆无。开源专业模型供应商Dharma AI的一篇新文章将这一差距称为企业AI的结构性问题：GPU按日历小时累积成本, , 融资、折旧、电力与散热, , 无论它是否执行任何计算，而产出只按计算小时累积。

航空业的教训：收入只在空中产生

这篇文章借用了航空史。一架飞机的成本按日历小时累积：融资、折旧、机身保险、定期维护、机组合同。收入只按飞行小时累积。利用率取决于航空公司几乎所有的运营环节，从周转纪律到航线网络设计。两家机队规模相当的航空公司最终可能获得截然不同的经济表现；差距源于一项衡量指标而非机队规模。更大的机队固然有帮助，但它从来不是决定性的变量。

瓶颈从模型转移到算力，再到闲置硬件

企业AI的第一波浪潮靠模型质量取胜。这种能力伴随着一种依赖性而来，因为生产级AI运行在昂贵、供应受限且需求远超供给的GPU上。2020年，微软为OpenAI建造了一台专用超级计算机：超过10,000个GPU和285,000个CPU核心，用于训练后来成为GPT-3的模型。六年之后，这个数字读起来像是一个起点。到2026年，Anthropic同时在四个硬件平台, , 亚马逊、谷歌、微软和AMD, , 上并行推进多吉瓦级的采购承诺，而Meta也签署了规模相当的自有协议。同时向四家供应商做出承诺，这就是稀缺的样子：即使无限资本也无法从单一来源获得足够的供给。

同样的模式在下游以不同形式出现。API定价随token数量线性增长，几乎将概念验证的经济性与生产环境的经济性完全分开。每月几千次请求看起来负担得起；生产规模则变成一条始终无法抹平的成本线。越来越受青睐的路线是自持硬件，将可变成本转化为固定资本支出。AMD已经在顺着这一转变推销其产品：其128 GB开发者桌面据公司自己的模型测算，三年成本约为同等云API用量的六分之一，并可在本地运行多达2000亿参数的模型。当这样的集群上线之日，问题就从“我们能拿到加速器吗”变成“我们能保持它们忙碌吗”。

签署硬件合同是有截止日期和负责人的环节。而让它保持飞行，才是悄悄决定这笔交易是否值得签署的环节。

繁忙的集群仍可能浪费大部分容量

GPU持续运行，而需求并非如此，因此一部分容量在峰值之外被预留却无人使用。如果每块GPU都能同等出色地承接任何一种工作，更好的预测就能解决这个问题。但很少有GPU能做到。同一批硬件现在承担着训练、微调、量化、实时推理、批处理推理、嵌入生成和模型评估，往往在同一个集群上，而每种工作负载对芯片的要求各不相同：

工作负载	对GPU的要求
实时推理	低延迟几乎压倒一切；响应慢即被视为失败
批处理推理	吞吐量；可容忍长达数小时的延迟
训练	持续占用，时长以小时或天计
量化	需要大容量，但只需短暂时间

为其中一种工作负载调优的调度器几乎默认就会错配其他三种，而这种失败并不总是显示在利用率仪表盘上：一个集群可能报告高占用率，而排队中的任务却在等待一块正忙着运行其他任务的GPU。在这里，飞机类比失效了。一架闲置的737几乎可以重新部署到任何航线。一块闲置的GPU只能承接它实际能够服务的、符合其内存、延迟和时长特征的工作负载，这使得编排比机队调度更困难，问题也变成了哪个工作负载在哪个GPU上运行、何时运行、以什么优先级运行。

凌晨3点的问题，以及供应商在答案中的利害关系

配置是一次性决策，在购买时做出。分配则持续不断：每有一个任务完成、每一个新请求、每一次面向客户的服务与内部训练运行之间的优先级切换。没有工程师会在凌晨三点盯着仪表盘，决定一个已完成的训练任务应该把GPU交给排队中的批处理任务，还是留给即将到来的流量高峰。这就是为什么这个决策正在进入编排层，一门被这篇文章称为GPU管理的学科。

这篇文章的结尾论证将编排与专业化结合起来。面向特定任务的模型能以大型通用模型的一小部分资源成本完成特定工作，从而释放容量。但释放出来的容量只有在某种机制主动决定其去向时才能转化为回报。没有编排的专业化释放的容量无人回收；没有专业化的编排则没有多少容量值得回收。两者互相抬升对方的天花板。

这套逻辑本身站得住脚，但有一个值得指出的星号。这篇文章来自Dharma AI，该公司销售专业开源模型，并在结尾引导读者前往其在Hugging Face上的发布。航空业类比是论证中强有力的那一半。而“答案是更小的专业模型”这一结论，也正是该公司的产品主张。

任何人也不应指望效率会缩小算力总需求：更便宜的推理会被更多使用，而非更少，正如我们对3140亿美元假设的报道所示。硬件已经安装、已经在折旧、已经承诺投入，并按日历小时亏损。航空公司学到的是，赢家很少是机队最大的那家，而是把现有飞机运营得最充分的那家。企业AI正从不同的方向抵达同样的纪律。问题在于，在闲置小时数不断累积之前，谁会接手负责这件事。