Per-token pricing has become the default commercial language of generative AI, and practically every budget conversation now happens in those terms (tokens consumed, tokens generated, cost per million tokens, etc., etc.).
Per-token pricing has become the default commercial language of generative AI, and practically every budget conversation now happens in those terms (tokens consumed, tokens generated, cost per million tokens, etc., etc.).
The problem is that this model treats every AI interaction as a discrete transaction, separate from the infrastructure required to process it. Yes, tokens are a billing unit, but the work they represent also has a physical footprint in memory and storage, and as agentic AI drives context windows into the hundreds of thousands of tokens, that footprint has outgrown the GPU.
So why does this matter? Well, according to recent analysis published in Harvard Business Review (HBR), corporate AI is about to experience a massive “cost shock”, as vendors move away from unmetered or bundled AI features and begin passing on the cost of the infrastructure required to deliver them.
As HBR points out, organizations are currently being paid, in effect, to adopt AI, with major software vendors quietly absorbing the steep costs of GPUs, inference and tokens on their customers’ behalf. That subsidy is not built to last.
Take memory and storage costs, for example. DRAM prices have risen sharply as manufacturers focus on High Bandwidth Memory (HBM) production for AI accelerators, tightening supply for conventional server memory. Meanwhile, demand for AI is exerting sustained pressure on the availability and pricing of high-capacity SSDs.
This is totally unsustainable, and there was always going to come a point at which vendors could no longer continue covering these costs themselves and would need to pass more of them on to customers. That point is now rapidly approaching.
In context
- Topic: Inteligencia Artificial — IA aplicada al negocio: casos, límites, costos y gobierno.
- Source: CIO
- Published: 12/10/2026
Continue reading at the original source →
Excerpt published automatically by the site radar. The full text belongs to its publisher and is linked above.
Por que importa
A conversa sobre inteligência artificial ficou barulhenta, e isso dificulta enxergar o que importa. O que importa quase nunca é o modelo: é qual processo concreto fica mais barato, mais rápido ou mais confiável, e quem responde quando a resposta sai errada.
Eu meço a maturidade em IA com uma pergunta incômoda: alguém consegue explicar, em uma linha, que decisão o modelo toma e quem responde se errar? Onde isso está claro, o projeto anda. Onde não está, fica em piloto eterno e acaba cancelado com a desculpa de que a tecnologia não estava pronta.
O que costuma dar errado
O ponto em que costuma quebrar é a passagem para a operação. A equipe que fez o piloto sabe interpretar os resultados; a que recebe, não. Sem capacitação e sem critérios escritos, as pessoas passam a aceitar tudo o que o modelo diz ou a ignorá-lo por completo, e as duas coisas custam igual.
O que observar
- Quem revisa as saídas do modelo e com que frequência — o ponto em que a IA se torna auditável.
- O custo por consulta em volume real, não o do piloto: é a variável que mais dá surpresas.
- Onde ficam os dados e sob qual contrato, sobretudo quando há informação de clientes envolvida.
Como leio esta publicação
Minha recomendação prática é definir desde o primeiro dia o que se faz quando o modelo erra: quem revisa, com que frequência e em que momento se desliga. Soa defensivo, mas é exatamente o que permite ser agressivo depois, porque o risco deixou de ser uma incógnita.
A notícia original está publicada em outro idioma; o trecho é citado como o veículo o entrega e o comentário é escrito em português.
Comentários
Ainda não há comentários. O primeiro pode ser o seu.
Está vivendo isso na sua equipe?
Abra o chat e me conte como estão lidando com isso. Tenho interesse em comparar notas.
