Per-token pricing has become the default commercial language of generative AI, and practically every budget conversation now happens in those terms (tokens consumed, tokens generated, cost per million tokens, etc., etc.).
Per-token pricing has become the default commercial language of generative AI, and practically every budget conversation now happens in those terms (tokens consumed, tokens generated, cost per million tokens, etc., etc.).
The problem is that this model treats every AI interaction as a discrete transaction, separate from the infrastructure required to process it. Yes, tokens are a billing unit, but the work they represent also has a physical footprint in memory and storage, and as agentic AI drives context windows into the hundreds of thousands of tokens, that footprint has outgrown the GPU.
So why does this matter? Well, according to recent analysis published in Harvard Business Review (HBR), corporate AI is about to experience a massive “cost shock”, as vendors move away from unmetered or bundled AI features and begin passing on the cost of the infrastructure required to deliver them.
As HBR points out, organizations are currently being paid, in effect, to adopt AI, with major software vendors quietly absorbing the steep costs of GPUs, inference and tokens on their customers’ behalf. That subsidy is not built to last.
Take memory and storage costs, for example. DRAM prices have risen sharply as manufacturers focus on High Bandwidth Memory (HBM) production for AI accelerators, tightening supply for conventional server memory. Meanwhile, demand for AI is exerting sustained pressure on the availability and pricing of high-capacity SSDs.
This is totally unsustainable, and there was always going to come a point at which vendors could no longer continue covering these costs themselves and would need to pass more of them on to customers. That point is now rapidly approaching.
In context
- Topic: Inteligencia Artificial — IA aplicada al negocio: casos, límites, costos y gobierno.
- Source: CIO
- Published: 12/10/2026
Continue reading at the original source →
Excerpt published automatically by the site radar. The full text belongs to its publisher and is linked above.
Por qué importa
La conversación sobre inteligencia artificial se volvió ruidosa, y eso hace más difícil ver lo importante. Lo importante casi nunca es el modelo: es qué proceso concreto queda más barato, más rápido o más confiable, y quién se hace responsable cuando la respuesta sale mal.
Yo mido la madurez en IA con una pregunta incómoda: ¿alguien puede explicar, en una línea, qué decisión toma el modelo y quién responde si se equivoca? Donde eso está claro, el proyecto avanza. Donde no, se queda en piloto eterno y termina cancelado con la excusa de que la tecnología no estaba lista.
Lo que suele salir mal
El punto donde suele romperse es el traspaso a operación. El equipo que hizo el piloto sabe interpretar los resultados; el equipo que lo recibe, no. Sin capacitación y sin criterios escritos, la gente empieza a aceptar todo lo que el modelo dice o a ignorarlo por completo, y ambas cosas son igual de caras.
Qué mirar
- Quién revisa las salidas del modelo y con qué frecuencia — el punto donde la IA se vuelve auditable.
- El costo por consulta a volumen real, no el del piloto: es la variable que más sorpresas da.
- Dónde quedan los datos y bajo qué contrato, sobre todo si hay información de clientes de por medio.
Cómo leo esta entrada
Mi recomendación práctica es fijar desde el día uno qué se hace cuando el modelo se equivoca: quién revisa, con qué frecuencia, y en qué momento se apaga. Suena defensivo, pero es exactamente lo que permite ser agresivo después, porque el riesgo dejó de ser una incógnita.
La noticia original está publicada en otro idioma; acá se cita el extracto tal como lo entrega el medio y el comentario se escribe en español.
Comentarios
Todavía no hay comentarios. El primero puede ser el tuyo.
¿Lo estás viviendo en tu equipo?
Abrí el chat y contame cómo lo están manejando. Me interesa comparar notas.
