Token efficiency: Building AI that spends intelligence wisely
Last year, my company decided to rebuild our enterprise AI platform, which our customers had been using for over a decade. But instead of simply updating it, we started over with a different ambition: to build an AI-native platform using AI.
Last year, my company decided to rebuild our enterprise AI platform, which our customers had been using for over a decade. But instead of simply updating it, we started over with a different ambition: to build an AI-native platform using AI.
Using AI to rebuild a platform of that size gave us first-hand experience with AI economics. We employed AI throughout the entire engineering process to write code, review changes, generate tests and accelerate development. It helped us reduce years of engineering to just a few months but also forced us to keep close watch over every single token we consumed and truly consider why we were consuming it.
This experience challenged one of our key assumptions: It turns out that token consumption is influenced as much by architectural decisions as by choice of model.
Indeed, we found that most of the token consumption waste wasn’t due to complex engineering tasks, but the architecture around them; this is something that is referred to as the architecture tax in enterprise AI.
Recursive agents kept spawning subtasks and subagents, and although they technically completed every task, each handoff introduced new prompts and context. Furthermore, frontier reasoning models were being wasted on routine classification tasks that deterministic code could have completed at a fraction of the cost. And, because we hadn’t clearly defined ‘success,’ retry loops continued firing and burning tokens to chase marginal gains, instead of improving business outcomes. Finally, we experienced context inflation, with workflows carrying information from earlier steps long after they had stopped contributing to the decision being made.
In context
- Topic: Estrategia y Gobierno de TI — Decisiones de portafolio, costo total, gobierno y marcos de referencia.
- Source: CIO
- Published: 15/10/2026
Continue reading at the original source →
Excerpt published automatically by the site radar. The full text belongs to its publisher and is linked above.
Por qué importa
Hay una diferencia enorme entre una compañía que tiene proyectos de tecnología y una que tiene una estrategia de tecnología. La primera acumula iniciativas; la segunda decide cuáles no va a hacer. Movimientos como este casi siempre son el momento en que alguien, arriba, por fin se animó a escribir la lista de lo que se deja fuera.
Mi filtro es siempre el mismo: ¿esto cambia una decisión, o solo cambia una herramienta? Si al final del trimestre las mismas personas siguen aprobando las mismas cosas con los mismos criterios, no hubo transformación; hubo compra. La diferencia se nota en el acta del comité, no en el comunicado.
Lo que suele salir mal
Lo que suele salir mal es la parte que no se conversó con las áreas que van a cargar el trabajo. Se decide arriba, se comunica hacia abajo, y la resistencia no aparece como oposición sino como lentitud. Nadie dice que no; simplemente todo tarda el doble y nadie sabe explicar por qué.
Qué mirar
- Cómo queda la relación con los proveedores actuales, que es donde suele estar la dependencia que nadie midió.
- Quién queda como dueño de la decisión y con qué presupuesto propio, no prestado.
- Si aparecen métricas de negocio o solo métricas de entrega — costo por transacción manda sobre porcentaje de avance.
Cómo leo esta entrada
Si esto llegara a mi mesa, lo primero que pediría no es un plan: es el inventario honesto de lo que ya está andando y cuánto cuesta sostenerlo. Casi siempre aparece que el presupuesto de lo nuevo sale de apagar algo viejo que nadie quiere nombrar, y esa conversación es la que define si el proyecto vive.
La noticia original está publicada en otro idioma; acá se cita el extracto tal como lo entrega el medio y el comentario se escribe en español.
Comentarios
Todavía no hay comentarios. El primero puede ser el tuyo.
¿Lo estás viviendo en tu equipo?
Abrí el chat y contame cómo lo están manejando. Me interesa comparar notas.
