Local AI on NPUs: Building a zero-cloud photo deduplicator with OpenCLIP
Every new laptop today is marketed as an ‘AI PC’ thanks to a built-in Neural Processing Unit (NPU). But beyond chatting with small local LLMs, what practical work can this silicon actually do? Recently, I hit a wall with a classic IT problem: data gravity.
Every new laptop today is marketed as an ‘AI PC’ thanks to a built-in Neural Processing Unit (NPU). But beyond chatting with small local LLMs, what practical work can this silicon actually do? Recently, I hit a wall with a classic IT problem: data gravity.
Archiving thousands of pre-digital-age photos and massive video files is a common challenge for most households. Those archives easily span terabytes, making cloud uploads a bandwidth nightmare. While data privacy is a major reason to keep workloads local, data gravity is the physical bottleneck I had to design around here.
It definitely isn’t just my problem—it’s the industry’s. The default architecture of the AI boom, which ships every inference task to a centralized cloud API, is colliding with hard physical limits. The electrical grid simply cannot support the current pace of hyperscale build-outs. Recent industry projections show US utility capacity falling short of data center power demand by over 100 gigawatts by 2030. Regulators are actively stepping in to throttle this: just days ago in September 2026, Virginia (the densest data center region in the world) signed Executive Order 22, heavily restricting state assistance for new hyperscale deployments over 25 megawatts due to acute grid and water constraints. The cloud’s physical room is running out, which is exactly why compute has to move to the data.
Fortunately, consumer hardware is evolving to support this. Most modern machines now ship with an NPU specifically designed for tensor operations. Let’s look at how edge processing can replace cloud APIs for heavy media.
To understand why local AI architecture is shifting, it helps to look at how modern silicon divides the workload across different classes of hardware:
In context
- Topic: Cloud y Arquitectura — Nube pública, híbrida, costos y decisiones de infraestructura.
- Source: InfoWorld
- Published: 13/10/2026
Continue reading at the original source →
Excerpt published automatically by the site radar. The full text belongs to its publisher and is linked above.
Por qué importa
El discurso de la nube pasó de migrar todo a decidir qué va dónde. Esa madurez es buena señal, pero también hace más difícil la conversación: ya no hay una respuesta única, hay que argumentar caso por caso y muy poca gente tiene los números para hacerlo.
Lo que yo miro en estos anuncios es la portabilidad. Mientras más cómoda es una plataforma, más difícil suele ser salir de ella, y esa comodidad se paga en poder de negociación tres años después, justo cuando toca renovar y ya no hay alternativa creíble.
Lo que suele salir mal
El error que se repite es no dimensionar el tráfico de salida. Los cálculos se hacen con el costo de cómputo y almacenamiento, que son los visibles, y la sorpresa llega con la transferencia de datos. Es la línea de la factura que más veces vi desarmar un caso de negocio bien armado.
Qué mirar
- Quién ve la factura y con qué detalle: sin dueño del gasto, el gasto crece solo.
- Dónde quedan físicamente los datos y qué exige la regulación local sobre eso.
- Qué pasa cuando el proveedor tiene una caída, porque la va a tener, y qué queda operando mientras tanto.
Cómo leo esta entrada
Si esto entrara en una decisión de infraestructura, yo pediría el costo total a tres años con el crecimiento real puesto adentro, no el del primer año con descuento de entrada. La mayoría de las sorpresas de nube están en el año dos, cuando el descuento se acaba y el volumen ya subió.
La noticia original está publicada en otro idioma; acá se cita el extracto tal como lo entrega el medio y el comentario se escribe en español.
Comentarios
Todavía no hay comentarios. El primero puede ser el tuyo.
¿Lo estás viviendo en tu equipo?
Abrí el chat y contame cómo lo están manejando. Me interesa comparar notas.
