Modelos de IA locales: cuando los datos no salen de la oficina
En voz, OCR y clasificación, un modelo local ya da calidad suficiente: el ucraniano en Parakeet marca un 6,79% de WER. Pero la contrapartida ha pasado al runtime.
Andrew Maryasov, consultor de IA, fundador de Auspex y Grow2.ai. Un modelo de IA local es un modelo que se ejecuta en tu propio hardware, sin llamada de red a un proveedor externo. Para tres tareas —reconocimiento de voz, OCR de documentos y clasificación de imágenes— ya da una calidad suficiente para producción: el ucraniano en Parakeet-TDT-0.6B-v3 marca un 6,79% de WER en Fleurs, frente a una media del 11,97% entre idiomas. La contrapartida, eso sí, no ha desaparecido. Simplemente se ha trasladado de la calidad del modelo a su operación: el mismo modelo de 258 millones de parámetros procesa un documento en seis segundos o en veinte minutos, según el motor con el que lo ejecutes.
TL;DR (en 30 segundos)
- La calidad ya no es el cuello de botella en tres tareas acotadas: transcripción, extracción de datos de documentos, clasificación de imágenes. No es «casi como la nube»: son cifras con las que se puede trabajar.
- El ucraniano tiene soporte directo.
parakeet-tdt-0.6b-v3(NVIDIA, 600M, licencia CC BY 4.0) reconoce 25 idiomas europeos con detección automática. WER del ucraniano: 6,79% en Fleurs, 5,10% en CoVoST. - El «WER medio» no dice nada sobre tu idioma. En el mismo modelo, el esloveno da un 24,03% en Fleurs. La diferencia con el ucraniano es de 3,5 veces.
- La contrapartida se ha trasladado al runtime. Los usuarios de
granite-docling-258Minforman de 15–20 minutos por documento con una ejecución ingenua en CPU, mientras que otro usuario procesó su archivo a través dellama-servercon bf16 GGUF en ~6 segundos. - En lo legal no desaparece el «riesgo», sino toda una clase de preguntas. Sin transferencia transfronteriza no hay capítulo V del GDPR. Sin un nuevo subcontratista no hay acuerdo del artículo 28.
- La incertidumbre regulatoria va a durar más de lo previsto. El Digital Omnibus —Reglamento (UE) 2026/1744— está en vigor desde el 27 de julio de 2026: las obligaciones para los sistemas de alto riesgo se aplazaron al 2 de diciembre de 2027 y al 2 de agosto de 2028.
Seis segundos o veinte minutos
granite-docling-258M es un modelo de IBM Research para conversión de documentos, publicado en septiembre de 2025 bajo licencia Apache 2.0. Doscientos cincuenta y ocho millones de parámetros. Para los estándares de 2026 es casi nada: cien veces más pequeño que los modelos que usas a través de una API.
En el tracker del proyecto Docling está el issue #2348, donde un ingeniero describe la evaluación del modelo en CPU: generar la salida de un documento tarda de quince a veinte minutos. En la discusión #37 de la ficha del modelo en Hugging Face, otro usuario se queja de que incluso en una RTX 6000 Ada con 48 gigabytes de memoria de vídeo una sola página tarda un tiempo inaceptable. Otro participante del hilo añade un comentario que incomoda: los modelos de varios miles de millones de parámetros en LM Studio entregan tokens notablemente más rápido que este de 258 millones.
En ese mismo hilo, un tercer participante hace la pregunta correcta: ¿y qué es exactamente lo que estáis midiendo? Y muestra su propia medición con un solo archivo. El pipeline completo a través de la UI en Docker: unos 35 segundos. El mismo modelo a través de llama-server con cuantización bf16 en formato GGUF: 6 segundos. Y además, la respuesta de la llamada «simple», sin pipeline, resultó más precisa.
Un modelo, motores distintos, una dispersión de dos órdenes de magnitud.
La pregunta «¿es lo bastante bueno un modelo local?» ya está cerrada para toda una clase de tareas. La pregunta «¿vas a poder operarlo como corresponde?» sigue abierta, y es justo ahí donde la gente se quema.
Tres tareas en las que el modelo local ya es suficiente
Lo que tienen en común estas tres tareas: el modelo no inventa nada, convierte un tipo de señal en otro: sonido en texto, píxeles en estructura, una imagen en una etiqueta. Son operaciones acotadas, deterministas y de gran volumen, y es justo ahí donde los modelos pequeños dan la talla.
Reconocimiento de voz: el ucraniano viene incluido
NVIDIA publicó parakeet-tdt-0.6b-v3, un modelo de reconocimiento automático de voz de 600 millones de parámetros. Su predecesor, v2, solo sabía inglés. La tercera versión se amplió a 25 idiomas europeos, y el ucraniano está en la lista, junto al polaco, el checo, el rumano y el lituano.
Las cifras de la ficha del modelo, WER (porcentaje de palabras con error; menos es mejor):
| Idioma | Fleurs | CoVoST |
|---|---|---|
| Ucraniano | 6,79% | 5,10% |
| Ruso | 5,51% | 3,00% |
| Portugués | 4,76% | 3,96% |
| Sueco | 15,08% | 20,16% |
| Esloveno | 24,03% | 31,80% |
| Media entre idiomas | 11,97% | 11,98% |
Al ucraniano le va notablemente mejor que a la media. El modelo detecta por sí mismo el idioma del audio: no hace falta indicárselo. Pone la puntuación y las mayúsculas, entrega marcas de tiempo a nivel de palabra y de segmento, y maneja audio de hasta 24 minutos con atención completa y de hasta tres horas con atención local. La licencia es CC BY 4.0: el uso comercial está permitido.
Seiscientos millones de parámetros. No es un peso por el que se compre un servidor.
Fíjate en las filas de abajo de la tabla. El esloveno, en el mismo modelo, da un 24%: casi una de cada cuatro palabras. Si tu audiencia habla esloveno, el párrafo anterior no te sirve: la media de la ficha del modelo no describe tu idioma. Mira tu fila.
OCR de documentos: estructura, no solo texto
El OCR clásico te entrega el texto y pierde todo lo demás: dónde había una tabla, dónde una fórmula, dónde el pie de una figura. Para un pipeline de RAG es una pérdida que después no hay forma de recuperar.
granite-docling-258M está construido de otra manera. Bajo el capó hay una arquitectura Idefics3 en la que IBM reemplazó el encoder visual por siglip2-base-patch16-512 y la parte de lenguaje por Granite 165M. El modelo conserva el formato: las tablas siguen siendo tablas, las fórmulas fórmulas, el código código, y la salida va a un DoclingDocument, una estructura de la que es cómodo sacar chunks para búsqueda.
Apache 2.0. Se puede usar, se puede modificar, se puede poner dentro de un producto.
Y ahí mismo está la trampa del runtime con la que empezó este artículo. El modelo es pequeño, pero es un modelo de visión y lenguaje completo: genera la salida token por token para cada página. Una ejecución ingenua con transformers en el procesador lo convierte en una espera de veinte minutos. El mismo archivo de pesos con el motor correcto: segundos.
Clasificación y visión: lo que ya llevas en el bolsillo
Apple publicó FastVLM, un modelo de visión y lenguaje presentado en CVPR 2025, con repositorio abierto. Lo principal en él es la latencia hasta el primer token, no la precisión: FastVLM-0.5B entrega el primer token 85 veces más rápido que LLaVA-OneVision y tiene un encoder visual 3,4 veces más pequeño. El mayor, FastVLM-7B sobre Qwen2, es 7,9 veces más rápido que Cambrian-1-8B con una precisión comparable. La demo funciona directamente en el navegador a través de WebGPU.
El 8 de junio de 2026 Apple mostró la tercera generación de Apple Foundation Models: cinco modelos, desde los que viven en el dispositivo hasta los de servidor en Private Cloud Compute. A nivel de framework se ve de lo más rutinario: en iOS 26 una app obtiene una sesión con un modelo de tres mil millones de parámetros en el dispositivo, y en la ruta de la llamada simplemente no hay red.
Es una señal importante, y no porque Apple haya hecho algo único. Lo es porque el «modelo en el dispositivo» ha dejado de ser un género de investigación y ha pasado a ser un elemento del sistema operativo que cada usuario compra junto con el teléfono.
Dónde se rompe el modelo local
El límite existe, y pasa por tres lugares.
Un idioma que no está en tu fila de la tabla. Ya vimos el esloveno. La regla general: la calidad de un modelo pequeño se reparte de forma desigual, y ese reparto no tiene ninguna correlación con lo importante que sea un idioma para ti. Antes de implantarlo, toma doscientos minutos de audio propio —no un benchmark, el tuyo— y mide.
Un runtime que se degrada en silencio. El 27 de marzo de 2026 apareció en el tracker de Docling el issue #3202, cuyo autor afirma que TableStructureModel trae escrito en el código un fallback incondicional de MPS a CPU, por lo que la aceleración en Apple Silicon se apaga en silencio. Sus mediciones: 145,9 segundos en CPU frente a 10,4 en MPS, y 715,4 segundos frente a 41,1 tras pasar a MLX: una aceleración de 14–17 veces. A octubre de 2026, el issue sigue abierto.
De esta historia me interesa la expresión «en silencio». El modelo no se cae. Los logs están limpios. Simplemente obtienes un rendimiento quince veces peor que el posible y se lo atribuyes a «bueno, en local es más lento». Es la misma clase de problema que con el blast radius del agente de IA: lo que más caro sale no es lo que se rompió haciendo ruido.
Tareas en las que hay que razonar. Transcripción, extracción, clasificación: eso es conversión. Generación de texto, análisis de varios pasos, contexto largo, manejo de la ambigüedad: eso es otra cosa. Ahí un modelo local pequeño pierde, y no por poco. No intentes reemplazar con él esa llamada en la que necesitas precisamente un modelo fuerte.
Qué clase de preguntas desaparece
Cuando envías el escaneo del pasaporte de un cliente a una API externa, no haces una sola cosa, y cada una trae su carga legal. Le entregas datos personales a un encargado del tratamiento, así que necesitas un acuerdo de tratamiento de datos según el artículo 28 del GDPR. Si el encargado está fuera de la UE, entra en juego el capítulo V sobre transferencias transfronterizas, con todo lo que lo acompaña. Si el tratamiento es a gran escala o sensible, hace falta una evaluación de impacto según el artículo 35.
Un modelo local no hace que «cumplas con el GDPR». Hace algo más acotado y más práctico: quita de la ecuación un término entero. Sin transferencia no hay capítulo V. Sin un nuevo subcontratista no hay otro acuerdo del artículo 28. Los datos del cliente no salen del perímetro en el que ya estaban legalmente.
Esto no es asesoramiento jurídico, y tu abogado de todos modos tiene que revisar el esquema concreto. Pero «hemos reducido el riesgo» y «hemos quitado el motivo de la pregunta» son frases distintas.
La segunda capa es regulatoria. La Comisión Europea publicó el Digital Omnibus sobre IA el 19 de noviembre de 2025. El Parlamento Europeo aprobó el texto acordado el 17 de junio de 2026 con 423 votos a favor, 57 en contra y 174 abstenciones. El Consejo de la UE dio la luz verde final el 29 de junio de 2026. El texto se publicó en el Diario Oficial el 24 de julio de 2026 como Reglamento (UE) 2026/1744; entró en vigor el 27 de julio de 2026.
Qué significa en fechas: las obligaciones para los sistemas de alto riesgo del Anexo III se aplazaron al 2 de diciembre de 2027, y para la IA integrada en productos regulados del Anexo I, al 2 de agosto de 2028. El plazo original era el 2 de agosto de 2026.
Que los plazos se muevan no significa que puedas relajarte: significa que la incertidumbre va a durar otro año y medio o dos. Una arquitectura en la que los datos personales físicamente no salen de tu perímetro resiste sea cual sea el texto que termine saliendo en el Diario Oficial. Una arquitectura construida alrededor de un punto concreto de una versión concreta del reglamento no va a resistir.
Cuánto cuesta en realidad
Un modelo local no es «gratis en lugar de la suscripción». Cambias una partida de gasto por otra: en lugar de un pago por token que crece linealmente con el volumen, tienes hardware que se compra una vez y tiempo de ingeniería que se gasta de forma constante.
Calcula la segunda parte completa: elegir el motor, medir en vez de suponer, notar que la aceleración se apagó en silencio, actualizar el modelo cuando salga la siguiente versión. Eso es mantenimiento, no un trabajo de una sola vez.
Las cuentas se inclinan hacia lo local en dos casos. El primero es el volumen: cuando el mismo tipo de documento pasa por el sistema por miles al mes, el precio por token deja de ser un detalle. El segundo, cuando enviar los datos fuera te sale caro en lo legal o directamente es inaceptable para el cliente.
Si tienes trescientos documentos al mes y no hay datos personales, quédate con la API. Va a ser más barato y más directo. Sobre cómo decido, en general, si adopto una herramienta nueva hay un análisis aparte.
La regla de enrutamiento
La conclusión práctica a la que he llegado construyendo para clientes pipelines de extracción de datos de PDF y escaneos es esta.
No enrutes según lo confidencial que sea la tarea, sino según qué es exactamente lo que cruza el perímetro.
El documento crudo, el audio en vivo, una cara en una foto se quedan dentro. El modelo local los convierte en derivados: texto sin nombres, un vector de características, una etiqueta de clase, una tabla estructurada. Después, si el paso siguiente de verdad necesita un modelo fuerte, lo que sale es el derivado, que ya no contiene datos personales.
Reconocimiento, extracción, clasificación: abajo, en tu propio hardware. Razonamiento, generación, contexto largo: arriba, en la nube. El límite pasa entre la conversión y el pensamiento, y no entre lo «importante» y lo «no importante».
Hace tres años esta división era teórica, porque la mitad local no daba la talla en calidad. Ahora sí la da. Esto no se paga con un resultado peor, sino con la obligación de entender cómo se ejecuta eso en tu entorno. Qué cosas locales tengo funcionando en mi equipo todos los días lo he detallado en mi stack de IA.
Seis segundos o veinte minutos. La diferencia no está en el modelo.
FAQ
¿Los modelos de IA locales admiten el ucraniano?
Sí. El modelo parakeet-tdt-0.6b-v3 de NVIDIA reconoce el ucraniano entre 25 idiomas europeos, con detección automática del idioma. El WER del ucraniano es del 6,79% en el benchmark Fleurs y del 5,10% en CoVoST, mejor que la media de todos los idiomas admitidos (11,97% en Fleurs). La licencia CC BY 4.0 permite el uso comercial.
¿Un modelo local significa cumplir con el GDPR?
No. Un modelo local no vuelve lícito el tratamiento de datos de forma automática: la base legal del tratamiento, la minimización de datos y los plazos de conservación siguen siendo tu responsabilidad. Lo que hace es quitar algunas preguntas legales concretas: si los datos no se entregan a un encargado externo, no hace falta un acuerdo del artículo 28 del GDPR ni los mecanismos de transferencia transfronteriza del capítulo V. El esquema concreto lo tiene que evaluar un abogado.
¿Qué hardware hace falta para un modelo local de OCR?
El tamaño del modelo pesa menos que el motor. granite-docling-258M tiene 258 millones de parámetros, pero con una ejecución ingenua con transformers en CPU los usuarios informan de 15–20 minutos por documento, mientras que otro usuario procesó un archivo a través de llama-server con bf16 GGUF en segundos. Antes de comprar hardware, mide tu pipeline con tus documentos.
¿Cuándo es peor un modelo local que uno en la nube?
En tres casos: cuando tu idioma está mal representado en el modelo (en Parakeet el esloveno da un 24,03% de WER frente al 6,79% del ucraniano); cuando la tarea exige razonamiento, generación o contexto largo; cuando el volumen es bajo y el coste del tiempo de ingeniería en mantenimiento supera la factura de la API.
¿Qué cambió en los plazos del AI Act?
El Parlamento Europeo aprobó el paquete Digital Omnibus el 17 de junio de 2026, el Consejo de la UE dio la luz verde final el 29 de junio, y el 24 de julio de 2026 el texto salió en el Diario Oficial como Reglamento (UE) 2026/1744 y el 27 de julio entró en vigor. Las obligaciones para los sistemas de alto riesgo del Anexo III se trasladaron al 2 de diciembre de 2027, y para la IA en productos regulados del Anexo I, al 2 de agosto de 2028. El plazo original era el 2 de agosto de 2026.
¿Se puede ejecutar un modelo de IA en un teléfono?
Sí. Apple FastVLM funciona en el iPhone e incluso en el navegador a través de WebGPU, y FastVLM-0.5B entrega el primer token 85 veces más rápido que LLaVA-OneVision. Desde iOS 26 las apps tienen acceso a un modelo de tres mil millones de parámetros en el dispositivo mediante el framework Foundation Models: en esa ruta no hay llamada de red.
¿Por dónde empezar el paso a modelos locales?
Toma una de las tres tareas —transcripción, OCR, clasificación— y mídela con tus propios datos, no con un benchmark. Primero la calidad en tu idioma y con tus documentos, después la velocidad con un motor concreto. Si los dos números te sirven, traslada esa única tarea y deja el resto del pipeline como está.
Qué sigue
La pregunta «¿se puede confiar en un modelo local?» en 2026 se divide en dos. Si es lo bastante preciso con tus datos se mide en medio día, y la respuesta más frecuente es «sí». Si vas a lograr operarlo de modo que no funcione doscientas veces más lento de lo posible ya tiene que ver con tu equipo de trabajo, no con el modelo.
Si en tu empresa están decidiendo ahora si entregar los documentos de los clientes a una API externa, reenvíales este texto antes de que tomen la decisión. Y si el pipeline ya funciona y no sabes qué es exactamente lo que sale de él hacia fuera, ven a una sesión de discovery: en una hora normalmente se ve qué datos cruzan el perímetro y si hay base para ello.
Ver también:
- Blast radius del agente de IA: cómo medir el riesgo en vez de tokens: sobre cómo la credencial determina la escala del daño.
- Cómo evaluar una herramienta de IA en 20 minutos: primero el criterio, después la demo.
- Mi stack de IA 2026: lo que realmente uso cada día: qué herramientas viven de verdad en mi trabajo diario.
- Qué automatizaciones implantar primero: 5 pasos en orden: por dónde empezar para que haya algo que medir.
Fuentes:
- parakeet-tdt-0.6b-v3: ficha del modelo de NVIDIA: 25 idiomas, WER por idioma, licencia CC BY 4.0.
- Docling issue #3202: fallback MPS→CPU en
TableStructureModel, benchmarks de aceleración de 14–17×, 27 de marzo de 2026. - IBM Granite-Docling: End-to-end document understanding: anuncio de IBM, septiembre de 2025.
- FastVLM: Efficient Vision Encoding for Vision Language Models: Apple Machine Learning Research, CVPR 2025.
- Introducing the Third Generation of Apple’s Foundation Models: Apple, 8 de junio de 2026.
- Council gives final green light to simplify and streamline AI rules: Consejo de la UE, 29 de junio de 2026.
- Reglamento (UE) 2026/1744 (Digital Omnibus on AI): EUR-Lex, publicación en el DO el 24 de julio de 2026, en vigor desde el 27 de julio de 2026.
Publicado por Andrew Maryasov, consultor de IA, fundador de Auspex y Grow2.ai; las implantaciones las llevan Auspex (CRM) y Grow2.ai (agentes de IA).
Una carta sobre IA: 2–3 emails al mes
Ensayos personales sobre cómo la IA cambia nuestra forma de pensar y trabajar: qué probé yo mismo, qué funcionó y qué no. Al final, enlaces a lo mejor de lo que he leído.
Sin spam. Puedes darte de baja con un clic.