Cómo evaluar una herramienta de IA en 20 minutos

Andrew Maryasov, consultor de IA. En tres años pasé por más de 80 herramientas de IA en proyectos reales. Al stack diario llegó un puñado. Al resto lo filtró un procedimiento que toma veinte minutos y ni una sola llamada con el proveedor.

TL;DR (en 30 segundos)

• La demo del proveedor no prueba nada. El proveedor elige los datos, escribe el prompt y sabe en qué pregunta se rompe el modelo. Ahí no va.
• Veinte minutos con tus propios datos dan más señal que una hora de llamada con un ingeniero de ventas.
• El framework tiene tres bloques: probarla con datos reales, romperla a propósito, calcular el costo de integrarla.
• La pregunta del final no es “¿funciona?”, sino “¿cuántos de mis procesos tengo que rehacer para que funcione?”.
• La nota de aprobación no es “guau”. La nota de aprobación es “vale la pena gastar dos días más”.

Por qué dejé de ver demos

Hace unos años hacía esto: encontraba una herramienta, leía la landing, veía el video de demo, agendaba una llamada. En la llamada todo funcionaba. El modelo extraía campos de un PDF, el agente le respondía al cliente, el dashboard dibujaba gráficas. Me suscribía al plan mensual y tres semanas después ya no recordaba la contraseña.

No es que los proveedores mientan. La demo simplemente es un entorno controlado: el proveedor eligió el archivo, el proveedor escribió el prompt, el proveedor sabe en qué pregunta su modelo pierde piso. Y justo en esa pregunta la llamada pasa, sin que se note, a la siguiente diapositiva.

El mundo corporativo aprendió hace tiempo a vivir con esto. La respuesta ahí se ve así: una scorecard ponderada de once categorías, un proof of concept pagado de dos semanas, un departamento legal, SOC 2 Type II, revisiones de governance cada trimestre. Funciona, y para una empresa de quinientas personas yo haría exactamente eso. La tesis central de esas checklists es difícil de refutar: el único número que importa es cómo se desempeñó el modelo con tus datos.

Pero si eliges una herramienta para ti o para un equipo de ocho personas, no tienes dos semanas. Ni departamento legal ni alguien que arme una evaluation matrix en Excel. Tienes un martes por la noche y ganas de entender si esta cosa merece tu atención.

Por eso tengo un procedimiento corto. Veinte minutos, tres bloques, una hoja.

La regla de los veinte minutos

Los veinte minutos no responden a la pregunta “¿lo implementamos?”. Responden a la única pregunta de esta etapa: ¿vale la pena gastar dos días más en esta herramienta?

La mayoría de las herramientas muere justo aquí, y para eso se armó todo esto.

El temporizador sí lo pongo, y no es pose. Sin temporizador es fácil caer en configurar integraciones, gastar media jornada y al final quedarte con la sensación de que “parece interesante” en vez de una respuesta. Una semana después esa sensación se convierte en una suscripción más que solo ves en el estado de cuenta de la tarjeta.

Bloque 1. Datos reales, minutos 0–7

Lo primero que hago después de registrarme es cerrar la pestaña del onboarding junto con su archivo de prueba sample_invoice.pdf.

En su lugar tomo tres casos míos. No los típicos. Los peores que encuentre:

• un correo de un cliente con tres archivos adjuntos y una fecha en un formato que no existe en la naturaleza;
• una exportación del CRM donde la mitad de los campos está vacía porque el gerente los iba a llenar “después”;
• una transcripción de llamada donde dos personas hablan al mismo tiempo y una tercera se conectó desde un túnel.

Todo lo demás es una versión higiénica de la realidad, y ahí cualquier herramienta se ve inteligente.

Después mido un solo número: cuántos de los tres resultados aceptaría con una corrección ligera en vez de reescribirlos desde cero. Mi umbral son dos casos de tres, y el umbral aquí es bajo a propósito: con tres casos no hay aritmética más precisa.

Cuando una herramienta da un resultado débil, la mano sola se estira a reescribir el prompt, luego otra vez, y otra. En la séptima iteración por fin obtienes un buen resultado, solo que lo obtuviste tú, no la herramienta. Si para una salida decente hacen falta siete intentos y media página de instrucciones, la herramienta perdió. Yo simplemente todavía no quiero admitirlo, porque ya le dediqué una hora.

Bloque 2. Rómpela a propósito, minutos 7–14

El happy path no muestra nada: todo lo interesante empieza en el camino malo.

Campo vacío. Una consulta a la que le faltan los datos clave. El modelo debería decir “no hay datos suficientes”. Si inventa una respuesta con seguridad, en producción eso sale más caro que el silencio: nadie revisa una respuesta inventada, porque se ve como una respuesta.

Contradicción. Dos documentos con cifras distintas sobre la misma operación. El buen comportamiento es señalar la discrepancia. El malo es elegir en silencio una de las cifras, y nunca vas a saber cuál.

Salida de rango. Una pregunta sobre algo que no está en los datos entregados. Aquí no se prueba la inteligencia, sino la disposición a admitir que no se sabe.

Cuando probaba orquestadores de agentes (n8n, Mastra y algunos menos conocidos), no me interesaba el escenario en el que los tres pasos funcionaron. Me interesaba qué pasa cuando el segundo paso devuelve una respuesta vacía. Unos se detienen y gritan. Otros pasan el vacío hacia adelante con toda prolijidad, y a la salida tienes un informe impecablemente formateado sobre nada: títulos en su lugar, conclusiones en su lugar, cifras sacadas del aire.

A la primera herramienta puedes dejarla sin supervisión. Con la segunda vas a tener que estar encima, y quien esté encima vas a ser tú.

Bloque 3. El costo de integrarla, minutos 14–20

El precio de la suscripción es la parte más pequeña y más transparente del costo. El resto hay que calcularlo uno mismo, y justo ahí muere la mayoría de las soluciones “baratas”.

Sumo cuatro números:

Qué calculo	Cómo lo estimo en 6 minutos
Horas de integración	¿Hay un conector nativo con lo que ya uso? ¿Voy a tener que escribir un wrapper?
Costo de reaprender	Cuántas personas tienen que cambiar un hábito y qué tanto
Costo de salida	Si puedo exportar mis datos a CSV o JSON sin llamar a soporte
Precio del error	Qué pasa si la herramienta se equivoca en el cinco por ciento de los casos: una molestia o un cliente perdido

Una herramienta más fuerte que hay que coser a mano pierde con regularidad frente a una más débil con integración nativa. No porque la calidad no importe. Porque cuarenta horas de integración son cuarenta horas que no tengo, y el “luego lo termino” nunca llegó.

Qué sobrevivió de todo esto y cuánto cuesta está en el repaso de mi stack de trabajo; ahí mismo cuento por qué su parte más cara no son las suscripciones.

La scorecard de veinte minutos

Bloque	Minutos	Pregunta	Nota de aprobación
Datos reales	0–7	¿Cuántos de los tres casos sucios pasaron sin reescritura?	2 de 3
Rotura deliberada	7–14	¿Dice “no sé”? ¿Se detiene después de un error?	Sí a ambas
Costo de integrarla	14–20	¿Cuántas horas hasta el primer resultado útil dentro de mi proceso?	no más de 8

Guarda esta tabla. La próxima vez que abras una landing con “AI-powered” en el título, vas a tener algo que mirar además del botón “Start free trial”.

Un bloque reprobado significa no: no “démosle otra oportunidad” ni “probemos con otro caso”, simplemente no.

Me costó mucho aprender a no dar segundas oportunidades, y cada lección tuvo un precio en forma de suscripción anual.

Banderas rojas tras las cuales cierro la pestaña de inmediato

A veces los veinte minutos ni siquiera empiezan. Esto es lo que me detiene:

• No hay exportación de datos. Si tus datos no salen de ahí en CSV o JSON, no estás comprando una herramienta, estás alquilando un rehén.
• No se puede probar sin una llamada con un ejecutivo. Una demo detrás de una contraseña de ventas es el proveedor queriendo verte la cara antes de que tú veas su producto.
• No hay precios en el sitio. Los precios opacos suelen significar que primero te van a medir y solo después te van a decir la cifra.
• “No entrenamos con tus datos” está en el marketing, pero no en el contrato. Una promesa que vive solo en la landing vale exactamente lo que vale la landing.

Qué pasa en el minuto veintiuno

Aquí hay exactamente tres salidas, y ninguna es “ya se resolverá solo”.

La herramienta pasó los tres bloques: le doy dos días con un flujo real de tareas, con los mismos criterios, solo que en mayor volumen. Dos tercios de lo que llega a esta etapa se queda en el stack para siempre.

La herramienta reprobó el bloque de costo pero ganó los dos primeros: no la tiro, la anoto en un archivo aparte con la fecha. Medio año después aparecen conectores, bajan los precios, y la mitad de esas anotaciones revive.

La herramienta reprobó los datos reales o la rotura: cierro la pestaña y no vuelvo. Ningún descuento ni ninguna actualización curan a una herramienta que inventa respuestas.

Lo más difícil, como siempre, soy yo y no las herramientas. Veinte minutos son exactamente lo que hace falta para no alcanzar a enamorarse.

FAQ

¿Alcanzan 20 minutos para elegir una herramienta de IA para una empresa?

No, y ese no es el objetivo. Los veinte minutos filtran candidatas. Para una decisión a nivel de empresa, después viene un piloto de dos a cuatro semanas con usuarios reales, criterios pass/fail por escrito y una línea base medida. El framework no te ahorra la etapa de decisión, te ahorra diez pilotos innecesarios.

¿Qué hago si la herramienta no da acceso sin una llamada con ventas?

Llama, pero no a la demo. Pide un sandbox con tus datos y tu prompt. El proveedor que acepta suele tener confianza en su producto. El proveedor que insiste en una presentación guiada te está diciendo algo importante antes de firmar el contrato.

¿Cuántas herramientas conviene probar en paralelo?

Tres a cinco. Menos, y no hay con qué comparar. Más, y al cuarto día confundes cuál de ellas sabía trabajar con tablas. Lo principal: todas reciben los mismos casos sucios y los mismos criterios; si no, no comparas herramientas, comparas tu estado de ánimo.

¿Cómo probar con datos reales sin violar la confidencialidad?

Anonimiza la muestra: cambia nombres, números de contrato y montos, conservando la estructura y la “suciedad”. Para datos sensibles mira hacia self-hosted o planes enterprise con retention cero. La política de conservación de datos tiene que estar en el contrato, no en el FAQ del sitio.

¿En qué se diferencia este framework de un vendor evaluation corporativo?

En la escala y en el precio del error. El procedimiento corporativo protege un contrato de varios meses y a varios stakeholders, por eso trae governance, auditoría y scorecards ponderadas. Un framework personal protege tu tiempo y tu noche. La lógica es la misma: probar con tus propios datos, fijar los criterios de antemano, calcular el costo total y no el precio de la licencia.

La herramienta pasó los tres bloques. ¿Y ahora qué?

Dos días con un flujo real de tareas y una pregunta al final: qué se rompe si mañana esta herramienta desaparece. Si la respuesta es “nada”, no la necesitas. Si la respuesta es “la mitad del trabajo”, acabas de encontrar una dependencia, y ahora conviene revisar las condiciones de salida otra vez, con más cuidado.

¿Cuántas herramientas terminan llegando al uso diario?

De las más de 80 que probé me quedaron nueve, y es una proporción normal. La mayoría de las demás no eran malas. Simplemente resolvían un problema que yo no tengo.

Qué sigue

El framework responde a la pregunta “¿vale la pena seguir mirando?”. No responde a “¿qué tres herramientas moverán tu negocio en concreto?”: ahí hace falta el contexto de los procesos, no un temporizador.

Puedes aplicar este filtro tú solo, en una noche. Si prefieres hacerlo con un segundo par de ojos, escríbeme; cuánto tiempo tome depende de qué tan descrito esté ya tu proceso.

Ver también:

• Mi stack de IA 2026: lo que realmente uso cada día: lo que pasó el filtro, con precios.
• Las mejores herramientas de IA para negocios en 2026: 28 seleccionadas: si necesitas una lista inicial de candidatas.
• Agente de IA vs chatbot: diferencia, precio, cuándo elegir cada uno: para cuando la herramienta no debe responder, sino actuar.
• Cómo contratar a un consultor de IA: checklist de 12 preguntas: el mismo escepticismo, pero con personas.