IA en revisiones de evidencia: lo que aprendimos usándola de verdad

Hay mucho ruido en torno a la inteligencia artificial. Que si la IA lo cambia todo, que si no sirve para nada serio, que si va a reemplazar a los investigadores. Nosotros decidimos no opinar desde fuera y simplemente probarla, en condiciones reales, con proyectos reales.

En 2025, desde IMPACT incorporamos herramientas de IA en dos revisiones de evidencia: una sobre programas de apoyo entre pares para reducir conductas problemáticas en niños y adolescentes, y otra sobre cómo involucrar a niñas, niños y adolescentes en procesos de participación que vayan más allá de lo simbólico. Dos temas complejos, mucha literatura acumulada, plazos ajustados. El escenario perfecto para poner a prueba la herramienta.

Nuestra herramienta principal fue Copilot, aunque a lo largo del proceso probamos otras como ChatGPT, Gemini o Claude para tareas concretas, y herramientas más especializadas como NotebookLM o Napkin para síntesis visual y organización de contenidos. Esto es lo que encontramos.

Primero, lo bueno: cuando hay demasiado para leer

En las primeras fases de una revisión, la IA puede ser extraordinariamente útil. Cuando tienes cientos de artículos y necesitas hacer un primer filtrado, identificar qué estudios son relevantes y empezar a organizarlo todo, la herramienta ahorra una cantidad de tiempo que, en nuestro contexto, marca la diferencia.

Siempre que los documentos estén en un formato legible, la IA puede resumir, identificar objetivos y resultados principales, y categorizar estudios según los criterios que le marques. La clave está en darle instrucciones muy concretas: si le dices exactamente qué tipo de intervención buscas, con qué población, con qué diseño, el resultado mejora mucho.

También escribe bien, y adapta el tono con una consistencia que nos sorprendió. Transformar un análisis técnico en un texto legible para una audiencia de política pública, o condensar hallazgos complejos en mensajes claros, es algo en lo que la herramienta rinde de forma fiable. Para equipos que necesitan comunicar resultados a públicos muy distintos, esto supone un ahorro real.

Pero ojo: la curva de aprendizaje es real

Aquí viene lo que nadie te cuenta cuando decides «incorporar IA al flujo de trabajo»: las primeras semanas no ahorras tiempo, lo inviertes.

Entender cómo darle instrucciones útiles, aprender a detectar cuándo está fallando, diseñar el proceso para que sus limitaciones no contaminen los resultados… Todo eso tiene un coste. Si alguien en tu equipo adopta la herramienta esperando eficiencia inmediata, va a frustrarse.

Y hay otro factor que aprendimos a las malas: para que esto funcione, alguien del equipo tiene que conocer bien tanto la metodología de revisión como la herramienta. No es algo que puedas delegar en quien menos experiencia tiene. La IA amplifica el criterio de quien la usa, pero no lo reemplaza. Si quien la maneja no entiende bien qué está buscando ni por qué, los errores se multiplican silenciosamente.

El problema que más nos costó: no saber cuándo se equivoca

Cualquier herramienta puede fallar. Eso lo asumimos desde el principio. Lo que no esperábamos es que el mayor problema no fuera el error en sí, sino no saber cuándo estaba ocurriendo.

En momentos de alta demanda, el sistema se volvía errático: omitía información, daba respuestas inconsistentes, cometía errores sin ningún patrón claro. Y eso generaba una duda constante: ¿este artículo realmente no tiene lo que busco, o la IA simplemente no lo vio? ¿Estamos construyendo conclusiones sobre una base incompleta?

Esa incertidumbre es corrosiva. Cuando dejas de confiar en el proceso, todo el trabajo se tambalea.

Nuestra solución fue establecer checkpoints claros: momentos en los que el equipo se detiene, revisa manualmente lo recopilado hasta ese punto y confirma que la información es correcta. Y si detectamos que la IA está funcionando mal, paramos. Sin drama: cambiamos de herramienta, trabajamos a mano o simplemente hacemos una pausa. Seguir adelante cuando el sistema falla solo crea problemas que luego son muy difíciles de rastrear.

El sesgo que no se ve venir

Otro aprendizaje importante: la IA tiende a destacar lo más generalista y a pasar por alto lo específico. Y en revisiones de evidencia, muchas veces lo más valioso es precisamente lo más específico.

No lo resolvimos del todo, pero encontramos una estrategia que funcionó bien: pedirle a la IA que nos indicara en qué páginas o secciones del artículo aparecía la información relevante. Así, en lugar de fiarnos de su interpretación, podíamos volver al texto original y decidir nosotros. La IA como mapa, no como juez.

Algo parecido ocurre con la memoria: en revisiones largas, la herramienta «olvida» criterios y matices que habíamos definido al principio. Por eso dividimos el trabajo en bloques y repetíamos los criterios clave en cada sesión, y trabajamos siempre documento por documento. Cuando intentamos cargarle demasiada información a la vez para que hiciera una categorización global, la cosa se rompía: perdía coherencia, repetía errores, se contradecía. La IA no aguanta ese peso.

Lo que aún falla (y hay que vigilar)

Algunos problemas más técnicos, pero que no son menores:

• Los números la traicionan con frecuencia. Tablas, cifras, columnas de datos: la IA los entiende en general, pero comete errores con más frecuencia de la que quisiéramos. Todo lo numérico requiere verificación manual.
• Los PDFs escaneados son su talón de Aquiles. Si el documento viene de un escaneo de baja calidad, el reconocimiento de texto falla y la información se pierde sin aviso.

Y a veces, incluso en tareas simples, aparecen errores inesperados. No hay tarea tan sencilla que no merezca una segunda mirada.

Lo que no repetiríamos

Siendo honestos: hubo momentos en los que confiamos demasiado en la herramienta y avanzamos sin verificar lo suficiente. El resultado fue tener que volver atrás, revisar manualmente secciones enteras y reconstruir partes del análisis. Ese tiempo «ahorrado» al principio lo pagamos después con intereses.

También intentamos usar la IA para categorizar grandes volúmenes de documentos de golpe. No funcionó. La herramienta no tiene suficiente memoria para mantener la coherencia cuando el volumen es alto, y los resultados eran contradictorios entre sí. Lo repetiríamos de otra forma: en bloques pequeños, con criterios reforzados constantemente y con revisión humana en cada paso.

En definitiva, lo que no repetiríamos es tratarla como una caja negra en la que metes preguntas y salen respuestas fiables. En revisiones de evidencia, esa confianza ciega puede costar caro.

¿Vale la pena?

Sí, pero con los ojos abiertos.

La IA no reemplaza el criterio investigador. No puede. Lo que sí puede hacer es liberar tiempo para que ese criterio se aplique donde más importa. Usarla bien significa entender sus límites, diseñar el proceso en torno a ellos y no dejar de supervisar.

Seguimos aprendiendo. Y eso, en sí mismo, ya parece un buen punto de partida.