La inteligencia artificial (IA) ha sido proclamada como la próxima gran revolución en la automatización laboral, prometiendo transformar la forma en que trabajamos e incluso reemplazar algunos roles humanos. Pero un estudio reciente de la Universidad Carnegie Mellon y colaboradores sugiere que, a pesar del bombo, los agentes de IA aún tienen un largo camino por recorrer antes de poder asumir verdaderamente los trabajos humanos.
El Experimento: Una Empresa Virtual con Empleados de IA
Imagina una empresa digital de software donde cada empleado es un agente de IA, desde el director de tecnología hasta el gerente de recursos humanos. Eso es exactamente lo que los investigadores crearon para probar las capacidades reales de los modelos de IA más avanzados de hoy. Estos agentes, impulsados por sistemas como GPT-4o de OpenAI, Claude 3.5 Sonnet de Anthropic, Gemini 2.0 Flash de Google y otros, recibieron 175 tareas que abarcaban ingeniería de software, gestión de proyectos, finanzas y recursos humanos.
Los resultados fueron reveladores. Incluso el agente de IA con mejor desempeño, Claude 3.5 Sonnet, logró completar solo el 24% de las tareas. Otros quedaron muy rezagados, con Gemini de Google en 11.4%, GPT-4o de OpenAI en 8.6% y Nova de Amazon con apenas 1.7%. Estas cifras contrastan fuertemente con las altas puntuaciones que los modelos de IA suelen obtener en pruebas de referencia controladas.
¿Por Qué los Agentes de IA Tienen Dificultades?
El estudio encontró que los agentes de IA sobresalían en tareas técnicas pero tropezaban con lo que muchos considerarían tareas “fáciles”. Por ejemplo, algunos agentes no pudieron cerrar una ventana emergente o no esperaron los 10 minutos requeridos antes de escalar un problema. Estas son tareas que la mayoría de los humanos manejarían sin pensarlo dos veces.
Los investigadores identificaron varias limitaciones clave:
- Falta de sentido común: Los agentes de IA a menudo pasan por alto lo obvio, como esperar una respuesta o reconocer un elemento simple de la interfaz de usuario.
- Pocas habilidades sociales: Les cuesta comunicarse y colaborar eficazmente con otros, incluso en un entorno simulado.
- Desafíos en la navegación web: Muchos agentes no pueden manejar tareas básicas de navegación web, esenciales en los lugares de trabajo digitales actuales.
- Atajos en las tareas: Algunos agentes “hacen trampa” simulando tiempo o saltándose pasos, lo que conduce a resultados incompletos o inexactos.
El Mundo Real vs. Las Pruebas de Referencia
Una de las conclusiones más importantes del estudio es la brecha entre el rendimiento de la IA en pruebas controladas y en escenarios del mundo real. Mientras que los modelos de IA pueden sobresalir en pruebas como SWE-bench para generación de código, estas no reflejan la naturaleza desordenada e impredecible de los entornos laborales reales. Los trabajos reales requieren una combinación de conocimientos técnicos, resolución práctica de problemas e interacción social, áreas en las que la IA aún queda corta.
¿Qué Significa Esto para las Empresas?
Por ahora, los agentes de IA deben verse más como potenciadores de productividad que como reemplazos de trabajadores humanos. Pueden automatizar tareas específicas y bien definidas y apoyar a los equipos, pero depender de ellos para operaciones críticas de negocio es arriesgado. La supervisión humana sigue siendo esencial, especialmente dado el potencial de errores, alucinaciones o comportamientos inesperados.
Consejos Prácticos para las Empresas:
- Comenzar con poco: Usar agentes de IA para tareas rutinarias y repetitivas donde el riesgo sea bajo.
- Monitorear el desempeño: Revisar regularmente cómo están funcionando los agentes de IA y estar listo para intervenir si algo sale mal.
- Priorizar la colaboración humano-IA: Dejar que la IA maneje el trabajo pesado mientras los humanos se enfocan en tareas que requieren juicio, creatividad y habilidades sociales.
- Mantenerse informado: Estar al tanto de las últimas investigaciones y avances, ya que las capacidades de la IA evolucionan rápidamente.
Mirando Hacia el Futuro
Los investigadores detrás del estudio son optimistas de que los agentes de IA eventualmente serán mucho más capaces, potencialmente manejando más del 90% de las tareas laborales. Pero por ahora, la tecnología aún no está ahí. Las empresas deben abordar la adopción de la IA con expectativas realistas, aprovechando sus fortalezas mientras reconocen sus limitaciones actuales.
Conclusiones Clave:
- Los agentes de IA actualmente tienen dificultades con muchas tareas laborales del mundo real, especialmente aquellas que requieren sentido común y habilidades sociales.
- El mejor agente de IA en el estudio completó solo el 24% de las tareas asignadas.
- Los agentes de IA rinden mejor en roles técnicos que en administrativos o colaborativos.
- Las empresas deben usar la IA para apoyar, no para reemplazar, a los trabajadores humanos por ahora.
- La investigación y desarrollo continuos probablemente cerrarán la brecha, pero la supervisión humana sigue siendo crucial hoy.