Un agente de IA aprueba solo un reembolso de 18 dólares (unos 15 euros). Uno de 40 lo frena y lo pasa a una persona. Detrás de ese límite hay una pregunta que la industria apenas empieza a responder: quién responde de lo que hace una máquina que actúa sola.
El 15 de octubre, ServiceNow enseñó esa escena en la presentación de AI Passport, una especie de pasaporte digital para agentes de inteligencia artificial. La demostración era sencilla, casi trivial. La idea de fondo no lo es: si vamos a dejar que los programas tomen decisiones en nombre de una empresa, alguien tiene que decidir hasta dónde pueden llegar y quién responde cuando se equivocan.
Para entenderlo hay que ver qué es un agente de IA, cómo funcionan estos "pasaportes" y qué dicen los tribunales y la ley. Al final cuento por qué ese límite de 25 dólares me parece una decisión más moral que técnica.
De la máquina que responde a la máquina que actúa
Un chatbot habla: te explica la política de devoluciones, te dice el estado de tu pedido o te redirige a un formulario. Un agente de IA, además, hace: entra en el sistema de pedidos, comprueba que cumples las condiciones, aprueba la devolución y te envía el justificante, sin que intervenga nadie.
La diferencia parece pequeña, pero cambia por completo el tipo de riesgo:
- Si un chatbot se equivoca, da una información incorrecta. Es un problema, pero alguien puede corregirlo después.
- Si un agente se equivoca, ejecuta una acción incorrecta: un pago, una cancelación o un cambio en un contrato. El error ya ha ocurrido cuando alguien se da cuenta.
Por eso, a medida que las empresas pasan de los asistentes que responden a los agentes que actúan, la pregunta deja de ser "¿qué sabe la máquina?" y pasa a ser "¿qué se le permite hacer?".
Cómo funciona un "pasaporte" para agentes
El AI Passport de ServiceNow es una credencial digital firmada que acompaña a cada agente. Como un pasaporte de verdad, dice quién eres y a dónde puedes ir, y añade algo que los pasaportes humanos no llevan: quién responde por ti.
Qué recoge | Para qué sirve |
|---|---|
Identidad del agente | Saber qué programa ha hecho cada cosa |
Acciones permitidas | Por ejemplo, reembolsos de hasta 25 dólares (unos 22 euros) |
Sistemas a los que puede acceder | Que el agente de devoluciones no pueda tocar las nóminas |
Persona responsable | Que siempre haya un humano que dé la cara |
Lo importante es que esos permisos se comprueban mientras el agente trabaja, no solo cuando se instala. Nenshad Bardoliwalla, responsable de productos de IA de la compañía, lo resume así: sin esa base, "cualquier barrera es solo un consejo".
Si un agente se porta mal, los administradores no tienen solo un interruptor de encendido y apagado. Bardoliwalla habla de un "regulador de intensidad": se puede pausar el agente, limitarle las herramientas o retirarle la credencial, y después reactivarlo dejando constancia del motivo. La compañía ha publicado las especificaciones para que otros sistemas puedan emitir y verificar estos pasaportes, también para agentes de otros fabricantes, y anuncia la disponibilidad para este trimestre.
La responsabilidad no se delega en el software
En 2022, Jake Moffatt preguntó al chatbot de la web de Air Canada por las tarifas para viajar al funeral de un familiar. El chatbot le dijo que podía comprar el billete a precio normal y pedir después el descuento por duelo. No era cierto: la política de la aerolínea no lo permitía. Cuando reclamó, la compañía le negó la devolución.
El caso llegó al Tribunal de Resolución Civil de la Columbia Británica. Air Canada argumentó que no podía responder por lo que dijera el chatbot, como si se tratara de una entidad separada con responsabilidad propia. El tribunal lo calificó de "argumento sorprendente". En su decisión del 14 de febrero de 2024 razonó que el chatbot forma parte de la web de la empresa, y que la empresa responde de todo lo que hay en ella. Y condenó a la aerolínea a pagar 812,02 dólares canadienses, unos 500 euros.
La cantidad es pequeña, pero el principio es enorme: una empresa no puede esconderse detrás de su máquina. Si eso vale para un chatbot que solo informa, con más razón vale para un agente que actúa.
Europa va en la misma dirección. El Reglamento de Inteligencia Artificial (AI Act) exige que los sistemas de "alto riesgo", como los que deciden sobre créditos, empleo o acceso a servicios esenciales, estén diseñados para que personas puedan supervisarlos y, si hace falta, detenerlos. Esas obligaciones se han retrasado a diciembre de 2027 con el llamado Ómnibus Digital. Un agente de atención al cliente no suele entrar en esa categoría, pero la idea de fondo es la misma que la del pasaporte: límites claros y una persona al mando.
El umbral invisible
Volvamos a los 25 dólares. Ese número no lo decide la máquina: lo decide una persona, normalmente con una hoja de cálculo delante. Y es una decisión con consecuencias muy distintas según dónde estés.
Del lado de quien reclama, lo bueno es evidente: los casos pequeños se resuelven al momento, sin esperas ni formularios. Lo menos evidente es que quien queda por debajo del umbral quizá nunca hable con nadie, aunque su caso tenga un matiz que ninguna regla prevé. Una devolución de 20 dólares puede ser una tontería para una persona y un problema serio para otra, y el agente no lo sabe.
Del lado de quien atiende, la promesa también es real: menos tareas repetitivas. Pero si la máquina se queda con todo lo sencillo, a las personas solo les llegan las excepciones: los casos enrevesados, las reclamaciones delicadas y los clientes que ya llegan enfadados. Y se pierde algo que no aparece en ningún indicador: los casos fáciles eran donde los recién llegados aprendían el oficio.
El mismo día, la compañía presentó también herramientas para que los empleados creen sus propios asistentes y automaticen tareas rutinarias sin programar. Eso da autonomía a cada persona sobre su propio trabajo, y es una buena noticia. También deja una pregunta incómoda en el aire: ¿estoy mejorando mi trabajo o enseñando a otro a hacerlo sin mí?
Un número que pesa
En cualquier proyecto con agentes, el umbral es de lo primero que se discute, y esconde una trampa: subirlo de 25 a 100 dólares mejora las cifras. Pero cada dólar que sube es una persona más que resuelve su problema sin hablar con nadie. A veces eso es justo lo que quiere esa persona. Otras veces, no.
La pregunta de fondo es quién responde cuando una decisión automatizada perjudica a alguien. Hay argumentos serios en los dos lados:
- A favor de estos modelos: un agente con límites explícitos, un registro de todo lo que hace y un responsable con nombre puede dar más trazabilidad que muchos procesos humanos actuales, donde nadie sabe muy bien quién decidió qué.
- En contra: el "responsable" puede acabar siendo un nombre en un formulario. Y cuando intervienen el fabricante, el integrador y la empresa que usa el agente, la culpa puede repartirse hasta que nadie la asuma.
Me inclino a pensar que poner límites a una máquina no es solo un problema técnico. Cada umbral lleva dentro una decisión sobre a quién atendemos y cómo.
Cuatro preguntas pendientes
- ¿Quién decide dónde se pone cada umbral, y con qué criterios además del coste?
- ¿Tiene el cliente derecho a pedir que una persona revise lo que ha decidido un agente, aunque esté por debajo del límite?
- ¿El "responsable" del pasaporte tiene de verdad tiempo y medios para supervisar al agente?
- Si las máquinas se quedan con lo fácil, ¿cómo aprenderán el oficio las personas que empiezan?
¿Sabías que…?
La palabra robot nació en 1920 en la obra de teatro R.U.R., del escritor checo Karel Čapek, y se la sugirió su hermano Josef. Viene de robota, que en checo significa trabajo forzoso o servidumbre. Dos décadas después, en 1942, Isaac Asimov publicó el relato Runaround, donde formuló por primera vez sus famosas Tres Leyes de la Robótica: el primer intento popular de escribir los límites de una máquina que actúa sola. Ochenta años después, esos límites ya no se escriben en una novela, sino en una credencial digital.
Límites con nombre y apellidos
Que la industria empiece a fabricar permisos y responsables para sus máquinas es una buena señal: reconoce que la autonomía sin límites es un problema. Pero la tecnología solo aplica los límites. Decidir dónde ponerlos, y responder por ellos, sigue siendo cosa nuestra.
Y eso deja una cuestión sin cerrar: ¿quién debería decidir hasta dónde llega una máquina que actúa en nombre de una empresa?
0 Comentarios