Cómo saber si un agente de IA funciona: cinco métricas para gerencia

Un agente de IA en producción genera mucha actividad: conversaciones, casos atendidos, registros. A gerencia le interesa algo más simple: si resuelve el trabajo que le entregaron y si lo hace bien. Cinco métricas responden esa pregunta, siempre que se midan contra un punto de partida.

Antes de empezar: la línea base

La línea base es la foto de cómo funciona el proceso hoy, sin el agente. Sin ella, cualquier cifra parece buena o mala según quién la presente.

Antes de salir a producción, mide durante unas semanas lo mismo que vas a medir después: cuántas solicitudes llegan, cuánto tardan la respuesta y la resolución, cuántos casos se corrigen, y el resultado de negocio que el proceso afecta. Si el dato no existe, tómalo a mano sobre una muestra. Una línea base aproximada sirve más que ninguna.

Así se mide, por ejemplo, el resultado de Recu: +38% de recuperación de cartera vencida frente al periodo anterior.

Las cinco métricas

1. Solicitudes resueltas sin intervención humana

Es la proporción de solicitudes que el agente cierra de principio a fin sin que una persona las toque, sobre el total recibido en el periodo. En Cootradecun, el 85% de las solicitudes se resuelve sin intervención humana.

Lo que hay que cuidar es la definición de “resuelta”. Una conversación que terminó no siempre es un caso resuelto: si el cliente deja de responder o vuelve al día siguiente con la misma solicitud, el caso sigue abierto. Conviene escribir esa definición antes de empezar.

2. Tiempo de respuesta y tiempo de resolución

Son dos tiempos distintos. El de respuesta va desde que llega la solicitud hasta la primera respuesta útil; el de resolución, hasta que el caso queda cerrado, incluidos los que pasaron por una persona. Un agente responde casi de inmediato, así que la cifra que más dice es la de resolución.

Mide los dos desde el mismo punto de partida y compáralos con la línea base. El promedio esconde los casos largos: revisa también los más lentos, porque ahí suele estar el problema.

3. Escalamientos a una persona, y por qué

Escalar es pasar el caso a una persona del equipo, y muchas veces es lo correcto.

Un caso está bien escalado cuando necesita criterio humano (una excepción, una queja, una solicitud fuera de los límites del agente) y llega a la persona con todo el contexto, sin que el cliente tenga que repetir su historia. Está mal escalado cuando el agente podía resolverlo con la información que tenía, cuando escaló tarde o cuando llegó sin contexto.

Cuenta el total de escalamientos y clasifica una muestra por motivo. Lo razonable es que los mal escalados bajen semana a semana. Los bien escalados pueden mantenerse, y es sano que existan.

4. Errores y correcciones

Un agente puede responder con seguridad y estar equivocado. La única forma de saberlo es revisar cada semana una muestra de conversaciones o casos, con alguien que conozca el proceso, y clasificar cada uno: correcto, incompleto o incorrecto. A eso se suman las correcciones: los casos en que una persona tuvo que deshacer o arreglar lo que hizo el agente.

La muestra debe ser al azar, porque las quejas solo muestran los errores que el cliente notó. Si el agente responde con los documentos de la empresa, conviene contar como error toda respuesta sin fuente, aunque haya acertado (por qué).

5. Resultado de negocio

Las cuatro métricas anteriores dicen si el agente funciona; esta dice si vale la pena. Depende del proceso: en cobranza, la recuperación de cartera; en procesos internos, el tiempo que el equipo libera; en atención, la satisfacción del cliente al cerrar el caso. En Legalnova, por ejemplo, el tiempo en revisión documental bajó 70%.

Elige uno o dos resultados antes de empezar, los que justifican el proyecto, y mídelos contra la línea base.

Cada semana al principio

Las primeras semanas en producción son las que más ajustes piden, y conviene revisarlas cada semana con el dueño del proceso: las cinco métricas, la muestra de errores y los casos mal escalados. Cada hallazgo se convierte en un ajuste concreto, como una instrucción nueva, un documento que faltaba o un límite más claro. Cuando las cifras se estabilizan, la revisión puede pasar a ser mensual.

Ninguna métrica sola

Cada métrica puede mejorar a costa de otra, y por eso no conviene celebrar una aislada:

• Más resolución sin intervención puede significar que el agente dejó de escalar casos que necesitaban a una persona.
• Respuestas más rápidas pueden venir con más errores.
• Menos escalamientos pueden esconder clientes que se cansaron y abandonaron.

Las cinco se leen juntas. Una mejora real mueve el resultado de negocio sin empeorar los errores.

Cómo lo hacemos en Xplouse

Medimos la línea base en el diagnóstico, antes de construir. Cada acción del agente queda registrada (cada respuesta y cada escalamiento, con la información que consultó) y se puede revisar, de modo que la muestra semanal sale de un registro completo. Las métricas quedan a la vista de gerencia desde el primer día. La arquitectura muestra cómo funciona.