Ir al contenido
Guillermo AyalaConsultoría y desarrollo en IA

Blog · IA para pequeñas y medianas empresas

Cómo saber si un chatbot ayuda de verdad: resolución, calidad y derivación

Que una conversación termine dentro del chatbot no demuestra que el cliente recibió ayuda. Evalúa resolución, precisión y acceso a una persona en conjunto. De otra forma, el tablero puede premiar respuestas seguras que dejan más trabajo y dudas al cliente.

Un tablero de atención equilibra resolución, calidad revisada y transferencia a personas
Ilustración editorial generada con IA.
En este artículo
  1. Define el resultado antes de medirlo
  2. Una hoja de revisión equilibrada
  3. Comprueba qué incluye la tasa de resolución
  4. Lee los resultados por tipo de solicitud
  5. Lecturas relacionadas

La evaluación de un chatbot debe mostrar si el cliente consiguió lo que necesitaba. La contención solo indica que no llegó a una persona. Puede incluir respuestas útiles, abandonos y clientes que se cansaron de insistir. Contar todo como resolución genera un incentivo equivocado.

Define el resultado antes de medirlo

El responsable de atención debe establecer qué significa resolver cada intención cubierta. Una pregunta sobre políticas puede resolverse con una explicación correcta y útil. Consultar un pedido exige acceso autorizado y datos válidos. Una solicitud de reembolso puede quedar bien atendida mediante una transferencia completa, aunque la decisión ocurra después.

Registra los resultados desconocidos. El silencio del cliente no confirma éxito. Cuando los datos y permisos lo permitan, vincula contactos posteriores sobre el mismo asunto y distingue una solicitud nueva de la reapertura de un problema pendiente.

Una hoja de revisión equilibrada

  • Resultado: completado, transferido correctamente, pendiente o desconocido.
  • Calidad: evidencia correcta, condiciones preservadas y ausencia de promesas sin respaldo.
  • Esfuerzo del cliente: preguntas repetidas, pasos innecesarios y facilidad para pedir una persona.
  • Transferencia: destino correcto, contexto útil y responsabilidad aceptada.
  • Trabajo operativo: revisión, correcciones y mantenimiento necesarios.

Revisa la evidencia recuperada y la explicación final por separado. La guía de RAG de Microsoft recomienda evaluar cada paso y también el resultado que recibe el usuario. Consultar el documento correcto no impide que el modelo explique mal sus condiciones.

Comprueba qué incluye la tasa de resolución

Imagina una semana hipotética con cien solicitudes dentro del alcance. Setenta no llegan a una persona. Al revisar, 45 parecen resueltas, 15 siguen pendientes y diez tienen resultado desconocido. Presentar 70% de resolución borraría esas diferencias. En las treinta transferidas, el cliente puede haber recibido una atención excelente.

Inspecciona una selección de cada resultado, incluyendo aparentes éxitos. Revisar únicamente quejas deja fuera respuestas incorrectas que el cliente aceptó. Los evaluadores deben conocer la política y registrar el motivo de cada error con la referencia del caso.

Lee los resultados por tipo de solicitud

Separa información general, consultas de cuenta y excepciones. Revisa español e inglés, horario de atención y conversaciones fuera de horario. Cambiar la mezcla de solicitudes puede mover el promedio aunque ningún recorrido haya mejorado.

Acuerda criterios de revisión y suspensión antes de ampliar el uso. Una revelación no autorizada o un compromiso incorrecto repetido requieren una respuesta distinta de una frase poco natural. Asigna cada problema a quien pueda modificar la política, la integración o la conversación.

Compara periodos estables y documenta cambios de volumen y alcance. Mantén una hoja suficientemente breve para que alguien revise los casos que la sustentan. Su propósito es orientar decisiones de servicio.

Podemos definir una evaluación práctica para las solicitudes que realmente debe atender tu asistente.

Volver al blog · Guías prácticas de IA