CondoAsk RAG Dashboard

¿Qué es un caso de prueba?
Es una pregunta que un residente le haría al bot del condominio. El sistema va a verificar automáticamente que el bot la responde bien. Este caso se evaluará en cada corrida futura.

Condominio

Pregunta

Marca las secciones del reglamento que responden la pregunta.
El sistema encontró estas secciones ordenadas por relevancia. Haz clic en las que SÍ contienen la respuesta — serán los "chunks relevantes" que el evaluador de retrieval debe encontrar.

Si ninguna contiene la respuesta, deja todo sin marcar y continúa. Eso indica que el bot debería decir que no hay información.

💡 El score es la similitud semántica (0–1). Lee el contenido, no solo el score.

¿Qué debería responder el bot?
Escribe un resumen de la respuesta correcta. No tiene que ser exacta ni completa — solo los puntos clave que el bot debería mencionar. El juez de IA usará esto como referencia.

Respuesta esperada

Etiquetas (selecciona las que apliquen)

smoke (se corre en cada PR) spanish fact-retrieval security multi-turn retrieval-hard format

smoke = se ejecuta en cada PR (rápido, crítico). Las demás solo en el suite completo.

ID del caso

Criterios de evaluación

Son preguntas de sí/no que el juez de IA responde para calificar la respuesta del bot. Escribe uno por línea. Puedes editar los que sugiere la IA.

¿Qué pasa cuando guardas?
El caso se agrega al golden dataset. Desde este momento, el evaluador de generación lo incluirá automáticamente en cada corrida. No necesitas tocar ningún archivo.

Revisa el caso antes de guardarlo:

CondoAsk RAG Dashboard

Estado del Sistema RAG

Retrieval — Última Corrida

Generation — Última Corrida

Golden Dataset

Agregar Caso de Prueba

Run Evals

Retrieval Eval

Generation Eval