# ───────────────────────────────────────────────────────────────────────────── # Template — Eval scenario # # Cada archivo en este directorio es un test case. El runner los procesa todos. # Asegurate de tener también el archivo input JSON correspondiente: # evals/scenarios/.input.json # # Documentación: docs/eval-strategy.md # ───────────────────────────────────────────────────────────────────────────── # Nombre único del scenario (para reportes). name: REPLACE_scenario_name # Agente al que mandar el input. agent: REPLACE_agent_name # Texto del usuario. input: "REPLACE — qué le dice el usuario al agente" # Capa 2 — Behavior eval expect: # El response final del agente debe contener estos strings (case sensitive) agent_response_contains: - "REPLACE_token_1" # Las tools deben llamarse en este orden (puede haber tools intermedias) tool_calls_in_order: - tool: REPLACE_tool_1 # inputs: opcional, asserts sobre los inputs - tool: REPLACE_tool_2 # Estas tools NO deben aparecer en las trazas no_tool_calls: - REPLACE_tool_que_no_deberia_llamarse # Capa 3 — Final state eval (opcional) final_state: # query: "SELECT * FROM tickets WHERE created_at > $START_TIME" # expect_count: 1 # expect_fields: # status: "RESOLVED" # extra.runbook: "01" # Capa 4 — UI eval (opcional) # ui: # visit: "/insights" # expect_text: # - "Resueltos: 1"