feat: v1 — boilerplate WxO + web
Boilerplate completo para construir soluciones agénticas sobre IBM watsonx Orchestrate (ADK 2.x) con una capa web encima. Destilado de cotemar-poc-n1 y dun-casos-prueba. Incluye: - 11 docs (best practices, architecture patterns, ADK cheatsheet, observability, tool authoring, deployment, RUNBOOK, DEPLOY_TO_NEW_WOX, known-issues con 16 errores reales y fix, eval strategy, INDEX) - 13 templates WxO (orchestrator/specialist/single-meta agents, 3 connections, KB + runbook, observable_tool decorator, coercion helpers, Python tools, OpenAPI spec, backend filter endpoint, webhook validator HMAC, MCP connection) - 6 scripts (deploy idempotente con fallback ADK, undeploy, reset, check-adk-version, new-specialist scaffold, eval-agents runner) - 4 eval pieces (linter de best practices, runner, smoke-test, direct backend probe) + scenario templates - 8 subagentes Claude (.claude/agents/) — wxo-architect, wxo-agent-author, wxo-tool-author, runbook-author, mock-builder, backend-tool-builder, eval-author, web-layer-builder - Skill bundle fit-wxo-bootstrap/ (SKILL.md + 3 templates) listo para copiar a ~/.claude/skills/ - Web layer default FastAPI+HTMX con vista timeline observable + endpoint receptor de trazas - Docker compose Coolify-ready (healthcheck wget -qO-, sin labels Traefik, network split internal:true) - CI Gitea workflow con lint + smoke Best practices enforced por evals/lint_wxo_yaml.py: - A1: máx 10 tools por agente - A3: orchestrator sin tools de remediación - A6: agente sin propósito (react sin tools ni KB) - T1: @observable_tool obligatorio, no @tool directo - T3: _compat shim inline en tools.py - D1: docker-compose sin wget --spider - I-005: OpenAPI con description per-operation - I-009: sin labels Traefik manuales Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
This commit is contained in:
10
evals/scenarios/_template_scenario.input.json
Normal file
10
evals/scenarios/_template_scenario.input.json
Normal file
@@ -0,0 +1,10 @@
|
||||
{
|
||||
"_agent": "REPLACE_agent_name",
|
||||
"_description": "REPLACE — qué prueba este scenario",
|
||||
"messages": [
|
||||
{
|
||||
"role": "user",
|
||||
"content": "REPLACE — qué le dice el usuario al agente"
|
||||
}
|
||||
]
|
||||
}
|
||||
48
evals/scenarios/_template_scenario.yaml
Normal file
48
evals/scenarios/_template_scenario.yaml
Normal file
@@ -0,0 +1,48 @@
|
||||
# ─────────────────────────────────────────────────────────────────────────────
|
||||
# Template — Eval scenario
|
||||
#
|
||||
# Cada archivo en este directorio es un test case. El runner los procesa todos.
|
||||
# Asegurate de tener también el archivo input JSON correspondiente:
|
||||
# evals/scenarios/<name>.input.json
|
||||
#
|
||||
# Documentación: docs/eval-strategy.md
|
||||
# ─────────────────────────────────────────────────────────────────────────────
|
||||
|
||||
# Nombre único del scenario (para reportes).
|
||||
name: REPLACE_scenario_name
|
||||
|
||||
# Agente al que mandar el input.
|
||||
agent: REPLACE_agent_name
|
||||
|
||||
# Texto del usuario.
|
||||
input: "REPLACE — qué le dice el usuario al agente"
|
||||
|
||||
# Capa 2 — Behavior eval
|
||||
expect:
|
||||
# El response final del agente debe contener estos strings (case sensitive)
|
||||
agent_response_contains:
|
||||
- "REPLACE_token_1"
|
||||
|
||||
# Las tools deben llamarse en este orden (puede haber tools intermedias)
|
||||
tool_calls_in_order:
|
||||
- tool: REPLACE_tool_1
|
||||
# inputs: opcional, asserts sobre los inputs
|
||||
- tool: REPLACE_tool_2
|
||||
|
||||
# Estas tools NO deben aparecer en las trazas
|
||||
no_tool_calls:
|
||||
- REPLACE_tool_que_no_deberia_llamarse
|
||||
|
||||
# Capa 3 — Final state eval (opcional)
|
||||
final_state:
|
||||
# query: "SELECT * FROM tickets WHERE created_at > $START_TIME"
|
||||
# expect_count: 1
|
||||
# expect_fields:
|
||||
# status: "RESOLVED"
|
||||
# extra.runbook: "01"
|
||||
|
||||
# Capa 4 — UI eval (opcional)
|
||||
# ui:
|
||||
# visit: "/insights"
|
||||
# expect_text:
|
||||
# - "Resueltos: 1"
|
||||
Reference in New Issue
Block a user