Proyectos

El problema

Que un LLM narre una historia compartida, día tras día, sin contradecirse, sin favorecer a nadie y sin que un fallo a medias publique un capítulo dos veces.

El enfoque

• Un motor de reglas decide qué pasa; el narrador solo lo cuenta.
• El narrador consulta la memoria de la partida con herramientas y RAG antes de escribir.
• Un segundo modelo hace de juez y las evaluaciones comparan cada cambio contra una línea base.
• El trabajo diario es idempotente por temporada y día: repetirlo no duplica nada.

Lo destacable

• Evaluaciones con promptfoo, conjuntos de datos y líneas base
• Más de 30 decisiones de arquitectura registradas (ADR)
• Despliegue con plan de solo lectura y aprobación manual
• Pruebas de base de datos con pgTAP y de extremo a extremo con Playwright

Cifras

Decisiones registradas

+30

ADR en el repositorio

Servicios

4

core-api, ai-api, ai-worker y notifier

Con qué está hecho

TypeScript, React, Vite, AWS Lambda, EventBridge Scheduler, SQS, Supabase, AWS CDK, AI SDK, Claude, promptfoo.

El problema

La primera versión acertaba demasiado: un ROC-AUC de 0,95 que venía de fugas de información, no del modelo.

El enfoque

• Partir los datos por fecha en vez de al azar bajó la cifra a 0,87.
• Quitar las variables que no se conocen al confirmar la dejó en 0,82.
• Cinco modelos comparados contra una línea base, con intervalos de confianza.
• El modelo campeón se versiona con manifiesto y se verifica su huella al arrancar.

Lo destacable

• Auditoría de fugas documentada paso a paso
• Model card, data card y 8 decisiones registradas (ADR)
• Cobertura de tests mínima del 80 %
• Explicabilidad con SHAP y análisis por segmentos

Cifras

ROC-AUC en test temporal

0,8175

IC 95 %: 0,8058 – 0,8297 · Random Forest

Reservas del conjunto de datos

119.390

Dos hoteles, 2015 – 2017

Reservas reservadas para test

40.509

Llegadas de 2017

Con qué está hecho

Python, scikit-learn, XGBoost, pandas, FastAPI, Streamlit, MLflow, SHAP, Docker Compose.

El problema

Dar a una mascota la personalidad de una persona concreta y mantenerla coherente, con un coste por conversación que se pueda asumir.

El enfoque

• Contratos compartidos entre frontend y backend, definidos con Zod y OpenAPI.
• Memoria por persona en Postgres con búsqueda vectorial y acceso por filas.
• Comparativa medida de tres frameworks de agentes antes de elegir uno.
• Infraestructura en Terraform y despliegue sin claves de larga duración.

Lo destacable

• Cada decisión queda registrada con la alternativa descartada
• CI con tests de base de datos y el plan de Terraform comentado en el PR
• Esqueleto probado en local; pendiente el primer despliegue

Con qué está hecho

TypeScript, React, PixiJS, Hono, AWS Lambda, Supabase, pgvector, Amazon Bedrock, AI SDK, Terraform.

El problema

Las configuraciones de agentes se comparten por intuición. Sin medir, no se sabe si una regla mejora el resultado o solo encarece cada tarea.

El enfoque

• Un conjunto fijo de tareas reales contra el que comparar cada cambio.
• Dos medidas por cambio: calidad del resultado y coste de conseguirlo.
• Publicar la configuración junto con las pruebas que la respaldan.

Lo destacable

• En diseño: todavía no hay repositorio
• Nombre provisional

Con qué está hecho

Claude Code, Evaluaciones, Medición de coste.