Um grupo focal sintético ancorado nas suas entrevistas ensaia a conversa antes do campo e mostra onde ela merece confiança

O que acontece

O agente lê o formulário do seu projeto e repete em poucas linhas a decisão, os estímulos, os perfis, o que o grupo sintético pode entregar e o que não pode. Se um campo estiver vago demais, ele propõe a reescrita e espera a sua aprovação.

Por quê

Grupo focal sem decisão vira coleta de opinião. A linha "O que ele não pode entregar" protege o estudo do pedido de percentual que aparece na reunião de resultado. A AAPOR (2026) pede que cada aplicação de IA como respondente seja avaliada para a tarefa específica: sem tarefa escrita, não há como avaliar nada.

O que sai e o que conferir

Uma resposta curta na conversa e, se houver reescrita aprovada, o formulário atualizado. Confira (do 01_pergunta/CONFERIR.md): o agente repetiu a decisão com as palavras do formulário, sem objetivo novo; disse que o grupo entrega hipótese e tema e que número sai só do quantitativo; lembrou que ninguém do corpus viu os estímulos; a linha "O que ele não pode entregar" continua no formulário.

• Decisão que pede número ("qual conceito a maioria prefere"). Reescreva como pergunta de entendimento e credibilidade, e mande a preferência para o quantitativo.
• Agente acrescenta objetivo que o formulário não tem. Peça para repetir só com as palavras do formulário.
• Perfis à mesa sem entrevista que os sustente. Anote agora. Na etapa 2 eles viram pendência.

O que acontece

O script lê a ficha de origem, o corpus, os cards e os estímulos, sem alterar nada, e grava 02_curadoria/saida/conferencia_curadoria.md. Ele conta entrevistas e parágrafos, lista as fontes completas e parciais de cada participante, aponta id inexistente ou de fora das fontes e confere a permissão.

Por quê

Um card que mistura entrevistas de perfis diferentes produz uma voz média, exatamente o achatamento que Wang, Morgenstern e Dickerson (2025) descrevem quando modelos substituem participantes humanos. Fonte completa compartilhada entre dois cards faz duas vozes contarem a mesma história.

Script por baixo

python scripts/conferir_curadoria.py --projeto projetos/NOME_DO_ESTUDO. Único argumento: o projeto. Termina com CURADORIA CONFERIDA ou com a lista de pendências.

| Participante | Fontes completas | Fontes parciais | Parágrafos que ele pode usar | Ids de fora das fontes dele |
| P1 | E10, E12 | E11 | 18 | nenhum |
| P2 | E01, E03 | E02 | 18 | nenhum |
| P3 | E04, E06 | E05 | 16 | nenhum |
| P4 | E07, E08 | E09 | 19 | nenhum |

O que conferir

• A conferência termina com CURADORIA CONFERIDA.
• Da fonte parcial o participante só usa os parágrafos que o card cita.
• A coluna "Ids de fora das fontes dele" está vazia em todos.
• Nenhuma entrevista é fonte completa de dois participantes.
• A ficha diz de onde veio o material e tem permissão sim.
• Os estímulos aparecem com o nome certo. O texto deles congela até o fim.

Os erros desta etapa são os da sua base. Veja a tabela completa em Sua base de dados. O mais frequente com transcrição real: parágrafo que mistura a pergunta do entrevistador e a resposta. Separe e deixe só a fala da pessoa.

O que acontece

Para cada participante, o script olha só os parágrafos que ele pode usar e marca cada tema do dicionário como Alta (evidência em duas ou mais entrevistas), Média (uma entrevista, dois ou mais parágrafos), Baixa (um parágrafo só) ou Nenhuma. Grava 03_analise/saida/mapa_de_cobertura.md e 03_analise/saida/cobertura.json, que as etapas 5, 7 e 9 usam. Também lista o vocabulário que mais distingue cada participante, pelo peso TF-IDF: palavra frequente naquele trecho e rara no resto do corpus pesa mais.

Por quê

Lacuna conhecida antes da rodada vira regra na instrução do participante: ali ele responde NÃO SEI ou marca inferência. O conselho de analytics da MRS (2025) lembra que dado sintético é retrospectivo e não capta o que é novo. O mapa é o lugar onde essa limitação aparece por escrito, tema a tema.

| P1 | cheiro, comprimido, sabao, limp, merc, agua, mulh, passo |
| P2 | mae, marca, espaco, preco, pastilha, apartamento, entra, esper |
| P3 | galao, cheiro, crianca, mancha, concentr, cachorro, aparece, mofo |
| P4 | cheiro, pesa, proporcao, frasco, depoi, agua, preciso, volume |

O que conferir

• Cada participante tem vocabulário distintivo próprio.
• Alta quer dizer duas entrevistas diferentes.
• A linha de reação aos estímulos está Nenhuma para todos, e isso organiza o bloco 3.
• O mapa conta palavras. Quem confirma o sentido é você, lendo o parágrafo.
• No seu estudo, as palavras de cada tema são as que o seu público usa.

• Tema com cobertura alta por acaso. A palavra "pesa" pode ser peso da compra ou dúvida que pesa. Leia o parágrafo e, se preciso, troque a palavra no dicionário.
• Dicionário escrito com palavras do cliente ("praticidade", "sustentabilidade"). O mapa fica vazio porque o público diz "dá trabalho" e "plástico". Use as palavras do corpus.
• Dois participantes com o mesmo vocabulário. Revise os cards antes da etapa 5. Vozes parecidas aqui se fundem nas rodadas.

O que acontece

RAG (geração aumentada por recuperação) quer dizer que, antes de falar, o participante busca trechos no próprio material e responde a partir deles. O script indexar.py cria um índice TF-IDF por participante, só com os parágrafos que ele pode usar, e grava as buscas de teste em 04_vetores_e_rag/saida/buscas_de_teste.md. Cada trecho vira um vetor com o peso de cada palavra. A busca mede o cosseno entre a pergunta e o trecho: 0 é nenhuma palavra em comum, 1 é vocabulário idêntico. O buscar.py devolve os três trechos mais próximos com o id pronto para citar.

Embedding é um vetor que representa o sentido do trecho e acha "medo de criança pegar" num parágrafo que diz "ao alcance do pequeno". Precisa de chave de API ou modelo local. O kit roda inteiro sem embeddings. O PEDIDO.md da etapa 4 explica como pedir a troca, mantendo o mesmo formato de saída.

Por quê

O isolamento dos índices é o que impede P2 de citar a experiência de P3 no grupo. Busca com citação torna cada fala conferível: o id da fala é o id que a busca devolveu.

Script por baixo

python scripts/indexar.py --projeto projetos/NOME_DO_ESTUDO e python scripts/buscar.py --projeto projetos/NOME_DO_ESTUDO P2 "pergunta". O buscar.py recebe o id do participante e a pergunta entre aspas.

Busca no índice de P1: como você sabe que a limpeza ficou pronta
[E11-P1] cosseno 0,28
   Quem manda na limpeza aqui é a minha mulher, isso eu digo logo. ...

O que conferir

• Um índice por participante, e a linha de isolamento diz que cada um contém só as próprias fontes.
• Toda busca devolve o id entre colchetes.
• Nas linhas de lacuna, a busca acha alguma coisa por palavra em comum. Lendo, você vê que não responde.
• Participante com lacuna no tema responde NÃO SEI ou INFERÊNCIA FORA DA BASE.

• Tratar cosseno alto como resposta certa. Abra o trecho sempre.
• Pedir ao agente que edite o indexar.py fora da troca por embeddings. As regras do kit proíbem editar scripts. A única exceção é a troca descrita no pedido.
• Busca vazia para pergunta com palavras que o corpus não usa. Reescreva a pergunta com o vocabulário do público.

O que acontece

O script lê os cards, a cobertura e o roteiro e grava uma instrução de sistema por participante em 05_construcao/saida/elenco/, a instrução do moderador e a ordem de fala em 05_construcao/saida/ordem_de_fala.md. Instrução de sistema é o texto que abre a conversa de uma instância e diz quem ela é, o que enxerga e o que nunca faz. A rodada 2 começa pela segunda metade da lista: P1, P2, P3, P4 vira P3, P4, P1, P2. A rotação dos conceitos no bloco 3 muda por participante e fica igual nas duas rodadas.

Por quê

Modelos de linguagem mudam de julgamento conforme a ordem em que as respostas aparecem no contexto: Wang P. e colegas (2023) mostram que basta trocar a ordem das respostas para alterar qual delas um modelo julga melhor. Trocar só a ordem de fala entre as rodadas transforma esse defeito numa medida. Weng, Chen e Wang (2025) testam conformidade em sistemas multiagentes e apontam personas mais fortes como mitigação, o que o kit faz com o card e as marcas.

Você é o moderador de um grupo focal sintético. Você é uma instância separada dos participantes.
O que você enxerga: o roteiro, os estímulos, o que os participantes disseram em voz alta. Você não enxerga nenhum card e não sugere id.
Rodada 1: P1, P2, P3, P4. Rodada 2: P3, P4, P1, P2.

O que conferir

• Cinco instruções: P1 a P4 e o moderador.
• Cada participante aponta só para o próprio card e o próprio índice. O moderador não aponta para card nenhum.
• A expansão controlada está escrita: fora do card, INFERÊNCIA FORA DA BASE; pergunta de valor de preço recebe NÃO SEI.
• Ordem trocada entre as rodadas, rotação de conceitos igual.

• Mudar o roteiro depois do portão. Obriga a refazer as duas rodadas. Ajuste o roteiro antes de aprovar o elenco.
• Pergunta proibida no roteiro do seu estudo ("numa escala de 1 a 5", "vocês concordam com a P1?"). Tire antes do portão. O roteiro de treino traz a lista de proibidas com o motivo.
• Esquecer o bloco 0, a posição privada escrita antes da conversa. Sem ele, não há como ver quem mudou de posição pela pressão do grupo.

O que acontece

Em cada rodada, o moderador conduz os blocos 0 a 6 do roteiro. Antes de cada fala, o participante consulta o próprio índice com buscar.py e cita só os ids que voltaram. Toda fala termina com uma marca. O agente grava a transcrição com o cabeçalho de registro (modelo e versão, data, ordem de fala, papéis, identificador da conversa) e a Observação de processo, e roda a conferência, que grava 06_execucao/saida/conferencia_rodada_1.md e a da rodada 2.

Por quê

Ler a rodada 1 antes de gerar a rodada 2 contamina a segunda com a primeira, e o efeito de ordem some da medida. Modelos de linguagem também variam com mudanças pequenas de formulação (Bisbee e colegas, 2024), e duas execuções independentes mostram quanto do resultado é estável.

Script por baixo

python scripts/conferir_rodada.py --projeto projetos/NOME_DO_ESTUDO 1 (ou 2). O número da rodada é obrigatório e só aceita 1 ou 2. Dois níveis de achado: ERRO (falta bloco, participante calado, ordem trocada ou cabeçalho faltando: refazer a rodada) e ALERTA (fala sem marca, id inexistente, id de fonte de outro participante, EVIDÊNCIA no bloco 3, escolha ausente no bloco 4, pergunta dupla, expressão de prevalência: segue para a auditoria).

P3: ESCOLHA: C. Com a sujeira daqui, o que importa é limpar. [INFERÊNCIA, a partir de E04-P1: a sujeira diária como critério]
P4: ESCOLHA: C. Ouvindo o P3, fiquei pensando que rendimento só vale se limpar de verdade. Troco o peso pela limpeza. [INFERÊNCIA, a partir de E07-P3: ...]
P1: ESCOLHA: C. Limpeza em primeiro lugar. [INFERÊNCIA, a partir de E10-P3: ...]
P2: ESCOLHA: B. Eu discordo de vocês três. O que me faz trocar é o peso e o espaço. [INFERÊNCIA, a partir de E01-P6: ...]

O que conferir

• As duas conferências sem ERRO.
• A ordem de cada bloco bate com a da etapa 5. O bloco 5 fica de fora, porque ali o moderador chama por nome.
• No bloco 3 toda fala é INFERÊNCIA.
• Cada participante registrou uma ESCOLHA no bloco 4, nas duas rodadas.
• Leia os alertas um a um. Id de fora das fontes é o mais grave.

• As duas rodadas na mesma conversa. O agente deve avisar e oferecer conversa nova. Se aconteceu, refaça a rodada 2.
• EVIDÊNCIA no bloco 3. Ninguém do corpus viu os estímulos. O moderador pede a correção da marca com a fórmula neutra do roteiro.
• Id de outro participante. Na execução de referência do professor (professor/exemplo_de_saida/), P4 citou E04-P3, fonte de P3: uma voz usando a experiência de outra. Peça a busca no próprio índice antes de cada fala.

O que acontece

Duas partes. calibrar.py mede o que foi dito: diversidade entre vozes, identificação de cada voz com as próprias fontes, temas estáveis, lastro, taxa de inferência e contágio. dinamica.py mede como a conversa aconteceu: dominância, concordância precoce, dissenso protegido e aderência do moderador ao roteiro, e grava a planilha para a codificação de referência. Você lê, decide ajustar ou seguir, e o agente grava a decisão em 07_calibracao/saida/decisao_de_calibracao.md. Cada métrica está detalhada em Calibração em detalhe.

Lastro é a proximidade de vocabulário entre a fala e o parágrafo que ela cita. Lastro baixo pede leitura. Ele sozinho nunca prova invenção, e uma paráfrase legítima pode sair com lastro fraco.

Por quê

Bisbee e colegas (2024) mostram que respostas sintéticas têm menos variação do que as reais. No grupo, isso aparece como vozes parecidas demais. Zhu e colegas (2024) mostram conformidade com a maioria em todos os modelos testados, maior quando o modelo está incerto. As medidas da etapa 7 procuram esses dois sinais antes de qualquer leitura de conteúdo.

O que conferir

• O grupo falou menos parecido do que as fontes. Se falou mais, as vozes se fundiram.
• Cada voz ficou mais perto das próprias fontes.
• A escolha que mudou com a ordem de fala está nomeada, com o participante.
• A concordância precoce de cada rodada está lida ao lado da escolha que mudou.
• A decisão de ajustar ou seguir ficou escrita, com o motivo.
• A planilha para codificar existe, com a coluna temas vazia.

• Ler concordância precoce sem abrir as falas. O marcador acha "também" e "igual". Uma fala com "também" pode concordar com outra coisa.
• Deixar o agente decidir ajustar ou seguir. A skill proíbe. Você decide.
• O agente preencher a planilha de codificação. Quem preenche é alguém da equipe, à mão, sem olhar a codificação da IA.
• Transformar medida de processo em frase sobre o público ("o público é diverso porque a diversidade deu 0,26"). A medida fala das vozes simuladas.

O que acontece

O agente confere se as duas rodadas e a calibração estão gravadas, pede a sua confirmação por escrito e só então roda validar.py com a opção de confirmação. O script grava 08_validacao/saida/registro_de_abertura.json com a data e uma impressão digital (hash) das rodadas, da calibração e do grupo de validação, e compara temas, escolhas, vocabulário por conceito e palavras que o humano trouxe e o corpus não tinha. Depois, validar_complementar.py compara dinâmica, aderência ao roteiro, intensidade por tema e o kappa da codificação.

Por quê

Quem lê o grupo humano antes passa a rodar e a conferir o sintético com a resposta na cabeça, e o teste deixa de testar. A AAPOR (2026) pede um conjunto de teste específico para cada nova aplicação. O grupo de validação é esse conjunto no seu estudo. O estudo do Focus Agent (Zhang e colegas, 2024) fez a mesma comparação com cinco sessões e 23 participantes humanos: o desenho padrão da área é sintético ao lado de humano, com o humano como régua.

Script por baixo

python scripts/validar.py --projeto projetos/NOME_DO_ESTUDO --confirmar na primeira abertura. Sem --confirmar, o script explica a regra e para sem ler o grupo de validação. Depois da abertura, roda sem a opção e repete a comparação, contando a execução. python scripts/validar_complementar.py --projeto projetos/NOME_DO_ESTUDO só roda depois, porque precisa do registro de abertura.

O que conferir

• O relatório começa pelo registro de abertura, com data e número da execução.
• O agente pediu a sua confirmação antes de abrir.
• Sem ALERTA DE CONTAMINAÇÃO.
• A cobertura de temas só enxerga o que o corpus já tinha. O que ele não tinha aparece em palavras novas.
• Escolha que oscila com a ordem de fala não sustenta leitura.
• Palavra nova para assunto conhecido é diferente de assunto novo.
• Acordo observado alto engana: o kappa desconta o acordo do acaso.

• Usar --confirmar sem o seu sim. A skill proíbe. Se aconteceu, registre na auditoria.
• Mexer nas rodadas depois de abrir. O relatório passa a mostrar ALERTA DE CONTAMINAÇÃO e a validação deixa de valer como teste.
• Kappa "não medido". A codificação de referência não bate com as rodadas gravadas. Codifique de novo a planilha da etapa 7 sobre as suas rodadas.
• Sem grupo humano no seu estudo. A etapa 8 fica sem teste. Declare a lacuna e limite o uso a explorar linguagem e testar roteiro.

O que acontece

Seis pedidos em ordem. A trilha liga cada tema às falas das duas rodadas, aos ids do corpus e às falas humanas, e classifica o tema: SUSTENTADO (duas rodadas, evidência fora do bloco 3 e presença no humano), SÓ SINTÉTICO, INFERÊNCIA, INSTÁVEL (uma rodada só) ou NOVO NO HUMANO. Você e o agente escrevem a análise temática e as hipóteses pelos modelos. A auditoria confere tudo e atribui a régua de uso. Vocês escrevem e assinam a leitura do grupo. Os scripts de exportação montam os documentos sem escrever conteúdo novo.

Por quê

O Código ICC/ESOMAR (revisão de 2025) exige informar o cliente quando IA, dado sintético ou persona sintética entram na análise ou na interpretação, e declarar o grau de supervisão humana. A trilha, a auditoria e o disclosure transformam essa exigência em arquivos.

H2. Quem carrega a compra dá mais valor ao refil leve
Tema de origem: Peso e transporte da compra
Ids: E01-P6, E07-P2, E07-P5
Variável do questionário: modo de transporte da compra do mês, cruzado com a relevância declarada de B
Resultado que refuta: relevância de B igual entre quem vai de carro e quem vai a pé ou de ônibus

O que conferir

• Hipóteses com direção vêm de temas SUSTENTADO. As do grupo humano são perguntas abertas. Nenhuma traz número.
• A auditoria volta com todas as hipóteses ok.
• Substituir o grupo humano ou citar número do sintético como dado do público fica Bloqueado.
• A primeira linha de cada documento é o rótulo de simulação.
• A leitura do grupo está assinada pela equipe.

• Hipótese com "a maioria" ou percentual. A auditoria aponta na seção 4. Reescreva como direção com variável.
• Tema INFERÊNCIA virando hipótese com direção. Rebaixe para pergunta aberta.
• PDF que não sai. A máquina não tem Chrome. Abra o HTML no navegador, use Imprimir e escolha Salvar como PDF.
• Pedir ao agente que escreva a leitura sozinho. A leitura é da equipe, e o diretor recusa escrevê-la no lugar dela.