Por que a mesma pergunta pode produzir respostas diferentes?

A mesma pergunta pode receber respostas diferentes porque um modelo de linguagem gera o texto a cada execução, em vez de devolver uma lista fixa, e porque a resposta pode ou não consultar a web e, quando consulta, pode ler páginas diferentes. Por isso uma única resposta mostra pouco sobre a presença de uma marca: é uma amostra de tamanho um. A medição confiável repete a mesma pergunta nas mesmas condições e conta em quantas respostas a marca aparece.

As IAs não deveriam dar sempre a mesma resposta?

Não por padrão. A documentação da OpenAI afirma que as respostas da API de Chat Completions não são determinísticas por padrão: a saída pode mudar de uma requisição para outra. Para quem precisa de repetibilidade, a OpenAI oferece o parâmetro seed, que produz saídas "em grande parte" determinísticas, e informa o system_fingerprint, que muda quando há alterações no sistema que podem modificar as respostas.

Na prática, o modelo escolhe cada trecho do texto entre várias continuações possíveis. Uma escolha diferente no início, como começar pelos critérios de escolha em vez de por uma lista de fornecedores, muda o restante da resposta, inclusive quais empresas são citadas.

O que pode mudar de uma execução para outra?

O texto gerado

Mesmo sem nenhuma mudança externa, duas execuções podem ordenar as empresas de outro jeito, citar uma a mais ou responder de forma educativa, sem recomendar ninguém.

A decisão de pesquisar na web

As três IAs medidas pela FirstOnAI permitem que o modelo decida se pesquisa. Na API da OpenAI, com a ferramenta de pesquisa em modo automático, a busca é opcional. No Gemini, o modelo analisa o pedido e determina se uma Busca Google pode melhorar a resposta. No Claude, o modelo determina quando pesquisar com base no pedido. Uma execução pode pesquisar e a seguinte não, e isso muda a base de informação da resposta.

As páginas consultadas

Quando há pesquisa, os resultados encontrados podem mudar com o tempo, e o modelo pode ler páginas diferentes a cada vez. A OpenAI informa que o campo sources traz a lista completa de URLs consultadas e que essa lista costuma ser maior do que a de citações exibidas na resposta.

O modelo e o sistema

Os provedores atualizam modelos e infraestrutura. Uma pergunta repetida em semanas diferentes pode ser respondida por uma versão diferente do sistema, e essa diferença não aparece no texto da resposta.

O contexto de quem pergunta

No aplicativo, conta, histórico, configurações e localização podem influenciar a resposta; numa medição por API, cada chamada parte da configuração definida por quem integra. Esse ponto é detalhado em por que o aplicativo do ChatGPT pode responder diferente da API.

Por que isso importa para a sua marca?

Uma leitura binária, "aparece" ou "não aparece", esconde o caso mais comum: a marca aparece em parte das respostas. Quem testa uma vez pode ter visto a execução menos favorável, e desistir de uma pergunta em que já tem espaço, ou a mais favorável, e deixar de reforçar uma pergunta em que a concorrência está ganhando.

A frequência também é o que permite acompanhar a evolução. Medindo as mesmas perguntas, nas mesmas condições, toda semana, você vê se a marca está ganhando ou perdendo espaço, e em quais perguntas.

Como medir apesar da variação?

1. Fixe o enunciado palavra por palavra. Trocar "em São Paulo" por "no Brasil" cria outra pergunta.
2. Fixe as condições: IA, uso de pesquisa na web, região e idioma.
3. Repita a mesma pergunta várias vezes.
4. Conte apenas respostas válidas. Falhas técnicas, como uma chamada que não retornou, ficam fora do denominador.
5. Registre a presença como fração: "3 de 8 respostas válidas".
6. Compare períodos com o mesmo protocolo.
7. Leia o texto das respostas, além do número.

Quantas repetições são suficientes?

Não existe um número universal, mas a aritmética mostra o peso de cada resposta. Com 2 execuções, cada resposta vale 50 pontos percentuais: uma menção vira 50%, e a próxima execução pode levar o número a 33% ou 67%. Com 8 execuções, cada resposta vale 12,5 pontos. Quanto maior a amostra, mais estável o percentual.

A FirstOnAI usa dois desenhos, descritos na metodologia. A análise gratuita repete cada uma das 7 perguntas 8 vezes no ChatGPT, até 56 respostas planejadas. Nos planos pagos, cada pergunta recebe 4 respostas válidas em cada IA: se a marca aparece em todas ou em nenhuma, a combinação encerra com quatro respostas válidas; se aparece em parte delas, entra uma 5ª resposta. A execução extra concentra o esforço justamente onde a presença está em disputa.

Exemplo: presença intermitente

O Ateliê Bordô, loja fictícia de Belo Horizonte, aparece na análise gratuita com a pergunta "onde alugar vestido de noiva em Belo Horizonte?". Nas 8 respostas válidas, a loja aparece em 3, ou 37,5%. Nas respostas que pesquisaram na web, dois blogs de casamento eram citados como fonte, e a loja aparecia quando um deles era usado. Nas respostas sem pesquisa, a IA dava orientações gerais e citava apenas redes conhecidas.

A leitura útil não é "a loja tem 37,5% do mercado". É: a loja já está entre as opções nessa pergunta e aparece mais quando as respostas consultam determinados blogs. Daí sai uma prioridade concreta: reforçar a presença da loja nesse tipo de fonte e na própria página sobre aluguel de vestidos.

O que significa uma presença intermitente?

Significa que a marca já está entre as respostas possíveis para aquela pergunta, mas ainda não de forma estável: é uma pergunta em que a marca tem espaço para crescer. A FirstOnAI sinaliza quando a marca aparece de forma intermitente, e as respostas completas mostram em que condições ela surgiu.

Três perguntas ajudam a definir o próximo passo: a marca aparece mais quando há pesquisa na web? Há uma fonte comum nas respostas em que ela aparece? As respostas em que ela não aparece citam sempre os mesmos concorrentes? As respostas viram prioridades para o plano de ação.

Erros comuns

• Tratar o print de uma resposta como resultado definitivo.
• Comparar uma semana com pesquisa na web e outra sem pesquisa.
• Alterar a redação e continuar chamando de "a mesma pergunta".
• Ler a queda de 1 resposta em 4 como uma tendência.
• Supor que parâmetros como seed tornam as respostas idênticas; a documentação diz que o resultado é em grande parte determinístico, e o aplicativo não expõe esse controle.
• Olhar só o total geral, sem abrir a presença por IA e por pergunta.

Como a FirstOnAI ajuda com a variação das respostas?

A FirstOnAI foi desenhada para medir respostas que variam. Em vez de um print, você recebe a presença da marca como fração das respostas válidas, com a base sempre à vista:

• Repetição em todas as perguntas: 8 respostas por pergunta na análise gratuita e, nos planos pagos, 4 por pergunta e IA, com a 5ª concentrada nas combinações em que a marca aparece em parte das respostas, onde a disputa com os concorrentes está aberta.
• Intermitência sinalizada: o relatório mostra em quais perguntas a marca aparece de forma intermitente e abre as respostas completas, com o registro de uso da pesquisa na web em cada uma, para você ver em que condições ela surgiu.
• Presença no geral, por IA e por pergunta: você vê onde a marca já é constante, onde está em disputa e onde ainda não aparece.
• Mesmo método toda semana: nos planos de monitoramento, as mesmas perguntas são medidas toda semana no ChatGPT, Gemini e Claude, e a evolução mostra se a presença intermitente está virando presença constante.

Para ver a presença da sua marca em 56 respostas do ChatGPT, faça a análise gratuita. As regras de repetição estão na metodologia.

Perguntas frequentes

A variação é uma característica das respostas geradas, e medir com repetição transforma essa variação em informação útil para decidir onde agir. Para ver como isso vira indicador, leia como funciona a FirstOnAI.