Por que duas ferramentas de GEO chegam a resultados diferentes?

Duas ferramentas de GEO podem medir a mesma marca, na mesma semana, e chegar a percentuais diferentes sem que nenhuma esteja errada. Elas costumam usar perguntas diferentes, repetir as perguntas um número diferente de vezes, consultar modelos e modos de busca diferentes e, principalmente, contar menções sobre denominadores diferentes. Antes de comparar números, compare o método que produziu cada um: é ele que diz se o percentual serve para decidir onde investir.

Um exemplo de como isso acontece

Imagine duas ferramentas hipotéticas avaliando a clínica fictícia “Clínica Vértice”, em Curitiba:

• Ferramenta X usa 10 perguntas amplas sobre odontologia no Brasil, executa cada uma uma vez e conta como aparição qualquer link para o site da clínica. Resultado: 3 de 10 respostas, ou 30%.
• Ferramenta Y usa 7 perguntas locais sobre os serviços da clínica, executa cada uma 8 vezes e só conta o nome ou o domínio escrito no texto da resposta. Resultado: 12 de 56 respostas, ou 21,4%.

A Ferramenta X não mostrou uma clínica “mais visível”. Ela fez outras perguntas, com menos repetições, e contou como aparição um tipo de resultado (o link) que a Ferramenta Y deixa de fora. Os dois números respondem a perguntas diferentes.

Quais variáveis mudam o resultado?

Pesquisa na web e localização

Esses dois itens merecem atenção porque são configurações explícitas nas APIs. Na API da OpenAI, por exemplo, a busca na web pode ser opcional, quando o modelo decide se pesquisa, ou obrigatória, e a requisição aceita um parâmetro de localização aproximada do usuário, segundo a documentação da ferramenta de busca da OpenAI. A mesma documentação informa que a lista de sites consultados costuma ser maior do que a lista de citações exibidas. A ferramenta de busca do Claude também deixa o modelo decidir quando pesquisar e aceita localização aproximada. Duas ferramentas que configuram esses parâmetros de forma diferente estão, na prática, fazendo experimentos diferentes.

Repetições

Mesmo com tudo igual, a mesma pergunta pode receber respostas diferentes. A OpenAI informa, na documentação de uso avançado da API, que as respostas do Chat Completions são não determinísticas por padrão: a saída pode variar de uma requisição para outra. Uma ferramenta que executa cada pergunta uma única vez transforma essa variação em ruído no resultado. O artigo sobre por que a mesma pergunta recebe respostas diferentes explica as causas.

O que perguntar a um fornecedor antes de comparar números?

• Quais perguntas foram usadas e quem as escreveu? Elas contêm o nome da marca ou de concorrentes?
• Quantas vezes cada pergunta é executada, em cada IA?
• Quais provedores e modelos são consultados? A consulta é por API ou pela interface de uso?
• A pesquisa na web fica desligada, opcional ou obrigatória? O relatório informa se ela foi realmente usada?
• O que conta como menção: o nome, o domínio, variações do nome, um link na lista de fontes?
• Fonte citada e menção são contadas separadamente?
• O que acontece com respostas que falharam? Entram no denominador?
• O percentual é calculado sobre respostas, perguntas ou aparições? A base aparece junto com o número?
• Como os concorrentes são definidos e como variações de nome são unificadas?
• É possível ver o texto das respostas que geraram cada número?

Se o fornecedor não consegue responder a essas perguntas, o número pode até estar correto, mas não é auditável.

Como testar se um número é reproduzível?

Uma forma prática de avaliar qualquer ferramenta, inclusive a que você já usa, é tentar reconstruir o percentual a partir das respostas. A recomendação é:

1. Peça uma amostra de respostas com a pergunta exata, a data, a IA, o modelo e a indicação de busca na web.
2. Classifique você mesmo cada resposta: a marca aparece no texto? O site aparece só como fonte? A resposta falhou?
3. Conte o numerador e o denominador seguindo a regra declarada pela ferramenta.
4. Compare o seu resultado com o relatório. Diferenças grandes indicam uma regra diferente da declarada ou uma classificação que vale a pena questionar.
5. Repita com respostas de outra semana para ver se a regra se mantém.

O teste mostra se você entende o que cada ferramenta mede e se o número dela sustenta uma decisão de investimento em conteúdo e posicionamento.

Erros comuns ao comparar ferramentas

• Trocar de ferramenta e interpretar a diferença de percentual como uma mudança real de visibilidade.
• Comparar a presença de uma ferramenta com o share of voice de outra; as fórmulas são diferentes, como mostra o artigo sobre como calcular share of voice em IA.
• Somar resultados de ferramentas diferentes em um mesmo painel.
• Escolher a ferramenta que mostra o maior número.
• Ignorar a base: “40%” sobre 5 respostas e “40%” sobre 120 respostas não têm a mesma estabilidade.

Como a FirstOnAI ajuda com a comparação entre ferramentas?

A FirstOnAI publica a metodologia de medição e responde a todas as perguntas da lista acima, para que você saiba exatamente o que cada número mede:

• Perguntas: sugeridas a partir do site, sem o nome da marca; nos planos pagos, editáveis dentro do limite do plano.
• Repetições: 8 por pergunta na análise gratuita; nos planos pagos, 4 respostas válidas por pergunta e IA, com uma 5ª quando a marca aparece em parte das quatro primeiras.
• Provedores: ChatGPT na análise gratuita; ChatGPT, Gemini e Claude nos planos pagos, sempre pelas APIs oficiais, com registro de uso da pesquisa na web.
• Regra de menção: nome ou domínio da marca no texto da resposta; site usado como fonte é contado à parte.
• Base: cada percentual vem com a base, por exemplo "2 de 8 respostas"; falhas técnicas ficam fora e são refeitas.
• Denominador: a presença geral soma as respostas válidas de todas as perguntas e IAs; a participação soma as aparições de todas as empresas, cada uma contada no máximo uma vez por resposta.

Nos planos pagos, você abre as respostas que explicam cada resultado e acompanha a mesma régua toda semana. Para ver um número que você consegue conferir, faça a análise gratuita no ChatGPT; o fluxo completo está em como funciona a FirstOnAI.

Perguntas frequentes

Um percentual de visibilidade em IA vale o que vale a régua que o produziu. Para acompanhar a sua marca com essa régua toda semana, compare os planos de monitoramento.