Por que o aplicativo do ChatGPT pode responder diferente da API?

O aplicativo do ChatGPT e a API da OpenAI podem responder de forma diferente à mesma pergunta porque funcionam em condições diferentes. No aplicativo, a resposta pode levar em conta a conta, o histórico, as configurações e a localização de quem pergunta; na API, quem faz a integração define o modelo, as ferramentas e os parâmetros de cada chamada. Para decidir onde investir, o retrato mais útil é o de uma medição repetida, nas mesmas condições, que mostra o que um cliente sem histórico com a sua marca tende a ver.

Qual a diferença entre o aplicativo e a API?

O aplicativo é o produto que as pessoas usam no navegador e no celular. Ele reúne o modelo, a interface, recursos de pesquisa e recursos de personalização ligados à conta. A API é o acesso para desenvolvedores: cada chamada informa o modelo, as instruções e as ferramentas disponíveis, e a resposta não carrega o histórico de conversas de uma pessoa, a menos que o próprio integrador envie esse contexto.

Os Termos de Uso da FirstOnAI resumem essa diferença: aplicativos voltados ao público, como ChatGPT, Gemini e Claude, podem usar configurações, ferramentas de busca, personalização e histórico que a API não reproduz.

O que a documentação da API mostra?

A documentação da ferramenta de pesquisa na web da OpenAI mostra por que uma medição por API declara a sua configuração:

• Com tool_choice em modo automático, a busca é opcional e o modelo decide se ela é necessária; com o modo obrigatório, a busca precisa acontecer.
• O parâmetro user_location permite informar país, cidade, região e fuso horário para localizar os resultados da busca.
• As citações chegam como anotações url_citation, e o campo sources lista todas as URLs consultadas, normalmente em número maior que o das citações.

A OpenAI também informa que as respostas não são determinísticas por padrão. Por isso uma boa medição repete cada pergunta, como explica o artigo sobre por que a mesma pergunta produz respostas diferentes.

Por que o aplicativo pode mostrar sua empresa e a medição não, ou o contrário?

• Contexto pessoal: se você já conversou várias vezes sobre a sua empresa na sua conta, o aplicativo pode ter esse contexto disponível. Um cliente que nunca ouviu falar dela não tem.
• Pergunta diferente: pequenas diferenças de redação, como a cidade ou o tipo de serviço, mudam as respostas.
• Pesquisa na web: uma resposta pode ter pesquisado e a outra não, ou cada uma pode ter lido páginas diferentes.
• Modelo e data: o aplicativo e a API podem usar modelos ou versões diferentes, e os modelos mudam com o tempo.
• Variação natural: mesmo nas mesmas condições, a resposta muda entre execuções.

O resultado também pode ser o inverso: a medição registra uma menção que não aparece no aplicativo de alguém. Em ambos os casos, a diferença vem das condições, e entender quais mudaram mostra o que ajustar.

Como a FirstOnAI ajuda com a medição do ChatGPT?

A FirstOnAI substitui o teste solto no aplicativo por um registro padronizado. A plataforma consulta a API da OpenAI com perguntas de compra sem o nome da marca e registra, em cada resposta, a pergunta, o modelo, o uso de pesquisa na web e se a marca foi citada.

Na análise gratuita, a pesquisa na web é configurada como obrigatória e o sistema registra se ela foi efetivamente usada; são 7 perguntas, repetidas 8 vezes cada. Nos planos pagos, a medição semanal também consulta as APIs do Google e da Anthropic, e cada IA decide se faz pesquisa. O resultado é a presença da marca comparável semana a semana, com os concorrentes que aparecem no lugar dela — exatamente o que o teste no aplicativo de uma pessoa não consegue oferecer. Para ter esse retrato, faça a análise gratuita no ChatGPT; os detalhes estão na metodologia de medição.

Como comparar o que você viu no aplicativo com um relatório?

1. Use exatamente a mesma pergunta, sem acrescentar o nome da empresa.
2. Verifique se as duas respostas usaram pesquisa na web: no aplicativo, observe se há fontes; no relatório, veja o registro de busca.
3. Considere a data. Respostas de semanas diferentes podem vir de versões diferentes do modelo.
4. Confira região e idioma. Uma pergunta sobre a sua cidade é diferente de uma pergunta genérica.
5. Repita a pergunta no aplicativo várias vezes, em conversas novas, lembrando que configurações e histórico da conta podem continuar influenciando.
6. Compare frações, como "3 de 8 respostas", e não uma resposta isolada contra um percentual.

Exemplo

O dono da Marcenaria Vale Verde, empresa fictícia de Curitiba, vê a marcenaria em quase todas as respostas quando pergunta no próprio aplicativo. A análise gratuita mostra a marca em 1 de 8 respostas válidas. Ao comparar, ele percebe que costuma escrever "marcenaria sob medida no Batel", o bairro da empresa, enquanto a pergunta medida era "marcenaria sob medida em Curitiba". Além disso, a conta dele tem várias conversas anteriores sobre a própria marcenaria.

As duas leituras se completam. O aplicativo mostra o que ele vê, no contexto dele; a medição mostra o que um cliente sem esse histórico tende a ver numa pergunta mais ampla, e é ali que está a oportunidade: a marcenaria já aparece no bairro, mas ainda perde espaço na cidade. Com isso, a prioridade passa a ser reforçar as páginas e as fontes sobre marcenaria sob medida em Curitiba, e medir também a pergunta com o bairro, se ele for relevante para os clientes.

Erros comuns

• Usar o próprio aplicativo como prova de presença no mercado.
• Testar numa conta em que a empresa já foi muito discutida e generalizar o resultado.
• Comparar uma resposta com pesquisa na web e outra sem pesquisa.
• Considerar a API "menos real" que o aplicativo, ou o contrário.
• Comparar resultados de datas distantes sem considerar mudanças de modelo.

Perguntas frequentes

Quando o aplicativo e a medição discordam, a pergunta útil é "o que mudou entre os dois?". Com a mesma pergunta, as mesmas condições de pesquisa e mais de uma execução, a divergência vira informação para decidir. Veja como funciona a medição da FirstOnAI.