Você pergunta pro ChatGPT: ‘Qual a capital do Brasil?’ Ele responde: ‘Brasília’. Certo. Mas e se você perguntar ‘Quem inventou o telefone?’ A resposta pode ser ‘Alexander Graham Bell’ – mas a história é mais complicada, com controvérsias. Agora imagine um teste feito só de perguntas diretas, sem enrolação, com uma resposta certa e objetiva. Foi isso que a OpenAI lançou: o SimpleQA.

O nome já diz tudo: perguntas simples, respostas factuais. Nada de ‘explique o sentido da vida’. O benchmark junta centenas de questões curtinhas – tipo ‘Qual a altura do Monte Everest?’ ou ‘Em que ano foi a primeira ida do homem à Lua?’. Cada uma tem uma resposta verificável, sem espaço pra opinião. A ideia é medir o quanto os modelos de linguagem são precisos nos fatos básicos.

Até agora, outros testes misturavam perguntas complexas, subjetivas ou que exigiam raciocínio. Isso dificultava saber se o erro era por falta de informação ou por má interpretação. O SimpleQA resolve isso: foco total na factualidade. Um avanço técnico, sem dúvida. Mas e aí: isso resolve o problema de confiança nas IAs?

Vamos pensar. Se um modelo acerta 95% das perguntas do SimpleQA, ele é confiável? Talvez. Mas o problema é que os 5% que ele erra podem ser justamente os fatos que mais importam pra você. E mais: o teste só cobre perguntas com uma resposta clara. Na vida real, a gente faz perguntas cheias de nuances: ‘Qual o melhor tratamento para dor nas costas?’ – aí não existe uma resposta única. O SimpleQA não toca nesse tipo de questão.

Outra coisa: o teste é feito por humanos? As perguntas foram criadas por anotadores? A OpenAI não deu muitos detalhes, mas a qualidade do benchmark depende de as perguntas serem realmente objetivas e as respostas, universalmente aceitas. Quem define o que é ‘fato’? A história da ciência tá cheia de verdades que mudaram. Será que estamos criando um padrão que congela o conhecimento?

Mas não vamos ser pessimistas. Ter uma ferramenta pra medir factualidade é essencial. Hoje, modelos de linguagem alucinam – inventam fatos com a maior segurança. Um médico que usa IA pra consultar remédios precisa saber se a resposta é verdadeira. Um jornalista que usa pra checar informações também. O SimpleQA pode ser o começo de uma régua mais séria pra avaliar IAs.

O questionamento que fica é: até que ponto a precisão factual é suficiente pra considerar uma inteligência artificial inteligente? Se ela decora a enciclopédia, mas não consegue entender contexto, ironia ou ambiguidade, ela é realmente útil? Ou estamos só criando papagaios super eficientes?

O futuro que o SimpleQA aponta é de IAs mais honestas – ou, pelo menos, mais fáceis de serem testadas. Isso é bom. Mas não podemos cair na armadilha de achar que, se um modelo passa no teste, ele é infalível. A verdade é escorregadia. E a IA, por mais precisa que seja, ainda é uma ferramenta. Nós é que precisamos continuar fazendo perguntas – inclusive sobre os testes que usamos pra medir a verdade.

Produtos recomendados: Echo Dot 5ª Geração com Alexa | Notebook Vaio Fe16 Ryzen 7 (Mercado Livre)