Imagine que uma montadora de carros contrata um engenheiro para testar a segurança dos veículos. Esse engenheiro trabalha dentro da própria fábrica, usa os recursos da empresa e responde ao mesmo chefe que define os prazos de entrega. Você confiaria que ele vai apontar todos os problemas, mesmo que isso atrase o lançamento de um modelo novo? Pois é exatamente essa a situação que está sendo desenhada no mundo da inteligência artificial.

As duas empresas mais influentes do setor — Anthropic e OpenAI — anunciaram planos de incorporar avaliadores de segurança dentro de seus próprios laboratórios. A ideia, em teoria, é nobre: ter especialistas dedicados a examinar os sistemas de IA antes que eles sejam lançados, identificando riscos como vieses, alucinações ou usos maliciosos. Pesquisadores independentes receberam a notícia com otimismo cauteloso, pois ter acesso interno a esses gigantes é algo inédito. Mas o questionamento que fica no ar é: esses avaliadores serão realmente independentes?

O que significa, na prática, ter um avaliador interno?

Para entender o peso dessa decisão, vale dar um passo atrás. Hoje, a maioria dos testes de segurança em modelos como o GPT-4 ou o Claude é feita por equipes externas — universidades, institutos de pesquisa ou empresas de auditoria. O problema? Elas não têm acesso total aos bastidores: veem o que a empresa decide mostrar, muitas vezes depois que o modelo já está quase pronto. É como testar um carro sem poder abrir o capô.

Com um avaliador interno, a promessa é que ele possa acompanhar cada etapa do desenvolvimento: desde o treinamento do modelo até os ajustes finos. Ele veria os dados usados, os erros que surgiram no caminho e as decisões de projeto. Um nível de transparência que, para quem trabalha com segurança em IA, é quase um sonho. Mas aí vem o pulo do gato: quem paga o salário desse avaliador? Quem define seu orçamento? Quem decide se o relatório dele será publicado ou engavetado?

A resposta, nos dois casos, é a própria empresa. E isso cria um conflito de interesses óbvio. Por mais bem intencionado que seja o profissional, ele está dentro de uma estrutura corporativa que tem metas de lucro, prazos de lançamento e pressão dos investidores. Pedir para que ele aponte falhas graves — que poderiam atrasar um produto em milhões de dólares — é pedir para que ele morda a mão que o alimenta.

Independência não é só ter um crachá diferente

Os críticos do modelo apontam que independência verdadeira exige mais do que um cargo ou um acordo de confidencialidade. Exige autonomia financeira, proteção contra retaliações e, principalmente, poder de veto. Um avaliador que pode apenas recomendar mudanças, mas não exigir que elas sejam feitas, acaba se tornando um enfeite — uma peça de marketing para mostrar que a empresa se importa com segurança.

O debate lembra o que aconteceu com as agências reguladoras em setores como o financeiro e o farmacêutico. Durante anos, empresas afirmavam ter comitês internos de ética ou segurança, mas na prática eles serviam mais para aprovar decisões já tomadas do que para questioná-las. Só quando a regulação externa se tornou mais rígida é que a coisa começou a mudar.

No caso da IA, o perigo é ainda maior porque a tecnologia avança rápido demais. Enquanto se discute se um avaliador dentro da OpenAI é ou não independente, um novo modelo pode estar sendo treinado com dados questionáveis. E se ninguém de fora puder ver, o problema só aparece depois que o estrago está feito — como um carro que só descobre um defeito no freio depois de causar um acidente.

O que esperar do futuro?

A iniciativa de Anthropic e OpenAI é um passo na direção certa? Sim, sem dúvida. Mas é apenas o primeiro passo de uma longa caminhada. Ter um avaliador interno é melhor do que não ter ninguém olhando, mas não substitui a necessidade de uma supervisão externa, independente e, sobretudo, com poder de ação.

A pergunta que fica é: será que essas empresas estão abertas a ceder parte do controle para órgãos reguladores — ou a ideia é manter a narrativa de que elas mesmas podem se autorregular? Se você olhar para a história de outras indústrias, a resposta não é animadora. Autorregulação raramente funciona quando há muito dinheiro em jogo.

Para o futuro, o cenário ideal seria um equilíbrio: avaliadores internos que se reportam não só à diretoria, mas também a um conselho externo de especialistas, com mandato fixo e proteção legal. E, principalmente, que esses profissionais possam tornar públicos os riscos que encontrarem — sem medo de represálias. Sem isso, a independência será só um nome bonito no papel.

No fim, a tecnologia não é boa ou má por si só — ela é o reflexo de quem a constrói e de quem a controla. E enquanto o poder de decisão estiver concentrado nas mesmas mãos que definem os lucros, a segurança será sempre uma promessa incerta. Cabe a nós, como sociedade, cobrar que essa promessa vire realidade — ou exigir que alguém de verdade, de fora, possa abrir o capô.

Produtos recomendados: A Era da Inteligência Artificial | Webcam Logitech C920