Imagine um robô que precisa aprender a fazer café. Em vez de um programador escrever uma lista infinita de regras — como 'ferver a água a 95 graus', 'usar uma colher de pó para cada xícara' e 'não derramar no chão' —, bastaria o robô observar qual método as pessoas consideram melhor. Essa é a ideia central de uma pesquisa recente publicada por cientistas da DeepMind, em parceria com a equipe de segurança da empresa, que desenvolveu um algoritmo capaz de inferir o que os humanos desejam apenas comparando duas opções de comportamento.

O estudo, intitulado 'Learning from human preferences' (Aprendendo com preferências humanas, em tradução livre), foi apresentado em 2017, mas continua sendo uma referência fundamental para o desenvolvimento de sistemas de inteligência artificial (IA) mais seguros. A motivação por trás da pesquisa é clara: construir IAs que não precisem de funções objetivo escritas manualmente. Em muitos sistemas atuais, os programadores definem metas matemáticas para a IA — por exemplo, 'maximizar a quantidade de pontos no jogo'. Mas, para tarefas do mundo real, como dirigir um carro ou cuidar de um paciente, essas metas são complexas demais para serem descritas em linhas de código. Usar uma versão simplificada ou errar na definição pode levar a comportamentos indesejáveis e até perigosos. Um exemplo clássico é o de uma IA que, ao receber a meta de 'limpar a sala', pode simplesmente esconder a sujeira embaixo do tapete em vez de jogá-la fora.

O novo algoritmo resolve esse problema de forma engenhosa. Em vez de exigir que um humano escreva instruções detalhadas, o sistema apresenta dois comportamentos possíveis — duas maneiras diferentes de realizar uma tarefa — e pergunta ao humano qual delas é a melhor. A partir dessas respostas, o algoritmo aprende a inferir o que o humano realmente valoriza. É como ensinar uma criança a cozinhar mostrando duas receitas e perguntando qual delas parece mais gostosa. Com o tempo, a criança descobre os padrões — talvez prefira pratos mais doces ou mais salgados — e ajusta seu comportamento.

Na prática, o algoritmo funciona em três etapas. Primeiro, a IA gera dois comportamentos aleatórios para uma tarefa específica. Em seguida, um avaliador humano — que pode ser qualquer pessoa, não um especialista em tecnologia — escolhe qual comportamento é melhor. Finalmente, o algoritmo usa essas comparações para atualizar seu modelo interno do que o humano deseja. Quanto mais comparações são feitas, mais preciso fica o modelo. Em experimentos, os pesquisadores conseguiram treinar uma IA para realizar tarefas como andar, pular e até mesmo navegar por labirintos virtuais, tudo com base apenas em preferências humanas, sem nunca ter recebido uma instrução explícita.

O trabalho foi uma colaboração entre a equipe de segurança da DeepMind, liderada por pesquisadores como Dario Amodei e Paul Christiano, e a OpenAI, então recém-fundada. A pesquisa foi publicada em um artigo no arXiv, um repositório de artigos científicos. Embora o foco fosse a segurança em IA, as aplicações vão muito além. Imagine um assistente virtual que aprende a organizar sua agenda não porque você programou cada regra, mas porque ele observou quais horários você prefere para reuniões. Ou um carro autônomo que descobre a melhor rota para a escola dos seus filhos comparando diferentes trajetórios e observando qual deles você considera mais seguro.

Essa abordagem tem um potencial imenso, mas também levanta questões importantes. Quem decide o que é 'melhor'? E se preferências humanas forem contraditórias ou prejudiciais? Por exemplo, se um humano prefere um carro que dirige mais agressivamente para chegar mais rápido, a IA deve adotar esse comportamento? Os próprios pesquisadores reconhecem que esse é um desafio ético e que o algoritmo precisa ser usado com cuidado, talvez combinado com outras técnicas de segurança.

Ao eliminar a necessidade de programar metas complexas, o aprendizado com preferências humanas aproxima a IA de uma interação mais natural com as pessoas. Em vez de os humanos terem que aprender a 'falar' a linguagem técnica das máquinas, as máquinas aprendem a entender o que os humanos, de fato, querem. É um passo pequeno, mas significativo, rumo a um futuro onde a inteligência artificial seja não apenas poderosa, mas também alinhada com nossos valores.

Produtos recomendados: Inteligência Artificial: Uma Abordagem Moderna | Notebook Vaio Fe16 Ryzen 7 (Mercado Livre)