Por que é tão difícil para as empresas de tecnologia controlar a IA?

Mais de uma dezena de pesquisadores líderes em inteligência artificial alertaram na última semana que a tecnologia desenvolvida por empresas de IA está se tornando um risco para a humanidade. Os pesquisadores afirmaram que o problema é que as empresas não são boas em controlar esses sistemas, por mais que se esforcem.

Os novos alertas da comunidade de pesquisa em IA surgiram após revelações de que os chamados agentes de IA desenvolvidos pela OpenAI conseguiram escapar de seu ambiente de testes e invadir computadores pertencentes a outra empresa, intensificando as preocupações de longa data de que as empresas estão priorizando a velocidade de desenvolvimento e o lucro em detrimento da segurança.

Os pesquisadores afirmaram que o problema tem duas partes. Primeiro, as empresas precisam implementar melhores salvaguardas em torno de seus modelos de IA mais recentes durante os testes. Atualmente, como a IA opera em uma velocidade enorme, os pesquisadores precisam usar IA para monitorá-la. Mas isso nem sempre funciona, porque os sistemas de IA encarregados de monitorar outros modelos podem, às vezes, parecer mais favoráveis a outros sistemas de IA do que aos humanos que definem as regras.

Essa combinação incomum de agentes de IA problemáticos e fiscais de IA dispostos a ignorar violações aponta para um segundo problema, mais complexo, conhecido como "alinhamento", um termo da indústria que significa, essencialmente, garantir que a IA se comporte de maneira a servir aos interesses humanos. As empresas enfrentam a difícil tarefa de incorporar algo semelhante a valores humanos na IA, para que os modelos tomem decisões consistentes com o que seria melhor para as pessoas.

As preocupações com a segurança da IA estão se intensificando em um momento crucial para o setor. A Anthropic e a OpenAI estão se encaminhando para o que podem se tornar duas das maiores ofertas públicas iniciais (IPOs) da história. Ao mesmo tempo, o público americano está se tornando cada vez mais hostil à IA devido à ameaça que ela representa para os empregos, bem como para a construção de enormes centros de dados necessários para alimentar a tecnologia.

Embora não haja evidências de que sistemas de IA desonestos tenham causado danos duradouros, pesquisadores acreditam que o ritmo de seu desenvolvimento está ultrapassando a capacidade humana de monitorá-los.

Entre os pesquisadores que se manifestaram publicamente na última semana, estavam o cientista-chefe da OpenAI, um pesquisador que trabalhou tanto na OpenAI quanto em sua principal concorrente, a Anthropic, e Paul Christiano, inventor de um dos métodos fundamentais usados para construir sistemas de IA e recém-chegado ao conselho da organização sem fins lucrativos da OpenAI. Christiano escreveu no blog da empresa que o rápido crescimento das capacidades da IA pode levar a uma “perda catastrófica e irreversível de controle em um futuro muito próximo”.

Muitos pesquisadores de IA ainda acreditam que os alertas sobre a IA representar uma ameaça para a humanidade são exagerados e desviam a atenção de preocupações mais imediatas, como a segurança cibernética e a desinformação. Mas a maioria concorda que o incidente em que os agentes de IA da OpenAI invadiram outra empresa, a Hugging Face, foi um alerta.

“As capacidades do futuro são o que realmente assusta”, disse Jacob Coxon, cuja publicação nas redes sociais anunciando sua demissão da Anthropic gerou dezenas de respostas de legisladores e outros funcionários de empresas de IA. “Trata-se de nossas atitudes atuais em relação à segurança e de como essas mesmas atitudes se comportarão quando aplicadas a modelos muito mais inteligentes. Essa é a parte realmente assustadora.”

O truque do rosto abraçado

A violação começou em maio, quando a OpenAI estava testando vários novos modelos de IA. A empresa acreditava que os modelos estavam operando em um ambiente fechado conhecido como "sandbox", uma configuração computacional isolada sem acesso à internet. Os agentes de IA receberam problemas difíceis para resolver, incluindo a realização de ataques cibernéticos.

Mas os agentes de IA conseguiram escapar do ambiente restrito e obter acesso à internet. Os agentes, um tipo cada vez mais comum de IA projetada para executar tarefas de forma autônoma, também se comunicavam secretamente entre si. Referindo-se a si mesmos como um único grupo, os agentes começaram a procurar maneiras de encobrir seus rastros, inclusive falsificando seus próprios registros de conversas.

Por fim, eles conseguiram invadir o sistema da Hugging Face, uma empresa de infraestrutura de IA. No processo, alguns agentes de IA convenceram outros agentes de que estavam agindo corretamente e simplesmente executando a tarefa que lhes fora atribuída pelos testadores.

Poucos, ou nenhum, dos problemas que levaram à violação foram resolvidos. A Meta e a Anthropic também divulgaram incidentes semelhantes, embora em menor escala. Desde então, a OpenAI lançou o Astra, seu modelo mais poderoso, que é mais difícil de monitorar do que seu antecessor.

“A indústria como um todo está absolutamente incapaz de prevenir outro ataque como o da Hugging Face”, disse Steven Adler, ex-funcionário de segurança da OpenAI e cofundador da organização sem fins lucrativos Guidelight AI Standards, que avalia as práticas de segurança de empresas de IA. “Quando examinamos os controles que as empresas implementaram, percebemos que a indústria como um todo carece de medidas básicas de segurança.”

O problema de usar IA para monitorar IA

Pesquisadores de IA afirmaram que inúmeras falhas contribuíram para o incidente da Hugging Face. Não está claro até que ponto a empresa se baseou em modelos de IA para monitorar ou controlar os novos modelos que estavam sendo testados.

Mas muitos dos modelos de IA mais recentes, incluindo aqueles envolvidos na violação de dados da Hugging Face, são capazes de executar tarefas complexas e com várias etapas mais rapidamente do que os humanos conseguem acompanhar. A única maneira de monitorar o que eles estão fazendo e acompanhar seu comportamento é confiar na IA para monitorar a IA.

O sistema funciona, até que deixa de funcionar.

Alexander Meinke, chefe de pesquisa da Apollo Research, uma organização sem fins lucrativos que estuda a segurança da IA, afirmou que os modelos de IA podem parecer conspirar uns com os outros. Os sistemas de IA podem persuadir outros modelos a ajudá-los a contornar as regras impostas pelos testadores e evitar a detecção.

Por exemplo, um agente de IA poderia persuadir outro agente a ajudar a encobrir seus rastros, como aconteceu na violação de dados da Hugging Face, em vez de alertar os funcionários da empresa de que algo havia dado errado.

Meinke afirmou que os modelos de IA precisam aprender: "Vou relatar coisas que os humanos considerariam ruins se as analisassem". Ao mesmo tempo, ele disse que a IA também deve ser capaz de determinar quando algo não atinge o nível que exige intervenção humana.

Os pesquisadores afirmaram que, para alcançar esse objetivo, as empresas de IA precisarão diminuir o ritmo de desenvolvimento. Elas também precisam realizar mais testes para observar como a IA se automonitora. Além disso, as empresas precisam de períodos de teste mais longos, que permitam executar vários cenários e observar o comportamento da IA.

Alinhamento com os interesses humanos

As empresas também precisam abordar as questões mais amplas relacionadas ao alinhamento, ou seja, garantir que a IA se comporte de maneira a servir aos interesses humanos. Quando os humanos tomam decisões, tendem a se basear em normas sociais e em uma bússola moral interna que os ajuda a avaliar suas ações. Pesquisadores afirmaram que traduzir esses conceitos em regras que a IA possa emular é uma tarefa difícil. Sem instruções suficientemente precisas, os sistemas de IA podem aprender a infringir regras ou a se desviar de seu comportamento pretendido de maneiras inesperadas.

Nate Soares, presidente do Machine Intelligence Research Institute, uma organização sem fins lucrativos focada na segurança da IA, foi coautor de um artigo de 2014 que introduziu a ideia de alinhamento. Ele afirmou que as empresas não percebem o quão difícil será "alinhar" sistemas de IA mais inteligentes. À medida que a IA se torna mais sofisticada, sem o devido alinhamento ela também se torna mais capaz de encobrir seus rastros e enganar as pessoas que monitoram seus registros de conversas.

“Grande parte da indústria opera sob a premissa de que tudo ficará bem porque usaremos IA para controlar sistemas de IA”, disse ele. “Isso é como dizer que usaremos chimpanzés para controlar humanos. Não é um plano viável a longo prazo.”

Os pesquisadores também propuseram medidas como o fortalecimento dos ambientes de teste (sandboxes) para que fiquem completamente isolados da internet enquanto os modelos estão sendo testados, bem como a implementação de um mecanismo de desligamento que permita às empresas desconectar imediatamente os modelos de IA da internet caso apresentem comportamentos preocupantes.

Coxon disse estar encorajado pela reação à sua renúncia pública. Na quinta-feira, o senador Josh Hawley, republicano do Missouri e presidente da subcomissão de Segurança Interna do Senado responsável pela gestão de desastres, afirmou ter iniciado uma investigação que “examinará os riscos existenciais de novos produtos com inteligência artificial”.