A inteligência artificial (IA) poderá, em determinados cenários, representar uma ameaça existencial à humanidade. Alguns especialistas da área chegam a defender que sistemas de IA suficientemente avançados poderiam levar à extinção humana dentro de uma década.

A discussão ganhou força depois de declarações de profissionais ligados à indústria da IA. Na semana passada, Jacob Coxon, funcionário da Anthropic, anunciou que deixaria a empresa por considerar o trabalho que realizava demasiado perigoso. Outro funcionário da mesma empresa, Evan Hubinger, afirmou que considera superior a 10% a possibilidade de a IA provocar a extinção humana nos próximos dez anos.

Nate Soares, presidente do Machine Intelligence Research Institute (MIRI) e coautor do livro If Anyone Builds It, Everyone Dies: Why Superhuman AI Would Kill Us All, descreveu o cenário de forma ainda mais extrema.

Para Soares, a possibilidade em questão seria literalmente a morte de toda a população mundial, até ao último ser humano. O especialista afirmou que, embora muitas pessoas tenham dificuldade em acreditar nesse cenário, considera-o o resultado mais provável.

Mas como é que um programa de computador poderia provocar a morte de milhares de milhões de pessoas em apenas uma década?

Nem todos os especialistas em IA concordam com essa visão apocalíptica. Uma das razões é que muitos dos cenários apresentados ainda carecem de detalhes concretos que permitam testar ou refutar as previsões.

Heidy Khlaaf, cientista-chefe de IA do AI Now Institute e antiga engenheira de segurança da OpenAI, defende que afirmações científicas precisam de ser falsificáveis, ou seja, devem existir condições que permitam demonstrar se estão certas ou erradas.

Uma pandemia provocada por IA?

Uma das hipóteses levantadas por especialistas que alertam para os riscos extremos da IA envolve a utilização de sistemas avançados para facilitar o desenvolvimento de agentes biológicos perigosos.

A questão, contudo, é complexa: mesmo que um sistema de IA pudesse auxiliar na investigação, seria necessário ultrapassar inúmeros obstáculos para transformar esse conhecimento em algo capaz de provocar uma catástrofe no mundo real.

Thomas Larsen, investigador do AI Futures Project e antigo funcionário do MIRI, considera concebível que uma IA extremamente avançada pudesse convencer uma pessoa a ajudá-la em actividades perigosas.

Larsen citou um relatório recente da Anthropic sobre investigadores que utilizam o Claude em trabalhos relacionados com vírus e toxinas. Na sua visão, uma IA muito mais inteligente e estratégica poderia, num cenário hipotético, manipular um ser humano para realizar determinadas tarefas.

Soares apresentou uma hipótese ainda mais extrema, segundo a qual uma IA capaz de se aperfeiçoar autonomamente poderia eventualmente desenvolver meios próprios para realizar actividades biológicas.

No entanto, a criação de um agente biológico capaz de eliminar a humanidade envolveria enormes dificuldades técnicas. Não bastaria simplesmente pedir a um modelo de linguagem que produzisse uma ideia.

Eric Xing, professor de aprendizagem automática na Carnegie Mellon University e especialista com formação em microbiologia e informática, comparou a complexidade desse processo à montagem de um conjunto de peças sem instruções.

Segundo Xing, vários factores precisam de funcionar correctamente e na ordem certa, tornando o processo muito mais complexo do que simplesmente reunir informações.

Além disso, uma IA teria de ultrapassar barreiras físicas, regulamentares e de segurança para obter controlo sobre laboratórios ou equipamentos necessários para realizar actividades desse tipo.

Xing observou que existem informações sobre armas químicas disponíveis na internet, mas isso não significa que tais armas sejam produzidas indiscriminadamente. Segundo o investigador, leis, regulamentações e forças de segurança dificultam o acesso aos recursos e às cadeias de abastecimento necessárias.

E se o perigo vier de robôs autónomos?

Outro cenário frequentemente associado aos riscos da IA é o desenvolvimento de robôs autónomos capazes de operar e produzir outros robôs.

Soares considera que o desejo de Elon Musk de desenvolver robôs autónomos e potencialmente autorreplicantes poderia representar um ponto de preocupação.

Na sua visão, se máquinas fossem capazes de produzir a infraestrutura energética, construir fábricas e fabricar outras máquinas, poderia surgir uma nova forma de vida mecânica.

O especialista alerta para a possibilidade de existir um momento em que os seres humanos já não consigam recuperar o controlo desses sistemas.

“É preciso parar antes disso”, defende.

Até agora, contudo, Musk não conseguiu colocar os robôs Optimus no mercado de consumo nas dimensões anunciadas, muito menos produzir milhões de unidades ou estabelecer uma cadeia de produção autorreplicante.

A IA poderia controlar armas nucleares?

Outro cenário discutido envolve as armas nucleares, que existem há mais de 80 anos e são consideradas capazes de provocar uma destruição humana em escala catastrófica.

Uma das perguntas é se sistemas de IA poderiam eventualmente assumir o controlo desses arsenais.

Heidy Khlaaf observa que instalações nucleares são, em muitos casos, isoladas da internet pública, através de sistemas conhecidos como air-gapped. Isso limita as possibilidades de acesso remoto por agentes de IA.

Segundo a especialista, esses sistemas seguem normas de engenharia rigorosas e regulamentadas, além de frequentemente contarem com protecção física reforçada.

Ela recorda que o Stuxnet, programa malicioso que atingiu instalações nucleares iranianas, precisou de ser introduzido fisicamente no sistema através de uma pen USB.

Herbert Lin, investigador sénior e investigador associado da Universidade de Stanford e membro do Science and Security Board do Bulletin of Atomic Scientists, considera que poucos profissionais de IA possuem conhecimentos profundos sobre armas nucleares.

Para Lin, embora a IA possa ampliar alguns riscos associados a ameaças existenciais, como uma guerra nuclear, o risco material continua a estar principalmente nas próprias armas, e não necessariamente num futuro hipotético dominado pela IA.

“Autoaperfeiçoamento recursivo”

Para Soares, porém, a questão central não seria necessariamente a IA conseguir assumir o controlo das armas nucleares.

O especialista aponta para a possibilidade de uma IA alcançar aquilo que chama de “autoaperfeiçoamento recursivo”, aumentando continuamente as suas próprias capacidades sem depender directamente dos seres humanos.

Nesse cenário, argumenta, o sistema poderia desenvolver estratégias e métodos muito além da capacidade de previsão humana.

A preocupação, segundo Soares, seria uma IA que não precisasse de assumir o controlo das armas existentes porque poderia, num cenário extremo, desenvolver os seus próprios meios de destruição ou tecnologias ainda mais avançadas.

Uma IA não precisaria de ser “má”

Soares considera ainda que uma IA extremamente poderosa não precisaria necessariamente de ter uma intenção maliciosa para representar uma ameaça à humanidade.

Segundo o especialista, se um sistema tivesse um objectivo que pudesse ser alcançado de forma mais eficiente com maior capacidade computacional e não atribuísse valor à sobrevivência humana, poderia transformar o ambiente de uma maneira incompatível com a existência das pessoas.

A discussão sobre os riscos da IA ganhou outro elemento esta semana, depois de a OpenAI anunciar ter identificado novos casos de “desalinhamento” nos seus modelos.

Entre os casos mencionados estava um modelo ainda não lançado que teria produzido uma instrução para “ignorar as suas restrições normais” durante o trabalho.

Especialistas pedem evidências concretas

Eric Xing considera que recorrer a uma superinteligência hipotética e às suas capacidades desconhecidas pode transformar a discussão numa forma de argumentação demasiado vaga.

Segundo o investigador, esse tipo de cenário pode ser utilizado numa conversa informal ou num debate, mas, quando estão em causa políticas públicas, legislação e regulamentação, é necessário apresentar uma cadeia concreta de evidências, consequências e dados mensuráveis.

Thomas Larsen tentou detalhar possíveis cenários futuros em dois relatórios, “AI 2027” e “AI 2040”, nos quais projecta diferentes trajectórias para o desenvolvimento da inteligência artificial sob diferentes modelos de desenvolvimento e regulamentação.

Mesmo no cenário considerado mais optimista, no qual existe um acordo global sobre como desenvolver a IA e os seres humanos começam a colonizar o espaço, o cenário apresentado termina com sistemas artificiais a assumirem o controlo num momento indefinido.

Questionado sobre se tinha dúvidas relativamente à sua previsão de que o actual caminho poderá conduzir à superinteligência, Larsen respondeu que isso acontecerá, a menos que sejam tomadas medidas deliberadas para o impedir.

Porque existem opiniões tão diferentes?

Herbert Lin considera que parte da divergência entre aqueles que alertam para uma possível extinção causada pela IA e os especialistas mais cépticos está relacionada com a forma como a própria tecnologia influencia a visão que cada grupo tem do futuro.

Para Lin, existe algo particularmente fascinante na experiência de programar um computador e observar a máquina executar aquilo que foi pretendido.

O investigador considera que essa experiência pode levar algumas pessoas a acreditar que, depois de a humanidade ter conseguido avanços tecnológicos extraordinários, outros avanços igualmente impressionantes e potencialmente ilimitados serão inevitáveis.

“Conseguiram fazer algo que ninguém tinha feito antes”, observou Lin, explicando que é fácil compreender por que razão algumas pessoas podem deixar-se levar por essa perspectiva.

Assim, a discussão sobre se a inteligência artificial poderá ou não provocar a extinção humana permanece dividida entre especialistas que alertam para riscos extremos e investigadores que defendem a necessidade de evidências concretas antes de aceitar cenários de apocalipse tecnológico.