Quando a IA se torna o hacker

Bruce Schneier explora os perigos potenciais dos sistemas de inteligência artificial (IA) que se tornarão desonestos na sociedade.

 https://www.darkreading.com/

Nos últimos dois anos, o renomado tecnólogo e pesquisador Bruce Schneier tem pesquisado como sistemas sociais podem ser hackeados, especificamente as regras dos mercados financeiros, as leis e o código tributário. Isso o levou a seu último exame das consequências não intencionais potenciais da inteligência artificial na sociedade: como os próprios sistemas de IA, que ele chama de “IAs”, poderiam evoluir de modo que automaticamente – e inadvertidamente – realmente abusassem dos sistemas sociais.

“É a IA como o hacker”, diz ele, em vez de hackers hackeando sistemas de IA.

Schneier discutirá sua pesquisa sobre hackers de IA em um discurso na segunda-feira na 2021 RSA Conference, que, devido à pandemia, está sendo realizada online em vez de pessoalmente em San Francisco. O tópico de IA é baseado em um ensaio recente que ele escreveu para o Projeto Cibernético e Conselho para o Uso Responsável de IA no Centro Belfer para Ciência e Assuntos Internacionais da Harvard Kennedy School.

A questão central que Schneier faz é esta: e se os sistemas de inteligência artificial pudessem hackear sistemas sociais, econômicos e políticos na escala, velocidade e alcance do computador de forma que os humanos não pudessem detectá-los a tempo e sofressem as consequências?

É onde as IAs evoluem para “o processo criativo de localizar Hacks”

“Eles já estão fazendo isso em software, encontrando vulnerabilidades em códigos de computador. Eles não são muito bons nisso, mas eventualmente irão melhorar [enquanto] os humanos permanecerão os mesmos” em suas capacidades de descoberta de vulnerabilidades, diz ele. 

Em menos de uma década, Schneier prevê, IAs serão capazes de “derrotar” humanos em competições de captura da bandeira, apontando para o concurso DEFCON em 2016, quando uma equipe apenas de IA chamada Mayhem ficou em último lugar contra todos -equipes humanos. Isso porque a tecnologia de IA evoluirá e ultrapassará a capacidade humana.

Schneier diz que não se trata tanto de IAs “invadindo” sistemas, mas de IAs criando suas próprias soluções. “A IA surge com um hack e uma vulnerabilidade, e então os humanos olham para isso e dizem, ‘Isso é bom'”, e usam isso como uma forma de ganhar dinheiro, como com fundos de hedge no setor financeiro, diz ele.

A ironia aqui, é claro, é que a IA começa com informações e programação humanas. Deixando de lado as analogias de Frankenstein, o problema central é que a IA não tem as mesmas funções cognitivas humanas, como empatia ou uma verificação do “interior” para saber onde traçar a linha. Schneier observa que, embora haja muitas pesquisas sobre a incorporação de contexto, ética e valores em programas de IA, não é uma função embutida dos sistemas de IA de hoje.

Mesmo assim, diz ele, os humanos empregarão a IA para encontrar brechas nos códigos tributários, como uma grande empresa de contabilidade fazendo isso para encontrar uma nova “evasão fiscal para vender a seus clientes”. Portanto, as empresas financeiras provavelmente não irão “programar” regras que frustrem sua capacidade de monetizar o conhecimento de IA.

O maior risco é que as IAs encontrem uma maneira de contornar uma regra sem que os humanos saibam – “que as IAs vão descobrir algo que vai violar as regras e não vamos perceber isso”, diz Schneier.

Schneier aponta para o escândalo da Volkswagen em 2015, quando a montadora foi pega trapaceando nos testes de nível de controle de emissões de seus modelos de veículos depois que os engenheiros programaram os sistemas de computador dos carros para ativar a redução de emissões apenas durante os testes, não em suas operações normais. 

“Lá estavam os humanos atacando as regras” e não a IA em si, diz ele, mas é um bom exemplo do que a IA poderia fazer para enganar um sistema se não fosse controlada para aprender maneiras de contornar isso.

Em seu ensaio, “The Coming AI Hackers”,  Schneier descreve desta forma: “Se eu pedisse a você para projetar um software de controle do motor de um carro para maximizar o desempenho e ainda passar nos testes de controle de emissões, você não projetaria o software para trapacear sem entender que você estava trapaceando. Isso simplesmente não é verdade para uma IA; ela não entende o conceito abstrato de trapaça. Ela pensará “fora da caixa” simplesmente porque não terá uma concepção da caixa ou de as limitações das soluções humanas existentes. Ou da ética. Não vai entender que a solução da Volkswagen prejudica os outros, que mina a intenção dos testes de controle de emissões, ou que está infringindo a lei. “

Uma chamada de
atenção para a ação Schneier admite que o conceito de IAs como hackers é “superespeculativo” por enquanto, mas é uma questão que precisa ser tratada

“Precisamos pensar sobre isso”, diz ele. “E não tenho certeza se você pode parar com isso. A facilidade com que isso [hackeamento de IA] acontece depende muito do domínio [em questão]: como podemos codificar as regras do sistema?”

A chave é aproveitar as IAs para defesa, como encontrar e consertar todas as vulnerabilidades em um programa de software antes que ele seja lançado

“Nós então viveríamos em um mundo onde as vulnerabilidades de softwares eram coisa do passado”, diz ele. 

A desvantagem é que o período de transição seria vulnerável: o código legado ou já lançado pode correr o risco de ser atacado por ferramentas de IA abusadas por adversários, diz ele.

O risco são os sistemas de IA hackeando outros sistemas de IA no futuro, e os humanos experimentando a precipitação “radioativa”, diz ele.

A pesquisa de IA mais recente de Schneier evoluiu de seu estudo sobre como a mentalidade e as habilidades do hacker podem ser aplicadas para proteger sistemas sociais, que ele apresentou pela primeira vez na Conferência RSA 2020 em San Francisco. Esse conceito, que ele cunhou “hacking society”, significaria hackers éticos ajudando a consertar o código e a legislação tributária dos EUA para evitar brechas inadvertidas ou deliberadas, por exemplo.

Sua grande ideia se resume a isto: “Podemos hackear a sociedade e ajudar a proteger os sistemas que a constituem?”

Enquanto isso, fique de olho na sociedade hackeada de IAs. 

“Os computadores são muito mais rápidos do que as pessoas, um processo humano que pode levar meses ou anos pode ser compactado em dias, horas ou até segundos. O que pode acontecer quando você alimenta uma IA com todo o código tributário dos EUA e ordena que ele decida tudo as maneiras de minimizar o valor do imposto devido? ” ele escreveu em seu ensaio.

Kelly Jackson Higgins é editora executiva da Dark Reading. Ela é uma jornalista veterana premiada em tecnologia e negócios com mais de duas décadas de experiência em reportagem e edição para várias publicações, incluindo Network Computing, Secure Enterprise … View Full Bio

 

 

Compartilhe em suas Redes Sociais