Os agentes de IA devem ser tratados como sistemas não confiáveis: Pesquisadores

A segurança dos agentes alimentados por inteligência artificial deve ser integrada em todo o sistema, e não apenas em torno do modelo em si, para melhor prevenir falhas e ataques de malfeitores, de acordo com um novo artigo de investigação.

O artigo alterado, divulgado em 20 de maio por pesquisadores do Google, Gray Swan AI, EmbraceTheRed e várias universidades, argumentou que a segurança dos agentes deve ser abordada como um problema de sistema e que os agentes de IA devem ser tratados como um componente não confiável.

“Através desta perspectiva, os esforços para aumentar a robustez do modelo, o ponto de vista dominante na comunidade, são insuficientes por si só. Em vez disso, devemos complementar os esforços existentes com técnicas do domínio da segurança de sistemas”, afirmaram os investigadores.

“Para este fim, propomos ver a segurança dos agentes como uma instância de segurança informática. Este domínio há muito que lida com atacantes poderosos e motivou décadas de investigação sobre princípios e técnicas que lidam com tais adversários.”

Os agentes de IA estão se tornando cada vez mais populares entre os usuários de criptografia. Alguns executivos de criptografia especularam que os agentes de IA no espaço poderiam explodir nos próximos anos. O CEO da Circle, Jeremy Allaire, previu em janeiro que bilhões de agentes de IA estariam operando em nome dos usuários dentro de cinco anos.

As principais proteções de segurança podem impedir a maioria dos ataques

Os pesquisadores disseram que, depois de estudar uma série de estudos de caso de ataques, “três mecanismos” poderiam “eliminar uma grande fração dos ataques”.

Eles argumentam que os agentes de IA devem distinguir claramente entre instruções e dados não confiáveis ​​para evitar que os invasores enganem o agente, ocultando instruções maliciosas nos dados. O agente de IA também deve ter apenas as permissões mínimas necessárias para realizar uma tarefa, em vez de acesso total, segundo os pesquisadores.

Os pesquisadores disseram que as configurações de segurança padrão incluem sistemas confiáveis ​​e não confiáveis, e que a IA deve ser tratada como um sistema não confiável. Fonte: A segurança do agente é um problema de sistema

Ao mesmo tempo, o sistema mais amplo deve controlar para onde as informações confidenciais podem ir, e não o agente, para garantir que não possam ser manipuladas para enviar dados confidenciais para destinos inseguros.

Em um caso recente, o Bankr, assistente de negociação de criptografia com tecnologia de IA, disse que desativou as transações em 20 de maio após identificar um invasor que obteve acesso a pelo menos 14 carteiras. Especialistas em segurança especularam que o bot poderia ter sido explorado por um hacker.

Agentes de IA estão sendo usados ​​para construir aplicativos Web3, lançar tokens e interagir com serviços e protocolos de forma autônoma, com algumas plataformas explorando IA para negociação.

Aaron Ratcliff, líder de atribuições da empresa de inteligência blockchain Merkle Science, disse ao Cointelegraph no ano passado que, do ponto de vista de segurança, dar a um agente de IA acesso a uma carteira adiciona uma camada de confiança a algo projetado para ser confiável, e pode ser seguro se o sistema for construído corretamente.

Relacionado: Exodus lança stablecoin focada em agente de IA em Solana

“Eu gostaria de provar que a IA pode capturar o front-running, aplicar limites de derrapagem, detectar tokens fraudulentos e auditar contratos em tempo real antes de fazer uma negociação. Ela também deve colocar avisos em sandbox, evitar injeção e bloquear o acesso do homem no meio”, disse ele.

Enquanto isso, Sean Ren, cofundador da plataforma de blockchain nativa de IA Sahara AI, disse que os protocolos de contexto de modelo são o padrão ouro para segurança quando configurados corretamente, mas os usuários ainda devem prestar atenção a cada ação realizada por um agente de IA.

“Eles atuam essencialmente como um guardião entre o modelo de IA e sua carteira. O agente só pode realizar ações específicas e aprovadas – como verificar saldos ou preparar um pagamento para você confirmar – em vez de movimentar fundos livremente ou alterar as configurações da carteira”, disse ele.

Revista: Criptógrafos enfrentam a morte, Aussie CGT torna os centros asiáticos atraentes