Restrições contra hackers também dificultam testes legítimos, levando pesquisadores a buscar modelos de código aberto, executados localmente e sem filtros.
Grandes empresas de inteligência artificial criaram programas de acesso controlado para reduzir o uso criminoso de seus modelos em ataques digitais.
O problema é que as mesmas barreiras podem impedir profissionais autorizados de confirmar vulnerabilidades, criar provas de conceito e proteger redes antes dos criminosos.
A disputa envolve segurança, privacidade e controle tecnológico, enquanto pesquisadores relatam respostas inconsistentes e perda de tempo ao tentar trabalhar com as ferramentas.
As informações foram divulgadas pelo TechCrunch, que ouviu especialistas em segurança ofensiva, empresas do setor e pesquisadores que usam modelos de IA em suas rotinas.
Controles foram criados para limitar ataques
Em junho, o governo dos Estados Unidos impôs restrições de exportação aos modelos Mythos e Fable, da Anthropic.
A decisão ocorreu, ao menos em parte, após um relatório afirmar que seria possível contornar as barreiras criadas para impedir ataques cibernéticos maliciosos.
Os controles sobre o Fable 5 e o Mythos 5 foram suspensos posteriormente. O Fable 5 voltou ao acesso geral em 1º de julho, enquanto o Mythos 5 foi reintroduzido apenas para organizações americanas aprovadas durante a revisão do governo.
A Anthropic vinha apresentando o Mythos como uma espécie de máquina cibernética de alto risco. Por isso, o modelo seria destinado somente a usuários avaliados e submetido a restrições rígidas.
Esse modelo de acesso não é exclusivo da empresa. A Anthropic mantém outros mecanismos de proteção, enquanto a OpenAI oferece o programa Trusted Access for Cyber.
A Anthropic também possui o Cyber Verification Program, voltado a pesquisadores de segurança que passam por uma análise e podem receber acesso a modelos com menos limitações para tarefas cibernéticas.
O mesmo recurso pode ajudar a defender ou atacar
Pesquisadores ofensivos procuram falhas em sistemas antes que elas sejam exploradas por criminosos. Para eles, pedir que uma IA examine um código e tente explorar um problema pode ser uma etapa essencial da validação.
Chris Anley, cientista-chefe do grupo de consultoria NCC Group, afirmou que uma solicitação para corrigir um código também pode indicar como encontrar uma falha crítica.
Segundo Anley, a mesma ferramenta pode ser ofensiva e defensiva ao mesmo tempo. Por isso, separar completamente os dois usos seria praticamente impossível.
O especialista comparou a tecnologia a um martelo. A ferramenta é necessária para construir uma casa, mas também pode ser usada como arma.
Quando um modelo se recusa a analisar uma vulnerabilidade, o bloqueio pode atrapalhar a defesa. O pesquisador deixa de confirmar se um erro realmente pode ser explorado e merece correção.
Mark Dowd, conhecido pesquisador de segurança, criticou decisões tomadas por empresas privadas sobre o que seria seguro na área cibernética.
Durante uma participação em um podcast de segurança, Dowd disse que não se sente confortável com empresas grandes e aleatórias tomando decisões arbitrárias sobre o que é seguro em segurança digital.
O pesquisador trabalha há décadas com falhas de dia zero, vulnerabilidades ainda desconhecidas pelos fabricantes. Em vez de reportá-las às empresas, ele já vendeu esse tipo de informação a governos ocidentais.
Governos pagam valores elevados por falhas que continuam abertas porque elas podem ser úteis em operações de inteligência. Dowd reconheceu que essa experiência pode influenciar sua visão sobre os controles de IA.
Especialistas recorrem a modelos locais
Chris Anley relatou que, quando encontra uma barreira, sua equipe às vezes recorre a modelos de inteligência artificial de código aberto, que não possuem os mesmos filtros.
Paolo Stagno, diretor de tecnologia da Crowdfense, também criticou os programas de acesso controlado. Para ele, as empresas tratam clientes como crianças que precisam de supervisão constante.
Stagno afirmou que sua equipe usa modelos avançados principalmente para engenharia reversa, processo de análise de um programa para entender como ele funciona.
A empresa evita enviar dados de vulnerabilidades para serviços na nuvem. O temor é que informações sensíveis sejam expostas ou acabem incorporadas a futuros treinamentos dos modelos.
Na etapa de busca por falhas e criação de explorações, a equipe prefere modelos de código aberto executados em computadores locais. Assim, os dados não precisam sair do ambiente controlado.
Giuseppe Cali, pesquisador que encontra falhas de dia zero e desenvolve explorações, apresenta uma visão diferente. Ele disse que as barreiras não atrapalham seu trabalho porque não usa IA diretamente na parte ofensiva.
Cali utiliza os modelos para fazer a análise inicial do código, entender estruturas complexas e criar ferramentas auxiliares. Com isso, consegue acelerar tarefas de apoio e concentrar seu esforço na descoberta da vulnerabilidade.
O pesquisador afirmou que ainda quer manter sob seu controle a descoberta e a transformação de uma falha em uma exploração funcional. Para ele, esse trabalho é uma parte importante da atividade.
Um pesquisador de uma fabricante de componentes para smartphones, ouvido sob anonimato, afirmou que sua empresa não participa do programa da Anthropic.
Segundo ele, as ferramentas ficam quase inúteis para encontrar vulnerabilidades porque interrompem a conversa assim que identificam qualquer atividade relacionada à segurança.
Restrições inconsistentes aumentam a frustração
Chris Thompson, diretor executivo da empresa RemoteThreat e fundador da Offensive AI Con, disse que os filtros dos modelos avançados podem mudar de comportamento com frequência.
Na avaliação dele, isso ocorre até dentro dos programas de acesso controlado da Anthropic e da OpenAI, que deveriam oferecer limites mais adequados para especialistas avaliados.
Thompson afirmou que os profissionais acabam gastando muito tempo negociando com o modelo, em vez de analisar a vulnerabilidade e entender se ela pode ser explorada.
Em algumas situações, o pesquisador precisa descobrir por que recebeu respostas diferentes para pedidos semelhantes ou por que a ferramenta removeu partes importantes da explicação.
Esse cenário tem levado especialistas a buscar modelos chineses de código aberto, como o GLM. Esses sistemas podem ser baixados e executados localmente, sem aprovação prévia ou restrições de uso equivalentes.
Para Thompson, pesquisadores responsáveis estão sendo afastados de sistemas submetidos à governança americana e direcionados a ferramentas estrangeiras.
Ele considera que esse efeito pode ser mais prejudicial do que benéfico, especialmente diante do crescimento esperado de ataques automatizados.
O executivo defende que os laboratórios de IA ampliem o acesso responsável, criem mecanismos de supervisão mais claros e responsabilizem diretamente quem usar as ferramentas para causar danos.
Na visão de Thompson, uma onda de ataques em velocidade e escala inéditas pode se aproximar. Ao mesmo tempo, empresas de consultoria e pesquisadores legítimos estariam sendo limitados pelos próprios controles criados para protegê-los.
O desafio é criar guardrails capazes de bloquear abuso sem impedir análises autorizadas. Para os especialistas, sistemas locais, auditorias e programas de confiança podem ajudar, mas ainda não resolvem a falta de consistência.
Enquanto as empresas ajustam suas políticas, profissionais de cibersegurança precisam equilibrar eficiência, sigilo e responsabilidade. A escolha do modelo pode determinar tanto a qualidade da defesa quanto a proteção dos dados analisados.
Com informações de techcrunch
Aviso legal
Este conteúdo foi produzido com o apoio de ferramentas de Inteligência Artificial, sendo posteriormente revisado, validado e aprimorado por Lc Palauro . Em conformidade com os critérios definidos em nossa Política Editorial , garantindo precisão, clareza e confiabilidade nas informações apresentadas.
