Google oferece recompensa por bugs em IA generativa

O Google expandiu seu programa de recompensas para incluir bugs e vulnerabilidades que forem encontrados nos produtos de IA generativa da própria empresa. Especificamente, o gigante da tecnologia está procurando caçadores de bugs para produtos como o Google Bard, que está disponível em muitos países, ou a IA de contact center do Google Cloud, o Agent Assist.

“Acreditamos que isso incentivará a pesquisa em torno da segurança e proteção da inteligência artificial e trará à tona possíveis problemas que, em última análise, tornarão a IA mais segura para todos”, escreveram a vice-presidente de confiança e segurança do Google, Laurie Richardson, e o vice-presidente de engenharia de privacidade, segurança e proteção, Royal Hansen, em um post no blog da empresa.

Entretanto, há limitações quanto ao que conta como vulnerabilidade de IA generativa. Uma lista completa de quais vulnerabilidades o Google considera no escopo ou fora do escopo do programa de recompensas de vulnerabilidade está no blog de segurança do Google.

A IA generativa introduz riscos que a computação tradicional não apresenta. “Esses riscos incluem viés de preconceito, manipulação de modelos e interpretações equivocadas de dados”, escreveram Laurie e Hansen. Notavelmente, as “alucinações” de IA — desinformação gerada dentro de uma sessão de navegação privada — não contam como vulnerabilidades para os propósitos do programa de recompensas de vulnerabilidade. Ataques que expõem informações confidenciais, alteram o estado da conta de um usuário do Google sem seu consentimento ou fornecem backdoors em um modelo de IA generativa estão dentro do escopo.

Em última análise, qualquer pessoa que participe do programa de recompensa por bugs precisa provar que a vulnerabilidade descoberta pode “representar um cenário de ataque convincente ou um caminho viável para o Google ou para o usuário prejudicar”, de acordo com o blog de segurança do Google.

As recompensas variam de US$ 100 a US$ 31.337, dependendo do tipo de vulnerabilidade. Detalhes sobre recompensas e pagamentos podem ser encontrados no site Bug Hunters do Google.

OpenAI, Microsoft e outras organizações também oferecem recompensas por bugs e vulnerabilidades em sistemas de IA generativa. A Microsoft oferece entre US$ 2.000 e US$ 15.000 para bugs qualificados. O programa de recompensa por bugs da OpenAI paga entre US$ 200 e US$ 20.000.

Em um relatório de 26 de outubro, a HackerOne e a OWASP descobriram que a vulnerabilidade mais comum na IA generativa era a injeção imediata (ou seja, usar prompts para fazer o modelo de IA faça algo que não está programado a fazer), seguida pelo manuseio de saída inseguro (ou seja, quando a saída LLM é aceita sem escrutínio) e a manipulação de dados de treinamento.

Fonte: https://www.cisoadvisor.com.br/google-oferece-recompensa-por-bugs-de-seguranca-em-ia-generativa/