Nas últimas semanas, o Superior Tribunal de Justiça identificou em seu acervo de processos petições com prompt injection (injeção de comando), uma artimanha utilizada por usuários mal-intencionados para inserir comandos ocultos em documentos comuns, com o objetivo de enganar modelos de inteligência artificial.
O ministro Herman Benjamin disse que o STJ vai apurar as tentativas de fraude
O prompt injection não é novidade, mas o que era uma informação mais conhecida por especialistas no tema ganhou o noticiário especializado jurídico no início deste mês, com relatos de tentativa de fraude processual no Tribunal Regional do Trabalho da 8ª Região (PA/AP).
Segundo o presidente do STJ, ministro Herman Benjamin, o tribunal apurará as tentativas de fraude. “O STJ Logos (sistema de IA generativa elaborado pela corte) já foi desenvolvido com comandos específicos que impedem essas artimanhas de atuar. Estamos mapeando todas as tentativas de prompt injection para permitir a aplicação de sanções processuais e a devida apuração de responsabilidade administrativa e criminal dos envolvidos.”
No caso do STJ Logos, mesmo que o sistema receba petições com as injeções de comando ocultas, camadas de segurança e integridade impedem que essas ordens maliciosas sejam executadas.
Para mitigar vulnerabilidades como a da injeção de comandos, o sistema adota uma estratégia de defesa estruturada em três níveis complementares. No primeiro nível, ele faz um pré-processamento rigoroso para garantir a segregação estrita entre instruções e dados, utilizando uma camada de proteção que isola e neutraliza comandos maliciosos em documentos ou inputs externos antes mesmo que eles cheguem ao modelo de IA.
No segundo nível, o sistema estabelece uma delimitação de escopo contextual, de modo a impedir que eventuais diretrizes externas sobreponham suas regras centrais.
Por fim, no último nível, o STJ Logos aplica um filtro de conformidade para a revisão da saída gerada, para garantir que o resultado sugerido esteja alinhado às políticas de segurança.
Para o tribunal, segurança e integridade dos processos são prioridades absolutas desde o início do desenvolvimento dos sistemas de IA que culminaram no lançamento do STJ Logos, em fevereiro de 2025. Com base nesses princípios, as equipes técnicas do tribunal trabalham continuamente em soluções que ampliem a proteção do sistema.
Inquérito policial e procedimento administrativo
No âmbito do STJ, além das medidas de segurança implementadas desde a concepção no STJ Logos, foi determinado pela Presidência que as tentativas de uso do mecanismo malicioso, embora neutralizadas pelo sistema, passem a ser certificadas nos autos para permitir a aplicação, por ministros e ministras da corte, de sanções processuais aos envolvidos.
A Presidência também decidiu pela instauração de inquérito policial e procedimento administrativo para a apuração dos fatos e a oitiva dos advogados e escritórios envolvidos, com vistas à eventual responsabilização nos âmbitos criminal e correicional.
O que é o prompt injection?
O prompt injection é uma técnica que tenta enganar os modelos de IA, em especial os grandes modelos de linguagem (LLMs). O ataque ocorre quando comandos são inseridos em documentos comuns, como petições ou recursos, de forma invisível ao olho humano.
Como a IA processa o texto para entender o contexto e responder a comandos (prompts), um usuário pode inserir instruções maliciosas no meio de uma petição, tentando forçar o sistema a ignorar regras de análise, de modo a favorecer uma das partes. Com informações da assessoria de imprensa do STJ.
Seja o primeiro a comentar.
Você precisa estar logado para enviar um comentário.
Fazer login