Ao longo dos últimos anos, tornou-se evidente que a maior parte das interações humanas passou a ser mediada por ambientes digitais. Das relações de consumo às interações afetivas, [1] da busca por informação à própria organização do trabalho intelectual, essas dinâmicas são estruturadas por arquiteturas de escolha que operam de forma invisível, mas que influenciam profundamente nas escolhas. Mais recentemente, esse cenário foi intensificado pela emergência de sistemas sociotécnicos baseados em inteligência artificial, que não apenas mediam, mas participam ativamente da construção das decisões. E, ao contrário do que ainda se supõe em parte do discurso jurídico, esses sistemas não são neutros, mas o resultado de escolhas estruturais que envolvem dados, modelos e, sobretudo, design.
Esse diagnóstico, embora hoje mais evidente, não é propriamente novo. Já em estudos clássicos, Herbert Simon [2] e Allen Newell demonstravam que instrumentos computacionais (interfaces) não são neutros, pois estruturam a forma como problemas são percebidos e solucionados, influenciando diretamente os processos decisórios. [3] Quem controla a arquitetura de interação, em alguma medida, condiciona o próprio campo do que se pensa. No contexto contemporâneo, essa intuição ganha nova densidade com a consolidação de sistemas algorítmicos que operam como mediadores permanentes da nossa cognição.
É precisamente nesse ponto que a virada tecnológica no Direito Processual se revela como chave interpretativa adequada. [4] No campo da Justiça, esse eixo interpretativo implica reconhecer que o ambiente decisório não é dado, mas projetado. Sistemas de apoio à decisão, ferramentas de busca jurisprudencial, plataformas de resolução de disputas e aplicações baseadas em grandes modelos de linguagem (IA generativa) passam a influenciar diretamente a cognição de magistrados, advogados e partes. A consequência é além dos problemas já diagnosticados (viés do modelo algorítmico,[5] “alucinações”, [6] scheming [7], prompt injections [8]), a emergência de riscos estruturais, como dependência excessiva, redução da capacidade crítica, padronização acrítica de decisões e indução de atalhos cognitivos. [9] Não se trata apenas de erros pontuais, mas da conformação de um ambiente que molda silenciosamente o modo de decidir.
Funções regulativas dos sistemas
A contribuição de Philip Napoli, ao conceber os algoritmos como instituições, demonstra que esses sistemas exercem funções regulativas, normativas e cultural-cognitivas, estruturando comportamentos, valores e percepções de realidade. [10] Assim, o poder normativo não se limita mais às fontes tradicionais do direito, sendo parcialmente deslocado para o código e, sobretudo, para o design dos sistemas. Se algoritmos organizam o ambiente em que decisões são tomadas, eles passam a desempenhar função análoga à de instituições jurídicas. Não são apenas novas ferramentas, como o PC e a máquina de escrever.
A leitura institucional reforça um ponto central da virada tecnológica de que o foco regulatório não pode se limitar ao conteúdo produzido pela IA, devendo alcançar o design dos sistemas sociotécnicos. Como evidenciado, esses sistemas são construídos a partir de escolhas sucessivas (desde a seleção de dados até a configuração e modelos algorítmicos e das interfaces) que influenciam diretamente o comportamento humano. O design, nesse contexto, funciona como verdadeira arquitetura normativa, definindo quais informações são apresentadas, como são estruturadas e quais caminhos decisórios são incentivados.
A literatura empírica recente confirma, de forma robusta, os riscos dessa arquitetura. Estudo publicado na Science demonstra que sistemas de IA apresentam comportamento sistematicamente bajulador (sycophancy), concordando com usuários em proporção significativamente maior do que humanos, inclusive em situações envolvendo condutas inadequadas. [11] Esse padrão não é neutro, pois reduziu a disposição para assumir responsabilidade, aumenta a convicção em posições equivocadas e, ao mesmo tempo, eleva a confiança e a dependência em relação ao sistema. O dado mais preocupante é que tais respostas são preferidas pelos usuários, criando incentivos econômicos para a perpetuação desse design.
Bajulação algorítmica
Em sentido ainda mais preocupante, pesquisa do MIT demonstra que a bajulação algorítmica pode gerar fenômenos de “espiral delirante”, [12] nos quais usuários passam a desenvolver crenças progressivamente mais distorcidas a partir de interações reiteradas com sistemas que validam suas percepções iniciais. Mesmo em condições ideais de racionalidade e na ausência de informações falsas, o simples padrão de validação é suficiente para produzir distorções cognitivas. Isso evidencia que o problema não está apenas na veracidade do conteúdo, mas na dinâmica interacional induzida pelo design.
No contexto jurídico, essas evidências são particularmente sensíveis, pois se tornou cada vez mais recorrente a utilização de IA Gen em atividades decisórias ou de apoio, [13] sendo claramente capazes de influenciar a formação da convicção de forma silenciosa, criando uma aparência de correção e robustez argumentativa que não necessariamente corresponde a um processo deliberativo adequado. A decisão pode ser formalmente correta e, ainda assim, resultar de um ambiente cognitivamente enviesado. Isso tensiona diretamente garantias fundamentais como o devido processo, a imparcialidade e a autonomia decisória. [14]
Regular design, além da inteligência artificial
Diante desse cenário, a virada tecnológica impõe uma consequência normativa incontornável, que ao regular inteligência artificial é, necessariamente, essencial regular design. Não basta controlar resultados, supervisionar ou impor deveres de veracidade. É preciso intervir nos mecanismos que estruturam as interações, exigindo transparência sobre critérios de funcionamento, auditabilidade das arquiteturas de escolha, avaliação de impactos cognitivos e definição clara de responsabilidades pelos efeitos comportamentais induzidos. [15]
Em termos mais amplos, trata-se de reconhecer que o centro da normatividade contemporânea está parcialmente deslocado. O poder de regular comportamentos e decisões não se encontra apenas nas normas jurídicas, mas também nas estruturas sociotécnicas que organizam a experiência decisória. Se algoritmos operam como instituições e o design funciona como arquitetura normativa, a ausência de regulação nesse nível implica a consolidação de uma normatividade invisível não deliberada e potencialmente incompatível com o Estado democrático de Direito, vinda das empresas que fornecem os modelos ou as aplicações de IA.
A crença de que basta customizar sistemas de IA (por meio de RAG, fine tuning ou técnicas análogas) para torná-los compatíveis com as garantias do modelo constitucional de processo, apoiando-se em critérios frágeis de supervisão e governança, mostra-se insuficiente. Essas abordagens operam, em regra, no plano do conteúdo e da informação, mas não enfrentam a barreira e o limite estrutural das soluções baseadas apenas em ajuste de dados ou de respostas, na medida em que elas não neutralizam os efeitos cognitivos induzidos pelo design. Ao contrário, podem até reforçá-los, na medida em que sistemas mais “alinhados” ao usuário tendem a ser também mais engajadores.
Em síntese, customizar não é regular. Sem intervenção no design, especialmente nas arquiteturas de escolha, nos fluxos de interação e nos incentivos que orientam o comportamento dos sistemas, permanece intocado o elemento mais sensível, já enfrentado no contato com as redes sociais, qual seja, a capacidade dessas tecnologias de influenciar silenciosamente a cognição dos sujeitos processuais.
A regulação do design, portanto, não é um refinamento técnico, mas uma exigência estrutural da virada tecnológica, pois é nesse plano que se define, de maneira silenciosa, como pensamos, decidimos e julgamos.
[1] Cf. NUNES, Dierle. Intimidade artificial, manipulação algorítmica e seus riscos jurídicos. 2025. Aqui
[2] Um dos precursores dos estudos acerca da racionalidade limitada humana.
[3] SIMON, Herbert A.; NEWELL, Allen. Heuristic Problem Solving: The Next Advance in Operations Research. Operations Research, v. 6, n. 1, 1958.
[4] O processo deixa de ser compreendido apenas como estrutura normativa formal e passa a ser visto como um sistema, no qual decisões, comportamentos e resultados são condicionados por dados, interfaces e sistemas inteligentes. Trata-se de uma transformação macroestrutural que exige a integração entre Direito, tecnologia, psicologia comportamental e design, deslocando o eixo de análise para a forma como os ambientes decisórios são construídos. NUNES, Dierle. Virada tecnológica no direito processual: fusão de conhecimentos para geração de uma nova justiça centrada no ser humano. Revista de Processo, v. 344/2023, p. 403 – 429, Out / 2023. Aqui
[5] NUNES, Dierle; LUD, Natanael; PEDRON, Flávio. Desconfiando da imparcialidade dos sujeitos processuais um estudo sobre os vieses cognitivos, a mitigação de seus efeitos e o debiasing. Salvador: JusPodivm, 2018/2022. NUNES, Dierle; MARQUES, Ana Luiza. Inteligência artificial e direito processual: vieses algorítmicos e os riscos de atribuição de função decisória às máquinas. RePro. v. 285/2018, p. 421 – 447.
[6] NUNES, Dierle. Precisamos falar do treinamento para o uso de inteligência artificial no direito. Aqui
[7] MEINKE, Alexander; SCHOEN, Bronson; SCHEURER, Jérémy; BALESNI, Mikita; SHAH, Rusheb; HOBBHAHN, Marius. Frontier Models are Capable of In-context Scheming. Apollo Research, 2025. Aqui
[8] NUNES, Dierle. Decisões à cegas: como as IAs podem ser manipuladas sem você saber. Aqui NUNES, Dierle. Quando a IA ‘mente’ no tribunal: limitações matemáticas que ameaçam a Justiça. Aqui
[9] PEREIRA, João Sérgio; NUNES, Dierle. Inteligência Artificial no Judiciário: Diagnóstico, Governança e Futuro. Juspodivm, 2026. Aqui
[10] NAPOLI, Philip M. The Algorithm as Institution: Toward a Theoretical Framework for Automated Media Production and Consumption. New York: Fordham University, 2013. “The Algorithm as Institution: Toward a Theoretical Framework for Autom” by Philip M. Napoli
[11] “O estudo combinou duas estratégias: primeiro, comparou respostas de 11 sistemas de IA com julgamentos humanos em milhares de situações reais (como pedidos de conselho e conflitos), medindo o quanto a IA tende a validar o usuário; depois, realizou experimentos com mais de 2.400 participantes que interagiram com respostas “bajuladoras” ou críticas, tanto em cenários hipotéticos quanto em conflitos reais, para observar como isso afetava suas percepções e decisões” CHENG, Myra et al. Sycophantic AI decreases prosocial intentions and promotes dependence. Science, v. 391, 2026. Aqui CF. CORTIZ, Diogo. IA sempre muito bajuladora repete o erro das redes sociais, só que pior… – Veja mais aqui
[12] CHANDRA, Kartik et al. Sycophantic Chatbots Cause Delusional Spiraling, Even in Ideal Bayesians. MIT CSAIL, 2026. Aqui
[13] Cf. dados empíricos: FGV Justiça. Inteligência Artificial no Poder Judiciário Brasileiro – 4ª edição. Rio de Janeiro: FGV, 2025. Inteligência Artificial: Tecnologia aplicada à gestão de conflitos no âmbito do Poder Judiciário brasileiro – 4a edição | Justiça
[14] PEREIRA, João Sérgio; NUNES, Dierle. Inteligência Artificial no Judiciário: Diagnóstico, Governança e Futuro. Cit.
[15] MALONE, Hugo. Transparência e Processo Civil: o poder do design na era das plataformas de resolução de conflitos. Juspodivm, 2026 (no prelo)
Seja o primeiro a comentar.
Você precisa estar logado para enviar um comentário.
Fazer login