REGISTRO DOI: 10.70773/revistatopicos/775674733
RESUMO
A crescente adoção de sistemas de inteligência artificial (IA) por instituições estatais tem reconfigurado os mecanismos de gestão e controle social, suscitando questionamentos acerca de sua compatibilidade com os princípios do Estado Democrático de Direito. O presente artigo analisa os impactos da governamentalidade algorítmica sobre os direitos fundamentais, com ênfase na igualdade material, na soberania popular e no devido processo legal. A pesquisa adota abordagem qualitativa, de natureza teórico-dedutiva, com base em revisão bibliográfica interdisciplinar e análise documental de normas e diretrizes institucionais recentes. A partir das contribuições de Michel Foucault e Giorgio Agamben, examina-se de que modo os algoritmos, ao operarem com dados enviesados e estruturas opacas, podem viabilizar formas contemporâneas de exceção tecnocrática não submetidas ao controle democrático. O estudo articula análise teórica e prática institucional, incorporando a experiência do autor no Tribunal de Justiça do Estado do Ceará (TJCE), com base em documentos como o Plano Diretor de TIC 2025–2026, a Nota Técnica n. 10/2025 do CIJECE e a Resolução CNJ n. 615/2025. Conclui-se pela necessidade de construção de um marco constitucional da IA que assegure transparência, auditabilidade, controle democrático e responsabilização, bem como pela relevância da participação de operadores do Direito na formulação de políticas tecnológicas, a fim de evitar a consolidação de práticas decisórias automatizadas incompatíveis com a ordem constitucional.
Palavras-chave: Inteligência artificial. Governamentalidade algorítmica. Exceção digital. Controle Constitucional.
ABSTRACT
The increasing adoption of artificial intelligence (AI) systems by state institutions has reconfigured the mechanisms of management and social control, raising questions about their compatibility with the principles of the Democratic Rule of Law. This article analyzes the impacts of algorithmic governmentality on fundamental rights, with an emphasis on material equality, popular sovereignty, and due process of law. The research adopts a qualitative approach, of a theoretical-deductive nature, based on an interdisciplinary bibliographic review and documentary analysis of recent institutional norms and guidelines. Drawing on the contributions of Michel Foucault and Giorgio Agamben, it examines how algorithms, by operating with biased data and opaque structures, can enable contemporary forms of technocratic exception not subject to democratic control. The study articulates theoretical analysis and institutional practice, incorporating the author's experience at the Court of Justice of the State of Ceará (TJCE), based on documents such as the ICT Master Plan 2025–2026, Technical Note No. Based on CIJECE Resolution No. 10/2025 and CNJ Resolution No. 615/2025, it is concluded that there is a need to construct a constitutional framework for AI that ensures transparency, auditability, democratic control, and accountability, as well as the importance of the participation of legal professionals in the formulation of technological policies, in order to avoid the consolidation of automated decision-making practices incompatible with the constitutional order.
Keywords: Artificial intelligence. Algorithmic governmentality. Digital exception. Constitutional control.
1. INTRODUÇÃO
A crescente adoção de sistemas de inteligência artificial (IA) por agentes estatais em áreas como segurança pública, justiça criminal, administração tributária e formulação de políticas sociais suscita questões centrais sobre os limites constitucionais dessa prática.
A presente pesquisa investiga os riscos que a aplicação de algoritmos de IA representa para os direitos fundamentais, a igualdade e a soberania popular no Estado Democrático de Direito, considerando especialmente a hipótese de que tais sistemas, quando empregados sem controle democrático e transparência, podem configurar formas de exceção constitucional.
O objetivo principal é analisar, à luz da teoria constitucional, da filosofia política e da crítica à racionalidade tecnocrática, de que modo a governamentalidade algorítmica pode reproduzir e até intensificar desigualdades estruturais.
A pesquisa adota abordagem teórico-dedutiva e qualitativa, com base em revisão bibliográfica interdisciplinar que envolve autores como Michel Foucault, Noam Chomsky, Giorgio Agamben, Patrícia Peck Pinheiro, Sérgio Amadeu da Silveira, Rodrigo Ghiringhelli de Silveira, entre outros, bem como, normas e documentos institucionais recentes.
Parte-se da compreensão de que os algoritmos não são neutros: refletem os dados e os contextos sociais que os alimentam, podendo reforçar preconceitos históricos em vez de superá-los. A ausência de transparência, auditabilidade e controle social transforma esses sistemas em novas formas de poder opaco, dotadas de elevada legitimidade simbólica mas potencialmente incompatíveis com os princípios constitucionais da legalidade, publicidade, igualdade e soberania popular.
A originalidade da pesquisa reside, ainda, na incorporação de uma perspectiva empírica e institucional: como Analista Judiciário e Diretor de Secretaria/Gabinete na Unidade do Juizado Especial Cível e Criminal do Tribunal de Justiça do Estado do Ceará (TJCE), o autor acompanha diretamente a implementação de políticas de inovação tecnológica no sistema de justiça estadual.
Essa vivência permitiu a inclusão de uma análise específica das diretrizes adotadas pelo TJCE, discutidas na seção 4.3, com base em documentos como o Plano Diretor de Tecnologia da Informação (2025–2026) e a Nota Técnica n. 10/2025 do CIJECE, bem como da incorporação da Resolução CNJ n. 615/2025 como parâmetro normativo local.
Dessa forma, a presente investigação busca não apenas descrever os riscos constitucionais do uso estatal da IA, mas também propor diretrizes normativas ancoradas em experiências concretas de aplicação institucional, articulando teoria crítica e prática judicial.
2. METODOLOGIA
A presente pesquisa adota abordagem qualitativa, de natureza teórico-dedutiva, orientada para a análise crítica do uso da inteligência artificial pelo Estado, com foco nos seus impactos sobre os direitos fundamentais, especialmente a igualdade, a soberania popular e o devido processo legal.
No que se refere aos objetivos, trata-se de pesquisa exploratória e explicativa. É exploratória, na medida em que busca aprofundar a compreensão de fenômenos ainda em consolidação no campo jurídico, como a governamentalidade algorítmica e seus reflexos constitucionais. É explicativa, pois procura identificar relações entre o uso de sistemas de inteligência artificial e a potencial violação de princípios estruturantes do Estado Democrático de Direito.
No que se refere aos procedimentos técnicos, esta pesquisa é predominantemente bibliográfica e documental. A revisão bibliográfica foi realizada a partir de obras clássicas e contemporâneas da filosofia política, da teoria constitucional e do direito digital, com destaque para autores como Foucault, Agamben, Silveira, Pinheiro e Ferrari, cujas contribuições permitem a construção do referencial teórico adotado.
A pesquisa documental concentrou-se na análise de normas jurídicas, atos institucionais e documentos oficiais relacionados ao uso da inteligência artificial no setor público, especialmente no âmbito do Poder Judiciário. Foram examinados, entre outros, a Resolução n. 615/2025 do Conselho Nacional de Justiça, o Plano Diretor de Tecnologia da Informação e Comunicação 2025–2026 do Tribunal de Justiça do Estado do Ceará (TJCE) e a Nota Técnica n. 10/2025 do Centro de Inteligência da Justiça Estadual do Ceará (CIJECE).
Quanto ao universo da pesquisa, compreende o conjunto de práticas institucionais relacionadas à adoção de sistemas de inteligência artificial no âmbito da administração pública brasileira, com recorte específico na atuação do Poder Judiciário. A amostragem é intencional e qualitativa, concentrando-se em documentos normativos e experiências institucionais relevantes, especialmente aquelas desenvolvidas no âmbito do TJCE.
Os dados foram coletados por meio de levantamento bibliográfico e análise documental, sendo posteriormente organizados de forma temática, de acordo com os eixos estruturantes da pesquisa: governamentalidade algorítmica, reprodução de desigualdades, exceção digital e controle constitucional.
A análise dos dados foi realizada por meio de interpretação crítico-dialética, articulando os referenciais teóricos com os documentos institucionais examinados, de modo a identificar convergências, tensões e lacunas na regulação do uso estatal da inteligência artificial.
Além disso, a pesquisa incorpora uma dimensão empírica de caráter qualitativo, decorrente da experiência profissional do autor como Analista Judiciário e Diretor de Secretaria/Gabinete no âmbito do TJCE. Essa vivência institucional permitiu uma observação direta dos processos de implementação de tecnologias no sistema de justiça, contribuindo para a análise crítica das práticas adotadas e dos desafios enfrentados na operacionalização de soluções baseadas em inteligência artificial.
Dessa forma, a metodologia adotada possibilita não apenas a construção de um referencial teórico consistente, mas também a articulação entre teoria e prática institucional, conferindo maior densidade analítica às conclusões do estudo.
3. INTELIGÊNCIA ARTIFICIAL, ALGORITMOS E DESIGUALDADE ESTRUTURAL
A inserção da inteligência artificial (IA) nas estruturas do Estado tem redefinido profundamente os modos de governança, de produção normativa e de gestão das populações. Trata-se de uma mutação tecnopolítica em curso, que desloca a centralidade decisória dos agentes humanos para sistemas automatizados, muitas vezes opacos e de funcionamento inacessível ao controle social. Segundo a Recomendação da OCDE sobre inteligência artificial (2019), os sistemas de IA devem ser projetados para respeitar os direitos humanos, a democracia e o Estado de Direito. No entanto, a prática estatal tem demonstrado que tais princípios muitas vezes são negligenciados.
A IA não é um agente neutro: ela é construída sobre bases de dados e lógicas que refletem as assimetrias históricas e sociais. Conforme Patrícia Peck Pinheiro (2021), os sistemas algorítmicos se apoiam em dados massivos (big data) para identificar padrões, prever comportamentos e orientar decisões administrativas.
Todavia, quando essas bases de dados derivam de contextos marcados por racismo estrutural, desigualdade de gênero e seletividade penal, há um risco real de que os algoritmos se tornem máquinas de reprodução de injustiças.
Michel Foucault (2008a), ao tratar da governamentalidade, enfatiza que o poder moderno opera por meio de dispositivos de saber e técnica que administram a vida. A IA, nesse contexto, pode ser compreendida como uma nova forma de biopoder que incide sobre corpos e condutas por meio da gestão automatizada de informações. Tais dispositivos ampliam a capacidade de vigilância e controle social, como analisa Giorgio Agamben (2004) ao discutir a transição das formas democráticas para estados de exceção normalizados.
Segundo a análise de Sérgio Amadeu da Silveira (2019), vivemos sob a “era dos códigos invisíveis”, nos quais os algoritmos não apenas auxiliam decisões, mas se tornam instâncias autônomas de julgamento, influenciando trajetórias educacionais, acesso a serviços públicos e possibilidade de liberdade.
Esses mecanismos, frequentemente, escapam às garantias do contraditório e da transparência, dando origem ao que alguns autores têm caracterizado como uma forma contemporânea de exceção digital, conceito que pode ser interpretado à luz da teoria de Giorgio Agamben (2007), segundo a qual a exceção se torna a regra, permitindo a suspensão do direito sob pretextos de racionalidade ou segurança.
A discussão sobre desigualdade estrutural impõe, portanto, um olhar crítico sobre a implementação da IA pelo Estado. Ao ignorar os contextos sociais dos dados, ao ocultar suas lógicas decisórias e ao operar sem accountability, os sistemas algorítmicos ameaçam os fundamentos constitucionais da igualdade, da soberania popular e da dignidade da pessoa humana. Daí a necessidade de desenvolver marcos regulatórios que assegurem não apenas a eficiência, mas também a legitimidade democrática dessas tecnologias.
3.1. Conceitos Fundamentais: IA, Algoritmos, Machine Learning e Big Data
A inteligência artificial (IA) constitui um campo interdisciplinar da ciência da computação que visa ao desenvolvimento de sistemas capazes de realizar tarefas que, tradicionalmente, requerem inteligência humana, como raciocinar, aprender, reconhecer padrões, compreender linguagem natural e tomar decisões.
Segundo a Organização para a Cooperação e Desenvolvimento Econômico (OCDE, 2019), os sistemas de IA são projetados para operar com certo grau de autonomia, processando informações e produzindo resultados conforme objetivos previamente definidos.
Dentre os métodos mais recorrentes, destacam-se as técnicas de machine learning, que consistem em algoritmos capazes de aprender com grandes volumes de dados, ajustando seus parâmetros internos a partir de exemplos, sem a necessidade de programação explícita para cada situação (Pinheiro, 2021).
O machine learning possibilita que os sistemas de inteligência artificial aprendam com dados históricos, identificando padrões complexos, estabelecendo correlações e realizando previsões sem depender de intervenção humana direta em todas as etapas decisórias, conforme aponta Patrícia Peck Pinheiro (2021, p. 68).
Essa capacidade de autoajuste técnico amplia consideravelmente o uso da IA em ambientes dinâmicos, como o sistema de justiça, a segurança pública, o crédito, a saúde e a tributação, nos quais as decisões devem ser rápidas e orientadas por dados.
Os algoritmos consistem em conjuntos estruturados de instruções lógicas e matemáticas, capazes de organizar, processar e transformar dados em decisões automatizadas. Quando empregados por instituições estatais, tornam-se instrumentos de poder ao operacionalizar decisões sobre alocação de recursos, concessão de benefícios, monitoramento populacional e até mesmo sentenças judiciais. Pinheiro (2021) observa que os algoritmos passaram a ocupar um papel central na tomada de decisões públicas, funcionando como o novo locus da ação estatal no contexto digital.
O conceito de big data refere-se à coleta, armazenamento e análise de volumes massivos e heterogêneos de dados, em velocidades e variedade que ultrapassam os métodos tradicionais de processamento. É a base sobre a qual operam as técnicas de IA. No entanto, o que se apresenta como potencial de eficiência pode também se transformar em mecanismo de dominação, conforme alerta Foucault (2008a), ao vincular o saber estatístico ao exercício do poder na modernidade.
Em síntese, a IA, os algoritmos e o big data formam um ecossistema sociotécnico cuja adoção pelo Estado deve ser regulada e problematizada juridicamente, uma vez que seus efeitos extrapolam o campo técnico, interferindo diretamente na distribuição de direitos e na configuração do pacto democrático.
3.2. A Reprodução Algorítmica de Vieses: Dados Enviesados e Discriminação Estrutural
A crença na neutralidade tecnológica é um dos pilares retóricos mais recorrentes na legitimação do uso de sistemas de inteligência artificial. Contudo, essa visão desconsidera que os algoritmos são treinados com dados oriundos de realidades sociais marcadas por desigualdades profundas e persistentes.
Como afirmam Kremer, Nunes e Lima (2023), os sistemas algorítmicos atuam como espelhos que não apenas refletem, mas potencialmente amplificam as hierarquias e opressões historicamente enraizadas, como o racismo estrutural, o sexismo e a exclusão socioeconômica.
Essa reprodução se dá de forma técnica e silenciosa: os algoritmos de machine learning aprendem a partir de correlações estatísticas extraídas de grandes bases de dados, mas sem qualquer consideração sobre a historicidade, os contextos sociais ou os critérios normativos que estruturam essas informações.
Segundo Kremer, Nunes e Lima (2023), quando os dados utilizados derivam de fontes institucionalmente enviesadas, como registros policiais, decisões judiciais seletivas ou indicadores socioeconômicos atravessados por discriminações. Os sistemas automatizam e amplificam desigualdades históricas sob a aparência de neutralidade técnica.
Nesses casos, o viés algorítmico não deve ser interpretado como falha pontual do sistema, mas como uma consequência estrutural da ausência de filtros éticos, jurídicos e constitucionais no tratamento dos dados e na modelagem dos sistemas de IA.
De acordo com Ferrari (2023), essa reprodução automatizada da desigualdade compromete os princípios da isonomia e da dignidade humana, ao transformar padrões discriminatórios passados em justificativas operacionais futuras.
Isabela Ferrari aponta que, no contexto brasileiro, a adoção de tecnologias algorítmicas no Judiciário, como ferramentas de triagem de processos ou análise preditiva de reincidência, tem reforçado práticas seletivas, que recaem com maior intensidade sobre sujeitos negros e periféricos. A autora sustenta que, ao automatizar decisões com base em dados historicamente contaminados por discriminação institucional, o judiciário arrisca legitimar, sob o véu da eficiência, injustiças estruturais (Ferrari, 2023)
Um exemplo concreto dessa lógica é o uso de reconhecimento facial em políticas de segurança pública. Estudos internacionais demonstram que esses sistemas apresentam taxas significativamente mais altas de erro na identificação de pessoas negras e mulheres (Kremer; Nunes; Lima, 2023).
No Brasil, têm sido registrados diversos casos de prisões equivocadas decorrentes de reconhecimentos visuais falhos, notadamente por meio de sistemas de reconhecimento facial utilizados por forças policiais.
Essas falhas atingem desproporcionalmente cidadãos negros, detidos sem qualquer outro elemento probatório além de uma identificação automatizada incorreta. Estudos reunidos por Kremer, Nunes e Lima (2023) revelam que tais sistemas operam com taxas significativamente mais elevadas de erro na identificação de pessoas negras, reproduzindo seletividades já presentes no aparato penal brasileiro.
A ausência de transparência nos critérios de funcionamento desses algoritmos, frequentemente protegidos por segredo comercial ou por opacidade técnica, agrava o problema, dificultando a contestação judicial e inviabilizando o pleno exercício do contraditório e da ampla defesa, conforme alerta Ferrari (2023).
Além disso, a lógica algorítmica tende a consolidar uma racionalidade tecnocrática de governo, na qual decisões políticas e jurídicas são delegadas a sistemas que operam com base na correlação, e não na causalidade ou nos princípios do devido processo legal. Conforme argumenta Silveira (2019), essa substituição da mediação institucional pelo cálculo estatístico transforma o algoritmo em uma instância performativa de poder, capaz de modular condutas e definir trajetórias sociais com base em padrões históricos de exclusão.
Dessa forma, a reprodução algorítmica de vieses deve ser compreendida não apenas como uma falha técnica, mas como uma ameaça constitucional à igualdade, à dignidade da pessoa humana e à soberania popular. O uso de dados enviesados em decisões automatizadas compromete os fundamentos do Estado Democrático de Direito e exige uma resposta institucional robusta, que compreenda a IA não como ferramenta neutra, mas como prática de poder que deve se submeter aos princípios constitucionais.
3.3. O Risco à Igualdade Material e aos Direitos Fundamentais
No Estado Democrático de Direito instituído pela Constituição Federal de 1988, a igualdade é concebida como princípio estruturante e valor fundante da ordem jurídica (art. 1º, III; art. 3º, I e III; art. 5º, caput).
Mais do que uma simples isonomia formal, a igualdade constitucional exige a promoção de condições materiais que permitam a indivíduos e grupos historicamente marginalizados usufruírem de seus direitos em bases reais de justiça. Nesse sentido, a atuação estatal deve ser orientada por uma perspectiva emancipatória, atenta às dinâmicas de exclusão e opressão. No entanto, a adoção de sistemas algorítmicos em decisões públicas, sem mecanismos de controle substantivo, ameaça inverter essa lógica, ao reforçar as desigualdades que o texto constitucional se compromete a combater.
A implementação de IA em políticas públicas e na administração da justiça — como no uso de sistemas de pontuação de risco, triagem processual ou reconhecimento facial, implica decisões que afetam diretamente os direitos fundamentais à liberdade, à igualdade, à privacidade, ao devido processo legal e à não discriminação.
Patrícia Peck destaca que esses sistemas, quando utilizados sem transparência, auditabilidade e respeito à autodeterminação informacional, colidem frontalmente com o princípio da legalidade e a exigência de publicidade dos atos administrativos (Pinheiro, 2021).
O risco é ainda mais grave quando se considera a lógica de opacidade técnica que rege o funcionamento de muitos algoritmos. As chamadas 'caixas-pretas' algorítmicas, cuja lógica interna é inacessível até mesmo aos seus desenvolvedores, tornam praticamente inviável a contestação de decisões automatizadas, violando os postulados do contraditório e da ampla defesa (art. 5º, incisos LIV e LV, CF/88).
Nesse cenário, indivíduos afetados por decisões de máquinas são privados não apenas de seus direitos, mas também da possibilidade de saber como e por que tais decisões foram tomadas.
Sérgio Amadeu da Silveira denuncia a emergência de uma nova forma de dominação: a do poder algorítmico, operado por sistemas que classificam, ordenam e disciplinam corpos e condutas com base em padrões estatísticos. Na visão desse autor, o algoritmo torna-se uma instância de governo que substitui o julgamento jurídico por métricas probabilísticas, desumanizando a administração pública e promovendo uma “colonização digital” dos espaços de deliberação democrática (Silveira, 2019).
O campo da justiça criminal é particularmente sensível a esse fenômeno. Rodrigo Ghiringhelli de Silveira observa que a seletividade penal, historicamente dirigida contra jovens negros e periféricos, tende a ser reforçada, e não corrigida, pelos modelos preditivos que informam políticas de policiamento e sentenciamento (Silveira, 2022). Trata-se de uma racionalidade tecnocrática que, sob o discurso da eficiência, oculta decisões essencialmente políticas e profundamente discriminatórias.
Nesse contexto, o uso acrítico da IA pelo Estado configura uma afronta direta à igualdade material e aos direitos fundamentais. Observa-se a emergência de um fenômeno que pode ser compreendido como uma forma de “estado de exceção digital”, em que o ordenamento jurídico é progressivamente deslocado por uma lógica de governança algorítmica.
Inspirada na concepção de Agamben (2004) sobre a exceção como paradigma normal de governo, essa configuração revela a suspensão prática de garantias constitucionais por meio de decisões automatizadas e opacas, não submetidas à deliberação democrática. A exceção, nesse caso, não se dá pela suspensão formal da norma, mas por sua substituição silenciosa por mecanismos técnicos que operam fora da esfera da soberania popular.
A defesa da Constituição exige, portanto, que se reconheça a dimensão política da IA e a urgência de sua regulação democrática. O princípio da igualdade, assim como a dignidade da pessoa humana, a legalidade e a soberania popular, impõem limites materiais e processuais à ação estatal, inclusive quando mediada por tecnologias. Sem esse reconhecimento, a promessa constitucional de justiça transforma-se em mera retórica, subjugada aos imperativos da eficiência algorítmica e à reprodução silenciosa das desigualdades.
4. GOVERNAMENTALIDADE ALGORÍTMICA E O NOVO PARADIGMA DO PODER
A implantação de sistemas de inteligência artificial por agentes estatais tem reconfigurado os dispositivos de gestão e controle social, dando origem ao que alguns autores denominam de “governamentalidade algorítmica”.
Essa forma contemporânea de governança tecnológica articula saber técnico, poder administrativo e grandes volumes de dados digitais para intervir sobre os corpos e as condutas da população, deslocando o centro decisório da esfera política para sistemas automatizados, opacos e não deliberativos (Foucault, 2008a; Silveira 2019).
Legitimados pelo discurso da eficiência, da previsibilidade e da objetividade técnica, tais sistemas ocultam sua dimensão política e suas consequências sociais, reproduzindo padrões discriminatórios que refletem as desigualdades estruturais históricas presentes nas bases de dados que os alimentam (Kremer; Nunes; Lima, 2023).
A racionalidade algorítmica, longe de ser neutra, torna-se assim um mecanismo de modulação das condutas sociais, reforçando processos de exclusão e restrição de direitos sob a aparência de neutralidade tecnológica.
Essa forma de governo algorítmico corresponde a um novo paradigma de poder, no qual os algoritmos não apenas regulam comportamentos individuais, mas também definem políticas públicas, estruturam decisões judiciais e modulam a relação entre Estado e cidadania. Pinheiro (2021) destaca que a governança baseada em IA tende a “automatizar assimetrias” se não for acompanhada de mecanismos de accountability e transparência.
Duas abordagens teóricas fundamentais ajudam a compreender esse fenômeno em profundidade: a noção de governamentalidade, desenvolvida por Michel Foucault, e a concepção de estado de exceção, formulada por Giorgio Agamben. Em diálogo, essas abordagens revelam como o uso de IA pelo Estado pode produzir uma forma tecnocrática de exceção permanente, com profundas implicações constitucionais.
4.1. Michel Foucault e a Noção de Governamentalidade
Michel Foucault, em suas aulas no Collège de France, especialmente nas obras Segurança, Território, População e Nascimento da Biopolítica (2008a; 2008b), desenvolve a noção de governamentalidade como um conjunto de práticas e racionalidades que visam à condução da conduta dos indivíduos e das populações. Trata-se de um poder que se exerce menos pela repressão direta e mais por dispositivos de gestão, previsão e controle – característica central das tecnologias digitais contemporâneas, como os algoritmos de inteligência artificial.
Nesse modelo, o Estado não é apenas uma instância de soberania, mas uma máquina de governo que administra a vida de forma contínua, classificando, quantificando e intervindo por meio de rankings, perfis de risco e sistemas de recomendação. A inteligência artificial, nesse contexto, opera como tecnologia de governo da vida: ela antecipa comportamentos, calcula probabilidades e orienta decisões com base em dados históricos.
Como discutem Kremer, Nunes e Lima (2023), esses dados frequentemente carregam marcas de desigualdades estruturais, produzindo efeitos discriminatórios sob a aparência de neutralidade técnica.
Essa lógica de administração algorítmica das condutas se alinha à concepção foucaultiana de biopolítica, ou seja, a administração estratégica da vida pelas instâncias do poder, agora atualizada pelo uso intensivo de operações algorítmicas de extração, correlação e normalização de dados.
Silveira (2019) observa que os algoritmos funcionam como “códigos invisíveis”, capazes de definir trajetórias e oportunidades sem o conhecimento ou consentimento dos indivíduos afetados, criando zonas de opacidade e de suspensão da responsabilização.
Nesse cenário, o debate entre Noam Chomsky e Michel Foucault, registrado na obra Natureza humana – Justiça vs Poder (Chomsky; Foucault, 2022), assume especial relevância. Enquanto Chomsky defende uma ideia universalista de justiça fundada na racionalidade humana e em princípios morais invariantes, Foucault propõe uma crítica genealógica do poder, recusando noções abstratas de natureza humana ou de justiça transcendental. Para Foucault, o poder é imanente às relações sociais e se manifesta nos saberes, instituições e práticas que produzem os sujeitos e organizam o mundo.
No contexto da governamentalidade algorítmica, esse embate teórico adquire densidade analítica. Os sistemas de IA, com sua aparência técnica e imparcial, ocultam decisões normativas e operam como dispositivos de poder que organizam os campos do possível e do impossível, do visível e do invisível, do governável e do descartável. A crítica foucaultiana permite, assim, desnaturalizar o discurso tecnocrático que legitima esses sistemas e evidenciar suas implicações políticas, jurídicas e existenciais.
A governamentalidade algorítmica, portanto, não representa apenas um avanço tecnológico, mas uma mutação nas formas de exercício do poder, que se torna mais silencioso, automatizado e difícil de contestar. A compreensão crítica dessa nova racionalidade política exige uma articulação entre filosofia, tecnologia e direito, capaz de revelar os efeitos materiais e simbólicos da IA na produção das desigualdades e na reorganização dos regimes de verdade no espaço democrático.
4.2. Giorgio Agamben: o Estado de Exceção Como Paradigma de Governo
Giorgio Agamben, em sua obra Estado de Exceção (2004), retoma criticamente a teoria política ocidental para demonstrar que a exceção, historicamente tratada como fenômeno extraordinário, converteu-se em um elemento estrutural das democracias contemporâneas. No lugar da normatividade estável, observa-se a emergência de um paradigma de governo baseado na indistinção entre norma e exceção, legalidade e ilegalidade, ordem e suspensão da ordem. A exceção deixa de ser uma resposta temporária à crise para se tornar uma técnica permanente de governo.
No campo da soberania, isso significa que o poder estatal exerce sua autoridade não mais apenas dentro dos marcos legais, mas por meio da suspensão estratégica das garantias jurídicas em nome da segurança, da urgência ou da eficiência. O soberano, segundo Agamben, é “aquele que decide sobre o estado de exceção” – e essa decisão, ao produzir uma zona de indiferença jurídica, transforma o sujeito em homo sacer: alguém cuja vida pode ser exposta à violência sem que isso configure homicídio, pois já não pertence plenamente à ordem do direito (Agamben, 2007).
No contexto da governança algorítmica, os sistemas de inteligência artificial se apresentam como dispositivos técnicos que encarnam, de forma automatizada, essa lógica da exceção. Não se trata de uma suspensão formal da Constituição, mas de uma reorganização da legalidade por meio de parâmetros técnicos que operam fora do controle democrático e que não são submetidos ao contraditório.
Isabela Ferrari alerta que os algoritmos aplicados em decisões judiciais, investigações policiais ou políticas públicas são capazes de classificar, punir e excluir sem que o indivíduo tenha acesso aos critérios utilizados, nem a possibilidade efetiva de contestá-los (Ferrari, 2023)
O caráter excepcional desses sistemas não reside na ausência de regulação, mas na sua opacidade e incontrolabilidade. O algoritmo, ao operar com dados históricos enviesados e sem transparência nos critérios de decisão, institui uma forma de decisão soberana que se oculta sob a linguagem técnica. Agamben (2004) destaca que a exceção moderna não suprime o direito, mas cria um espaço em que ele se aplica e se suspende simultaneamente – uma “zona de anomia controlada”.
O uso de sistemas de reconhecimento facial em espaços urbanos materializa uma forma tecnopolítica de governança que escapa aos mecanismos tradicionais de controle democrático. Indivíduos são constantemente monitorados, identificados e classificados por tecnologias cuja adoção não passou por deliberação pública e que tampouco oferecem mecanismos efetivos de contestação em caso de erro.
Casos amplamente documentados de prisões equivocadas, sobretudo de pessoas negras, revelam que tais sistemas não corrigem desigualdades, mas as automatizam e legitimam sob a aparência de neutralidade (Kremer; Nunes; Lima, 2023; Ferrari, 2023).
Nesse contexto, a inteligência artificial opera como um “dispositivo de captura”, expressão que evoca a lógica foucaultiana de dispositivos de poder que moldam sujeitos e práticas (Foucault, 2008a). O que se presencia é a consolidação de uma exceção técnica: um exercício de soberania algorítmica em que as garantias constitucionais são suspensas não por norma explícita, mas por meio de protocolos computacionais, opacos e irrecorríveis.
Assim, a exceção digital, compreendida à luz de Agamben, é a atualização algorítmica de um poder que se exerce sobre a vida nua, transformando o cidadão em dado, o processo em cálculo e a decisão política em predição. A urgência do enfrentamento jurídico a essa nova forma de poder reside no fato de que ela não se anuncia como autoritária, mas como eficaz – e, por isso mesmo, mais perigosa.
4.3. Algoritmos Como Dispositivos de Exceção Digital: Entre Vigilância, Controle e Exclusão
A fusão entre a governamentalidade algorítmica e a lógica da exceção, conforme analisadas nas seções anteriores, materializa-se naquilo que se pode denominar dispositivos de exceção digital. Trata-se de sistemas técnico-jurídicos em que os algoritmos passam a operar como instâncias de decisão soberana, invisíveis, despolitizadas e não passíveis de responsabilização, impactando diretamente os direitos fundamentais, sobretudo daqueles que já se encontram em situação de vulnerabilidade estrutural.
Esses dispositivos se manifestam, por exemplo, nos sistemas de reconhecimento facial utilizados pela polícia, que operam sob a lógica da vigilância preditiva. Como mostram estudos empíricos conduzidos por Kremer, Nunes e Lima (2023), tais sistemas apresentam falhas sistemáticas ao identificar pessoas negras, o que tem levado à prisão de inocentes com base em falsos positivos gerados por modelos enviesados. Essa falibilidade não decorre de erro ocasional, mas da reprodução, em linguagem algorítmica, de estruturas sociais racistas historicamente consolidadas.
Nesse cenário, a exceção digital não é decretada formalmente, ela é praticada de modo difuso, automatizado e contínuo. A legalidade é substituída pela verossimilhança estatística e o princípio da presunção de inocência é dissolvido na lógica da predição. Conforme argumenta Ferrari (2023), o uso estatal de algoritmos sem transparência, sem possibilidade de auditoria e sem controles democráticos transforma o devido processo legal em uma ficção, ao submeter o cidadão a decisões opacas e inapeláveis, nas quais não é possível conhecer a motivação, o autor, ou sequer os dados utilizados.
Para Agamben (2004), a exceção é o lugar onde o direito é suspenso, mas continua operando. Da mesma forma, os dispositivos de IA em contexto estatal mantêm a aparência de legalidade e modernização, mas promovem a suspensão prática de garantias fundamentais.
Silveira (2019) observa que a tecnologia algorítmica, ao ser naturalizada como “neutra” e “eficiente”, tende a se infiltrar nas práticas institucionais com grande legitimidade simbólica, sem que sejam submetidas à crítica constitucional. A invisibilidade do algoritmo é, portanto, também a invisibilidade da exceção.
Esse novo paradigma de poder é tecnopolítico: ao invés da imposição direta da violência estatal, há a naturalização da vigilância e da exclusão por meio de automatismos, o que Silveira (2019) denomina de “códigos invisíveis” que modulam condutas e decisões públicas.
Os algoritmos determinam, por exemplo, quem deve ser monitorado, quem merece crédito, quem deve ser investigado, quem terá acesso a direitos e quem será excluído. Essa forma de poder, ao operar por lógicas estatísticas e preditivas, disfarça seu viés político sob a aparência de objetividade técnica.
A seletividade penal, historicamente dirigida contra determinados grupos sociais, agora é reforçada por uma seletividade maquínica, uma racionalidade algorítmica que transforma desigualdades históricas em decisões supostamente neutras (Silveira, 2022; Ferrari, 2023). Trata-se, como indicam Kremer, Nunes e Lima (2023), de uma governança automatizada da exclusão, na qual o critério de justiça cede lugar à verossimilhança estatística e à eficiência operacional.
Rodrigo Ghiringhelli de Silveira adverte que o perigo reside justamente na legitimação da punição seletiva por meio da técnica, reforçando a seletividade estrutural do sistema penal sob a aparência de inovação tecnológica. A ausência de contraditório, a impossibilidade de revisão e a falta de accountability transformam o algoritmo em um novo soberano que, paradoxalmente, não decide, mas calcula – e, ainda assim, impõe consequências reais à vida dos indivíduos (Silveira, 2022).
É nesse sentido que se deve falar de exceção digital como prática institucionalizada. Ela representa a confluência entre o poder disciplinar e o poder soberano, entre o cálculo técnico e a suspensão do direito. O cidadão se vê desprovido de ferramentas jurídicas eficazes para se proteger diante de decisões baseadas em parâmetros que sequer conhece, o que desafia diretamente os fundamentos do Estado Democrático de Direito e impõe a necessidade de reconstrução crítica das categorias constitucionais diante da tecnopolítica.
5. CONTROLE CONSTITUCIONAL E LIMITES AO USO ESTATAL DA INTELIGÊNCIA ARTIFICIAL
O avanço da inteligência artificial no âmbito da administração pública brasileira exige uma reflexão crítica sobre os marcos jurídicos que orientam e limitam sua adoção por agentes estatais. Embora os algoritmos sejam frequentemente associados à ideia de eficiência e inovação, seu uso desregulado pode comprometer garantias fundamentais, desfigurar princípios constitucionais e gerar práticas de exceção digital sob a aparência de neutralidade técnica.
Nesse contexto, torna-se fundamental investigar quais são os parâmetros normativos e institucionais que o ordenamento jurídico brasileiro oferece para a contenção dos potenciais abusos decorrentes da governamentalidade algorítmica. A Constituição Federal de 1988, ao fundar um Estado Democrático de Direito orientado pela dignidade da pessoa humana, pela igualdade e pela soberania popular (CF, art. 1º), estabelece limites claros ao exercício do poder, inclusive quando este é mediado por tecnologias.
Para Sérgio Amadeu da Silveira, o poder computacional, quando apropriado por instituições públicas sem transparência ou accountability, tende a funcionar como uma forma tecnocrática de dominação, obscurecendo a origem das decisões e impedindo o controle social. A lógica algorítmica, se não for submetida aos marcos constitucionais, transforma-se em um novo vetor de arbitrariedade, deslocando a arena decisória para espaços opacos e inaccessíveis à cidadania (Silveira, 2019).
A ausência de regulamentação adequada, a dificuldade de auditabilidade dos sistemas e a concentração de decisões técnicas em setores despolitizados evidenciam a necessidade urgente de um controle constitucional robusto e multifacetado.
Esse controle deve articular não apenas os princípios estruturantes do direito constitucional brasileiro, mas também a atuação coordenada de instituições como o Supremo Tribunal Federal (STF), o Conselho Nacional de Justiça (CNJ) e o Tribunal de Contas da União (TCU), bem como diretrizes normativas como o Projeto de Lei n.º 2.338/2023 e os parâmetros estabelecidos pela OCDE e pela União Europeia para o uso ético e responsável da IA.
Com esse pano de fundo, esta seção busca analisar os limites constitucionais à utilização de IA pelo Estado, partindo dos princípios da legalidade, igualdade, publicidade e soberania popular, para, em seguida, discutir o papel das instituições de controle e propor diretrizes para a construção de um marco jurídico-democrático para o uso legítimo da inteligência artificial na administração pública.
Além da análise normativa e institucional em nível nacional, este capítulo incorpora também a experiência prática do Tribunal de Justiça do Estado do Ceará (TJCE), ilustrando como diretrizes de governança algorítmica podem ser operacionalizadas e fiscalizadas no âmbito da justiça estadual.
5.1. Princípios Constitucionais: Igualdade, Legalidade, Publicidade, Soberania Popular
O controle constitucional do uso de tecnologias baseadas em inteligência artificial pelo Estado deve ser orientado por princípios estruturantes do Estado Democrático de Direito, entre os quais se destacam a legalidade, a igualdade, a publicidade dos atos públicos e a soberania popular. Esses princípios funcionam como balizas normativas que delimitam o campo legítimo de atuação estatal, especialmente diante de inovações tecnológicas que envolvem riscos à autonomia individual e aos direitos fundamentais.
Inspirando-se nas reflexões de Ferrari (2023), pode-se afirmar que legalidade, nesse contexto, não se reduz a uma exigência formal. Ela implica a necessidade de que qualquer sistema de decisão automatizada adotado por instituições públicas esteja respaldado por normas específicas, elaboradas em processo legislativo democrático e dotadas de clareza quanto à finalidade, escopo e limites da tecnologia utilizada.
A ausência de fundamento legal ou a adoção de algoritmos sem regulamentação normativa compromete a previsibilidade jurídica e a segurança dos cidadãos, elementos essenciais à legitimidade do exercício do poder estatal.
O princípio da igualdade impõe ao Estado não apenas a proibição de discriminações explícitas, mas também o dever de corrigir desigualdades históricas e estruturais. A adoção de sistemas algorítmicos treinados com dados enviesados, que reproduzem padrões discriminatórios , representa violação a essa exigência constitucional.
Kremer, Nunes e Lima (2023) chamam atenção para o fato de que s dados alimentam os algoritmos com recortes de uma realidade social marcada pelo racismo, pela desigualdade socioeconômica e pela seletividade penal, o que torna imprescindível a implementação de mecanismos de mitigação desses efeitos antes da adoção de sistemas automatizados.
Com base nas reflexões de Pinheiro (2021), é possível sustenta que a publicidade dos atos administrativos, por sua vez, exige que as decisões estatais sejam compreensíveis e passíveis de fiscalização social. Os sistemas de IA utilizados pelo poder público devem ser auditáveis, explicáveis e acessíveis a mecanismos de controle externo e interno.
A opacidade algorítmica, isto é, a incapacidade de compreender ou questionar as decisões tomadas por sistemas automatizados , subverte esse princípio e impossibilita o exercício de direitos como o contraditório e a ampla defesa (Pinheiro, 2021).
Por fim, a soberania popular demanda que as decisões públicas estejam sujeitas à deliberação democrática e ao escrutínio da cidadania. A substituição de escolhas políticas por processos técnicos automatizados, sem participação pública ou controle institucional, representa um esvaziamento do papel político dos cidadãos e ameaça a legitimidade das decisões estatais.
Para Silveira (2019) a concentração do poder decisório em sistemas algorítmicos desloca o eixo da política para uma racionalidade técnica, desprovida de responsabilidade democrática e sensibilidade aos direitos fundamentais.
Portanto, o uso de inteligência artificial pelo Estado deve ser submetido, desde sua concepção até sua aplicação, a uma rigorosa filtragem constitucional. A aderência a esses princípios não é um obstáculo ao desenvolvimento tecnológico, mas uma condição necessária para garantir que a inovação sirva à democracia e não se transforme em instrumento de exceção u de opressão institucionalizada.
5.2. O Papel do STF, CNJ e TCU na Fiscalização do Uso Estatal de Inteligência Artificial
A atuação das instituições de controle e fiscalização é imprescindível para assegurar a conformidade constitucional da adoção de tecnologias digitais pelo Estado. No contexto brasileiro, o Supremo Tribunal Federal (STF), o Conselho Nacional de Justiça (CNJ) e o Tribunal de Contas da União (TCU) ocupam papéis estratégicos na proteção dos direitos fundamentais frente aos riscos associados à governamentalidade algorítmica.
O STF, enquanto guardião da Constituição, é chamado a interpretar os limites constitucionais do uso de inteligência artificial por entes públicos, especialmente em matéria de proteção de dados, devido processo legal e não discriminação.
Embora a jurisprudência ainda esteja em fase inicial nesse campo, decisões como a que suspendeu os efeitos da Medida Provisória 954/2020, posteriormente tornada definitiva no julgamento de mérito da ADI 6387/DF, evidenciam a preocupação da Corte com a proteção da privacidade e o controle do poder estatal sobre os dados (Brasil, 2020)
A medida previa o compartilhamento, sem consentimento, de dados de usuários com o IBGE durante a pandemia, o que foi considerado inconstitucional por violar o direito fundamental à autodeterminação informativa. Esse precedente consolida um marco relevante sobre a necessidade de ponderação entre o interesse público e os direitos fundamentais na era digital, afirmando a privacidade como limite material ao exercício do poder estatal em contextos de exceção.
No âmbito administrativo, o Conselho Nacional de Justiça tem promovido iniciativas normativas voltadas à regulação do uso da inteligência artificial no Poder Judiciário. A Resolução CNJ n. 332/2020, atualizada pela Resolução CNJ n. 615/2025, estabelece diretrizes para o desenvolvimento, contratação e uso de soluções de IA no sistema de justiça, reforçando princípios como transparência, explicabilidade, rastreabilidade, não discriminação e respeito aos direitos fundamentais (Brasil, 2025).
A nova redação amplia as exigências de governança e controle sobre os sistemas automatizados, especialmente no que tange ao monitoramento de riscos e à preservação das garantias do devido processo legal. Esse marco normativo representa um avanço significativo na institucionalização de parâmetros para o uso ético, responsável e constitucional da IA, ao reafirmar que essas tecnologias não podem comprometer os pilares do contraditório, da ampla defesa e da imparcialidade judicial (Brasil, 2025).
Já o Tribunal de Contas da União (TCU), como órgão de controle externo da administração pública, possui competência constitucional para fiscalizar o uso de recursos públicos em projetos de tecnologia e inteligência artificial (art. 71, II e IV, da CF/1988).
O TCU tem conduzido auditorias sobre sistemas automatizados adotados por órgãos federais, como no Acórdão n. 1139/2022 – Plenário, que determinou a criação de um referencial metodológico do TCU para auditoria de aplicações e algoritmos de inteligência artificial e no Acórdão n. 616/2024 – Plenário, que identificou nove riscos para uso da IA, como “Viés e discriminação de pessoas” e “Violação de privacidade” e recomendou regulamentação ágil e balanceada, com monitoramento e gestão de riscos (Brasil, 2022; Brasil, 2024).
A atuação do TCU, nesse contexto, é essencial para evitar a terceirização irresponsável de funções públicas a sistemas opacos e de difícil escrutínio social, que podem comprometer a accountability democrática e os direitos fundamentais dos cidadãos.
Essas três instituições, cada uma em sua esfera, são fundamentais para assegurar que a adoção de IA pelo Estado não resulte em abusos de poder, discriminação sistêmica ou apagamento dos mecanismos democráticos de controle. É imprescindível que avancem na construção de uma jurisprudência e de normas administrativas que estabeleçam limites claros e salvaguardas robustas frente ao avanço tecnológico.
Tais diretrizes nacionais encontram, nos tribunais estaduais, desdobramentos que precisam ser observados à luz da realidade local, como demonstra o caso do TJCE, tratado na seção seguinte.
5.3. O Uso da Inteligência Artificial no TJCE: Práticas, Desafios e Controle Democrático
A aplicação de sistemas de inteligência artificial no âmbito do Poder Judiciário brasileiro tem se intensificado nos últimos anos, acompanhando diretrizes estabelecidas pelo Conselho Nacional de Justiça (CNJ) para a inovação tecnológica com respeito aos direitos fundamentais.
No caso do Tribunal de Justiça do Estado do Ceará (TJCE), esse processo adquire contornos particularmente relevantes, não apenas pelo papel institucional do tribunal na gestão da justiça estadual, mas também pela experiência prática do autor deste artigo, que atua como Analista Judiciário na área judiciária e exerce o cargo de Diretor de Secretaria/Gabinete na Unidade do Juizado Especial Cível e Criminal da comarca de Crateús.
A experiência cotidiana na condução das atividades administrativas e processuais dessa unidade permite observar diretamente os impactos e as potencialidades da adoção de ferramentas algorítmicas no sistema de justiça.
O TJCE tem sinalizado compromisso com o uso ético e responsável da IA, conforme previsto no Plano Diretor de Tecnologia da Informação e Comunicação 2025–2026, que reconhece a importância de garantir transparência, rastreabilidade e mitigação de vieses na aplicação de soluções inteligentes. O plano destaca, entre suas diretrizes, a necessidade de assegurar que os sistemas de IA respeitem os princípios constitucionais da legalidade, igualdade e eficiência administrativa, sem comprometer direitos fundamentais (Ceará, 2025a).
A Resolução n. 615/2025 do CNJ, que dispõe sobre a governança, uso e fiscalização da inteligência artificial no Poder Judiciário, foi incorporada como marco orientador pelo TJCE, que vem implementando ações alinhadas aos seus comandos, como a adoção de critérios objetivos de validação, o desenvolvimento de soluções auditáveis e a institucionalização de comitês de supervisão interinstitucionais.
Nesse contexto, destaca-se a atuação do Centro de Inteligência da Justiça Estadual do Ceará (CIJECE), que em sua Nota Técnica n. 10/2025 recomenda expressamente a atenção aos riscos relacionados à reprodução de vieses sociais pelos sistemas algorítmicos, reconhecendo que “é essencial garantir que a IA não reproduza vieses existentes” nas estruturas judiciais e sociais (Ceará, 2025b).
Essa preocupação institucional reforça a centralidade do controle democrático no desenvolvimento e aplicação de tecnologias emergentes. A atuação do TJCE tem buscado articular inovação com garantias constitucionais, com destaque para a implementação de soluções voltadas à triagem processual, gestão de precedentes e apoio à decisão judicial, todas elas ainda em fase de testes e submetidas a avaliações contínuas por equipes interdisciplinares.
O testemunho prático do autor, a partir da direção de unidade judicial de entrância intermediária, permite vislumbrar não apenas os benefícios operacionais desses sistemas, como a racionalização de fluxos e a redução de retrabalho, mas também os riscos concretos de naturalização de decisões automatizadas sem o devido crivo crítico.
Diante disso, torna-se imperioso que qualquer avanço tecnológico seja acompanhado de formação continuada para magistrados e servidores, protocolos de validação com participação da sociedade civil e instrumentos legais que assegurem transparência e responsabilização.
Nesse cenário, o TJCE apresenta-se como um exemplo relevante de institucionalização responsável da IA no judiciário estadual, ainda que o caminho para um marco plenamente democrático e constitucional de sua utilização permaneça em construção. A experiência concreta da Justiça cearense confirma que o debate teórico sobre governamentalidade algorítmica precisa dialogar com as práticas administrativas e com os limites constitucionais efetivamente observados na atuação jurisdicional cotidiana.
5.4. Propostas para Um Marco Constitucional e Democrático da Inteligência Artificial
A construção de um marco constitucional e democrático para o uso da inteligência artificial no setor público impõe a necessidade de uma regulação que não apenas discipline tecnicamente o uso dessas tecnologias, mas que o faça à luz dos princípios e garantias fundamentais do Estado Democrático de Direito.
A ausência de uma normatização rigorosa e principiológica pode implicar na consolidação de formas de poder invisíveis e opacas, que operam sem controle institucional e à margem do debate público, conforme advertido por Silveira (2019), ao tratar dos códigos invisíveis que moldam comportamentos e decisões.
A primeira proposta refere-se à criação de mecanismos robustos de transparência algorítmica. Tais mecanismos devem garantir a explicabilidade dos sistemas utilizados, isto é, a capacidade de compreender como e por que uma determinada decisão foi tomada por um sistema de IA.
Essa exigência encontra respaldo nas diretrizes da OCDE (2019), que recomenda que os sistemas de IA sejam compreensíveis e passíveis de verificação. A transparência não se limita à abertura de código, mas abrange a clareza dos critérios de decisão, a documentação dos dados utilizados e a auditabilidade contínua dos modelos aplicados.
A segunda proposta diz respeito à institucionalização de comitês de governança algorítmica com composição plural e interinstitucional. Esses comitês devem integrar representantes dos poderes públicos, da sociedade civil, da academia e do setor tecnológico, promovendo a deliberação democrática sobre a adoção e o uso de tecnologias de IA.
Essa proposta dialoga com o princípio da soberania popular, ao assegurar que decisões com impacto coletivo sejam tomadas de forma participativa, e se inspira nas recomendações do Projeto de Lei n. 2.338/2023, que propõe o uso responsável da IA com base na centralidade da pessoa humana (Brasil, 2023).
Em terceiro lugar, propõe-se a exigência de avaliações de impacto algorítmico (AIA) como condição para a implementação de qualquer sistema automatizado no setor público. Tais avaliações devem examinar, previamente, os riscos de discriminação, os efeitos sobre populações vulneráveis, as repercussões sobre a liberdade individual e o devido processo legal.
A proposta encontra fundamento na doutrina de Peck Pinheiro (2021), para quem a regulação da IA deve incluir etapas preventivas de análise de risco jurídico, ético e social, com envolvimento de instâncias técnicas e políticas.
A quarta proposta trata da responsabilização civil e administrativa por decisões automatizadas. O Estado não pode se furtar à responsabilidade por danos causados por sistemas algorítmicos, especialmente quando utilizados para fins de policiamento, julgamento ou administração de benefícios.
A responsabilização deve incluir o direito à revisão humana de decisões automatizadas e o direito à reparação em caso de erro ou discriminação. Ferrari (2023) sustenta que a responsabilização é um dos principais instrumentos para garantir que a IA esteja submetida ao controle constitucional, evitando que a lógica probabilística dos sistemas substitua o juízo jurídico e ético exigido pela Constituição.
Finalmente, é necessário incorporar cláusulas de proteção aos direitos fundamentais nos editais de licitação e nos contratos públicos que envolvam tecnologia de IA. Isso significa condicionar a contratação de soluções tecnológicas ao cumprimento de requisitos legais e constitucionais, como o respeito à igualdade, à privacidade, à ampla defesa e ao contraditório.
Essa proposta articula-se com o papel do TCU, que já vem apontando a importância de critérios claros de governança digital (Brasil, 2022; Brasil, 2024) e representa um avanço na institucionalização de práticas públicas responsáveis.
Portanto, as propostas aqui apresentadas não são meramente técnicas, mas políticas e jurídicas. Elas visam assegurar que a inovação tecnológica esteja submetida à soberania constitucional e que o uso da IA pelo Estado não funcione como novo vetor de exceção, mas como instrumento de efetivação de direitos e fortalecimento da democracia.
6. CONCLUSÃO
A presente pesquisa analisou os riscos constitucionais decorrentes do uso de inteligência artificial por agentes estatais, com foco nas ameaças à igualdade, ao devido processo legal e à soberania popular. Argumentou-se que a adoção indiscriminada de sistemas algorítmicos, sem transparência, controle democrático e fundamento legal específico, pode configurar formas contemporâneas de exceção, caracterizadas pela suspensão difusa de garantias fundamentais sob a aparência de neutralidade técnica.
Com base na teoria da governamentalidade de Michel Foucault e na crítica de Giorgio Agamben à normalização da exceção, demonstrou-se que o poder algorítmico opera como uma forma tecnopolítica de regulação social, capaz de automatizar exclusões históricas e consolidar novas formas de dominação invisível. A ausência de auditabilidade, explicabilidade e accountability compromete a legitimidade democrática dessas tecnologias e evidencia a urgência de um marco constitucional que discipline seu uso pelo poder público.
A análise também ressaltou o papel de instituições como o STF, o CNJ e o TCU na fiscalização do uso da IA pelo Estado, destacando-se, por exemplo, a consolidação da liminar proferida na ADI 6387/DF, que reafirma a privacidade e a autodeterminação informativa como limites constitucionais ao uso de dados pessoais pelo poder público, bem como os Acórdãos n. 1139/2022 e n. 616/2024 do TCU, que apontam para a necessidade de critérios claros de governança algorítmica, transparência e controle de riscos.
Nesse contexto, a inclusão da experiência concreta do Tribunal de Justiça do Estado do Ceará (TJCE), especialmente por meio da atuação do autor deste trabalho como Diretor de Secretaria de Juizado Especial e Analista Judiciário da área judiciária, evidencia a relevância da contribuição prática na construção de políticas institucionais que combinem inovação tecnológica e respeito aos direitos fundamentais.
O TJCE tem se destacado por adotar medidas de planejamento estratégico, como o Plano Diretor de Tecnologia da Informação (2025–2026) e notas técnicas do CIJECE, que reconhecem os riscos da reprodução de vieses por sistemas de IA. A experiência do TJCE, apresentada na seção 4.3, reforça que a construção de uma regulação democrática da inteligência artificial no setor público exige o engajamento ativo dos tribunais estaduais e a escuta qualificada dos servidores da justiça que vivenciam os impactos concretos da tecnologia no cotidiano institucional.
O reconhecimento da dimensão prática desses atores é indispensável para a consolidação de um marco constitucional efetivo, que alie inovação e direitos fundamentais. Nesse sentido, o combate à exceção algorítmica não pode se limitar ao plano normativo-abstrato, devendo incorporar vivências concretas e protocolos operacionais que garantam que a técnica esteja sempre submetida à Constituição e à dignidade humana.
A consolidação de um marco constitucional da inteligência artificial, portanto, depende não apenas de formulações teóricas e diretrizes institucionais, mas também da participação ativa de servidores públicos com experiência prática nos fluxos judiciais, capazes de identificar vulnerabilidades reais e contribuir com soluções democráticas e juridicamente responsáveis. O enfrentamento da exceção algorítmica requer, mais do que regulação, uma nova cultura de direitos, capaz de submeter a técnica à Constituição e de afirmar a centralidade da dignidade humana na era digital.
REFERÊNCIAS BIBLIOGRÁFICAS
AGAMBEN, Giorgio. Estado de exceção. São Paulo: Boitempo, 2004.
AGAMBEN, Giorgio. Homo Sacer: o poder soberano e a vida nua. Belo Horizonte: Editora UFMG, 2007.
BRASIL. Constituição Federal de 1988. Brasília: Diário Oficial da União - Seção 1 - 5/10/1988, Página 1; Disponível em: https://www.planalto.gov.br/ccivil_03/constituicao/constituicao.htm. Acesso em: 2 abr. 2026.
BRASIL. Supremo Tribunal Federal (Plenário). ADI 6387 (0090566-08.2020.1.00.0000). Requerente: Conselho Federal da Ordem dos Advogados do Brasil. Relator: Rosa Weber, 7 de maio de 2020. Disponível em: https://portal.stf.jus.br/processos/detalhe.asp?incidente=5895165. Acesso em: 2 abr. 2026.
BRASIL. Tribunal de Contas da União. Acórdão n. 1139/2022 – Plenário. Relator: Ministro Aroldo Cedraz. Brasília: TCU, 2020. Disponível em:https://pesquisa.apps.tcu.gov.br/documento/acordao-completo/1139%252F2022/%2520/DTRELEVANCIA%2520desc%252C%2520NUMACORDAOINT%2520desc/0. Acesso em: 2 abr. 2026.
BRASIL. Tribunal de Contas da União. Acórdão n. 616/2024 – Plenário. Relator: Ministro Aroldo Cedraz. Brasília: TCU, 2024. Disponível em:https://pesquisa.apps.tcu.gov.br/documento/acordao-completo/AC%25C3%2593RD%25C3%2583O%2520616%252F2024/%2520/DTRELEVANCIA%2520desc%252C%2520NUMACORDAOINT%2520desc/0. Acesso em: 2 abr. 2026.
BRASIL. Câmara dos Deputados. Projeto de Lei 2.338/2023 - Dispõe sobre o desenvolvimento, o fomento e o uso ético e responsável da inteligência artificial com base na centralidade da pessoa humana. Disponível em https://www.camara.leg.br/proposicoesWeb/prop_mostrarintegra?codteor=2868197&filename=PL%202338/2023. Acesso em: 2 abr. 2026.
BRASIL. Conselho Nacional de Justiça (CNJ). Resolução n. 615, de 11 de março de 2025. - Estabelece diretrizes para o desenvolvimento, utilização e governança de soluções desenvolvidas com recursos de inteligência artificial no Poder Judiciário. Disponível em: https://atos.cnj.jus.br/atos/detalhar/6001. Acesso em: 2 abr. 2026.
CEARÁ. Tribunal de Justiça do Estado do Ceará (TJCE). Plano Diretor de Tecnologia da Informação e Comunicação 2025–2026. Fortaleza: TJCE, 2025a. Disponível em: https://portal.tjce.jus.br/uploads/2025/03/Plano-Diretor-de-TIC-2025-2026.pdf. Acesso em: 2 abr. 2026.
CEARÁ. Tribunal de Justiça do Estado do Ceará (TJCE). Centro de Inteligência da Justiça Estadual do Ceará (CIJECE). Nota Técnica n. 10/2025. Recomendações para o uso ético da inteligência artificial no Judiciário. Fortaleza: TJCE, 2025b. Disponível em: https://portal.tjce.jus.br/uploads/2022/08/Nota-Tecnica.10.2025.pdf. Acesso em: 2 abr. 2026.
CHOMSKY, Noam; FOUCAULT, Michel. Natureza humana - Justiça vs Poder: o debate entre Chomsky e Foucault. São Paulo: Martins Fontes, 2022.
FERRARI, Isabela. Discriminação algorítimica e poder judiciário: limites à adoção de sistemas de decisões algorítmicas no Judiciário brasileiro. Florianópolis: Emais Editora, 2023.
FOUCAULT, Michel. Segurança, território, população. São Paulo: Martins Fontes, 2008a.
FOUCAULT, Michel. Nascimento da biopolítica. São Paulo: Martins Fontes, 2008b.
KREMER, Bianca; NUNES, Pablo; LIMA, Thalita Gabriele Lopes (Orgs.) Racismo algorítmico. Rio de Janeiro: CESC, 2023.
OCDE - Organização para a Cooperação e Desenvolvimento Económico. Recomendação do Conselho sobre Inteligência Artificial. 2019. Disponível em: https://legalinstruments.oecd.org/en/instruments/OECD-LEGAL-0449/. Acesso em: 2 abr. 2026.
PINHEIRO, Patrícia Peck. Direito Digital: segurança, proteção de dados e novas tecnologias. 2. ed. São Paulo: Saraiva, 2021.
SILVEIRA, Sérgio Amadeu da. Democracia e os códigos invisíveis: como os algoritmos estão modulando comportamentos e escolhas políticas. São Paulo: Edições SESC, 2019.
SILVEIRA, Rodrigo Ghiringhelli de. Tecnologia, algoritmo e seletividade penal. In: MINHOTO, Eduardo; PADILHA, Fernanda; D'AVILA, Rafael (orgs.). Criminologia e Tecnopolítica. São Paulo: Tirant Lo Blanch, 2022.
1 Mestrando do Curso de Mestrado em Direito Constitucional pela Universidade de Fortaleza - UNIFOR. Especialista em Ciências da Informação pelo Centro Universitário Farias Brito. Graduado em Direito pela Faculdade Princesa do Oeste. Graduado em Letras (Língua Portuguesa) pelo Instituto Federal de Educação, Ciência e Tecnologia do Ceará - IFCE. Graduado em Pedagogia pela Universidade Estadual do Ceará - UECE. Servidor efetivo do Tribunal de Justiça do Estado do Ceará, exercendo o cargo efetivo de Analista Judiciário e o cargo em comissão de Diretor de Secretaria/Gabinete da Unidade do Juizado Especial Cível e Criminal da comarca de Crateús. E-mail: [email protected]