Contexto:O uso generalizado da Inteligência Artificial (IA) representa um desafio sem precedentes ao modelo tradicional de Estado de Direito, impulsionando uma transição para um modelo de Estado algorítmico. Neste novo cenário, a prioridade conferida à eficiência tecnológica coloca em grave risco direitos fundamentais consolidados. Objetivos:Analisar as tensões sociojurídicas decorrentes da automatização de decisões, avaliando de forma rigorosa a resiliência do ordenamento constitucional espanhol e do quadro normativo europeu face à crescente indefesa algorítmica. Metodologia:Emprega-se uma análise dogmática e sociojurídica da Constituição Espanhola, do Regulamento Europeu de IA (AI Act) e do trabalho incipiente de agências de supervisão como a AESIA. O estudo centra-se no obstáculo técnico-jurídico da caixa negra e do viés algorítmico. Resultados:Evidencia-se um conflito estrutural entre os sistemas preditivos de alto risco e os direitos fundamentais. Destaca-se a violação da reserva da intimidade pelo processamento extrativista de dados e do princípio da igualdade mediante uma discriminação indireta camuflada através de variáveis de substituição (proxies). Da mesma forma, a opacidade tecnológica, escudada no segredo comercial, gera uma assimetria informativa para os cidadãos. Conclusões:É imperativo promover uma reinterpretação constitucional garantista que consagre a transparência algorítmica e a reserva de humanidade. A tutela jurisdicional efetiva exige redefinir a governança tecnológica, garantindo um controlo sociojurídico e uma supervisão humana iniludível sobre as decisões automatizadas. Palavras-chave:Inteligência Artificial; Estado de Direito; discriminação algorítmica;direitos fundamentais; eficiênciatecnológica.
Context: The widespread use of Artificial Intelligence (AI) represents an unprecedented challenge to the traditional model of the Rule of Law, driving a transition towards an algorithmic State model. In this new scenario, the priority given to technological efficiency places consolidated fundamental rightsat serious risk.Objectives: To analyse the socio-legal tensions arising from the automation of decision-making, rigorously evaluating the resilience of the Spanish constitutional order and the European regulatory framework against growing algorithmic defencelessness.Methodology: A dogmatic and socio-legal analysis of the Spanish Constitution, the European
AI Regulation (AI Act), and the incipient work of supervisory agencies such as the AESIA is employed. The study focuses on the technical-legal obstacle of the black box and algorithmic bias.Results: A structural conflict between high-risk predictive systems and fundamental rights is evidenced. The infringement of privacy through the extractivist processing of data and of the principle of equality through indirect discrimination camouflaged via proxies stand out. Furthermore, technological opacity, shielded by trade secrets, generates an information asymmetry for citizens. Conclusions: It is imperative to promote a guarantee-oriented constitutional reinterpretation that enshrines algorithmic transparency and the reservation of humanity. Effective judicial protection demands redefining technological governance, guaranteeing socio-legal control and unavoidable human supervision over automated decisions.
Contexto: El uso generalizado de la Inteligencia Artificial (IA) representa un desafío sin precedentes al modelo tradicional de Estado de Derecho, impulsando una transición hacia un modelo de Estado algorítmico. En este nuevo escenario, la prioridad otorgada a la eficiencia tecnológica pone en grave riesgo derechos fundamentales consolidados.Objetivos: Analizar las tensiones sociojurídicas derivadas de la automatización de decisiones, evaluando de manera rigurosa la resiliencia del ordenamiento constitucional español y del marco normativo europeo frente a la creciente indefensión algorítmica. Metodología: Se emplea un análisis dogmático y sociojurídico de la Constitución Española, el Reglamento Europeo de IA (AI Act) y la incipiente labor de agencias supervisoras como la AESIA. El estudio se centra en el obstáculo técnico-jurídicode la caja negra y el sesgo algorítmico.Resultados: Se evidencia un conflicto estructural entre los sistemas predictivos de alto riesgo y los derechos fundamentales. Destaca la vulneración de la intimidad por el procesamiento extractivista de datos y delprincipio de igualdad mediante una discriminación indirecta camuflada a través de variables subrogadas (proxies). Asimismo, la opacidad tecnológica, escudada en el secreto empresarial, genera una asimetría informativa para la ciudadanía. Conclusiones: Esimperativo promover una reinterpretación constitucional garantista que consagre la transparencia algorítmica y la reserva de humanidad. La tutela judicial efectiva exige redefinir la gobernanza tecnológica, garantizando un control socio-legal y una supervisión humana ineludible sobre las decisiones automatizadas.
