¿Quién vigila y transparenta el algoritmo y ante quién apelamos?
La eficiencia tecnológica suele presentarse como la panacea de la administración moderna. Sin embargo, bajo la promesa de agilizar apoyos sociales o combatir el fraude fiscal, se oculta un riesgo latente: la deshumanización de la justicia social. Cuando un algoritmo niega un subsidio o perfila a un ciudadano bajo sospecha, no asistimos meramente a un proceso técnico, sino a un acto de autoridad que debe someterse, por mandato constitucional, al escrutinio público y al respeto irrestricto de los derechos humanos.
El uso de la Inteligencia Artificial (IA) en el sector público ha dejado de ser una promesa de futuro para convertirse en realidad, a veces para cosas positivas, pero también como un burócrata invisible que opera en la sombra. El problema central no es el avance tecnológico, sino la opacidad institucional que lo rodea. Si una “caja negra” decide que una persona no es apta para recibir una beca, una pensión o una asistencia médica, y esa persona no puede conocer los criterios exactos ni la lógica detrás de la negativa, estamos frente a una vulneración directa a los derechos de autodeterminación informativa, de acceso a la información, al buen gobierno y al debido proceso. No hay democracia funcional allí donde el ciudadano carece del derecho a preguntar “¿por qué?”, y recibir una respuesta clara, humana y fundamentada.
La supuesta neutralidad algorítmica es un mito peligroso. Los sistemas se nutren de datos que, con frecuencia, arrastran sesgos históricos de clase, género o territorio. Automatizar la burocracia sin controles críticos es, en los hechos, automatizar la exclusión de los sectores más vulnerables. Un error en el código o un sesgo en la base de datos pueden convertirse en una sentencia de marginación para miles de familias, blindada por una apariencia de objetividad matemática que dificulta cualquier defensa legal. La tecnología debe servir para cerrar brechas, no para sofisticar la discriminación.
Como autoridad de transparencia y protección de datos, nuestra postura es firme: la innovación pública no puede ser un cheque en blanco para ignorar las garantías fundamentales. Todo sistema automatizado que determine o influya de manera determinante en decisiones públicas debe ser auditable tanto por los organismos públicos como desde sociedad civil, tanto técnica como jurídicamente. La responsabilidad estatal no puede diluirse en líneas de programación ni delegarse ciegamente a proveedores privados. La rendición de cuentas exige que exista siempre una supervisión humana efectiva; el derecho a la apelación debe conducir necesariamente a una persona servidora pública con capacidad de rectificar, no a otro algoritmo.
Es urgente transitar hacia una transparencia algorítmica real, con legislación federal y local. El derecho a la explicación debe ser la piedra angular de nuestra gobernanza digital. Necesitamos reglas claras, autoridades y auditorías independientes, además de mucha participación ciudadana, para que haya garantía de que el progreso técnico servirá para ampliar derechos, no para restringirlos. La modernización del Estado solo será legítima si es capaz de rendir cuentas ante las personas, pues el futuro del Estado de Derecho se juega hoy, precisamente, en la claridad de sus algoritmos.
