El algoritmo burócrata: Cuando la IA juega a decidir por la autoridad

Imagina que despiertas una mañana y descubres que la ayuda social que te respalda en el pago de tu alquiler ha sido cancelada. Al acudir a la ventanilla, la respuesta del funcionario es kafkiana: “El sistema lo decidió”. No sabe decirte por qué. No hay un humano a quien culpar, solo un porcentaje de riesgo calculado por una máquina.

Este escenario no es ciencia ficción; es la realidad creciente de la administración pública moderna. Hoy, gobiernos de todo el mundo están adoptando sistemas de Inteligencia Artificial (IA) bajo la bandera de la “eficiencia” y la austeridad. Se utilizan para asignar subsidios, detectar fraudes fiscales e incluso para realizar perfilamiento policial predictivo. Sin embargo, bajo la seductora narrativa de la “neutralidad tecnológica”, estamos automatizando la injusticia y creando una caja negra administrativa que amenaza nuestros derechos fundamentales.

El problema central no es que el gobierno use tecnología, qué bueno que avance el gobierno digital, sino cómo la usa. Muchos de estos sistemas operan como “cajas negras”: algoritmos opacos cuyos procesos de toma de decisiones son ininteligibles incluso para quienes los programaron.

Cuando una IA decide que una persona es un “falso beneficiario” o un “perfil criminal de riesgo”, no lo hace basándose en la causalidad legal, sino en correlaciones estadísticas. Si el algoritmo fue entrenado con datos históricos sesgados —por ejemplo, si históricamente se ha vigilado más a barrios marginados—, el sistema aprenderá que “vivir en el código postal X” equivale a “ser un riesgo”. Esto es discriminación automatizada. La máquina no es neutral; simplemente blanquea prejuicios humanos bajo una capa de falsa objetividad matemática.

Esta opacidad dinamita el debido proceso. El uso de IA opaca viola directamente el derecho de acceso a la información y a una buena administración, incluso pone en riesgo la privacidad. Un ciudadano no es una fila en una base de datos. Si una decisión pública afecta tu vida, tienes el derecho inalienable a saber por qué (explicabilidad) y a impugnar esa decisión ante una persona (revisión humana).

Nos encontramos en un punto de inflexión. Es imperativo legislar los marcos de transparencia algorítmica. Todo sistema utilizado para asignar recursos o vigilar ciudadanos debe someterse a auditorías independientes y a evaluaciones de impacto en protección de datos antes de encenderse. 

Prohibir el uso de cajas negras en servicios sociales y justicia penal es necesario. La eficiencia no puede estar por encima de los derechos humanos, esto a efecto de exigir, por un lado, el código fuente y los criterios de entrenamiento de los algoritmos y, por otro, una explicación humana. 

La regla de oro debe ser clara: si no es explicable, no es utilizable. Además, la supervisión humana debe ser significativa, no simbólica. El funcionario debe tener la facultad real y el conocimiento técnico para contradecir a la máquina, evitando el sesgo de automatización. La tecnología debe servir para hacer la administración más humana, no para esconder la burocracia detrás de un muro de código impenetrable.