Un tribunal de primera instancia de La Haya -ciudad emblemática para la justicia universal- ha decidido que el algoritmo conocido como SyRI (acrónimo de System Risk Indication) ‘no respeta la privacidad del ciudadano y vulnera el artículo 8 del Convenio Europeo de Derechos Humanos’.
l algoritmo en cuestión, utilizado por el gobierno holandés, es la base de un sistema de análisis que permite anticipar posibles fraudes al Estado en la percepción de las ayudas sociales. Como publica hoy el diario El País, SyRI (que no debe ser confundido con el asistente por voz de Apple) es utilizado desde 2014 por el Ministerio de Asuntos Sociales y Empleo holandés para recoger datos sobre ingresos, pensiones, seguros, tipo de casa, impuestos, multas, integración, educación, deudas o subsidio de desempleo de los contribuyentes para calcular luego a base de algoritmos quién tiene más probabilidades de defraudar a la Administración.
El pasado mes de octubre, el relator especial de la ONU sobre pobreza y derechos humanos, Philip Alston, remitió un informe al tribunal holandés asegurando que SyRI “señala a los ciudadanos con menos renta, y a grupos de población de origen inmigrante”.
Así como en los últimos cinco años se han sucedido una catarata de sentencias negativas de altos tribunales europeos contra el voto electrónico (una de las tecnologías adoptadas con mayor entusiasmo por el anterior Gobernador de Salta), ahora los tribunales han dictado un pronunciamiento -de momento, inédito en Europa- contra el uso por un gobierno de lo que se conoce como algoritmos predictivos (otra de las tecnologías abrazadas con candorosa pasión por Urtubey y su gobierno).
La decisión holandesa es considera crucial, porque de lo que se trata es de poner freno a una de las tecnologías cada vez más presentes en la toma de decisiones sobre las vidas de los ciudadanos cuyos datos escrutan: desde los contenidos que consumen hasta su aptitud para recibir un préstamo hipotecario.
Señala el diario El País que en Filadelfia y otras ciudades estadounidenses, un algoritmo lleva un lustro calculando posibilidades de reincidencia de delincuentes. A lo largo y ancho de EEUU y Europa, las autoridades recurren a estos sistemas para distribuir patrullas policiales y dictar sentencias de cárcel. Bristol tiene su propio sistema para identificar a los jóvenes más propensos a delinquir, recoge The New York Times.
Otro tanto puede decirse de la tecnología que hasta hace poco ha empleado el gobierno de Salta (y que ahora parece discontinuada) para «predecir» embarazos infantiles y juveniles entre la población desfavorecida de la Provincia. Aunque el gobierno ha cambiado, la lesión a los derechos fundamentales de las personas cuyos datos han sido procesados mediante esta tecnología ya se ha producido, con el agravante de que el actual gobierno no dispone de ninguno de estos datos para reorientar las políticas sociales.
El enorme fraude que supuso para los salteños este faraónico programa gubernamental se pone de manifiesto en el hecho de que el mismo algoritmo que -según Urtubey y Abeleira- podía predecir casi con precisión astronómica cuándo una niña pobre de Salta podía quedar embarazada, ha sido incapaz de predecir cuándo un niño pobre podía morirse desnutrido y sin asistencia médica. Es decir, se podía predecir el origen incierto de una vida, pero no su final.
Dice la crónica del diario español que la decisión judicial holandesa sienta un precedente legal que puede tener repercusiones en el exterior y supone una gran victoria para los demandantes, una coalición de ocho grupos civiles locales, entre ellos organizaciones de abogados, activistas de derechos humanos y el sindicato mayoritario FNV. SyRI se ha usado hasta la fecha en las ciudades de Rotterdam, Eindhoven, Haarlem y Capelle aan den Ijssel.
Pero lo más destacable del asunto son los fundamentos de la sentencia, que si bien reconoce como «legítimo y de gran relevancia» el objetivo de evitar el fraude a la Seguridad Social (también es legítimo evitar que se produzcan embarazos infantiles o juveniles), razona que “el modelo de riesgo elaborado en estos momentos por SyRI puede tener efectos no deseados, como estigmatizar y discriminar a la ciudadanía, por la ingente cantidad de información que recoge”. El caso retrata dos caras que se enfrentan constantemente en el debate de si es lícito depositar nuestra confianza en algoritmos que por su diseño o entrenamiento pueden presentar sesgos ocultos. La sentencia parece haber sido escrita pensando en Salta y en las niñas pobres cuya vida personal y familiar ha sido injustamente invadida por el Estado.
El diario español advierte que los algoritmos se vuelven armas de doble filo contra los ciudadanos y cita en apoyo de esta afirmación las conclusiones del relator de la ONU sobre pobreza extrema y derechos humanos, que dicen que “los Estados de Bienestar digitales se arriesgan a convertirse en caballos de Troya para la hostilidad neoliberal hacia la protección social y la regulación”.
Cómo funciona SyRI
SyRI se utilizaba en especial en barrios que el Ejecutivo considera problemáticos. Para calcular posibles irregularidades, los algoritmos enlazan todos los datos personales de sus residentes almacenados por instancias gubernamentales. Esos datos se comparan luego con el perfil de riesgo creado a partir de la información de otros ciudadanos que sí han delinquido. Observadas las similitudes, se confecciona una lista de nombres que las autoridades pueden conservar hasta dos años.
Los municipios deben pedir permiso al citado ministerio si sospechan del posible abuso de las ayudas económicas, u otras actuaciones ilegales, para poder analizar la información. La Agencia Tributaria, la inspección de Asuntos Sociales y Empleo, o el Banco de la Seguridad Social disponen de acceso a SyRI, y el ciudadano puede consultar el informe a su nombre. Pero no es informado de forma automática de la investigación, según explica la coalición demandante en la web que creó para trabajar en el caso.
El ministerio alegó al tribunal que “el sistema solo liga datos que el Estado ya posee, y dibuja con ellos un árbol de decisión [un modelo de predicción], de modo que no se usa la inteligencia artificial ni tampoco algoritmos de autoaprendizaje” (lo que no ocurre en Salta, en donde se ha publicitado hasta el hartazgo la combinación en el uso de algoritmos y AI).
Quitándole la razón al gobierno, la sentencia del tribunal ordinario de La Haya dice que la anterior afirmación “no se puede comprobar, porque la legislación que permite el uso de SyRI no es lo bastante transparente” (en Salta, la opacidad no deriva de la oscuridad de la ley sino de su completa ausencia). Los jueces señalaron que no habían recibido suficiente información sobre el sistema, “ya que el Estado mantiene en secreto la forma de calcular la posibilidad de fraude”. El mismo «secretismo» ha sido alegado en su defensa por el antiguo Ministro de la Primera Infancia de Salta, Carlos Abeleira, y, en relación con el voto electrónico -también rodeado de secretismo y misterio- por la que hasta hace poco fuera secretaria del Tribunal Electoral de Salta.
En su reacción oficial al fallo, el ministerio holandés concernido hace hincapié en la necesidad “de comprobar si los servicios y prestaciones de la seguridad social acaban en las manos adecuadas”, para evitar los abusos. En un comunicado, añade que el fallo será “estudiado a fondo” para ver si cabe un recurso. Maxim Februari, un conocido columnista holandés que figuraba entre los demandantes, ha señalado:“El Parlamento deberá pensarlo mejor a partir de ahora, porque si aplicas una nueva tecnología debes fijarte bien en la protección legal del ciudadano”.
¿Hará lo mismo la Legislatura de Salta?
Fuente: Iruya Noticias