Entradas

Sin transparencia, no puede haber inteligencia. Tampoco artificial

A menudo, cuando me invitan a hablar de inteligencia artificial o de modelos algorítmicos aplicados a la gestión pública, me gusta empezar relatando una noticia de hace casi 6 años, cuando esta materia ya empezaba a bullir. En abril de 2018 los medios de comunicación se hacían eco de la candidatura de Michihito Matsuda a las elecciones en un distrito de la ciudad de Tokio. La noticia carecería de todo interés si no hubiera sido porque Michihito, un robot operado por inteligencia artificial, quedó en tercer puesto, lo que recurrentemente me lleva a preguntarme si hoy por hoy confiamos más en la gestión que podría llevar a cabo una máquina que la que podría realizar cualquiera de nuestros congéneres humanos.

La noticia nos puede dar pie a múltiples reflexiones, pero en lo que a mí más interés despierta, me hace a cuestionarme sobre qué es lo que mayor o menor confianza nos despierta en quien tiene que tomar una decisión que afecta a nuestra esfera de derechos. Dependiendo de nuestra escala de valores o prejuicios, que en buena medida vendrán dados por nuestra educación, experiencia o contexto social, habrá múltiples factores. Pero habrá seguramente uno común que aparecerá en todas las respuestas y es la capacidad de explicar por qué razones, por qué motivos la decisión se ha tomado. Está claro: confiamos más en quien puede explicar su conducta, su forma de actuar. O, también, de quien entendemos sin necesidad de ninguna explicación, por su obviedad, la respuesta a una pregunta. Confiamos en lo que entendemos, lisa y llanamente.

Esto mismo, aplicado a la gestión pública, actúa con iguales premisas, si bien cuando la actuación limita o perjudica nuestros derechos e intereses, siempre la recibimos con una natural resistencia o desagrado. Esto es humanamente comprensible, aun cuando la decisión proceda de una máquina, y no de una persona.

Este razonamiento viene al hilo, esencialmente, del intenso debate sobre las posibilidades que tienen o no los sistemas de decisión automatizada de poder explicar cómo operan, como actúan, y de que todos seamos capaces de entenderlo. Nos ha llevado siglos conseguir que la motivación de las decisiones administrativas fuera una de sus garantías indispensables para salvaguardar nuestro derecho a defendernos ante ellas, tanto más cuanto más discrecionales son, como para poner ahora en cuestión que este no deba ser un requisito también cuando la decisión la toma un algoritmo. No podemos admitir una rebaja de esta exigencia cuando el diseño de estas herramientas corresponde también a personas.

Lo cierto es que la Administración ya aplica soluciones algorítmicas «regladas», simples fórmulas, para resolver un número muy importante de procedimientos que, en caso de exigir la intervención humana, ralentizarían de una forma significativa, si no fatalmen­te, una gestión mínimamente eficiente. Y no es menos cierto que de una manera cada vez más creciente empieza a utilizar otro tipo de instrumentos de inteligencia artificial cuyas condiciones de explicabilidad son menores, hasta el punto de poder calificar algunos de ellos de verdaderas cajas negras, lo que razonablemente empieza a suscitar importantes recelos ante el temor de que puedan vulnerar derechos fundamentales o arrojar soluciones injustas o inequitativas. La cuestión es que, como todos los expertos advierten, hay una relación inversa entre explicabilidad y rendimiento de los modelos, tal que cuanto más sofisticados resultan ser —esto es, más valor pueden añadir a lo que la mente humana ya hace—, más difícil es saber cómo operan o actúan.

Y aquí es donde el pánico puede hacer que nos agarremos a la butaca porque el vértigo no es pequeño. Para empezar: ¿sabemos cuáles de estos sistemas o modelos están utilizando las administraciones actualmente? ¿En qué procedimientos? ¿Resuelven por sí solos, sin intervención humana, o son únicamente predictivos, sirven de ayuda para que la persona tome la decisión? Hoy por hoy no sabemos nada. Como solemos bromear cuando alguien es el último en enterarse de su propia defunción, solo la prensa nos saca de dudas cuando trae a primera página algún conflicto relacionado con este asunto.

Salvo honrosas excepciones, no existen en nuestro derecho normas que obliguen a algo tan simple como la publicidad de un listado de este tipo de herramientas. Y las poquitas que existen, aun están pendientes de cumplirse. Ya no digamos, saber cómo funcionan. Tampoco crean que este es un estándar internacional asumido y que somos los últimos en enterarnos o cumplir, como es tradición ya en otras materias. No, tampoco han avanzado mucho más fuera de nuestras fronteras. Hace un par de años, la Oficina Digital y de Datos británica publicaba una plantilla para ayudar a las administraciones a dar una información estándar sobre cada sistema de inteligencia artificial. En esa plantilla -también denominadas en el argot técnico “tarjetas modelo”-, de uso no obligatorio, se incluía una descripción no técnica del sistema (el porqué de su utilización, cómo funcio­na y qué problema trata de resolver) y otras más técnica (quién es el responsable y titular, para qué se ha di­señado, cómo influye en la toma de decisiones, si está supervisada por huma­nos, su impugnación, datos que utiliza, evaluaciones de impacto realizadas, descripción de riesgos y acciones previstas para mitigarlos).

A nivel de grandes ciudades, el Observatorio Global de Inteligencia Artificial Urbana identifica también algunas buenas prácticas en este sentido, como es el caso de Amsterdam o Helsinki, que poseen registros de algoritmos, siendo Barcelona o el Consorcio de Administración Abierta catalán las administraciones que están dando mayores pasos en esta dirección de dar mayor publicidad y transparencia en el uso público de esta nueva tecnología en nuestro país. Al margen de ellas, son algunos de nuestros comisionados y consejos de transparencia, a semejanza de lo que homólogos suyos, como la Comisión francesa de acceso a los documentos administrativos, y algunos tribunales de otros países europeos, quienes están demandando más garantías en este terreno.

De lo que no cabe duda es que las administraciones ya están utilizando esta tecnología y cuanto más tardemos en hincarle el diente a esta cuestión, más difícil será hacerlo. El desarrollo de estos sistemas parece imparable sin que las garantías estén establecidas, ni siquiera planteadas. ¿Qué quieren que les diga? Para los que nos confesamos adeptos de las tesis humanistas en el desarrollo de esos sistemas, el asunto no deja de darnos un poquito de pavor sin querer meter miedo a nadie.

De gira con la IA

Con motivo de la publicación del libro “Que los árboles no te impidan ver el bosque. Caminos de la inteligencia artificial” (Editorial Círculo Rojo, septiembre 2022), hemos emprendido una gira con el fin de promover el debate público sobre los beneficios y los riesgos que entraña la llegada de la inteligencia artificial (IA) a nuestras vidas. Con esta vuelta a España estamos cubriendo etapas de diferente naturaleza o formato: debates, entrevistas, coloquios, conferencias o artículos, así analógicos como digitales.

En cuanto al libro en cuestión que dio origen a todo esto, nos complace sugerir a los lectores de estas líneas la amplia y detallada reseña del jurista y profesor universitario Rafael Jiménez Asensio, creador del blog La Mirada institucional.

El Estado de Derecho y la inteligencia artificial, ¿qué pueden hacer el uno por el otro en beneficio de ambos y, por ende, de la sociedad? Este blog ¿Hay Derecho? —que va camino de las 4500 entradas— se viene planteando esta pregunta desde muy diferentes puntos de vista. De momento, son cerca de medio centenar los posts en los que la IA es objeto de atención, en mayor o menor grado.

La arquitectura institucional que protege la dignidad del individuo, la igualdad ante la ley de todas las personas, la universalidad de sus derechos y la garantía de sus libertades, con la consiguiente responsabilidad individual, no está atravesando por sus mejores momentos en nuestro país. El 1er informe sobre la situación del Estado de Derecho en España, 2018-2021 que —inspirado en el estudio que realiza periódicamente la UE— acaba de presentar la Fundación Hay Derecho da cuenta del preocupante momento que vivimos. Y según el Índice de Estado de Derecho, que anualmente elabora World Justice Project, España ocupa el puesto 21 entre los 25 países mejor evaluados.

Así que, tenemos ante nosotros muchos, importantes y urgentes aspectos del Estado de Derecho cuyo funcionamiento requiere ser mejorado para, así, revitalizar la credibilidad de las instituciones que lo encarnan y, consecuentemente, fortalecer la confianza de los ciudadanos en ellas.  Unos aspectos son de naturaleza política; otros, eminentemente técnicos.

Entre los primeros, los autores del citado informe destacan el abuso que supone la deslegitimación de un poder del Estado por parte de los integrantes de otro, la ocupación partidista de las instituciones de contrapeso o el menoscabo de la función legislativa del Parlamento. Pero para ninguno de ellos tiene respuesta la IA. El tipo de problemas para los que la IA puede —debería— ofrecer soluciones son, obviamente, de carácter técnico, a saber:

  • En el área del Poder Judicial, subrayamos los problemas con la ejecución de las sentencias firmes. En España, el tiempo medio del procedimiento de ejecución es notoriamente superior al de países como Francia, Bélgica o Luxemburgo, Hungría, Estonia o Lituania. “Es imprescindible —citamos textualmente— utilizar adecuadamente los recursos para fortalecer la ejecución de las resoluciones judiciales, apostando por la digitalización del sistema”. Pero una cosa es invertir en tecnología (IA, en este caso) y otra, muy diferente, es la inversión previa en la inteligencia y capacidades necesarias para modernizar la cultura organizativa de las instituciones en las que se pretende operar un cambio tecnológico, un paso previo imprescindible sin el cual la pura digitalización está condenada al fracaso.
  • En el área del Poder Legislativo el problema que destacamos es el derivado de la “ingente producción normativa que provoca que las leyes en España cambien continuamente” lo que, consecuentemente, produce molestia para los juristas, inseguridad jurídica para los ciudadanos y una mayor dificultad para establecer líneas jurisprudenciales. En “Las cuatrocientas mil normas de la democracia española”, se señalan como fuentes de la complejidad de la normativa estas tres: 1) El número excesivo de normas, 2) Los problemas lingüísticos y 3) La complejidad relacional, una tríada de asuntos para la que un uso juicioso de la IA resulta apropiado, importante y urgente, previo análisis de las necesidades del conjunto del ordenamiento jurídico español.
  • Y en las áreas transversales que, en modo alguno, resultan ajenas al Poder Ejecutivo, nos hacemos aquí eco de 1) la transparencia, 2) la rendición de cuentas y 3) la lucha contra la corrupción. Se trata de un nuevo trío para el que solicitamos no solo un uso intensivo de IA sino también —y previo a todo ello— una urgente actualización de los presupuestos conceptuales sobre los que descansa la praxis de sus elementos: transparencia, responsabilidad y corrupción. Unas prácticas que hoy se han quedado, por insuficientes, notoriamente anticuadas. Porque dirigirse hacia el futuro mirando únicamente por el retrovisor (pasado) no es una buena idea.

La otra cara de nuestra propuesta —cómo el Estado de Derecho puede favorecer el desarrollo humanista de la IA— se condensa en una sola palabra: Regulación. ¿Debe regularse el desarrollo de la IA? Sí, sin duda de ningún género. Pero ¿dónde y cómo? Estas son dos de las cuestiones que más atención están mereciendo en nuestra gira por España.

  • Por dónde queremos decir ¿en qué eslabón de la cadena de valor de la industria IA debemos incorporar medidas regulatorias? Los defensores del imperativo tecnológico (la tecnología es neutra y avanza según sus propias leyes, más allá de la voluntad del ser humano) insisten en la necesidad de regular al final de la cadena, esto es, en el uso de los dispositivos IA ya creados. Los defensores del constructivismo social (la tecnología no es neutra pues su desarrollo está determinado por los valores e intereses de cada época) defendemos —no en lugar de, sino además de lo anterior— la necesidad de la regulación ab initio, esto es, en los laboratorios, allá donde tiene sentido preguntarse ¿para qué? Porque, como sostiene Margaret Boden, “debemos tener mucho cuidado con lo que inventamos”.
  • Y por cómo nos preguntamos por los criterios regulatorios que se deben aplicar. Según el estudio de la Fundación BBVA sobre Cultura Científica en Europa, a la pregunta “¿Cree usted que la ética debe poner límites a los avances científicos?”, 42 de cada 100 españoles responden que no, mientras que en el Reino Unido este porcentaje es del 33, entre los franceses es el 25 y solo 15 de cada 100 alemanes responden que no. A ese 42 % de españoles que opinan que la ética no debe poner límites a los avances científicos, queremos recordarles que todo poder ilimitado es tiránico, así en la política como en la ciencia. En nuestra opinión no hay ninguna justificación posible a un desarrollo científico ilimitado, como no sea en defensa de los intereses económicos que lo promueven. Ninguna. Toda innovación científica y tecnológica es impulsada por una determinada combinación de estas cinco fuerzas: La curiosidad del científico, la búsqueda de soluciones a problemas de salud, la mejora de la eficiencia de la actividad humana, la automatización de tareas repetitivas o peligrosas y la economía de inversores y operadores. Este es el lugar para recordar que, siendo todas y cada una de estas motivaciones ancestrales y legítimas, resulta obsceno esgrimir las cuatro primeras mientras que se omite la última, conducta que puede apreciarse en no pocos anuncios de novedades sin cuento.

Si algo cabe esperar del Estado de Derecho, es decir, de las instituciones que lo encarnan, es que garantice que el desarrollo de la IA sea coherente y respetuoso con la dignidad, la libertad, los derechos y las obligaciones de las personas. Lo cual pasa ineludiblemente, según nuestra opinión, por una regulación integral, es decir, ab initio y no solo de hechos consumados, en la que la ética y un enfoque centrado en el ser humano sean los protagonistas.

Ojalá estas líneas sirvan para fomentar el debate sobre estas y otras cuestiones de igual enjundia: ¿Es la IA fuente de nuevas formas de desigualdad social? ¿Cómo repercute la IA en el libre albedrío? ¿Es la perfección que anhela la tecnología compatible con la imperfección inherente a la condición humana? La revolución 4.0, además de cambiar nuestra forma de hacer, ¿está cambiando la esencia del ser humano? ¿Superará el alumno al maestro, la inteligencia artificial a su creadora, la inteligencia humana?

Esto es lo que perseguimos en nuestra gira por España: que la sociedad civil, empezando por el lector de estas líneas, se atreva a reflexionar y participe en el gobierno de este proceso, tan prometedor como inquietante, en lugar de dejarlo en manos de los poderes públicos y privados.

El impacto de la Inteligencia Artificial en la libertad de expresión y de pensamiento. El papel de los neuroderechos.

Un valor innegociable de toda sociedad democrática es la libertad de expresión de sus ciudadanos. Este principio, cuyos orígenes se remontan a décadas de siglos atrás, fue consagrado como derecho universal a lo largo del siglo XX. Así, en su artículo 19 la Declaración Universal de Derechos Humanos reconoció en 1948 que “Todo individuo tiene derecho a la libertad de opinión y de expresión” y que “este derecho incluye el de no ser molestado a causa de sus opiniones, el de investigar y recibir informaciones y opiniones, y el de difundirlas, sin limitación de fronteras, por cualquier medio de expresión.”

En la misma sintonía establecieron, años después, el Convenio [Europeo] para la Protección de los Derechos Humanos y de las Libertades Fundamentales (1950), el Pacto Internacional de Derechos Civiles y Políticos (1966) y la Carta de Derechos Fundamentales de la Unión Europea (2000), este derecho en sus artículos 10, 19 y 11, respectivamente. En España, tras una larga evolución histórica, donde inicialmente se hablaba de la libertad de imprenta, la libertad de expresión se reconoció constitucionalmente en 1978.

Cabe señalar que esta garantía institucional no consiste solamente en la libertad del individuo de expresar su opinión, sino que comprende también su derecho a buscar, recibir y comunicar informaciones de toda índole, sin que éste esté se vea restringido, por razones no previstas en la ley. Asimismo, hay que tener en cuenta que, el ejercicio efectivo de esta libertad presupone la existencia de otra libertad esencial, que es la libertad de pensamiento, pues solamente se puede expresar lo que previamente se ha pensado y, a su vez, esa libertad de pensamiento solo puede ejercerse si está garantizado el libre albedrío, es decir, la libertad de actuar.

El advenimiento de los desarrollos tecnológicos ha supuesto un cambio de paradigma en el ejercicio de estas libertades; hoy en día, Internet constituye la fuente principal de difusión de ideas e informaciones, el mayor zoco del mundo para intercambiar ideas, opiniones y productos digitales de toda índole. Este trasvase ingente y continuado es responsable de la generación de una inmersa cantidad de datos, posiblemente uno de los activos más valiosos del siglo XXI. Y, pese a que esta facilidad para interactuar digitalmente podría generar la sensación de que las libertades de expresión, de información y de pensamiento se pueden ejercer hoy mejor que nunca, basta un breve repaso a los últimos acontecimientos para tomar consciencia de que la realidad es muy distinta.

En esta línea, pensemos en el rol que jugó la empresa Cambridge Analítica en la victoria de Donald Trump durante las elecciones estadounidenses de 2016 y que claramente limitó los derechos de muchos estadounidenses para votar libremente a su presidente, así como en la victoria del Brexit. Ambos casos gracias a la información que a través de Facebook se había recolectado sobre los perfiles de millones de usuarios a través de técnicas basadas en Inteligencia Artificial.

A idénticas conclusiones llegamos si analizásemos el complejo fenómeno de las fake news o noticias falsas, que inundan Internet y que conducen a la desinformación del individuo. O si analizamos el impacto que las  webs personalizadas, tienen en nosotros, al tener la capacidad de mostrarnos lo que nuestro perfil les ha “chivado” se adapta más a nuestras necesidades, privándonos de la posibilidad de conocer diferentes perspectivas y de contrastar informaciones. O si pensamos en el poder que los robots influencers tienen en sus seguidores y que según los estudios son capaces de generar más confianza a ellos que personas reales.

Todos estos ejemplos nos sirven para tomar consciencia del impacto directo que la Inteligencia Artificial tiene ya en nuestra libertad de expresión y de pensamiento y, deberían ponernos en alerta y hacernos reflexionar sobre los riesgos que las acechan.

Y es que no es de mera ficción que la Inteligencia Artificial es capaz de influir sobre los seres humanos e incluso de controlar su actividad cerebral, sino que también tiene el potencial de limitar su libertad de expresión y de pensamiento. De hecho, a medida que avanza la tecnología, emergen más y más proyectos cuyo objetivo principal es descifrar cómo funciona el cerebro, entender cómo se conforman los pensamientos y cómo se formalizan a través de la expresión oral y escrita.  La responsable de estos desarrollos es la neurociencia, una disciplina que estudia el funcionamiento del cerebro y desarrolla tecnologías consistentes en interfaces cerebro-ordenador (brain-computer interfaces”BCI”). ​

El ejemplo más representativo de esta tecnología es el proyecto BRAIN, impulsado por la administración del Gobierno de Barak Obama, y para el que trabajan más de 500 laboratorios de todo el mundo. Según el científico español Rafael Yuste, uno de los principales líderes de proyecto, su objetivo es desarrollar técnicas nuevas para poder cartografiar la actividad cerebral y desarrollar nuevos mecanismos que sean capaces de alterar la actividad de los circuitos neuronales. Eso permitirá tratar enfermedades tales como la epilepsia, el alzhéimer, el párkinson y la depresión.

Otro proyecto de esta envergadura es Neuralink, desarrollado por la empresa de Elon Musk, cuyo objetivo es desarrollar una interfaz bidireccional capaz no solo de estimular partes del cerebro, sino también de recibir e interpretar las señales que provienen de él.  Lo que está claro es que, una vez establecida esta conexión, y mediante el uso de Inteligencia Artificial se podrían llegar a identificar las emociones del individuo, inducirle estados de ánimo, leer sus pensamientos e incluso acceder a su memoria.

La evolución de la neurociencia si bien supone grandes avances para la humanidad, también puede llegar a cambiar el paradigma del ser humano, tal y como lo conocemos hasta ahora. Por lo tanto, es imprescindible la intervención del Derecho, que tristemente, hasta la fecha no parece, salvo excepciones, estar a la altura de las circunstancias.

Conscientes de los riesgos que implica la neurotecnología para el ser humano, un grupo de neurocientíficos, entre ellos, el científico anteriormente mencionado, Rafael Yuste, defienden la necesidad de establecer un conjunto de normas destinado específicamente a proteger el cerebro y su actividad a medida que se produzcan avances en neurotecnología. Esta disciplina se reconoce con el término neuroderechos e incluye los siguientes cinco derechos:

  • A la identidad personal, consistente en limitar cualquier neurotecnología que permita alterar el sentido del yo de las personas, así como en evitar que la identidad personal se pierda con la conexión a redes digitales externas.
  • Al libre albedrío, consistente en preservar la capacidad de las personas de tomar decisiones libremente sin injerencias y manipulaciones neurotecnológicas.
  • A la privacidad mental, se refiere a la protección del individuo del uso de los datos obtenidos durante la medición de su actividad cerebral sin su consentimiento, prohibiendo expresamente cualquier transacción comercial con esos datos.
  • A la protección contra los sesgos, encaminado a poner límites a la posible discriminación de las personas a partir del estudio de los datos de sus  ondas cerebrales.
  • Al acceso equitativo a la potenciación del cerebro, consistente en buscar la regulación en la aplicación de las neurotecnologías para aumentar las capacidades cerebrales, de manera que no queden solo al alcance de unos pocos y generen desigualdad en la sociedad.

Este grupo de neurocientíficos propone incluir estos derechos en la Declaración Universal de Derechos Humanos, dotándoles del estatus máximo, como derechos fundamentales.

Chile es un país pionero en materia de neuroderechos, al haber aprobado un proyecto de reforma de la Constitución para que se reconozcan estos derechos, convirtiéndose en el primer país que se dota de una legislación encaminada a proteger la integridad mental.

Por su parte, la Unión Europea en su Propuesta de reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial distingue la Inteligencia Artificial en permitida (con tres niveles de riesgo, en alto, bajo y mínimo) y prohibida. ​En esta última categoría se incluyen todos los sistemas cuyo uso se considera inaceptable por ser contrario a los valores de la Unión Europea, como, por ejemplo, aquellos que violan derechos fundamentales. ​Sin embargo, en esa propuesta no se alude a los neuroderechos.

En conclusión, los desarrollos tecnológicos basados en la Inteligencia Artificial pueden influir y controlar la actividad cerebral, lo que constituye una potencial amenaza a la libertad de expresión y del libre albedrío de los seres humanos. En este sentido, se requieren acciones inmediatas por parte de los gobiernos que deben dar respuestas a este fenómeno a través del diseño correcto de su política en la materia. Los neuroderechos se presentan como una solución de mínimos, pero necesaria, para que la Inteligencia Artificial sea una herramienta en manos del individuo, en lugar de que sea el individuo la herramienta de la Inteligencia Artificial.

 

María Jesús González-Espejo, CEO del Instituto de Innovación Legal y Marilena Kanatá, abogada

La lucha contra las inmunidades de los poderes… tecnológicos

Hace casi sesenta años, el maestro García de Enterría publicó un texto que ha terminado por ser clásico en la materia: La lucha contra las inmunidades del poder en el derecho administrativo (poderes discrecionales, poderes de gobierno, poderes normativos). Bajo título tan elocuente, el ilustre administrativista analizaba las diversas formas de manifestar el ejercicio de la potestad político-administrativa, señalando el papel que la normativa, y en especial la jurisdicción, está llamada a jugar como función de control.

Hay recorrido para que, en no muchas décadas, un nuevo García de Enterría pueda actualizar y trasplantar el análisis, desde su actual inmunidad, al inmenso poder de las tecnológicas que se sostiene sobre algunas piedras de toque y dilemas que se recogen a continuación.

Monopolizan, poseen y “son” nuestro ciber-yo.

Se constituyen en propietarios, en un cuerpo de bytes, ceros y unos, de nuestra identidad digital con capacidad para estrujarla, modelarla, manipularla e incluso matarla. Porque ya hay víctimas que se enfrentan al asesinato de su “ciber-yo”, al ser abruptamente  cancelada sin explicación alguna  la cuenta de correo y todo lo asociado con ella.

Inaccesibles

¿Se avanzará hacia la accesibilidad de servidores e instalaciones? Especialmente para romper la principal cúpula de defensa de que disponen: la inaccesibilidad de sus servidores e instalaciones para inspeccionar sus prácticas y conductas y contrastar la coherencia entre lo que “declaran” y lo que “hacen”. No debe olvidarse que uno de los principales procedimientos que se iniciaron en Europa frente a una de las grandes tecnológicas se produjo, precisamente, cuando la autoridad francesa de protección de datos (CNIL) pudo realizar una inspección “in situ” a lo único “inspeccionable”: uno de los coches que captaba imágenes para Google Street view, al comprobar que aprovechaba para recolectar toda la información disponible de datos de redes wifi.

Queda pendiente, pues, acceder al que se ha convertido en el más importante territorio ignoto para el hombre, el virtual, tras haber quedado cartografiado exhaustivamente el mundo físico.

¿Cómo evolucionará la caja negra algorítmica?

Sin que sean accesibles sus servidores, sus algoritmos y su Código fuente, que quedan protegidos por el secreto, lo que les otorga un mayor poder incluso del que ya disponen. ¿Cómo se acomodará la “caja negra” con el sistema de garantías públicas en las resoluciones administrativas? Ya han recaído variadas resoluciones en diferentes países de Europa (incluido el Consejo de Transparencia en España) salvaguardando el secreto del código fuente de algoritmos utilizados por la Administración que, como verdaderos reglamentos, otorgan o no derechos a los ciudadanos. Así ha ocurrido, por ejemplo, en España, Italia y Francia. Y así lo considera el Parlamento europeo. En España ya ha ocurrido respecto a la solicitud de desvelar las entrañas del programa BOSCO, un software desarrollado por orden del Gobierno, que las eléctricas utilizan para decidir quién es beneficiario del denominado bono social. El Código permanece en secreto tras la negativa del Consejo de Transparencia a amparar el acceso.

Estas resoluciones impiden –o dificultan en grado extremo- conocer su funcionamiento y aplicar las garantías frente a las decisiones automatizadas que recoge el Reglamento General de Protección de Datos y que invisten a cualquier otro acto administrativo: control, motivación y transparencia. Cuestión si cabe más relevante por cuanto su inmensa destreza les puede convertir –o se están convirtiendo- en arcanos cercanos a Dios a los que invocar en caso extremo (Amazon en la pandemia), que monopolicen desde la tecnología cuántica o la fusión nuclear hasta el destino de nuestro “otro yo”, que nos sobrevivirá en forma de bits.

¿Será necesario reforzar los “neuroderechos”?

La posibilidad de hackear la mente y dominar nuestras emociones ha planteado la exigencia de un catálogo de derechos sobre el cerebro o “neuroderechos” que ya ha sido recogida en Chile mediante una enmienda a la Constitución. Derechos a la identidad personal, libre albedrío, privacidad mental, acceso equitativo a las tecnologías de aumentación, protección contra sesgos y discriminación en especial algorítmica. Será necesario estar atentos a las amenazas y a los instrumentos  para hacerlas frente.

¿Cómo se garantizan derechos en un internet sin fronteras frente a un mundo asimétrico y basado en Estados?

El escenario sigue siendo incierto ante el limitado número de países con Agencia de Protección de Datos, la fragmentación de los instrumentos y jurisdicciones y la asimetría de modelos y principios, incluso entre Europa y Estados Unidos, sin marco vigente de transferencia internacional de datos. Adicionalmente, el procedimiento de cooperación y coherencia del Reglamento General de Protección de Datos entre las Agencias europeas sigue ofreciendo dudas por crear burocracia, sobrecargar y centralizar  la irlandesa y luxemburguesa (donde ubican las multinacionales sus sedes), vaciar su contenido con la interpretación de que no es aplicable si el establecimiento principal se encuentra situado fuera de la UE y por  la falta de autocontención por los  tribunales nacionales en aspectos que debieran ser sometidos a cuestión prejudicial.

Es más, en la reciente propuesta de Reglamento de inteligencia artificial está ausente un sistema de “ventanilla única” como en el GDPR, que se basa en una única autoridad principal supervisora del cumplimiento de las organizaciones que operan en varios Estados miembros, lo que puede derivar en la fragmentación de la supervisión de los sistemas de Inteligencia Artificial.

La única respuesta, de enorme dificultad política, probablemente debe venir de la creación de estructuras internacionales lo más extendidas posibles, preferentemente en el entorno ONU, que regulen el tráfico y establezcan normas “iguales para todos”, con posibilidad de imponer sanciones. Dotar asimismo de competencias ejecutivas al Supervisor Europeo de Protección de Datos para cuestiones transnacionales sería también un avance.

¿Se mantendrá la prohibición de inspecciones prospectivas y límites a las vigilancias masivas?

Sigue siendo una de las batallas más activas la que se produce entre privacidad por un lado y, por el otro, barridos, vigilancia masiva y Big Data como instrumentos, en especial en manos de las autoridades, para realizar fiscalizaciones ilimitadas con el fin de detectar fraude e infracciones.

Con uno de sus últimos hitos en la reciente aprobación por las autoridades europeas de protección de datos de un dictamen conjunto sobre la propuesta de Reglamento de la Comisión Europea sobre Inteligencia Artificial. Piden que se prohíba el uso de la IA para el reconocimiento automatizado de rasgos humanos en espacios de acceso público, y algunos otros usos de la IA que pueden dar lugar a una discriminación injusta.

¿Se conseguirá “institucionalizar” el control de contenidos y datos en Internet?

El modelo Europa-Estados Unidos y el proyecto de Reglamento de Servicios digitales (DSA) lanzado por la Comisión a finales de 2020 mantiene el apoderamiento a las tecnológicas para filtrar perfiles y contenidos, en su caso con datos. Son “guardianes del acceso” a internet. Como posible alternativa futura sobrevuela la “refundación” del control judicial o institucional para responder a los retos de rapidez y coherencia existentes. Debe recordarse que el Consejo Constitucional francés ya se ha manifestado exigiendo que la ley francesa prevea plazos de retirada que permitan consultar a los jueces y los riesgos de autocensura en caso de duda.

¿Se conseguirá implementar el derecho de “explicación” frente a  algoritmos “no deterministas”?

La obligación según el Reglamento general de Protección de datos de explicar las decisiones automatizadas que afecten a las personas (como otorgar o no un crédito) y el derecho a que haya intervención humana y a que el afectado pueda alegar, cuestiona -o al menos invita a reflexionar- sobre el futuro –al menos legal- de los sistemas no predictivos vinculados al “machine learning” en los que no sea posible deducir de la “entrada” de información, el “producto” final. Y en todo caso plantea cual va a ser la fórmula para su conciliación.

Todo ello obliga a seguir con atención las actividades del Comité Antimonopolio del Congreso de Estados Unidos y de la Comisión Europea, enfocadas a dividir sus negocios, dificultarles adquirir otros e imponer nuevas reglas para salvaguardar la competencia; a los avances que se puedan realizar en Europa para proteger a los consumidores contra las cláusulas abusivas en los contratos sobre servicios digitales; a las iniciativas de las autoridades europeas de Protección de Datos; y por supuesto, a las previsibles decisiones del Tribunal de Justicia de la Unión Europea llamado a trazar líneas en aspectos fronterizos, como ya hizo en su momento respecto al derecho al “olvido”.

Marbury vs. Madison. Juez ponente: R2-D2 (con voto particular discrepante de C-3PO)

Hace tiempo que venía dándole vueltas a la cabeza acerca del tema objeto de este artículo, sobre todo después de leer la trilogía de Harari [1]. Y me he puesto a escribir con ocasión del reciente artículo del magistrado Pinto Palacios: “¿Pueden los robots administrar justicia?” [2]. Mi reflexión pasa por reconocer que no sabemos qué nos deparará el futuro al respecto. Bastante tenemos ahora con preocuparnos por resolver, en el corto y en el medio plazo, los problemas que nos trae la pandemia Covid-19.

Según Harari [3], “no podemos basarnos en la máquina para establecer criterios éticos relevantes: será necesario que esto sigan haciéndolo los humanos. Pero una vez que hayamos decidido acerca de un criterio ético en el mercado laboral (por ejemplo, que está mal discriminar a los negros y a las mujeres), podemos confiar en las máquinas para que implementen y mantengan ese criterio mejor que los humanos”.

Nos ilustra Pinto Palacios con un caso real, dado en los Estados Unidos: “el «caso Loomis». En el año 2013 Eric Loomis fue detenido por agentes de policía del Estado de Wisconsin (Estados Unidos) cuando conducía un vehículo implicado en un reciente tiroteo. Se le acusaba de huir de la policía y utilizar un vehículo sin la autorización de su propietario. El señor Loomis se declaró culpable de ambos delitos con la esperanza de que no tuviera que ingresar en prisión. Durante la vista para decidir sobre su libertad condicional, el Fiscal aportó un informe elaborado por el programa informático Compas, desarrollado por la empresa privada Northpointe Inc., según el cual el señor Loomis tenía un riesgo elevado de reincidencia y de cometer actos violentos. El informe concluía que el condenado representada un «alto riesgo para la comunidad».

Partiendo de tales consideraciones, el juez impuso al señor Loomis una pena de seis años de prisión y otros cinco en régimen de libertad vigilada. La defensa del condenado recurrió la sentencia alegando que se había vulnerado el derecho a un proceso con todas las garantías porque no podía discutir los métodos utilizados por el programa informático Compas dado que el algoritmo era secreto y solo lo conocía la empresa que lo había desarrollado. Sin embargo, tales argumentos no fueron acogidos por la Corte Suprema del Estado de Wisconsin. Los jueces argumentaron que, en definitiva, el programa informático se había basado únicamente en los factores habituales para medir la peligrosidad criminal futura como, por ejemplo, huir de la policía y el historial delictivo previo”.

El magistrado español estima, convenientemente, que “la utilización de la inteligencia artificial en la Administración de Justicia plantea numerosos interrogantes. ¿Quién elabora el software? ¿Qué variables tiene en cuenta? ¿Cómo se pueden rebatir sus conclusiones? ¿Puede desvelarse el algoritmo cuando esté en juego la libertad de una persona? Todas estas cuestiones redundan, en definitiva, en una mucho más trascendental: ¿estamos dispuestos a ser juzgados por máquinas? Nuestra imaginación todavía no alcanza a imaginar ese escenario. Sin embargo, si nos paramos a reflexionar un instante, pronto nos daremos cuenta de hasta qué punto la tecnología ha ido introduciéndose en el arte de juzgar. Quizá sea el momento de recordar las palabras de Marvin Minsky, padre de la Inteligencia Artificial, pronunciadas hace más de cuarenta años en la Revista Life: «Cuando los ordenadores tomen el control, puede que no lo recuperemos. Sobreviviremos según su capricho. Con suerte, decidirán mantenernos como mascotas».

Pinto Palacios basa su reflexión principalmente en el terreno de los hechos, de la prueba. A mí me gustaría introducir en el debate el tema de la formulación del Derecho, de la doctrina y, más precisamente, de la jurisprudencia. Incluso se podría introducir el tema de la producción, stricto sensu, del Derecho. Si se estima que los robots son idóneos (o pueden llegar a ser idóneos) para la administración de justicia, ¿por qué no lo van a ser para proporcionarnos las mejores leyes para administrar nuestra conducta?

Creo que no será posible. Al Derecho le pasa lo mismo, en mi opinión, que a la traducción, pues “La interpretación correcta de un texto va más allá de una cuestión sintáctica o gramática“.

Ramón López de Mántaras, profesor investigador del Centro Superior de Investigaciones Científicas y director del Instituto de Investigación de inteligencia artificial, explica que la dificultad reside en dotar a la Inteligencia Artificial de sentido común. Este conocimiento se basa en la experiencia que adquirimos las personas en las primeras etapas de nuestras vidas”[4]. Sobre las dificultades que presenta el entendimiento (incluso para traductores profesionales) de textos jurídicos escritos en lengua extranjera, Zaccaria [5] ha señalado que “esta operación no es fácil. De hecho, el traductor debe interpretar una tradición y una cultura jurídica que es diferente a la suya, enunciados jurídicos creados para formar y describir el derecho de un país determinado, acompañados por aparatos científicos y reflexiones doctrinales totalmente peculiares, sin los cuales es probable que el sentido del texto se pierda irremediablemente. Esto implica una confrontación continua entre el lenguaje técnico y el lenguaje común, para comprobar si a un caso controvertido se relaciona o no un enunciado normativo específico…”

En el terreno del arte, Pablo L. Rodríguez [6], refiriéndose a la noticia de que “Un algoritmo completa la misteriosa Sinfonía inacabada de Schubert” [7], entiende que “la Sinfonía inacabada es el resultado de una imperfección artística que fue considerada como perfecta por su autor. Por tanto, no tiene sentido ahondar en cómo la habría terminado Schubert”. Parece evidente que un robot puede (re)producir, incluso a la perfección, una obra de arte, pero no puede producir, seguramente, Las meninas de Velázquez o el Guernica de Picasso.

Parece evidente, como señala Dans[8], que “es más que posible que muchos casos sencillos que hoy son juzgados por humanos acaben siendo objeto de juicios puramente algorítmicos, que ahorren tiempo y recursos… ¿qué harán los abogados, entonces? Simplemente, situarse más allá y llevar a cabo tareas de más valor añadido. Nada que no hayamos visto anteriormente en la historia de la humanidad. El dilema de la sustitución no es el enfoque adecuado…”

A mí me parece evidente que un robot no sería capaz de elaborar la doctrina del judicial review, contenida en Marbury v. Madison. De la misma manera que no sería capaz de formular, paso a paso, el imponente edificio jurídico que a través de decisiones pretorianas ha realizado el Tribunal de Justicia de la Unión Europea, estableciendo principios como los de primacía, eficacia directa, efectividad y equivalencia, etcétera, etcétera. Ello es obra del genio de los juristas (humanos). Como dice López de Mántaras [9], “los robots funcionan con reglas que no se pueden saltar. Los humanos sí, por eso surge un Miró, un Picasso o un Bach”. Por esta lógica parece que un robot no será capaz de crear reglas, principios, y que, al menos en el ámbito jurídico, la presión económica no llegará a hacer obsoletos a los juristas (humanos), como advierte Tegmark [10].

 

NOTAS

Al respecto del título de este post: la vicepresidenta del Tribunal de Justicia de la Unión Europea, Silva de Lapuerta, no es partidaria de que haya votos particulares en las sentencias del Tribunal de Justicia de la UE: “Yo no soy partidaria de que haya votos reservados en el Tribunal. Tienen que pensar que estamos en un Tribunal que está compuesto por miembros procedentes de distintos países y yo creo que eso llevaría a identificar una determinada tendencia o un determinado voto en función de la nacionalidad. Y eso no es bueno. Porque aquí nos olvidamos, desde el momento en que entramos por la puerta de qué nacionalidad somos cada uno. El otro elemento es la fuerza de nuestras sentencias cuando respondemos a una cuestión prejudicial. ¿En qué medida un juez nacional se va a ver vinculado por una sentencia nuestra si –pensemos que es una sentencia de una sala de cinco jueces– hay tres a favor y dos votos reservados? Creo que eso dañaría la eficacia y la fuerza de nuestras sentencias, por lo tanto, creo que el sistema está muy bien como está”. Sobre los votos particulares, puede verse: Ibáñez García: “¿Deben permitirse los votos particulares en el TJUE?”.  Diario La Ley,  Nº 9560, 2020.

[1] “Sapiens”; “Homo Deus”; “21 lecciones para el siglo XXI”. Penguin Random House Grupo Editorial. https://www.penguinrandomhouse.com/authors/2138691/yuval-noah-harari

[2] Diario La Ley, nº 9808, 11 de marzo de 2021. https://diariolaley.laleynext.es/Content/Documento.aspx?params=H4sIAAAAAAAEAMtMSbF1CTEAAmMjIxMLc7Wy1KLizPw8WyMDI0MgMlfLy09JDXFxti3NS0lNy8xLTQEpyUyrdMlPDqksSLVNS8wpTlVLTcrPz0YxKR5mAgDFUrT7YwAAAA==WKE

[3] “21 lecciones para el siglo XXI”.

[4] “¿Qué impide a la IA producir traducciones perfectas?”. Artículo de Poz Aranda. https://www.lavanguardia.com/tecnologia/20210212/6235165/barrera-ia.html#:~:text=La%20complejidad%20del%20lenguaje%20dificulta,que%20interprete%20correctamente%20cada%20mensaje.&text=El%20desarrollo%20del%20aprendizaje%20profundo,tecnol%C3%B3gicas%20en%20todas%20las%20disciplinas

[5] “Hermenéutica jurídica, comprensión del derecho, traducción”. http://www.racmyp.es/R/racmyp/docs/corr/2014%20Zaccaria%20texto%20ingreso1.pdf  . 11 de julio de 2014.

https://ecjleadingcases.files.wordpress.com/2017/06/ibanez_garcia_las-lenguas-2017.pdf

 

[6] “Una empresa inútil”. El País, 4 de febrero de 2019. https://elpais.com/cultura/2019/02/04/actualidad/1549309286_187427.html

[7] https://elpais.com/cultura/2019/02/04/actualidad/1549284459_079024.html Jesús Ruiz Mantilla, 4 de febrero de 2020.

[8] ¿Sustituirán las máquinas a los abogados? Abogacía Española, febrero 2018.

[9] “Eso de que los robots puedan rebelarse es una tontería”. El mundo, 25 de marzo de 2028.

[10] “Hay una gran presión económica para hacer obsoletos a los humanos”. Entrevista de Mediavilla. El País, 13 de agosto de 2018. https://elpais.com/elpais/2018/08/07/ciencia/1533664021_662128.html

SUSPENDIDO: Inteligencia artificial, un reto para el Estado de Derecho

Dadas las recomendaciones de la Comunidad de Madrid para hacer frente a la situación epidemiológica generada por el COVID-19, se ha decidido como medida preventiva la suspensión del evento. Intentaremos reprogramarlo en cuanto la situación haya mejorado. Muchas gracias por su interés.

 

 

 

Intervienen:

Manuel González Bedía
Profesor Titular en el Departamento de Informática de la Universidad de Zaragoza y Vocal Asesor en el Ministerio de Universidades. 

Elisa de la Nuez
Abogada del Estado y Secretaria General de la Fundación Hay Derecho. 

Francisco Pérez Bes
Abogado. Ex-Secretario General del Instituto Nacional de Ciberseguridad (INCIBE). Miembro de la Comisión Jurídica del Consejo General de la Abogacía Española.

Rafael Rivera
Ingeniero de Telecomunicaciones y patrono de la Fundación Hay Derecho.

Rodrigo Tena
Notario y patrono de la Fundación Hay Derecho.

Modera:

Noemí Brito Izquierdo
Socia responsable del Área de Tecnología, Innovación y Economía Digital en Ceca Magán Abogados. 

Entrada gratuita. Se ruega confirmar asistencia en esta dirección info@fundacionhayderecho.com

La Inteligencia Artificial para el bien

Sin apenas darnos cuenta, la Inteligencia Artificial (IA) ha entrado a formar parte de nuestra vida cotidiana. Gracias a la IA nuestros móviles y sus asistentes digitales nos hacen la vida más fácil, clasifican nuestras fotos y nos proponen donde comer o la ruta más rápida, las aspiradoras limpian nuestra casa, los coches conducen solos, y se nos sugieren películas o libros adecuados a nuestros gustos. La IA ha venido para quedarse, nosotros pensamos que para bien.

Pero ¿sabemos qué es la IA? Podríamos pensar que una calculadora es IA porque es capaz de hacer operaciones aritméticas muy complejas. Yéndonos al otro extremo podríamos pensar que la IA es nuestro amigo C3PO de la guerra de las galaxias. Piensa y razona como un humano y es capaz de hablar miles de idiomas. En la actualidad nos encontramos en un punto intermedio y definimos la IA como un sistema capaz de realizar (al menos igual que el ser humano) una tarea compleja típicamente humana. Por ejemplo, conducir un automóvil o traducir un texto de un idioma a otro.

 

Es una inteligencia profunda y estrecha. Hace muy bien una única tarea. Un sistema de IA diseñado para traducir textos o para jugar al “Go” es incapaz, al menos de momento, de conducir un coche. Frente a esta inteligencia estrecha, la inteligencia humana es capaz de hacer tareas muy diversas.

La IA es una tecnología que ha pasado por varias épocas de esplendor y de abandono (los llamados inviernos de la IA). El siguiente esquema refleja esos periodos:

 

Estamos en la tercera oleada de la IA. Las 2 anteriores fracasaron por diferentes razones: escasa capacidad computacional y carencia de datos, o enfoque inadecuado por tratar de describir la inteligencia en base a reglas prefijadas. Y en esta tercera ocasión la IA se está abriendo camino por un cúmulo de circunstancias que están produciendo resultados espectaculares:

  • Gran capacidad de computación (en gran medida gracias a la nube y a sistemas distribuidos)
  • Disponibilidad de millones de datos (nuevamente gracias a Internet y a la interacción de millones de usuarios generando información), en lo que se denomina “Big Data”
  • Generosidad de la comunidad científica y tecnológica. Se ha producido un vertiginoso desarrollo de nuevos modelos de IA (principalmente los modelos de aprendizaje superficial y profundo) que se dan a conocer y se diseminan de forma abierta en plataformas de aprendizaje y de desarrollo disponibles para todos. Nunca tanto conocimiento ha estado disponible de forma tan abierta y generosa.

 

Gran parte del éxito de la nueva IA reside en un cambio de paradigma. La IA actual aprende de los datos que le mostramos y, por tanto, no es una IA preprogramada. Es lo que se llama aprendizaje automático o “machine learning” en inglés. En ese sentido tiene ciertas similitudes con la inteligencia humana (aunque los mecanismos de aprendizaje son muy distintos). Y se aprovecha de la gran cantidad de datos que se generan en nuestra sociedad del conocimiento. La IA puede aprender de la propia estructura de los datos (modelos no supervisados) o de la estructura de los datos ligada a una respuesta a esos datos (modelos supervisados).

 

Esta IA es la que está produciendo unos resultados espectaculares que, posiblemente, cambiaran profundamente nuestra sociedad y nuestra economía en los próximos años. Y ante estos cambios surge el miedo y la incertidumbre. Miedo a los sesgos, a basar decisiones importantes en algoritmos “opacos”, a la destrucción de puestos de trabajo, a la creación de armas inteligentes, al “gran hermano”. De hecho, el propio Elon Musk ha calificado a la IA como la principal amenaza a nuestra existencia. Pero frente a ello la IA nos abre grandes oportunidades: erradicar la pobreza, mejorar la salud de todos, contribuir a la sostenibilidad de nuestro planeta, predecir situaciones de riesgo, dejar las tareas tediosas y peligrosas a los robots, potenciar la creatividad, o algo que a la fundación Hay Derecho nos atañe muy de cerca, mejorar la calidad y transparencia de nuestras instituciones y definir mejores políticas públicas. Los seres humanos, por razones diversas, tendemos a fijarnos más en las amenazas que en las oportunidades. Pero echen un vistazo a la cantidad de proyectos que se están moviendo en lo que se llama “IA for Good” por parte de organismos como la ITU (UN), de empresas como Google, Microsoft, IBM, de asociaciones, o de universidades. Los gobiernos, por desgracia, todavía van con retraso. Están a otras cosas.

Y, como nos gusta predicar con el ejemplo, hemos puesto en marcha el panel inteligente “Hay Derecho” para dar transparencia a nuestros contenidos utilizando técnicas de IA. Efectivamente, en Hay Derecho hemos publicado cerca de 4.000 artículos (posts) en los últimos años. Son artículos meditados y pensamos que de una alta calidad. Y que contienen un conocimiento muy elevado. Y, sin embargo, acceder a ese conocimiento, hasta ahora no era fácil. Con el panel inteligente que hemos lanzado acceder a ese conocimiento es posible. Investigadores, académicos, ciudadanos podrán, a partir de ahora, investigar sobre temas de su interés en todo el material que hemos publicado: tribunal supremo, cláusulas suelo, plusvalía municipal, corrupción, el asunto catalán, la calidad de nuestras instituciones, o la segunda oportunidad.

Por ejemplo, podemos ver cuánto hemos publicado a lo largo del tiempo de cada uno de tres de nuestros más insignes políticos: Mariano Rajoy, Pedro Sánchez y Pablo Iglesias. EL Sr. Rajoy tuvo su momento de gloria años atrás, sobre todo en la época de su última investidura, así como durante el proceso catalán. Ahora está de capa caída. Pedro Sánchez está de moda, quien lo puede dudar. Y el que está claramente de retirada es Pablo Iglesias.

 

Podemos obtener resúmenes de los artículos, mapas conceptuales, hacer búsquedas inteligentes, búsquedas por similitud, trabajar con grupos de documentos, etc. En el propio panel hay una pestaña de “Ayuda” con el manual de usuario. Una herramienta que esperemos que sea de utilidad para nuestros lectores, investigadores y el conjunto de la sociedad. Claramente la tecnología se puede (y se debe) usar para el bien.