Sesgos algorítmicos en la Inteligencia Artificial (1ª parte)

SESGOS ALGORÍTMICOS EN LA INTELIGENCIA ARTIFICIAL (1ª parte)

A las mujeres y, especialmente a las mujeres abogadas nos preocupa el impacto de la I.A, celebrándose al efecto, en Valladolid, los días 21 a 23 de febrero de 2025, el 30º Congreso Estatal de Mujeres Abogadas bajo la denominación “El impacto de la inteligencia artificial: retos nuevos desde la perspectiva de género”.

Se ha contado con las ponencias tituladas: “La inteligencia artificial: ¿aliada o rival de la igualdad de género en el ámbito legal?”, defendida por Dª. María Martín González, Letrada del I.C.A. de Oviedo, y “Menores influencers: responsabilidad parental en la nueva era tecnológica”, defendida por Dª. Elisabet Cejudo Velasco, del I.C.A. de Valladolid, así como la comunicación del Área de la Mujer de la Asociación Libre de la Abogacía (ALA) “Implicaciones sociales de la utilización de la IA en el sistema judicial”, defendida por Dª. Carmen Sánchez Vidanes, del I.C.A. de Madrid. Asimismo, se contó con una mesa redonda “Inteligencia artificial: ¿hacia dónde vamos?”, con Dª. Maitena Valdecantos Flores, abogada del I.C.A. de Bilbao, y D. Javier Álvarez Hernándo, abogado del I.C.A. de Valladolid.

La IA, aceptada y vilipendiada a partes iguales, llegó para quedarse entre nosotros y se ha convertido en un mecanismo más de opresión, desigualdad, de difusión de la misoginia y el racismo, porque identifica y aprende del mundo que le rodea donde campan a sus anchas sesgos inherentes a la sociedad en la que vivimos, como los estereotipos de género, de clase y raza y con ellos la reproducción del patriarcado; no toma decisiones éticas sino matemáticas. Como ha expuesto Carmen S. Vidañes, “la IA es una tecnología diseñada y creada mayoritariamente por hombres blancos estadounidenses y chinos, pero se impone a la totalidad de la población global. Recuerden el caso de TAi Tweet, Microsoft creó un robot para Twitter que en menos de 16 horas alimentándose de la red social publicó mensajes misóginos y racistas tales como “odio a los judíos, Hitler no hizo nada malo y odio a las putas feministas” (https://www.bbc.com/mundo/noticias/2016/03/160325 tecnologia microsoft tay bot adolescente inteligencia artificial racista xenofobia ib)” Si estos datos de los que se alimentan reflejan sesgos presentes en la sociedad como desigualdad entre mujeres y hombres, racismo, xenofobia, clasismo, etc, el algoritmo reproducirá y amplificará esos sesgos lo que puede llevar a decisiones injustas, discriminatorias y seguro van a contribuir a incrementar una aplicación desigual de la Ley y de la tutela judicial efectiva, en perjuicio de las mujeres y minorías. Así lo avalan los trabajos realizados por la organización Algorithmic Justice League desde donde proponen una mayor transparencia en el desarrollo y uso de la IA, y diversas medidas para garantizar que los algoritmos sean justos y equitativos. Las investigadoras Joy Buolamwini y Timnit Gebru, en el MIT en 2018 sobre reconocimiento facial, en el documental “Coded Bias” (https://www.codedbias.com/) narran la historia de la investigadora Gender Shader, donde el sistema no reconocía su cara por ser una mujer negra. A partir ahí, empezaron a analizar los soltwares comerciales más usados y descubrieron que había un sesgo grande entre hombres y mujeres, pero que se incrementaba aún más en función del tono de la piel.

El compañero Javier Álvarez recopiló información que nos debe hacer reflexionar amén de realizar un profundo análisis de la situación, y que paso a reseñar fecha y fuente, tales como:

-Noviembre/2022, Expansión: Guindos avisa del riesgo de burbuja en el IA y de caída brusca del mercado. -26/01/2023 CNN Tecnología: ChatGPT aprobó exámenes de derecho en cuatro cursos en la Universidad de Minnesota y otro examen en la Escuela de Negocios Wharton de la Universidad de Pensilvania -29/03/2023 El Pais: Expertos en inteligencia artificial reclaman frenar seis meses la “carrera sin control” de los ChatGPT. El magnate Elon Musk, el cofundador de Apple Steve Woznial y el historiador Yuval N. Harari destacan entre el millar de firmantes de una carta abierta. -24/10/2023 El Confidencial: para exponer el mercado de la abogacía donde la “IA no te va a dejar sin empleo, pero alguien que sepa usar la IA si lo hará” recopilando información de todo tipo: la entrevista a Daniel Sussking (Investigador del King´s College y Oxford) “Hay más razones para automatizar a un abogado bien pagado que a un camionero”. -27/01/2025 Investing.com: Terror bursátil: Nvidia y tecnológicas se hunden por IA China ¿la burbuja es real?

-28/01/2025, El Mundo: La IA “low cost” de China golpea a Silicom Valley; un fondo tecnológico lanza DeepSeek, capaz de competir con ChatGPT, con mínimos costes de computación.

-28/01/2025, Meristation As: alerta entre los expertos en inteligencia artificial por el espeluznante hecho que ha conseguido la IA sin ayuda humana. Los investigadores de la Universidad de Fundan (China) encontraron que los modelos utilizados por Meta y Alibaba podían duplicarse de manera autónoma, sugiriendo que la IA ya podría explotarse sin control.

-11/02/2025, Press Release: la UE pone en marcha la iniciariva InvestAI para movilizar 200.000 millones Euro de inversión en inteligencia artificial. -12/02/2025, El Norte de Castilla: Un consorcio de inversores liderado por el multimillonario Elon Musk ha presentado una oferta de 97.400 millones para adquirir OpenAI, la empresa pionera en inteligencia artificial, según ha informado el Wall Street Journal. Europa planta cara a la soberbia de EEUU para controlar el futuro de la IA y abre una “tercera vía”. Nadie duda de los riesgos de la IA. La Sentencia del Tribunal Constitucional núm. 27/2020, de fecha 24/02/2020, dictada en el Recurso de Amparo 1369-2017, en relación a una fotografía extraída de un perfil personal de Facebook abierto y accesible al público recoge que “resulta innegable que los cambios tecnológicos cada vez más acelerados que se producen en la sociedad actual afectan al conjunto global de los ciudadanos repercutiendo directamente en sus hábitos y costumbre. También lo es la afectación de los derechos fundamentales, a la propia imagen y a la protección de datos de carácter personal (art. 18 CE) por el uso masivo de las tecnologías de la información y de la comunicación y de los servicios de redes sociales…”

La defensa de los derechos fundamentales de las personas fluctúa según los intereses partidistas de cada país. Así Trump derogó el

20/01/2025, la Orden Ejecutiva 14110 de Biden, una medida que tenía como objetivo garantizar el desarrollo y uso seguro y responsable de la IA en sectores claves como la seguridad nacional, la economía y la salud pública. El 21/01/2025, se informa del proyecto de infraestructura de IA más grande de la historia: “construir una red de centro de datos de última generación para dar soporte al desarrollo de la IA. Joint Venture: OPENAI + ORACLE +SOFTBANK (inversor japonés) + MGX (empresa de inversión); socios tecnológicos: MICROSOFT + NVIDIA + ARM (empresa inglesa de software). Su origen está en la creación de una supercomputadora en 2024 por OpenAI y Microsoft.

Para China, la IA es una prioridad nacional (Plan de Desarrollo de IA de Próxima Generación (2017), cuyo objetivo es liderar la IA para 2030; domina la producción de hardware necesario para la IA, incluidos, chips avanzados, sensores y dispositivos tecnológicos que luego son demandados por terceros países creando una dependencia brutal, debido a la globalización impulsada por el capitalismo; tiene incrementada su capacidad de innovación (Huawei, Tencet, Baidu, TikTok, Deepseek) y gracias a su enorme población y políticas menos restrictivas en cuanto al uso de datos, China tiene acceso a cantidades masivas de información, lo que impulsa el desarrollo y entrenamiento de modelos de IA. El grupo de Expertos de Alto Nivel en IA (AI HLEG) presentó, en abril de 2019, a la Comisión Europea las directrices éticas basadas en tres conceptos complementarios: 1.-IA legal; 2-IA ética y ·-IA robusta. De ahí surgió el Libro Blanco de la UE sobre la IA, aprobado por la CE el 19 de febrero de 2020, en el que se recoge: 1- Debe existir intervención y supervisión humana. 2- Los algoritmos deben de ser seguros, fiables y sólidos en todas las fases del ciclo de vida de los sistemas de IA. 3- Algoritmos no discriminatorios/ sesgos.

4- Los afectados deben de tener el control pleno de sus datos persona- les, no viéndose perjudicados ni discriminados por el tratamiento efectuado. 5- Debe garantizarse la trazabilidad del sistema de IA.

6- Deben tener en cuenta las capacidades, competencias y necesidades humanas, y garantizar la accesibilidad. 7- Deben mejorar el bienestar social y medioambiental.

8- Deben implantarse mecanismos que garanticen la responsabilidad y la rendición de cuentas de los sistemas de IA y de sus resultados. Previa es la Resolución del Parlamento Europeo, de 16 de febrero de 2017, con recomendaciones destinadas a la Comisión sobre normas de Derecho Civil sobre Robótica, y entre ellas, establecer un marco normativo para regular los aspectos éticos y legales de la robótica y la IA en el ámbito civil, abordando temas como la responsabilidad por daños, los derechos de los usuarios, la protección de datos y la creación de una personalidad jurídica específica para los robots autónomos avanzados. La normativa europea siempre ha priorizado los datos en beneficio del interés común, contando entre ellas: -Reglamento General de Protección de Datos de 2016;

-Reglamento de Libre Circulación de Datos no personales de 2018. -Directiva sobre Información de Antecedentes Penales (2019), transpuesta en L.O. 4/2024, de 18 de octubre. -Directiva de datos abiertos y la reutilización de la información del sector público (2019), transpuesta en 2021.

-Reglamento de Gobernanza de Datos de 2022. -Reglamento de Servicios Digitales (DSA) de 2022.

-Directiva NIS2, Ciberseguridad de 2022.

-Reglamento de Mercados Digitales (DMA) de 2022.

-Reglamento que establece una lista de datos de alto valor y modalidades de publicación y reutilización de 2023.

-Reglamento de datos de 2023. -Reglamento sobre la libertad de los Medios de Comunicación, 2024. -Reglamento sobre la identidad digital europea (EADAS 2), 2024. -Reglamento IA, 2024.

-Directiva de responsabilidad por daños causados por productos defectuosos, 2014. -Reglamento de Espacio Europeo de Datos Sanitarios.

-Directiva sobre responsabilidad en material de IA.

-Reglamento sobre la privacidad y las comunicaciones electrónicas. El Comité de Ministros del Consejo de Europa el 17 de mayo de 2014 presentó el Convenio Marco del Consejo de Europa sobre “IA y Derechos Humanos, Democracia y Estado de Derecho”, que es el primer tratado internacional legalmente vinculante destinado a garantizar que el uso de los sistemas de IA sea coherente con los DDHH, la democracia y el Estado de Derecho, firmado por Andorra, Georgia, Islandia, Noruega, Moldavia, San Marino, UK, Israel, EEUU y la UE. Sus principios están relacionados con la dignidad humana, la transparencia, rendición de cuentas, igualdad, protección de datos, entre otros, promoviendo un uso confiable y seguro de la IA. En el Congreso de Valladolid también hemos analizado las experiencias de la IA en el ámbito judicial, con especial mención a los Tribunales de Internet de Pekín (China), “AL JUZGE”, que desde 2019 resuelven litigios simples relacionados con la ley china de internet y de comercio electrónico, con apoyo en jueves humanos (en una primera fase); estudia la jurisprudencia y las normas vigentes en tiempo real, automatiza procedimientos menores y ofrece recomendaciones al juez; usa un sistema de evidencias digitales con blockchain, dándose también desde 2020 la “social scoring”, premia o penaliza a los ciudadanos según el cumplimiento o no de las leyes.

Estonia también cuenta con los “jueces robots” para asuntos de cuantía inferior a 7.000 euros, son resueltos a través de IA; las partes presentan sus demandas y sus pruebas en formato digital; el juez de IA analiza la documentación y emite una sentencia. Sólo en caso de recurrir, se resuelve por juez humano ese recurso. Holanda, para prevenir y luchar contra el fraude fiscal y de seguridad social, usó el sistema de indicación de Riesgos “Systeem Anonime Risico Indicatie –SARI-“; el aplicativo analizaba y generaba informes de riesgos de fraude, analizando perfiles de todos los ciudadanos holandeses. El Tribunal de la Haya, competente (Reschtbank Den Haag), en su Sentencia de 05/02/2020 consideró que esta solución de perfilado de los ciudadanos era contraria al artículo 8.2 del CEDH (injerencias públicas en el derecho a la vida privada y familiar); señala el Tribunal que, aunque el informe de riesgos generado por el algoritmo no tiene en sí mismo una consecuencia legal directa, civil, administrativa o penal, sí que tiene un efecto significativo en la vida privada de la persona a la que se refiere. En nuestro entorno, también tenemos el algoritmo de predicción del riesgo para la emisión de Informe de Valoración Policial del Riesgo (VIOGEN), por la que el Ministerio de Interior recurre a la tecnología de inteligencia artificial para mejorar la valoración policial de riesgo en caso de violencia de género.

Desde 2018 en todas la Comisarias de Policía Nacional se cuenta con el Sistema de IA contra las denuncias falsas, VERIPOL; mediante técnicas de procesamiento del lenguaje natural, aplicada al escrito de la denuncia que previamente ha narrado el denunciante, mediante un algoritmo matemático, realiza un cálculo de probabilidad de que la mencionada denuncia pudiera ser falsa; está desarrollado por investigadores de la UCM, y dicen que tiene una precisión del 90%.

La UE cuenta con un proyecto piloto llamado IBORDERCTRL, sistema de control de fronteras portátil financiado por la UE destinado a proteger de forma más eficiente la entrada de personas al territorio comunitario, o eso dice su literalidad. Se plantea un registro para viajar a la UE que in54 cluiría no sólo datos personales y redes sociales, sino también un interrogatorio por un avatar humanoide a través de la cámara web. Una IA en un servidor remoto analizaría microexpresiones faciales para detectar posibles mentiras. Dicen que tiene una fiabilidad del 85%; está siendo desarrollado en la Universidad Metropolitana de Manchester.

Nos guste o no, el impacto de la IA está calando en las recientes modificaciones normativas como en el ámbito laboral en el que la IA se utiliza en la selección y contratación; monitorización y vigilancia; dirección y gestión del trabajo, mediante el uso de sistemas de decisión automatizada para la asignación de tareas, fijación de horarios, determinación del salario, control de la productividad, evaluación de rendimiento, promociones, despidos, etc. Al artículo 64.4, d) del Estatuto de los

Trabajadores bajo la denominación de “Información algorítmica en el ámbito laboral” implica en la práctica:

1.- obligación de la empresa: si la empresa usa algoritmos o IA para decidir sobre contratación, ascensos, despidos, retribuciones u otras condicionales laborales, está obligada a informar a los representantes de los trabajadores sobre su funcionamiento. 2.- transparencia y control: la información debe permitir a los representantes entender cómo opera el sistema, qué criterios aplica y si podría generar sesgos o discriminación. 3.- prevención de decisiones perjudiciales: se busca evitar que los algoritmos adopten criterios opacos, injustos o discriminatorios (no deben favorecer ni penalizar sin justificación objetiva) Respecto de la información algorítmica en el ámbito laboral, en mayo de 2022, se ha publicado la guía práctica y herramienta sobre la obligación empresarial de información sobre el uso de algoritmos en el ámbito laboral. Se puede consultar en https://www.mites.gob.es/ficharos/ministerio/inicio_destacados/Guia_Algoritmos_ES.pdf

En cuanto a las decisiones automatizadas sin intervención humana, el artículo 22 RGPD, contempla como regla general: un individuo tiene derecho a no ser sometido a decisiones basadas únicamente en el tratamiento automatizado, si estas tienen efectos jurídicos o le afectan significativamente. Y tienes las siguientes excepciones donde el tratamiento automatizado es válido si: -es necesaria para la ejecución de un contrato, como pasa en las empresas de crédito que evalúa automáticamente la solvencia de un cliente.

-está autorizado por ley.

-se basa en el consentimiento explícito del interesado (no válido en el ámbito laboral)

Si una decisión se basa en un sistema automatizado, el afectado tiene derecho: a) Obtener intervención humana; b) Expresar su punto de vista; c) Impugnar la decisión.

Art. 23 de la Ley 15/2022, de 12 de Julio, Integral para la Igualdad de Trato y la No Discriminación recoge que “las entidades privadas y públicas que usen algoritmos o sistemas de IA para la toma de decisiones que puedan afectar a personas (en áreas como el empleo, servicios públicos, educación, etc) deben garantizar que estos sistemas no incurran en discri- minación por razones prohibidas en la ley (como género, etnia, religión, orientación sexual, entre otros). Además, se exige transparencia en el diseño y funcionamiento de dichos algoritmos para evitar decisiones arbitrarias o discriminatorias”. Art. 35.- Principio general de orientación al dato, del R.D.L. 6/2023, de 19 de diciembre, Administración de Justicia:

1.-Todos los sistemas de información y comunicación que se utilicen en el ámbito de la Administración de Justicia, incluso para finalidades de apoyo a las de carácter gubernativo, aseguraran la entrada, incorporación y tratamiento de la información en forma de metadatos, conforme a esquemas comunes, y en modelos de datos comunes e interoperables que posibiliten, simplifiquen y favorezcan los siguientes fines: ...

K.- La aplicación de técnicas de inteligencia artificial para los fines anteriores u otros que sirvan de apoyo a la función jurisdiccional, a la tramitación, en su caso, de procedimientos judiciales, y a la definición y ejecución de políticas públicas relativas a la Administración de Justicia”. Y de aquellos polvos vienen estos lodos: primer caso conocidos de abogados sancionados por emplear IA sin verificar resultados es el caso Mata vs. Avianca Inc (EEUU). Un juez de Nueva York sancionó con multa de 5.000 dólares por mala fe a dos abogados y a su bufete (Levindow, Levidow & Oberman), por presentar una demanda redactada por ChatGPT que incluía sentencias inexistentes. En septiembre de 2024, la Sala Primera del Tribunal Constitucional, por unanimidad de sus seis magistrados, adoptó el acuerdo de imponer al abogado firmante de una demanda de amparo la sanción de “apercibimiento”, por haberse acreditado que faltó al respeto debido a los Magistrados de la Sala y a la propia institución, al incluir citas falsas de hasta 19 sentencia que atribuía al propia TC.

El T.S.J. de Navarra, Sala de lo Civil y Penal, en Auto de fecha 2/2024, de 4 de septiembre, dictado en el Recurso 17/2024, decide “no sancionar” a un abogado que citó en una querella un precepto del Código Penal colombiano, por utilizar ChatGPT, en la medida en que el letrado se ha apresurado para presentar sus “más sinceras excusas”.

La IA está revolucionando numerosos sectores; el sector legal no se queda atrás. Como hay mucha tela por cortar, termina aquí esta primera parte, y continuará con el Reglamento 204/1989/UE y las valiosas conclusiones a las que las Mujeres Abogadas hemos llegado en Valladolid.

JOAQUINA MARÍA SEGURA GARCÍA Cda. 1.494 Presidenta del Grupo de Menores ICAALMERIA