Por Javier Rodríguez-Losada, Asociado en Bartolome & Briones, España
Para muchos empresarios y directivos, la verdadera dimensión del riesgo jurídico no se aprecia hasta que se traduce en situaciones concretas. La inteligencia artificial (IA) ya no es una tecnología del futuro, sino una herramienta integrada en procesos de atención al cliente, marketing, gestión documental, selección de personal e incluso, de toma de decisiones empresariales.
El debate ya no es si utilizarla, sino cómo hacerlo sin exponerse a conflictos legales inesperados, teniendo en cuenta la existencia de normativa que regula obligaciones y sanciones al respecto. A continuación, mostramos algunos ejemplos sobre cómo herramientas diseñadas para ganar eficiencia pueden derivar en reclamaciones laborales, mercantiles o de responsabilidad civil cuando fallan los mecanismos de control.
Comercio electrónico: una plataforma de comercio electrónico incorpora sistemas de IA destinados a analizar patrones de navegación, tiempos de permanencia u otras variables conductuales con el objetivo legítimo de personalizar la experiencia del usuario y optimizar sus ventas. Sin embargo, un uso insuficientemente acotado del sistema podría llevar a identificar situaciones de especial vulnerabilidad emocional del consumidor, como estados de ansiedad, estrés o fatiga. A partir de ahí, la herramienta podría adaptar precios, ofertas o mensajes comerciales aprovechando esa circunstancia para influir en decisiones económicas que el consumidor probablemente no habría adoptado en condiciones normales.
Este tipo de prácticas podría constituir una infracción, pues la IA en este caso explota vulnerabilidades psicológicas para inducir decisiones económicas que el consumidor no habría adoptado en condiciones normales, vulnerando así el Reglamento (UE) 2024/1689, de obligado cumplimiento.
Diagnósticos médicos: una empresa instala un sistema de IA de diagnóstico automático en una clínica privada que emite informes a partir de pruebas que se realizan al paciente, así como de sus antecedentes médicos. Por un fallo en el entrenamiento del modelo, un paciente recibe un tratamiento inadecuado y como consecuencia de ello, sufre daños.
El paciente tendría una acción de responsabilidad contractual o extracontractual contra la clínica para reclamarle los daños y perjuicios ocasionados.
Asimismo, la clínica podría tener una acción de repetición contra el proveedor tecnológico por haberle provisto de un producto defectuoso. Podría ser reclamable aquí, no sólo la cuantía en que haya debido indemnizar al cliente, sino los daños reputacionales derivados de la difusión pública del incidente.
Precisamente por el impacto potencial sobre la salud, este tipo de sistemas son considerados de alto riesgo por el Reglamento europeo de IA, que exige mecanismos reforzados de control y supervisión humana.
Sector industrial: una fábrica o instalación industrial tiene implantado un sistema de IA destinado a optimizar los ritmos de producción. Como consecuencia de un defecto de configuración, entrenamiento o supervisión del sistema, la IA altera parámetros operativos y neutraliza alertas de seguridad destinadas a evitar paradas automáticas de maquinaria sin que nadie lo detecte. Como resultado, se produce un accidente laboral.
Las consecuencias jurídicas pueden ser especialmente relevantes. Además de las posibles sanciones administrativas derivadas del incumplimiento normativo, la empresa podría enfrentarse a reclamaciones en materia de seguridad y salud laboral, responsabilidades por daños y perjuicios e incluso, en los supuestos más graves, derivar en responsabilidad penal por delitos contra la seguridad de los trabajadores.
Desde la perspectiva del Reglamento (UE) 2024/1689, este supuesto podría evidenciar un incumplimiento de las obligaciones de supervisión humana exigidas para determinados sistemas de IA de alto riesgo, así como de las obligaciones de gestión de riesgos.
Recursos Humanos: en el ámbito laboral una gran empresa podría implantar un sistema algorítmico diseñado para evaluar rendimientos, optimizar la productividad y proponer reducciones de plantilla. Como consecuencia de una supervisión humana insuficiente y de un modelo entrenado con datos sesgados, el sistema podría penalizar, por ejemplo, a trabajadores que disfrutan de reducciones de jornada por cuidado de hijos, a colectivos de determinada edad, género o nacionalidad.
En la práctica, un escenario de este tipo podría desembocar en una demanda por despido nulo por discriminación indirecta, así como en reclamaciones por vulneración de derechos fundamentales si la empresa no puede explicar razonablemente los criterios utilizados por el sistema o acreditar que existía un control humano real sobre las decisiones adoptadas.
El verdadero problema surge cuando la empresa no puede explicar cómo se ha llegado a la decisión ni acreditar que existía una supervisión humana efectiva. Este tipo de herramientas puede ser considerado por el Reglamento (UE) 2024/1689 como un sistema de IA de alto riesgo. Eso implica que la empresa no puede limitarse a aceptar automáticamente las recomendaciones del algoritmo: debe evaluar los riesgos, utilizar datos adecuados, documentar su funcionamiento y garantizar una supervisión humana efectiva, exigiéndose, además, que el sistema sea lo suficientemente transparente como para que quienes lo utilizan comprendan cómo debe ser controlado.
Como muestran estos ejemplos, detrás de herramientas concebidas para ahorrar costes, agilizar procesos o mejorar resultados pueden esconderse responsabilidades que no siempre son evidentes. Implantar estas tecnologías con criterios de control y supervisión adecuados permite aprovechar todo su potencial sin convertir una ventaja competitiva en un conflicto jurídico inesperado.
De esta forma se anticipan los riesgos cuando aún son evitables y se puede reaccionar con rapidez cuando el conflicto ya se ha producido, lo que puede marcar una diferencia decisiva.
Javier Rodríguez-Losada, Asociado en Bartolome & Briones, España
Escríbenos a contacto@compliancelatam.legal si necesitas información.
