La IA de alto riesgo entra en la empresa

La inteligencia artificial empieza a entrar en una nueva fase en Europa. El debate ya no gira únicamente alrededor de qué puede hacer una máquina, sino de qué ocurre cuando una empresa utiliza IA para tomar o apoyar decisiones que afectan directamente a las personas.

El Reglamento Europeo de Inteligencia Artificial establece un régimen específico para los denominados sistemas de alto riesgo: herramientas cuyo funcionamiento puede tener consecuencias relevantes sobre la salud, la seguridad o los derechos fundamentales. Su aplicación a los sistemas incluidos en el Anexo III comenzará el 2 de diciembre de 2027, mientras que los sistemas de alto riesgo integrados en determinados productos regulados tendrán como fecha de aplicación el 2 de agosto de 2028.

El calendario se ha ampliado, pero el cambio que prepara la normativa es profundo. Para las compañías afectadas, utilizar IA dejará de ser únicamente una decisión tecnológica. Será necesario identificar el sistema, determinar su nivel de riesgo, documentar su funcionamiento y establecer mecanismos de control durante su utilización.

Cuando un algoritmo decide sobre una persona

El ámbito laboral es uno de los ejemplos más claros.

El AI Act considera de alto riesgo determinados sistemas utilizados para la contratación y selección de trabajadores, incluido el análisis y filtrado de candidaturas o la evaluación de candidatos. También entran en esta categoría determinadas herramientas empleadas para tomar decisiones sobre condiciones laborales, promociones, finalización de contratos, asignación de tareas o evaluación del rendimiento.

La lógica de Bruselas es que un algoritmo utilizado en estos procesos puede tener consecuencias sobre la carrera profesional y los ingresos de una persona.

No significa que toda herramienta de IA utilizada por Recursos Humanos sea automáticamente de alto riesgo. El propio Reglamento contempla excepciones para determinados sistemas incluidos en el Anexo III cuando no presentan un riesgo significativo para la salud, la seguridad o los derechos fundamentales y no influyen sustancialmente en una decisión. Sin embargo, los sistemas que realizan perfiles de personas físicas mantienen una consideración especialmente estricta.

La diferencia será importante para las empresas que ya utilizan IA para seleccionar currículos, recomendar candidatos o analizar el desempeño de sus empleados.

El crédito también entra en el radar

Otro de los grandes ámbitos afectados es el financiero.

Los sistemas utilizados para evaluar la solvencia de personas físicas o establecer su calificación crediticia están incluidos entre los usos de alto riesgo, salvo determinadas herramientas destinadas a la detección de fraude financiero. También se consideran de alto riesgo determinados sistemas utilizados para evaluar riesgos y fijar precios en seguros de vida y salud.

La razón es directa: una decisión automatizada puede determinar el acceso de una persona a financiación, vivienda, seguros u otros servicios esenciales.

Aquí el reto empresarial no será simplemente comprobar que el modelo funciona. También será necesario poder explicar y controlar el proceso mediante el que llega a sus resultados.

La trazabilidad se convierte en una obligación

El nuevo marco europeo coloca la trazabilidad en el centro de la gestión de estos sistemas.

Entre los requisitos previstos para la IA de alto riesgo figuran los sistemas de gestión y mitigación de riesgos, la calidad y gobernanza de los datos, el registro de actividad, la documentación técnica y la supervisión humana.

Para los proveedores, esto implica además disponer de sistemas de gestión de calidad, conservar documentación y registros, realizar las evaluaciones de conformidad correspondientes y demostrar ante las autoridades que el sistema cumple los requisitos establecidos.

Para las empresas que despliegan estas herramientas, las exigencias también alcanzan al uso cotidiano.

Deberán utilizar los sistemas de acuerdo con sus instrucciones, garantizar una supervisión humana competente, controlar su funcionamiento y conservar determinados registros. El Reglamento establece, además, obligaciones específicas de información cuando estos sistemas se utilizan en el entorno laboral.

La consecuencia práctica es relevante: comprar una solución de IA a un proveedor no trasladará automáticamente toda la responsabilidad al fabricante.

Del departamento de tecnología a toda la organización

El verdadero cambio para las empresas estará probablemente en la necesidad de conectar áreas que hasta ahora podían funcionar de manera relativamente independiente.

Un sistema de IA de alto riesgo afecta simultáneamente a tecnología, datos, seguridad, recursos humanos, cumplimiento normativo, auditoría y dirección.

La primera tarea será saber qué sistemas existen realmente dentro de la organización. Una empresa puede tener herramientas contratadas directamente por el departamento tecnológico, soluciones incorporadas a aplicaciones de terceros o sistemas desarrollados internamente por diferentes unidades de negocio.

El siguiente paso será determinar para qué se utilizan y qué consecuencias puede tener su funcionamiento.

Ese inventario será especialmente relevante porque la clasificación de riesgo no depende únicamente de que una herramienta utilice inteligencia artificial, sino también de su finalidad y contexto de utilización.

El factor humano no desaparece

Frente a la idea de que la regulación busca impedir que las empresas automaticen determinadas decisiones, el AI Act introduce otra lógica: cuando un sistema es de alto riesgo, debe existir una supervisión humana efectiva.

Los sistemas deben diseñarse para permitir que personas puedan supervisar su funcionamiento, interpretar sus resultados y, cuando sea necesario, intervenir o anular determinadas decisiones.

Eso obliga a pensar quién será responsable de esa supervisión.

No basta, por tanto, con incluir una persona en el proceso de manera formal. La normativa exige que quienes desarrollen estas funciones dispongan de las competencias, formación y autoridad necesarias para desempeñarlas.

La gobernanza de la IA empieza así a parecerse menos a una cuestión de software y más a un sistema interno de responsabilidades y controles.

Infraestructuras donde un error puede tener consecuencias

El régimen de alto riesgo alcanza también a determinados sistemas empleados en infraestructuras críticas.

El Reglamento incluye herramientas utilizadas como componentes de seguridad en la gestión de infraestructuras digitales críticas, tráfico rodado y suministro de agua, gas, calefacción o electricidad. La clasificación se relaciona con el impacto potencial que un fallo podría provocar sobre la seguridad de las personas y el funcionamiento de servicios esenciales.

No toda IA utilizada por una compañía de estos sectores entra automáticamente en esta categoría.

La propia Comisión pone como ejemplo de sistema dentro del ámbito de alto riesgo una IA que controle un sistema de alarma contra incendios en un centro de computación. En cambio, herramientas utilizadas únicamente para gestionar tickets, mejorar determinados procesos operativos o predecir cargas de red pueden quedar fuera de esta clasificación dependiendo de su finalidad.

La distinción vuelve a ser fundamental: no es la etiqueta de inteligencia artificial la que determina el riesgo, sino el uso concreto que se hace de ella.

El plazo no empieza en 2027

Aunque las principales obligaciones para estos sistemas no serán aplicables hasta diciembre de 2027, preparar una organización para cumplirlas exige trabajo previo.

Una empresa tendrá que localizar sus sistemas, revisar contratos con proveedores, conocer qué datos alimentan los modelos, establecer responsables, definir procedimientos de supervisión y comprobar cómo se registran las operaciones.

Y tendrá que hacerlo antes de que el sistema llegue a estar sometido plenamente a las nuevas exigencias.

El 2 de diciembre de 2027 marcará, por tanto, una fecha jurídica, pero la preparación empresarial comienza mucho antes.

La cuestión de fondo es que la IA de alto riesgo introduce una nueva exigencia en la relación entre tecnología y dirección: la empresa deberá ser capaz de demostrar que sabe qué hace su inteligencia artificial, por qué lo hace y quién responde cuando algo sale mal.

El salto regulatorio europeo no consiste únicamente en poner límites a determinados algoritmos. Supone introducir una nueva cultura de gestión del riesgo tecnológico, en la que los sistemas de IA más sensibles pasan a formar parte de los mecanismos de control de la empresa.

Y esa transformación afecta mucho antes de que llegue la fecha límite.

Artículos relacionados