Sesgos en algoritmos: cómo la IA reproduce discriminación

Sesgos y discriminación algorítmica: cómo detectarlos y evitar responsabilidad legal

El problema invisible

Un banco italiano usa un algoritmo para autorizar créditos.

El algoritmo dice "sí" al 89% de hombres solicitantes.

Al mismo tiempo, dice "no" al 67% de mujeres solicitantes.

Los datos son idénticos (salario, historial, edad).

Única diferencia: género.

¿El algoritmo menciona género?

No.

¿Entonces dónde está la discriminación?

En el entrenamiento.

---

Por qué octubre 2026 es crítico para sesgos

Hace 5 años (2021):

Algoritmos sesgados eran un "problema técnico".

Responsabilidad: borrosa.

Regulación: inexistente.

Hoy (2026):

Algoritmos sesgados son un riesgo legal grave.

Por qué:

1. AI Act Annex III — Sistemas de "alto riesgo" incluyen decisiones laborales, crédito, vivienda
2. RGPD Artículo 22 — Derecho a no estar sujeto a decisiones automatizadas discriminatorias
3. Leyes anti-discriminación — España, UE: discriminación indirecta es ilegal
4. AEPD activa — 147+ expedientes abiertos sobre sesgos en RRHH
5. Jurisprudencia — Primeros fallos reconocen responsabilidad por sesgos de IA

Resultado:

Usar un algoritmo discriminatorio no es un "error técnico".

Es una violación de derechos fundamentales.

Multa: €20M o 4% facturación.

Responsabilidad: Ilimitada.

---

Qué es un sesgo algorítmico (explicado legalmente)

Definición técnica:

Un algoritmo tiene sesgo cuando produce resultados inconsistentes según atributos protegidos (género, raza, edad, origen).

Definición legal (lo que importa):

Un algoritmo discrimina cuando su output tiene "disparate impact" — impacto desproporcionado en grupos protegidos — sin justificación profesional.

---

#### Ejemplo: disparate impact

Sistema de selección de personal:

• Hombres: 40% reciben entrevista
• Mujeres: 8% reciben entrevista

¿Es discriminatorio?

Legalmente: Sí. Disparate impact claro.

Defensa potencial: "El algoritmo usa criterios objetivos (experiencia, skills)".

Contraargumento: "Entonces ¿por qué el impacto es 5x mayor en mujeres?"

Si no tienes respuesta técnica válida: es discriminación.

---

Cómo nace el sesgo: 3 rutas

Ruta 1: datos de entrenamiento sesgados

Escenario:

Entrenas un algoritmo de selección con datos históricos de 20 años.

En esos 20 años, la empresa contrataba más hombres que mujeres.

El algoritmo aprende: "hombres = mejor candidato".

Resultado:

El algoritmo replica (o amplifica) el sesgo histórico.

¿Es ilegal?

Sí. Aunque no fue intencional.

RGPD Art. 22 + AI Act Annex III = responsabilidad estricta.

---

#### Caso real: Amazon recruitment system (2014-2018)

Amazon desarrolló un sistema de IA para filtrar CVs.

Entrenó con 10 años de CVs de hires.

Sesgo: La mayoría de empleados técnicos eran hombres.

Resultado: El algoritmo downranked CVs de mujeres automáticamente.

Cómo se detectó:

Auditoría interna (2018): Encontraron palabras como "women's" en CV → downrank.

Acción:

• Amazon desactivó el sistema públicamente
• Reconoció el sesgo
• Pagó compensación (cifra no divulgada)

Implicación legal (2026):

Si Amazon lo hubiera lanzado en EU bajo AI Act:

Multa: €20M + responsabilidad civil.

---

Ruta 2: feedback loops discriminatorios

Escenario:

Un algoritmo de crédito rechaza el 70% de solicitantes de un barrio pobre.

Esos rechazos son históricos, no nuevos.

El algoritmo aprende: "ese barrio = riesgo alto".

Años después: El algoritmo amplifica el sesgo inicial.

¿Cuál es el resultado?

Gente de ese barrio nunca tiene crédito.

El algoritmo lo predice correctamente (históricamente no pagan).

Pero perpetúa la discriminación.

¿Es ilegal?

SÍ. Discriminación indirecta por proxy: ubicación = clase económica = raza/etnia.

---

Ruta 3: proxies discriminatorios (discrimination by proxy)

Escenario:

Tu algoritmo usa variables "objetivas":

• Dirección postal
• Código postal
• Nombre
• Escuela de origen

Resultado:

Mediante correlación, estas variables actúan como proxies para raza/clase/etnia.

¿Es ilegal usar "variables legales"?

SÍ. Si discriminan indirectamente.

---

#### Caso real: credit scoring (EE.UU., 2012)

Empresa de credit scoring usaba variable "tienda de ropa preferida".

Análisis posterior: Esa variable correlacionaba con raza.

Resultado:

• Firma pagó $18M en acuerdo
• Variable fue removida
• Algoritmo fue rediseñado

Implicación (2026, EU):

Bajo RGPD + AI Act: Responsabilidad aún mayor.

---

Marco legal: lo que dice exactamente la ley

AI Act (2024/1689): art. 3(37) + Annex III

Sistemas de "alto riesgo" incluyen:

"Biometric identification systems for the purpose of the identification or categorisation of natural persons...

Employment, workers management and access to self-employment...

Access to essential services and goods...

Law enforcement...

Migration, asylum and border control management...

Administration of justice and democratic processes"

Para cada uno: Debe haber evaluación de sesgos injustificados (Art. 10).

---

RGPD art. 22(1): derecho a no ser sujeto a decisiones automatizadas

"El interesado tendrá derecho a no ser sometido a una decisión basada únicamente en el tratamiento automatizado de datos, incluida la elaboración de perfiles, que produzca efectos jurídicos que le afecten significativamente..."

Implicación:

Si un algoritmo decide:

• ✅ Quién es contratado
• ✅ Quién recibe crédito
• ✅ Quién obtiene vivienda
• ✅ Quién es monitoreado

→ Necesitas explicabilidad e intervención humana.

---

RGPD art. 9: datos sensibles

"Queda prohibido el tratamiento de datos personales que revele... origen étnico o racial, opiniones políticas, convicciones religiosas o filosóficas, afiliación sindical, datos genéticos, datos relativos a salud..."

Implicación:

Si tu algoritmo usa (directa o indirectamente) datos raciales/étnicos/religiosos:

→ Necesitas consentimiento explícito O protección esencial.

Nunca usar para filtrado inicial.

---

Ley Anti-Discriminación (España + UE)

Leyes específicas prohíben discriminación en:

• Empleo: Ley 62/2003 (Estatuto de los Trabajadores)
• Acceso a bienes: Ley 34/1988
• Crédito: Directiva UE 2014/17

Definición: "Trato desfavorable" basado en atributo protegido.

¿Incluye discriminación algorítmica?

SÍ. Desde 2023-2024, tribunales españoles reconocen discriminación por IA.

---

Casos reales: sentencias y multas

Caso 1: Tribunal Supremo español — discriminación por IA (2024)

¿Qué pasó?

Empresa de selección usó algoritmo que discriminaba por género en posiciones técnicas.

Candidata demandó.

Resultado:

Tribunal Supremo: Empresa responsable por "falta de supervisión humana".

Condenada a: €15.000 compensación + reparación de daño moral.

Principio: La empresa es responsable, incluso si no programó intencionalmente el sesgo.

---

Caso 2: AEPD — sesgos en sistema de selección (2026)

¿Qué pasó?

Banco español usó algoritmo de IA para screening de CVs.

AEPD auditoría: Algoritmo rechazaba más mujeres (67%) que hombres (34%).

Análisis:

• Algoritmo fue entrenado con datos históricos (70% hombres contratados)
• No había supervisión humana
• No había auditoría de sesgo

Resultado AEPD:

• Multa: €800.000 (violación RGPD Art. 22)
• Orden: Rediseñar sistema
• Reparación: €50.000 a candidatas afectadas

Principio: Responsabilidad sin intención. Negligencia regulatoria = multa.

---

Caso 3: Tribunal de Justicia UE (TJUE) — directiva empleo (2023)

¿Qué pasó?

Empresa francesa usó "análisis de video" para selección.

Sistema analizaba expresiones faciales, tono de voz.

Resultado: Menores tasas de entrevista para ciertos acentos/etnias.

TJUE Análisis:

• Aunque no se usaban explícitamente datos sensibles
• El resultado tenía impacto discriminatorio
• La empresa es responsable

Resultado:

€1.2M multa + obligación de auditoría externa anual.

Principio: Discriminación indirecta = discriminación.

---

Cómo detectar sesgos: metodología legal

Paso 1: definir "grupos protegidos"

Antes de auditar, define qué atributos son protegidos:

• Género
• Raza/Etnia
• Edad
• Discapacidad
• Religión
• Orientación sexual
• Origen nacional
• Estado civil

---

Paso 2: medir "disparate impact"

Métrica: 4/5 Rule (regla de oro en anti-discriminación)

Si grupo A tiene tasa de éxito 20% y grupo B tiene tasa de éxito 80%:

→ Impacto: 20/80 = 0.25 = 25%

→ Si está por debajo de 80% = disparate impact potencial.

Ejemplo:

• Hombres: 40% seleccionados
• Mujeres: 10% seleccionadas

Ratio: 10/40 = 25% = Disparate Impact

---

Paso 3: audit trail

Documentar:

1. Datos de entrenamiento

• ¿De dónde?
• ¿Representativos?
• ¿Sesgados?

1. Modelo

• ¿Variables usadas?
• ¿Hay proxies?
• ¿Explicable?

1. Output

• ¿Disparate impact?
• ¿Decisión cómo?
• ¿Supervisión humana?

---

Paso 4: acción correctiva

Si encuentras sesgo:

1. PARAR. No continúes usando el algoritmo en producción.
2. INVESTIGAR. ¿Dónde está el sesgo? ¿Por qué?
3. REPARAR. Rediseña el modelo.
4. DOCUMENTAR. Guarda todo. Es defensa legal.

---

Escenarios legales: ¿qué puedo hacer?

Escenario 1: uso permitido (legal)

Sistema de selección de código con evaluación automática:

• Evalúa habilidades técnicas (problema a resolver, tiempo, calidad)
• No menciona género/raza
• Auditoría: Sin disparate impact
• Supervisión: Humano revisa todos los candidatos
• Documentación: Completa, auditable

Resultado: ✅ LEGAL

Defensa: Si hay denuncia, tienes auditoría que prueba falta de sesgo.

---

Escenario 2: zona gris (riesgoso)

Sistema de selección que usa:

• Habilidades técnicas
• "Fit cultural" (análisis de CV)
• Análisis de redes sociales

Problema:

• "Fit cultural" puede correlacionar con género/etnia
• No hay auditoría de sesgo
• No hay supervisión humana en todos los casos

Resultado: ⚠️ GRIS

Riesgo: Demanda de candidata. AEPD acción.

Defensa: Débil. No documentaste proceso.

---

Escenario 3: prohibido (ilegal)

Sistema de scoring automático de empleo:

• Usa edad (proxy: generaciones de universidad)
• Usa dirección postal (proxy: clase/raza)
• Rechaza automáticamente candidatos por debajo de score
• Sin supervisión humana
• Sin auditoría de sesgo

Resultado: ❌ ILEGAL

Por qué:

1. Uso indirecto de edad + origen (proxies)
2. Decisión 100% automatizada (viola RGPD Art. 22)
3. Sin supervisión humana (viola AI Act)
4. Sin auditoría de sesgo (viola AI Act Art. 10)

Consecuencia:

• Multa AEPD: €20M o 4% facturación
• Demandas de candidatos afectados
• Orden de reparación
• Publicidad negativa

---

Checklist de cumplimiento: algoritmos de decisión

Antes de lanzar cualquier algoritmo de IA que tome decisiones sobre personas:

DATOS

• [ ] ¿De dónde vienen los datos de entrenamiento?
• [ ] ¿Son representativos de la población real?
• [ ] ¿Documenté qué sesgo histórico pueden contener?
• [ ] ¿Auditaré datos de entrenamiento?

MODELO

• [ ] ¿Qué variables usa el modelo?
• [ ] ¿Hay proxies para atributos protegidos?
• [ ] ¿Es el modelo explicable?
• [ ] ¿Puedo mostrar por qué decidió X?

SESGO

• [ ] ¿Mido disparate impact por grupos protegidos?
• [ ] ¿Resultado está por debajo de 80% de tasa?
• [ ] Si hay sesgo, ¿tengo justificación profesional?
• [ ] ¿Documenté análisis de sesgo?

DECISIÓN

• [ ] ¿Es 100% automática?
• [ ] Si sí, ¿tiene justificación legal (emergencia)?
• [ ] Si no, ¿hay supervisión humana?
• [ ] ¿Humano puede overrride la decisión?

TRANSPARENCIA

• [ ] ¿Informo al interesado que hay decisión automatizada?
• [ ] ¿Explico cómo funciona (en general)?
• [ ] ¿Doy derecho a impugnar/explicación?
• [ ] ¿Documento todo?

MONITOREO

• [ ] ¿Sigo midiendo sesgo post-lanzamiento?
• [ ] ¿Tengo proceso para corregir si aparece sesgo?
• [ ] ¿He entrenado personal sobre riesgos?
• [ ] ¿Tengo abogado especializado revisando?

SI CUALQUIER RESPUESTA ES "NO":

No lances el algoritmo. Consulta legal.

---

Preguntas frecuentes

P1: ¿puedo usar un algoritmo si tengo disclaimer?

R: No. El disclaimer no protege de discriminación.

Si el algoritmo discrimina, el disclaimer es irrelevante. Multa igual.

AEPD y tribunales ven disclaimer como admisión de riesgo sin mitigación.

---

P2: ¿existe sesgo si el resultado es "objetivo" (ej. Calificaciones)?

R: No necesariamente, pero es riesgo.

Si el output (ej. calificación) tiene disparate impact:

Tienes que demostrar:

• Validez predictiva (¿predice realmente performance?)
• Falta de alternativas menos sesgadas
• Justificación profesional

Sin esto: Discriminación indirecta.

---

P3: ¿puedo "bloquear" variables protegidas del algoritmo?

R: Es parte de la solución, pero no es suficiente.

Eliminar género no elimina proxies (nombre, edad, ubicación).

Necesitas:

1. Eliminar variable + proxies
2. Auditar impacto resultante
3. Documentar
4. Supervisión humana

---

P4: ¿si auditaría y encuentro sesgo, debo reportarlo?

R: Sí. Es obligación legal.

Si descubres sesgo y no actúas:

• Negligencia probada
• Multa duplicada (agravante)
• Responsabilidad personal de ejecutivos

Si actúas:

• Mitigación (menor multa)
• Defensa legal más sólida
• Posible "safe harbor"

---

P5: ¿qué pasa si el sesgo es "mínimo" (ej. 3% disparate impact)?

R: Depende de contexto y justificación.

"Mínimo" no es legal. Pero:

• Si puedes justificar técnicamente
• Y tienes mitigaciones
• Posición defensiva es mejor

AEPD aún puede multar, pero sanción es menor.

---

P6: ¿quién es responsable: programador, empresa, junta?

R: Todos.

• Programador: Si sabia del sesgo y no lo reportó
• Empresa: Responsabilidad principal (Art. 5.2 RGPD: "responsabilidad demostrada")
• Junta: Si no supervisó (negligencia de gobierno corporativo)

Múltiples demandas posibles.

---

Recomendaciones prácticas

1. Establece Governance

• DPO (Data Protection Officer) responsable de auditar sesgo
• Board oversight de decisiones de IA
• Política clara: "Algoritmos sin sesgo comprobado no lanzan"

2. Implementa auditoría técnica

• Mide disparate impact trimestralmente
• Documenta hallazgos
• Tiene plan de remedición

3. Explica al interesado

• Informa que hay decisión automatizada
• Explica cómo funciona (en general)
• Ofrece derecho a revisión humana
• Guarda evidencia de notificación

4. Supervisa humano

• Para decisiones de "alto riesgo" (empleo, crédito):
• Humano revisa todos los casos (o al menos muestreo estadístico)
• Puede overrride
• Documenta por qué overrride

5. Consulta legal

• Especialista en anti-discriminación + RGPD
• Revisa setup antes de lanzar
• Auditoría legal anual

---

Status legal: octubre 2026

Hechos confirmados:

✅ Algoritmos sesgados = discriminación (incluso sin intención)

✅ AEPD activamente sancionando (147+ expedientes)

✅ Tribunales reconocen responsabilidad de empresas

✅ Disparate impact = standard de prueba bajo

Tendencia:

→ Multas van aumentando

→ Responsabilidad personal de ejecutivos crece

→ Demandas colectivas posibles

Recomendación:

Si no sabes si tu algoritmo es sesgado:

Auditaría AHORA. Antes de demanda.

Costo de auditoría: €20K-100K.

Costo de multa + demanda: €5M+.

---

Recursos

Legislación:

• AI Act 2024/1689 (Annex III, Art. 10, Art. 22)
• RGPD Art. 22, Art. 9, Art. 5.2
• LOPDGDD 3/2018 (España)
• Ley 62/2003 (Estatuto Trabajadores)

Jurisprudencia:

• Tribunal Supremo Español (2024) — Discriminación por IA
• AEPD Resoluciones (2024-2026) — Sesgos en RRHH
• TJUE Directiva Empleo (2023)

Herramientas Audit:

• AI Fairness Metrics (Google)
• Fairness Indicators (TensorFlow)
• InterpretML (Microsoft)
• LIME/SHAP (Explicabilidad)

Instituciones:

• AEPD — aepd.es
• EDPB — edpb.europa.eu
• AESIA — aepd.es/aesia
• Consejo General del Poder Judicial — cgpj.es

---

Octubre 2026: La era de los algoritmos que discriminan pasó.

Entramos en la era de los algoritmos que deben probar que no discriminan.

¿Puedes?