Fecha de publicación: 20 de septiembre de 2024
Colaboradores: Alexandra Jonker, Julie Rogers
El sesgo algorítmico ocurre cuando errores sistemáticos en los algoritmos de aprendizaje automático producen resultados injustos o discriminatorios. Con frecuencia refleja o refuerza sesgos socioeconómicos, raciales y de género existentes.
Los sistemas de inteligencia artificial (IA) utilizan algoritmos para descubrir patrones e ideas en los datos, o para predecir valores de salida a partir de un conjunto dado de variables de entrada. Los algoritmos sesgados pueden afectar estas ideas y salidas de formas que conducen a decisiones o acciones perjudiciales, promueven o perpetúan la discriminación y la desigualdad, y erosionan la confianza en la IA y las instituciones que utilizan IA. Estos impactos pueden crear riesgos legales y financieros para las empresas. Por ejemplo, según la Ley de IA de la UE, el incumplimiento de sus prácticas prohibidas de IA puede significar multas de hasta 35 millones de euros o el 7% del volumen anual mundial, lo que sea mayor.
El sesgo algorítmico es especialmente preocupante cuando se encuentra dentro de sistemas de IA que respaldan decisiones que cambian la vida en áreas como la atención de la salud, la aplicación de la ley y los recursos humanos. El sesgo puede ingresar a los algoritmos de muchas maneras, como datos de entrenamiento sesgados o limitados, decisiones de programación subjetivas o interpretación de resultados.
El sesgo algorítmico no es causado por el algoritmo en sí mismo, sino por cómo el equipo de ciencia de datos recoge y codifica los datos de entrenamiento. Causas específicas incluyen:
Caracterizados como no representativos, que carecen de información, sesgados históricamente o de otra manera “malos” datos. Conducen a algoritmos que producen resultados injustos y amplifican cualquier sesgo en los datos. Los sistemas de IA que utilizan resultados sesgados como datos de entrada para la toma de decisiones crean un bucle de retroalimentación que también puede reforzar el sesgo con el tiempo. Este ciclo, donde el algoritmo continúa aprendiendo y perpetuando los mismos patrones sesgados, conduce a resultados cada vez más sesgados.
Puede surgir si los datos se categorizan o evalúan incorrectamente. A veces, los algoritmos pueden “aprender” de la correlación de datos en lugar de la causalidad, ya que no poseen la capacidad de entender la diferencia. Cuando esto sucede, la salida del algoritmo puede estar sesgada en que el modelo no consideró otros factores en los datos que podrían ser de mayor importancia.
Un ejemplo comúnmente citado de sesgo por correlación es un modelo hipotético que determina una relación causal entre el aumento de los ataques de tiburones y las mayores ventas de helado. En realidad, ambas situaciones tienden a ocurrir durante el verano y solo poseen una relación correlativa.
También puede introducir sesgo. Errores de programación, como un diseñador de IA que pese injustamente factores en el proceso de toma de decisiones, pueden transferirse inconscientemente al sistema. El pesado es a menudo una técnica para evitar el sesgo, ya que implica ajustes a los datos para que reflejen mejor la población real. Sin embargo, podría requerir suposiciones de los diseñadores, lo que puede llevar a inexactitudes e introducir sesgo. Los desarrolladores también podrían incorporar el algoritmo con reglas subjetivas basadas en sus propios sesgos conscientes o inconscientes.
Los sistemas de IA a veces utilizan proxies como sustitutos de atributos protegidos, como la raza o el género. Sin embargo, los proxies pueden ser sesgados involuntariamente, ya que podrían tener una correlación falsa o accidental con los atributos sensibles que pretendían reemplazar. Por ejemplo, si un algoritmo utiliza códigos postales como proxy para el estatus económico, podría desfavorecer injustamente a ciertos grupos donde los códigos postales están asociados con demografías raciales específicas.
Ocurre cuando los resultados del algoritmo se interpretan basándose en las preconcepciones de las personas involucradas, en lugar de los hallazgos objetivos. Incluso si el algoritmo es neutral y basado en datos, cómo una persona o empresa aplica la salida del algoritmo puede llevar a resultados injustos dependiendo de cómo entiendan las salidas.
Cuando el sesgo algorítmico no se aborda, puede perpetuar la discriminación y la desigualdad, crear daño legal y reputacional y erosionar la confianza.
Los sesgos algorítmicos refuerzan disparidades sociales existentes enfrentadas por grupos marginados y estos sesgos humanos llevan a resultados injustos y potencialmente dañinos de los sistemas de IA. Aunque muchas de las aplicaciones de IA más comunes podrían parecer de bajo riesgo (como motores de búsqueda, chatbots y sitios de redes sociales), otras aplicaciones de IA pueden influir en decisiones que cambian la vida. El uso de herramientas de IA sesgadas dentro de áreas como la justicia penal, la atención de la salud y la contratación podría dar resultados devastadores.
Los tribunales de Estados Unidos utilizan la herramienta Correctional Offender Management Profiling for Alternative Sanctions (COMPAS) para evaluar el riesgo de reincidencia de los acusados. Un estudio de ProPublica reveló que el algoritmo de la herramienta podría haber clasificado de manera diferente a los acusados blancos y negros. Por ejemplo, en la evaluación de riesgo, los acusados negros tenían el doble de probabilidad que los acusados blancos de ser mal clasificados como un riesgo más alto de reincidencia violenta. La empresa que creó la herramienta disputa este análisis; sin embargo, no divulga los métodos utilizados para llegar a las puntuaciones de riesgo.
Los investigadores construyeron su propio algoritmo de policía predictiva entrenado en datos de informes de víctimas de Bogotá, Colombia. Cuando compararon las predicciones del modelo con conjuntos de datos reales, encontraron errores importantes. Por ejemplo, predijo un 20% más de ubicaciones de alto crimen que la realidad en distritos con un alto volumen de informes. Pero esto reflejó un sesgo social: las personas negras tienen más probabilidades de ser denunciadas por un crimen que las personas blancas.
La subrepresentación de grupos minoritarios en los datos puede distorsionar algoritmos predictivos de IA. Por ejemplo, se ha encontrado que los sistemas de diagnóstico asistido por computadora (CAD) devuelven resultados de menor precisión para pacientes negros que para pacientes blancos.
Amazon abandonó una herramienta de contratación de IA después de descubrir que discriminaba sistemáticamente a las solicitantes femeninas. Los desarrolladores entrenaron el algoritmo de contratación utilizando currículums de contrataciones anteriores, que eran predominantemente masculinos. Como resultado, el algoritmo favorecía injustamente palabras clave y características encontradas en los currículums masculinos.
El sesgo dentro de los servicios financieros puede tener consecuencias severas para el sustento de las personas, ya que los datos históricos pueden contener sesgos demográficos que afectan la solvencia crediticia, aprobaciones de préstamos y más. Por ejemplo, un estudio de la Universidad de California, Berkeley mostró que un sistema de IA para hipotecas cobraba sistemáticamente tasas más altas a prestatarios minoritarios para los mismos préstamos en comparación con prestatarios blancos.
Investigadores académicos encontraron sesgo de género en el generador de imágenes de IA Midjourney. Durante el análisis de más de 100 imágenes generadas, también encontraron instancias de sesgo racial, de clase y de edad en los resultados. Por ejemplo, cuando se les pidió crear imágenes de personas en profesiones especializadas, mostraron tanto personas jóvenes como mayores, pero las personas mayores siempre eran hombres, reforzando el sesgo de género respecto a las mujeres en el lugar de trabajo.
Investigaciones del MIT encontraron que algunos sistemas de reconocimiento facial de propósito general comerciales, utilizados para hacer coincidir rostros en fotos, por ejemplo, no podían reconocer a individuos de piel más oscura. El reconocimiento era aún peor para mujeres de piel oscura. Los datos de entrenamiento que mal representaban las demografías reales distorsionaron los resultados.
Después de que una ley de Chicago obligara a las empresas de transporte a compartir sus tarifas, los investigadores descubrieron que el algoritmo de precios de Uber y Lyft cobraba más por dejar en barrios con alta población no blanca.
La mitigación del sesgo en sistemas de IA comienza con la gobernanza de la IA, que se refiere a las salvaguardias que aseguran que las herramientas y sistemas de IA sean y permanezcan seguros y éticos. Establece los marcos, reglas y estándares que dirigen la investigación, desarrollo y aplicación de IA para ayudar a asegurar la seguridad, equidad y respeto por los derechos humanos.
Las organizaciones podrían considerar los siguientes principios de gobernanza de IA para evitar posibles sesgos de IA a través del ciclo de vida del sistema:
El aprendizaje automático es tan bueno como los datos que lo entrenan. Para que la IA refleje mejor las comunidades diversas a las que sirve, debe representarse una variedad mucho mayor de datos humanos en los modelos. Los datos introducidos en modelos de aprendizaje automático y sistemas de aprendizaje profundo deben ser completos y equilibrados, representativos de todos los grupos de personas y reflejar las demografías reales de la sociedad.
Ningún sistema informático está nunca completamente “entrenado” o “finalizado”. La supervisión y prueba continua (a través de iniciativas como evaluaciones de impacto, auditorías algorítmicas y pruebas de causalidad) pueden ayudar a detectar y corregir posibles sesgos antes de que creen problemas. Procesos como el sistema “humano en el bucle” requieren que las recomendaciones sean revisadas por humanos antes de que se tome una decisión para proporcionar otra capa de aseguramiento de la calidad.
Los sistemas de IA pueden ser “cajas negras”, lo que dificulta entender sus resultados. Los sistemas de IA transparentes documentan y explican claramente la metodología del algoritmo subyacente y quién lo entrenó. Cuanto más entiendan las personas cómo se entrenan y ajustan los sistemas de IA y cómo toman decisiones, más podrán confiar los stakeholders individuales y la sociedad en general en la precisión y equidad de la IA.
La IA inclusiva comienza con un equipo diverso e interdisciplinario de programadores de IA, desarrolladores, científicos de datos, ingenieros de aprendizaje automático y más que sean variados racialmente, económicamente, por nivel educativo, por género, por descripción de trabajo y otras métricas demográficas. La diversidad en el diseño y desarrollo aportará diferentes perspectivas para ayudar a identificar y mitigar sesgos que de otro modo pasarían desapercibidos.
Los gobiernos y responsables de políticas están creando marcos y regulaciones para guiar, y en algunos casos, exigir el uso seguro y responsable de la IA.
En una era dominada por los avances tecnológicos, las implicaciones éticas de la programación de sesgos raciales han llegado al centro del debate social. Esto es aún más relevante en el caso de la...
La inteligencia artificial (IA) se ha convertido en una herramienta cada vez más prevalente en diversos campos, incluyendo el ámbito de los derechos humanos. Su potencial para transformar sistemas...
La inteligencia artificial (IA) forma parte del proceso de toma de decisiones en la actualidad. Se utiliza cuando las empresas identifican el valor y el riesgo de emitir tarjetas de crédito o...
Ética en la inteligencia artificial: La inteligencia artificial (IA) ha revolucionado numerosas industrias y ha impulsado avances tecnológicos significativos. Sin embargo, este rápido progreso exige abordar las implicaciones éticas y...
La inteligencia artificial (IA) se basa en algoritmos que producen resultados específicos según la entrada que reciben. A diferencia de los programas informáticos tradicionales, la IA es capaz de...
En un mundo donde la tecnología evoluciona rápidamente, la Inteligencia Artificial (IA) se ha convertido en una parte crucial de nuestras vidas. Desde recomendar películas en plataformas de streaming...