La inteligencia artificial y la discriminación

La inteligencia artificial (IA) forma parte del proceso de toma de decisiones en la actualidad. Se utiliza cuando las empresas identifican el valor y el riesgo de emitir tarjetas de crédito o pronosticar beneficios por desempleo. También se usa en la contratación de empleados y el proceso de admisión universitaria. Dado que la IA se basa en el aprendizaje automático, cada pequeña decisión impacta en decisiones más grandes. Desafortunadamente, los algoritmos de IA, especialmente aquellos realizados en cajas negras, pueden incluir prácticas discriminatorias. Un resultado sesgado no necesariamente es la intención del algoritmo, pero fácilmente puede ser un subproducto.

Frederik Zuiderveen Borgesius, profesor de derecho en el Instituto para la Computación y Ciencias de la Información (iCIS), Universidad Radboud Nijmegen, aborda cuestiones de sesgo en la IA en su nuevo informe “Discriminación, inteligencia artificial y toma de decisiones algorítmica”. Borgesius analiza el proceso de IA para comprender mejor cómo puede producirse una diferenciación injusta. Escribió este informe específicamente para el departamento contra la discriminación del Consejo de Europa. Sin embargo, es una lectura importante para cualquier persona involucrada en o que piense usar IA en la toma de decisiones.

Es importante primero comprender los fundamentos de un programa de toma de decisiones mediante IA. La IA implica aprendizaje automático para encontrar correlaciones en conjuntos de datos. Utiliza algoritmos para identificar las relaciones en un conjunto de atributos o actividades relacionadas, también conocidas como etiquetas de clase. Las etiquetas de clase separan todas las posibilidades en categorías mutuamente excluyentes. Al construir una herramienta de aprendizaje automático, los programadores usan etiquetas de clase para predecir un resultado derivado o lo que se llama la variable objetivo.

Para entender cómo funciona esto en una aplicación común, pensemos en un filtro de correo no deseado. El filtro de spam es un programa de IA que clasifica mensajes de correo electrónico e identifica aquellos que son “spam” y “no spam”. El programa utiliza archivos de correos electrónicos anteriores etiquetados como spam o no spam para ayudar a identificar las características (una cierta frase, una dirección de correo electrónico o una dirección IP) de cada uno.

El profesor Borgesius hace referencia al trabajo de Solon Barocas y Andrew D. Selbst, dos expertos en investigación académica, quienes identifican cinco formas en que el proceso de toma de decisiones mediante IA puede conducir involuntariamente a la discriminación.

1. Definición de las variables objetivo y las etiquetas de clase Al definir las variables objetivo y las etiquetas de clase, es importante pensar más allá de cómo se definen. Por ejemplo, supongamos que una empresa quiere definir un “empleado comprometido”. Una variable asignada a un empleado comprometido es alguien que nunca llega tarde al trabajo. Desafortunadamente, esto podría afectar negativamente a empleados que no poseen un automóvil y dependen del transporte público. La posesión de un automóvil también puede reflejar un ingreso más alto, mientras que la dependencia del transporte público puede indicar un ingreso más bajo. Por lo tanto, esta etiqueta de clase de nunca llegar tarde crea un sesgo contra empleados de bajos ingresos. Ser consciente en el uso y creación de etiquetas de clase es importante para prevenir sesgos incorporados.

2. Los datos de entrenamiento: ejemplos etiquetados La toma de decisiones mediante IA también puede ofrecer resultados discriminatorios si el sistema “aprende” de datos de entrenamiento discriminatorios. Todos los datos de entrenamiento deben ser examinados cuidadosamente para garantizar que no haya sesgos. Por ejemplo, una escuela de medicina decidió usar la toma de decisiones mediante IA en su proceso de admisión. Los datos de entrenamiento para los programas incluyeron archivos antiguos de admisiones de 1980. Desafortunadamente, la política de aceptación en la década de 1980 estaba fuertemente sesgada contra las mujeres y los inmigrantes. Aunque el programa de IA no introducía nuevos sesgos, incluía los inherentes al proceso de admisión de las solicitudes antiguas.

3. Datos de entrenamiento: recolección de datos El proceso de muestreo de la recolección de datos debe estar libre de sesgos. Si el proceso de muestreo es sesgado, entrenará los modelos predictivos y reproducirá los sesgos. Por ejemplo, el número de policías enviados a patrullar un barrio suele depender de variables clave como el tamaño o la densidad del barrio, etc. Si un mayor número de agentes patrullan un barrio y reportan un alto nivel de delincuencia, necesitamos entender los factores involucrados. De lo contrario, los datos amplifican una alta tasa de criminalidad en este barrio cuando podría ser que hubiera una mayor proporción de agentes para ver más delitos en progreso.

4. Selección de características Un programador selecciona las categorías o características de los datos que incluirá en su sistema de IA. Al seleccionar ciertas características, un programador puede introducir sesgos contra ciertos grupos. Por ejemplo, muchas empresas en los Estados Unidos contratan empleados que se graduaron de una universidad de la Ivy League. Una educación en la Ivy League cuesta significativamente más que una universidad estatal. Si una empresa utiliza universidades de la Ivy League como parte de sus características de datos, está estableciendo un sesgo contra personas de bajos ingresos. Las características de los datos deben ser completamente evaluadas para asegurar que las características no introduzcan sesgos en los resultados.

A veces, medidas para tomar una decisión relevante y bien informada pueden prestarse a un sesgo. Los códigos postales suelen usarse como un criterio neutral para proporcionar información socioeconómica para decisiones sobre préstamos, tarjetas de crédito, seguros, etc. Sin embargo, si un código postal se usa como sustituto para identificar personas de una raza o género específico, impactará en los resultados empresariales.

Es importante destacar que la transparencia de los sistemas de IA y el proceso de toma de decisiones es necesaria. Borgesius, así como otros académicos, abogan por el desarrollo de tecnologías que mejoren la transparencia (TET, por sus siglas en inglés) para lograr una transparencia significativa de los procesos algorítmicos. La toma de decisiones mediante IA puede resultar en consecuencias negativas para las personas, especialmente para miembros protegidos de clases sociales. Debe usarse precaución en la toma de decisiones algorítmica para asegurar que la IA no allane el camino hacia la discriminación.