Qué es la seguridad en la inteligencia artificial

La seguridad en la inteligencia artificial (IA) es una rama de la investigación en IA que se enfoca en garantizar que los sistemas de inteligencia artificial sean seguros, confiables, éticos y beneficiosos para la humanidad. Su objetivo es desarrollar métodos para asegurar que los sistemas de IA se comporten como se espera, incluso cuando se enfrentan a tareas complejas o situaciones imprevistas. La seguridad en la IA es un campo multidisciplinario que involucra ciencias de la computación, ética, derecho, psicología y sociología.

A medida que los sistemas de IA se vuelven más complejos y capaces, el potencial de daño aumenta si no están diseñados o controlados adecuadamente. Esto no se trata solo de prevenir fallos catastróficos, sino también de evitar problemas más sutiles como el sesgo en la toma de decisiones o el mal uso de datos personales.

La seguridad en la IA busca garantizar que la IA beneficie a toda la humanidad. Esto significa asegurar que los beneficios de la IA se distribuyan equitativamente y que el desarrollo de la IA no conduzca a un aumento de la desigualdad u otros daños sociales. Se trata de crear IA que respete nuestros valores, derechos y libertades.

Uno de los principios clave de la seguridad en la IA es la alineación, que se refiere a la idea de que los objetivos de un sistema de IA deben estar alineados con los valores humanos. Esto es importante porque si los objetivos de un sistema de IA no coinciden con nuestros valores, podría actuar de maneras perjudiciales o indeseables.

La alineación es un tema complejo y multifacético. Implica desafíos técnicos, como cómo programar una IA para que entienda y respete los valores humanos, así como cuestiones éticas y filosóficas sobre cuáles son esos valores y cómo deben definirse.

A pesar de estos desafíos, la alineación es un aspecto crucial de la seguridad en la IA. Sin una adecuada alineación, incluso el sistema de IA más avanzado y capaz podría convertirse en una carga en lugar de un activo.

La robustez se refiere a la capacidad de un sistema de IA para funcionar de manera confiable y correcta, incluso frente a errores, incertidumbres o ataques adversarios. Los sistemas de IA suelen operar en entornos complejos e impredecibles, donde pueden encontrar situaciones inesperadas o ser objetivo de actores maliciosos.

Construir una IA robusta requiere un diseño cuidadoso y pruebas rigurosas. Implica crear sistemas de IA que puedan manejar una amplia gama de situaciones, mientras se desarrollan mecanismos para detectar y responder a errores o ataques.

La robustez también implica construir sistemas de IA que sean resistentes y adaptables. Estos sistemas deberían poder aprender de sus errores y adaptarse a nuevas situaciones, asegurando que continúen funcionando eficaz y seguramente con el tiempo.

La transparencia se refiere a la capacidad de comprender y explicar las decisiones tomadas por un sistema de IA. La transparencia es importante porque ayuda a generar confianza en los sistemas de IA y permite una supervisión y responsabilidad significativas.

Muchos sistemas de IA son opacos y difíciles de entender. Esto suele conocerse como el problema de la "caja negra". Sin embargo, existen esfuerzos en marcha para desarrollar métodos y herramientas que mejoren la transparencia de los sistemas de IA, incluyendo técnicas para IA explicable y modelos de aprendizaje automático interpretables.

La responsabilidad se refiere a la idea de que debe haber una responsabilidad clara por las acciones de un sistema de IA. La responsabilidad es importante porque asegura que existan mecanismos para abordar cualquier daño causado por un sistema de IA y para prevenir tales daños en el futuro.

La responsabilidad en la IA involucra a múltiples partes interesadas, incluyendo a los desarrolladores que crean la IA, a las organizaciones que la implementan y a los reguladores que supervisan su uso. Cada una de estas partes tiene un papel que desempeñar para garantizar que la IA se utilice de manera responsable y ética.

La responsabilidad también implica establecer marcos legales y éticos claros para la IA. Estos marcos deberían definir los derechos y responsabilidades de diferentes partes interesadas y proporcionar mecanismos para abordar cualquier daño o mala conducta.

Obtén más información en nuestra guía detallada sobre IA responsable

Existen varios desafíos fundamentales a los que se enfrentan organizaciones, instituciones y gobiernos al intentar aplicar los principios de seguridad en la IA:

Los sistemas de IA suelen implicar algoritmos complejos y grandes cantidades de datos, lo que dificulta predecir, comprender y controlar completamente su comportamiento. Normalmente están diseñados para aprender y adaptarse con el tiempo, lo que añade otra capa de complejidad ya que su funcionalidad puede cambiar basándose en nueva información y experiencias.

Esta complejidad también puede provocar dificultades para identificar la causa raíz cuando algo sale mal. ¿Fue un defecto en el algoritmo, un sesgo en el conjunto de datos o un sobreajuste durante el entrenamiento? Esta incertidumbre puede dificultar la garantía de la seguridad en la IA y prevenir problemas similares en el futuro.

La complejidad de los sistemas de IA también puede hacerlos vulnerables a ataques. Los piratas informáticos pueden realizar ataques como la contaminación del conjunto de datos de entrenamiento o la inyección de prompts, dirigidos a manipular el modelo o los mecanismos subyacentes (véase la recientemente publicada lista OWASP LLM Top 10 de riesgos de seguridad). Garantizar la seguridad de estos sistemas complejos representa un reto considerable en la seguridad de la IA.

A medida que los sistemas de IA se vuelven más sofisticados, pueden empezar a exhibir comportamientos que no fueron explícitamente previstos por sus creadores. Esto puede llevar a resultados inesperados y potencialmente perjudiciales.

Por ejemplo, una IA podría aprender a tomar atajos que logren su objetivo pero sean indeseables o perjudiciales en el mundo real. Esta imprevisibilidad puede ser especialmente preocupante en áreas como los vehículos autónomos o la atención médica, donde un comportamiento inesperado de la IA podría tener consecuencias graves.

La imprevisibilidad del comportamiento de la IA también puede dificultar la creación de confianza en estos sistemas. Si no podemos predecir con exactitud cómo se comportará una IA, no podemos confiar en que tome decisiones críticas o actúe en nuestro nombre.

Los sistemas de IA están siendo cada vez más diseñados para tomar decisiones de forma autónoma. Aunque esto puede conducir a resultados más eficientes y efectivos, también introduce un nuevo conjunto de riesgos y desafíos en la seguridad de la IA.

Uno de los principales riesgos es que la IA tome una decisión que sea perjudicial o inmoral. Por ejemplo, un vehículo autónomo podría tener que decidir entre atropellar a un peatón o desviarse y potencialmente dañar a los pasajeros. ¿Cómo toma la IA tal decisión, y quién es responsable si toma la equivocada?

También existe el riesgo de que la IA sea manipulada para tomar decisiones que sirvan a los intereses de un individuo o grupo específico en detrimento de otros, por ejemplo introduciendo intencionadamente sesgos en los conjuntos de datos de la IA. Por ejemplo, algunos comentaristas se quejan sobre inclinaciones políticas específicas en los grandes modelos de lenguaje (LLM, por sus siglas en inglés), que creen que fueron inducidas intencionadamente por sus creadores. Esto podría llevar a resultados injustos y a una pérdida de confianza en estos sistemas.

Además de los desafíos técnicos, también existen consideraciones éticas y morales en el desarrollo de la IA. A medida que los sistemas de IA se vuelven más avanzados y autónomos, cada vez más toman decisiones que tienen implicaciones morales y éticas.

Por ejemplo, ¿debería diseñarse una IA para priorizar la seguridad de sus usuarios sobre la de otras personas? ¿Debería permitirse que tome decisiones que potencialmente puedan dañar a seres humanos? Estas son preguntas éticas complejas que requieren una consideración cuidadosa y la entrada de varias partes interesadas.

También existe el tema de la transparencia y la responsabilidad en el desarrollo de la IA. ¿Quién es responsable cuando una IA causa daño? ¿Cómo podemos asegurar que el desarrollo de estos sistemas sea transparente y responsable? Estas consideraciones éticas y morales son cruciales para garantizar la seguridad en la IA.

Afortunadamente, existen varias medidas que se están tomando para mejorar la ética y seguridad de los sistemas de IA.

En respuesta a los desafíos mencionados anteriormente, existe un creciente enfoque en la investigación técnica en seguridad de la IA. Esto implica desarrollar técnicas y enfoques para hacer los sistemas de IA más seguros y confiables.

Por ejemplo, los investigadores están trabajando en formas de hacer los algoritmos de IA más transparentes e interpretables, para que podamos comprender y predecir mejor su comportamiento. También están explorando métodos para asegurar que los sistemas de IA permanezcan bajo el control humano y no tomen acciones no deseadas.

También se está realizando investigación sobre la robustez en los sistemas de IA. Esto implica hacer que la IA sea más resistente a los cambios en su entorno o entradas, reduciendo la probabilidad de comportamientos inesperados.

En 2023, el gobierno del Reino Unido albergó la primera Cumbre Global de Seguridad en IA, reuniendo a investigadores, responsables de políticas y líderes de la industria de 28 países para discutir y abordar los desafíos en la seguridad de la IA. Esta es la primera plataforma global destinada a definir y abordar los desafíos de la seguridad en la IA.

La Cumbre de Seguridad en IA sirve como plataforma para compartir la última investigación, mejores prácticas y estrategias en seguridad de la IA. También proporciona una oportunidad para que las partes interesadas colaboren y coordinen sus esfuerzos, fomentando un enfoque global para abordar estos desafíos.

Existe una creciente conciencia sobre la necesidad de un gobierno, política y estrategia sólidos en IA para garantizar la seguridad en la IA. Esto implica establecer reglas y regulaciones que guíen el desarrollo y uso de los sistemas de IA.

Por ejemplo, podría haber políticas que requieran transparencia en los algoritmos de IA, o regulaciones que mantengan responsables a los desarrolladores por la seguridad de sus sistemas de IA. También podría haber estrategias en marcha para gestionar los riesgos asociados con la toma de decisiones autónoma por parte de la IA.

Estas estructuras de gobierno necesitan ser flexibles y adaptables, capaces de evolucionar con el rápido cambio en el panorama de la IA. Esta es una componente crítica para garantizar la seguridad en la IA a largo plazo.

Varias leyes y regulaciones han sido promulgadas en los últimos años para ayudar a mantener la seguridad en la IA. Veamos algunas de estas.

La Orden Ejecutiva de EE.UU. sobre IA segura, segura y confiable, emitida por el presidente Biden en octubre de 2023, tiene como objetivo posicionar a EE.UU. a la vanguardia de la innovación en IA mientras asegura que la tecnología se utilice de manera responsable. Esta directiva establece nuevos estándares para la seguridad y protección de la IA, con el objetivo de proteger la privacidad de los estadounidenses, avanzar en equidad y derechos civiles, apoyar a consumidores y trabajadores, estimular la innovación y competencia, y reforzar el liderazgo estadounidense a nivel global.

Entre las directivas clave de la Orden Ejecutiva se incluye la obligación de los desarrolladores de sistemas de IA de alto impacto de revelar los resultados de las pruebas de seguridad y datos relevantes al gobierno de EE.UU. También encarga al Instituto Nacional de Estándares y Tecnología (NIST) formular estándares estrictos y protocolos de pruebas para verificar la seguridad de la IA antes de su despliegue público. Otras medidas se centran en proteger a los estadounidenses del fraude y engaño inducidos por la IA, mejorar la ciberseguridad mediante herramientas de IA, y guiar a las fuerzas armadas y comunidad de inteligencia en el uso ético y eficaz de la IA.

Además, la Orden Ejecutiva subraya la necesidad de una legislación bipartidista sobre privacidad de datos para reforzar las protecciones de privacidad frente a riesgos relacionados con la IA. También promueve la equidad y los derechos civiles previniendo que los algoritmos de IA intensifiquen la discriminación y destaca el bienestar de consumidores, pacientes y estudiantes al defender el empleo responsable de la IA en la salud y educación. Por último, la directiva apoya el desarrollo del talento frente a los cambios impulsados por la IA en el mercado laboral y promueve la innovación y competencia facilitando la investigación y desarrollo en IA en diversos sectores.

La Ley Nacional de IA de Estados Unidos, firmada en late 2020, establece una iniciativa federal coordinada destinada a acelerar la investigación y desarrollo en IA para la seguridad económica y nacional de Estados Unidos. La Ley cubre numeros aspectos del desarrollo en IA, incluyendo asegurar liderazgo en investigación y desarrollo en IA, mejorar la fuerza laboral en IA, fomentar cooperación internacional y promover sistemas de IA confiables.

La Ley también establece el Comité Asesor Nacional de Inteligencia Artificial, encargado de asesorar al Presidente y otros funcionarios federales sobre asuntos relacionados con la IA. Esto incluye asesorar sobre necesidades y prioridades de investigación en IA, consideraciones éticas relacionadas con la IA, y las implicaciones de la IA en la fuerza laboral.

La Unión Europea (UE) también ha sido proactiva en proponer regulaciones para garantizar la seguridad en la IA. En abril de 2021, la Comisión Europea propuso la Ley de Inteligencia Artificial, que, cuando entre en vigor en 2025, será el primer marco legal sobre IA en la UE.

La Ley tiene como objetivo asegurar que los sistemas de IA utilizados en la UE sean seguros y respeten las leyes y valores existentes. Propone ciertos requisitos para sistemas de IA de alto riesgo, incluyendo transparencia, supervisión humana y robustez. La Ley también propone el establecimiento de un Consejo Europeo de Inteligencia Artificial, que será responsable de asesorar y asistir a la Comisión.

En 2019, la Organización para la Cooperación y el Desarrollo Económico (OCDE) adoptó los Principios sobre Inteligencia Artificial. Estos principios, acordados por 42 países, tienen como objetivo promover una IA innovadora y confiable que respete los derechos humanos y los valores democráticos.

Los principios incluyen transparencia, robustez, seguridad, equidad y responsabilidad. También destacan la importancia de desplegar la IA de una manera que respete la privacidad y protección de datos, mantenga la transparencia y explicabilidad, y asegure la responsabilidad.

China, un líder en el desarrollo de la IA, también ha realizado avances en la creación de un marco regulatorio para la seguridad en la IA. En junio de 2019, el Comité de Expertos en Gobernanza de la Inteligencia Artificial de la Nueva Generación de China publicó los Principios de Gobernanza de la Inteligencia Artificial de la Nueva Generación.

Estos principios promueven el desarrollo y uso responsable de la IA, destacando la importancia de garantizar seguridad, transparencia y controlabilidad en los sistemas de IA. También abogan por la cooperación internacional en la gobernanza de la IA, promoviendo el establecimiento de un marco global de ética y gobernanza de la IA.

Singapur, un centro de innovación en IA, también ha tomado pasos significativos para asegurar la seguridad en la IA. En enero de 2019, Singapur publicó su Marco Modelo de Gobernanza de IA, el primero en Asia en hacerlo.

El marco proporciona una guía detallada e implementable a las organizaciones del sector privado sobre cómo abordar cuestiones clave de ética y gobernanza al desplegar soluciones de IA. Destaca los principios de explicabilidad, transparencia, equidad y centrado en el ser humano en los sistemas de IA.

Construir productos de IA responsables en los que nosotros y nuestros clientes puedan confiar y depender no es un esfuerzo heroico único ni una nueva arquitectura neuronal revolucionaria. Es un proceso de construcción de una cultura de calidad en IA dentro de la organización que requiere:

• Construcción de datos de prueba de alta fidelidad
• Un proceso transparente de aseguramiento de calidad del modelo
• Pruebas de extremo a extremo no solo del modelo

Construimos Kolena para hacer fácil y accesible para todas las organizaciones el desarrollo de pruebas sistemáticas y robustas de aprendizaje automático.

Con Kolena, los ingenieros de aprendizaje automático y científicos de datos pueden descubrir comportamientos ocultos de los modelos de aprendizaje automático, identificar fácilmente lagunas en la cobertura de los datos de prueba y realmente aprender dónde y por qué un modelo está funcionando mal, todo en minutos en lugar de semanas. La solución de pruebas y validación de modelos de IA/aprendizaje automático de Kolena ayuda a los desarrolladores a construir sistemas seguros, confiables y justos al permitir que las empresas unan instantáneamente casos de prueba precisos a partir de sus conjuntos de datos, lo que les permite examinar modelos de IA/aprendizaje automático en los escenarios precisos en los que esos modelos se desplegarán en el mundo real. La plataforma Kolena transforma la naturaleza actual del desarrollo de IA, pasando de experimental a una disciplina de ingeniería que puede ser confiable y automatizada.

Ponte en contacto con nosotros para aprender cómo la plataforma Kolena puede ayudar a construir una cultura de calidad en IA para tu equipo.