Cómo reconocer la exclusión en IA

Por Joyce Chou, Oscar Murillo y Roger Ibars

¿Puede la inteligencia artificial ser racista? Bueno, eso depende. Digamos que eres un estudiante afroamericano en una escuela que usa software de reconocimiento facial. La escuela lo usa para acceder al edificio y las tareas de tarea en línea. Pero el software tiene un problema. Sus creadores solo utilizaron sujetos de prueba de piel clara para entrenar sus algoritmos. Tu piel es más oscura y el software tiene problemas para reconocerte. A veces llegas tarde a clase o no puedes recibir tus tareas a tiempo. Tus notas sufren. El resultado es una discriminación basada únicamente en el color de la piel.

Este no es un ejemplo real, pero pasos en falso similares de IA ya se han vuelto infames en la industria tecnológica y en las redes sociales. La industria está entusiasmada con la IA por una buena razón: el big data y el aprendizaje automático están iluminando experiencias poderosas que eran inimaginables hace solo unos años. Pero para que la IA cumpla su promesa, los sistemas deben ser confiables. Mientras más confianza tienen las personas, más interactúan con los sistemas, y los sistemas usan más datos para dar mejores resultados. Pero la confianza toma mucho tiempo en construirse, y el sesgo puede derribarla instantáneamente, causando un daño real a las grandes comunidades.

Reconociendo la exclusión en IA

En Microsoft, hemos desarrollado herramientas y procesos de diseño inclusivos para reconocer a las personas con discapacidades físicas en nuestro proceso de diseño. A medida que evolucionamos nuestras prácticas, expandimos nuestro pensamiento de diseño a otras áreas de exclusión, incluidos los problemas cognitivos, las preferencias de estilo de aprendizaje y el sesgo social.

Es hora de adoptar el mismo enfoque para la IA. El sesgo en la IA ocurrirá a menos que se construya desde el principio con la inclusión en mente. El paso más crítico en la creación de IA inclusiva es reconocer dónde y cómo el sesgo infecta el sistema.

Nuestro primer principio de diseño inclusivo es reconocer la exclusión. La guía que presentamos aquí desglosa el sesgo de IA en distintas categorías para que los creadores de productos puedan identificar los problemas desde el principio, anticiparse a problemas futuros y tomar mejores decisiones en el camino. Permite a los equipos ver claramente dónde pueden fallar sus sistemas, para que puedan identificar sesgos y crear experiencias que cumplan la promesa de IA para todos.

Cinco formas de identificar sesgos

Trabajamos con líderes de opinión académicos y de la industria para determinar cinco formas de identificar sesgos. Luego, utilizamos las situaciones de la infancia como metáforas para ilustrar el comportamiento en cada categoría. ¿Por qué? Todos podemos relacionarnos con los episodios de prejuicio de la infancia, y encaja en una bonita metáfora: la IA está en su infancia y, como los niños, cómo crece refleja cómo la criamos y nutrimos.

Cada categoría de sesgo incluye una metáfora infantil que lo ilustra, su definición, un ejemplo de producto y una prueba de esfuerzo para sus equipos y el trabajo de IA. Así es como se descomponen los sesgos:

Al abordar estos cinco sesgos primero, podemos crear productos más inclusivos.

Sesgo de conjunto de datos

El sesgo del conjunto de datos es similar a la pequeña visión del mundo de un niño pequeño.

Un niño pequeño define el mundo puramente en la pequeña cantidad que pueden ver. Finalmente, el niño aprende que la mayor parte del mundo se encuentra más allá del pequeño conjunto de información que está dentro de su campo de visión. Esta es la raíz del sesgo del conjunto de datos: inteligencia basada en información que es demasiado pequeña u homogénea.

Definición: cuando los datos utilizados para entrenar modelos de aprendizaje automático no representan la diversidad de la base de clientes. Los conjuntos de datos a gran escala son la base de la IA. Al mismo tiempo, los conjuntos de datos a menudo se han reducido a generalizaciones que no consideran una variedad de usuarios y, por lo tanto, los representan de manera insuficiente.

Ejemplo de producto: Tecnologías de visión artificial, como cámaras web para rastrear los movimientos de los usuarios, que solo funcionan bien para pequeños subconjuntos de usuarios basados ​​en la raza (predominantemente blancos), porque los datos de entrenamiento iniciales excluyeron otras razas y tonos de piel.

Prueba de resistencia: si está utilizando un conjunto de datos de capacitación, ¿esa muestra incluye a todos en su base de clientes? Y si no, ¿ha probado sus resultados con personas que no formaban parte de su muestra? ¿Qué pasa con las personas en sus equipos de IA? ¿Son inclusivas, diversas y sensibles al reconocimiento de prejuicios?

Sesgo de asociaciones

Las asociaciones humanas pueden perpetuarse en el entrenamiento de IA, como los roles de género asumidos.

Imagínese a algunos niños a quienes les gusta jugar a ser "doctores". Los niños quieren los roles de médicos y asumen que las niñas serán las enfermeras. Las chicas tienen que hacer su caso para anular las suposiciones. "¡Oye, las chicas también pueden ser doctoras!"

Definición: cuando los datos utilizados para entrenar un modelo refuerzan y multiplican un sesgo cultural. Al entrenar algoritmos de IA, los prejuicios humanos pueden llegar al aprendizaje automático. Perpetuar esos sesgos en futuras interacciones puede conducir a experiencias injustas de los clientes.

Ejemplo de producto: herramientas de traducción de idiomas que hacen suposiciones de género (por ejemplo, los pilotos son hombres y las azafatas son mujeres).

Prueba de resistencia: ¿Sus resultados están formando asociaciones que perpetúan los estereotipos de género o etnia? ¿Qué puedes hacer para romper las asociaciones indeseables e injustas? ¿Su conjunto de datos ya está clasificado y etiquetado?

Sesgo de automatización

Una máquina está tratando de llegar a un resultado rápido y automatizado. No sabe lo que quiere el humano del otro lado.

Imagina a una chica que se maquilla. A la niña le gustan los deportes, le encanta el aspecto natural y odia todo lo artificial. La esteticista tiene diferentes ideas sobre la belleza, aplica toneladas de maquillaje y un peinado quisquilloso. Los resultados hacen feliz a la esteticista, pero horrorizan a la niña.

Definición: cuando las decisiones automatizadas anulan las consideraciones sociales y culturales. Los programas predictivos pueden automatizar objetivos que van en contra de la diversidad humana. Los algoritmos no son responsables ante los humanos, sino que toman decisiones con impacto humano. Los diseñadores y profesionales de IA deben tener en cuenta los objetivos de las personas afectadas por los sistemas que construyen.

Ejemplo de producto: los filtros fotográficos de embellecimiento refuerzan una noción europea de belleza en las imágenes faciales, como un tono de piel más claro.

Prueba de esfuerzo: ¿los clientes reales y diversos estarían de acuerdo con las conclusiones de su algoritmo? ¿Su sistema de inteligencia artificial anula las decisiones humanas y favorece la toma de decisiones automatizada? ¿Cómo se asegura de que haya un punto de vista humano en el circuito?

Sesgo de interacción

Los chatbots de IA son susceptibles a la entrada humana maliciosa y necesitan salvaguardas para permanecer inofensivos.

Un juego popular para niños es "Teléfono". La primera persona en un grupo susurra una oración a la siguiente persona, que luego la susurra a la siguiente persona, y así sucesivamente hasta que la última persona diga lo que escuchó. El punto es ver cómo la información cambia naturalmente a través de tantas transferencias. Pero digamos que un niño lo cambia intencionalmente para crear un resultado más ridículo. Puede ser más divertido, pero el espíritu de ver lo que sucede naturalmente está roto.

Definición: cuando los humanos alteran la IA y crean resultados sesgados. Los chatbots de hoy pueden hacer bromas y engañar a las personas para que piensen que son humanos la mayor parte del tiempo. Pero muchos intentos de humanizar la inteligencia artificial han contaminado involuntariamente programas informáticos con prejuicios humanos tóxicos. El sesgo de interacción aparecerá cuando los bots aprendan dinámicamente sin garantías contra la toxicidad.

Ejemplo de producto: los humanos introducen deliberadamente lenguaje racista o sexista en un chatbot para entrenarlo a decir cosas ofensivas.

Prueba de esfuerzo: ¿tiene comprobaciones para identificar la intención maliciosa hacia su sistema? ¿Qué aprende tu sistema de IA de las personas? ¿Diseñó para la interacción y el aprendizaje en tiempo real? ¿Qué significa eso para lo que refleja a los clientes?

Sesgo de confirmación

Cuando se hace la misma confirmación una y otra vez, el resultado es menos diverso, menos exploratorio.

Piensa en el niño que recibe un dinosaurio de juguete por un año. Otros miembros de la familia ven al dinosaurio y le dan más dinosaurios. En varios años, amigos y familiares suponen que el niño es un fanático de los dinosaurios y siguen dando más dinosaurios hasta que tenga una gran colección.

Definición: cuando la personalización simplificada hace suposiciones sesgadas para un grupo o un individuo. El sesgo de confirmación interpreta la información de una manera que confirma las ideas preconcebidas. Los algoritmos de IA ofrecen contenido que coincide con lo que otras personas ya han elegido. Esto excluye los resultados de personas que tomaron decisiones menos populares. Un trabajador del conocimiento que solo obtiene información de las personas que piensan como ella nunca verá puntos de vista contrastantes y se le impedirá ver alternativas e ideas diversas.

Ejemplo de producto: sitios de compras que muestran recomendaciones de cosas que el cliente ya ha comprado.

Prueba de esfuerzo: ¿su algoritmo se basa y refuerza solo las preferencias populares? ¿Su sistema de IA puede evolucionar dinámicamente a medida que sus clientes cambian con el tiempo? ¿Su sistema de inteligencia artificial está ayudando a sus clientes a tener una visión más diversa e inclusiva del mundo?

Usando esta cartilla

Como diseñadores y creadores de experiencias de inteligencia artificial, depende de nosotros reflexionar sobre cómo evoluciona la IA y cómo impacta a las personas reales. Este manual es el comienzo de un largo camino para crear experiencias que sirvan a todos por igual.

Si aplicamos estas ideas a nuestro ejemplo inicial de la niña afroamericana mal interpretada por el software de reconocimiento facial, podemos etiquetarlo como Sesgo de conjunto de datos: el software fue entrenado con datos demasiado limitados. Al reconocer y comprender esos prejuicios desde el principio, podemos probar el sistema contra otras consideraciones humanas y construir experiencias más inclusivas. ¿Podría nuestro software de reconocimiento facial estar sujeto a datos deliberadamente erróneos? ¿Qué otros sesgos podrían infectar la experiencia?

La mayoría de las personas que trabajan en IA tienen evidencia anecdótica de situaciones como estas. Resultados vergonzosos y ofensivos por sesgos involuntarios que todos queremos identificar y evitar. Nuestro objetivo aquí es ayudarlo a reconocer el sesgo subyacente que conduce a estas situaciones. Comience con estas categorías y pruebe su experiencia con estos tipos de sesgos en mente, para que pueda concentrarse en brindar el potencial de la IA a todos sus clientes.

Los colaboradores de este artículo incluyeron a Danielle McClune, Doug Kim y Elena Dvorkina (ilustraciones). El equipo de Diseño Inclusivo agradece a todos nuestros socios de Microsoft en Investigación y Diseño por sus discusiones estimulantes y su inestimable apoyo en el desarrollo de tecnología inclusiva.

Más sobre diseño inclusivo en Microsoft

Para mantenerse informado con Microsoft Design, síganos en Dribbble, Twitter y Facebook, o únase a nuestro programa Windows Insider. Y si está interesado en unirse a nuestro equipo, diríjase a aka.ms/DesignCareers.