¿Qué es un sesgo algorítmico y cómo se produce? Ejemplos

En un momento como el actual, en el que la digitalización y la tecnología son los principales protagonistas, los consumidores están expuestos a una amplia cantidad de estímulos y, por lo tanto, necesitamos impactarlos y llegar a ellos de una manera completamente adaptada a lo que buscan.

No solo se trata de personalizar los productos o la propia publicidad, sino que hay muchos otros factores que tener en cuenta y que inciden en cómo vamos a llegar a un determinado usuario, como es el caso de los algoritmos, que desempeñan un papel muy importante en la toma de decisiones: desde las recomendaciones de productos en plataformas de comercio electrónico hasta la asignación de créditos y la selección de candidatos para entrevistas de trabajo. Sin embargo, estos sistemas no son infalibles y pueden estar sujetos a un fenómeno conocido como sesgo algorítmico.

Una de las formas de conocer a fondo los sesgos algoritmos es estudiando de nuestro Grado en Data Science. Con este programa, conoceremos la informática en profundidad y cómo usarla en el ámbito de los negocios. Además, en este artículo te acercamos al mundo matemático.

¿Qué es un sesgo algoritmo?

Concretamente, cuando hablamos de sesgo algorítmico, nos referimos a las decisiones sistemáticamente desfavorables o favorables hacia ciertos grupos o individuos debido a fallas o características inherentes al diseño o los datos utilizados por un algoritmo. Aunque los algoritmos se desarrollan con la intención de ser objetivos, el sesgo puede generarse de varias maneras y dar lugar a resultados injustos o discriminatorios.

¿Cómo se produce un sesgo algoritmo?

El sesgo algorítmico puede producirse a través de varias vías:

• Datos sesgados: Los algoritmos aprenden a partir de datos históricos. Si los datos utilizados para entrenar un modelo contienen sesgos, como prejuicios raciales o de género, el algoritmo los aprenderá y perpetuará. Por ejemplo, si un conjunto de datos de contratación histórica muestra una preferencia por los candidatos masculinos, un algoritmo entrenado con estos datos puede favorecer a los hombres sobre las mujeres en futuros procesos de selección.
• Diseño del algoritmo: Los propios desarrolladores pueden introducir sesgos, ya sea consciente o inconscientemente, a través de las decisiones tomadas durante la creación del algoritmo. Esto se da en la elección de variables, la definición de métricas de éxito o la forma en que se estructuran los modelos. Por ejemplo, si un algoritmo de selección de personal prioriza la experiencia en ciertas universidades, puede favorecer a candidatos de entornos socioeconómicos más privilegiados.
• Representación insuficiente: Los algoritmos pueden estar sesgados si los datos no representan adecuadamente a todos los grupos de la población. Esto puede ocurrir cuando ciertos grupos están subrepresentados en el conjunto de datos, lo que lleva a tomar decisiones menos precisas o justas para esos grupos. Por ejemplo, un sistema de reconocimiento facial entrenado principalmente con imágenes de personas de piel clara puede tener dificultades para identificar correctamente a personas de piel más oscura.
• Feedback loops: Los algoritmos pueden generar resultados sesgados que, a su vez, refuercen esos mismos sesgos. Por ejemplo, un algoritmo de recomendación de noticias puede mostrar más contenido de un cierto tipo, basado en la interacción pasada de los usuarios. Esto puede crear una burbuja de filtro donde los usuarios solo ven información que refuerza sus creencias existentes y perpetuar la falta de diversidad de pensamiento.

Ejemplos de sesgos algorítmicos

A continuación vemos unos ejemplos de sesgos algorítimicos para entender cómo se manifiestan y cómo pueden ser mitigados:

• Reconocimiento facial: Varios estudios han demostrado que los sistemas de reconocimiento facial tienen tasas de error más altas para personas de color y mujeres. Un estudio realizado por el Instituto Nacional de Estándares y Tecnología (NIST) de EE. UU. encontró que los sistemas de reconocimiento facial eran menos precisos para identificar a personas de ascendencia africana o asiática en comparación con personas de ascendencia europea. Esto se debe en gran parte a la falta de diversidad en los datos de entrenamiento utilizados para desarrollar estos sistemas.
• Algoritmos de selección de personal: En 2018, se descubrió que un algoritmo de inteligencia artificial utilizado por Amazon para revisar currículos tenía un sesgo de género. El sistema tendía a penalizar a las candidatas mujeres para puestos técnicos porque había sido entrenado con currículos enviados a la empresa durante un período de diez años, la mayoría de los cuales provenían de hombres. Aunque la empresa trató de eliminar los sesgos explícitos, el sistema aprendió a discriminar indirectamente a las mujeres.
• Préstamos y créditos: Los algoritmos utilizados para determinar la elegibilidad para recibir préstamos y créditos también pueden estar sesgados. Un ejemplo destacado es el caso de Apple Card, a quien se acusó de discriminar a las mujeres al ofrecerles límites de crédito significativamente más bajos que a los hombres. Aunque la empresa negó cualquier discriminación intencionada, el problema parecía estar relacionado con la forma en que el algoritmo evaluaba los datos financieros, subestimando sistemáticamente la capacidad crediticia de las mujeres.

Los sesgos algorítmicos son prejuicios no deseados que se integran en los sistemas algorítmicos, ya sea por datos de entrenamiento sesgados o por decisiones de diseño. Comprender cómo se producen y reconocer ejemplos específicos es crucial para desarrollar algoritmos más justos y equitativos, y para implementar medidas que mitiguen estos efectos negativos.

Si te interesa saber más sobre sesgos algorítmicos y convertirte en todo un especialista en tecnología, no dudes en pedir información del Grado en Data Science. para formarte y trabajar en un sector lleno de innovadores retos profesionales.