“Los algoritmos pueden diseñarse para respetar principios éticos, pero esto no es gratis”

En los últimos años, los algoritmos han pasado de ser abstracciones matemáticas a formar parte integrante de nuestras vidas. Se usan masivamente en aplicaciones de inteligencia artificial (IA) para clasificarnos a la hora de otorgarnos –o no– un crédito bancario, en la selección de personal o en diagnósticos médicos.

Aaron Roth, profesor de Ciencias Computacionales y de la Información en la Universidad de Pensilvania, es coautor, junto a su colega Michaels Kearns, del libro El algoritmo ético: la ciencia del diseño de algoritmos con conciencia social. En él hacen propuestas para frenar los sesgos discriminatorios y los ataques a privacidad ocasionados por los algoritmos.

¿Estamos en manos de los algoritmos y de sus sesgos?

Los procedimientos algorítmicos se usan cada vez más para sustituir toma de decisiones. Los departamentos de recursos humanos los utilizan en sistemas de IA para contrataciones y compensaciones, y los bancos para conceder créditos. En Pensilvania, por ejemplo, las decisiones de libertad condicional de prisioneros, como las de fianza, se basan en algoritmos. Cuando la gente depende de la toma de decisiones automáticas, hay normas sociales que queremos que respeten. Esperamos que sean justas, que tengan algún tipo de proceso legal y que protejan la privacidad.

Ya, pero esto no es así. Los sesgos discriminatorios de los algoritmos de aprendizaje automático son de sobra conocidos.

Efectivamente, los algoritmos de machine learning, usados en aplicaciones de IA, se alimentan con datos históricos sesgados que pueden perpetuar los prejuicios de pasado respecto a ciertas razas o hacia las mujeres, por ejemplo. Pero este no es el único problema. Incluso si se pudieran obtener de alguna manera datos perfectamente limpios, libres de cualquier sesgo humano, el resultado de la aplicación de las técnicas estándar de machine learning podría no ser justo para mucha gente. Esto se debe a que el sistema funciona con algoritmos que optimizan una función concreta para maximizar la eficacia o el beneficio. Por tanto, si necesita aumentar su precisión predictiva ajustando mejor una población mayoritaria a expensas de una minoritaria, lo hará.

Las consecuencias suelen ser que estos algoritmos cometen un número desproporcionado de errores con las poblaciones minoritarias, no por ningún sesgo humano inyectado en el proceso, sino simplemente por los fundamentos del aprendizaje automático.

Así que el ‘malo’ no es el diseñador del software.

La fuente del mal comportamiento de los algoritmos de machine learning no se debe a ingenieros de software malintencionados, sino al propio funcionamiento de la tecnología, y eso hace que sea aún más difícil de regular. Tienes que averiguar la fuente del comportamiento problemático que, en muchas ocasiones, reside en que el sesgo latente ya está en los datos.

Aaron Roth (derecha) junto a Michael Kearns. Ambos son autores del libro El algoritmo ético. / UPenn

¿Y qué se puede hacer para mejorar esto? Hasta ahora, no parece que se haya hecho mucho.

Cada vez se está haciendo más. Por ejemplo, Michael Kearns y yo formamos parte de una comunidad de cientos de científicos que tratamos de desarrollar la ciencia y la tecnología necesarias para que los algoritmos se comporten mejor. La idea básica es que, primero, hay que definir con precisión qué queremos decir con que un algoritmo ha de ser “justo” o “respetuoso“ de la privacidad y, a partir de ahí, averiguar cómo incrustar estas características en la tecnología. De esto es de lo que trata nuestro libro.

¿Pero es realmente posible embeber cuestiones como justicia y privacidad en los algoritmos?

Como decía, proponemos diseñar mejores algoritmos que en su propio diseño tengan embebidos principios como la equidad y el respeto a la privacidad.

Un ejemplo de una de estas aplicaciones es la privacidad diferencial, que se sirve de herramientas estadísticas y matemáticas para proteger la identidad de los usuarios en la recolección de datos. La idea de partida es que nadie debería ser capaz de deducir, a partir del modelo de machine learning, si sus datos han sido utilizados para entrenar un algoritmo.

Cuando ya tenemos una formulación clara de lo que queremos, se puede codificar como una restricción matemática. Y una vez que se tiene esa restricción, ya podemos empezar a estudiar el diseño técnico del algoritmo y hacer un análisis de datos útil que obedezca a esa restricción. 

En estas soluciones es preciso modificar la función objetiva para equilibrar los errores con consideraciones éticas. Todo ello va a tener un coste, ya que si quiero más justicia en mis modelos, me va a costar algo, por ejemplo, una menor precisión, porque estoy limitando lo que era antes un proceso sin restricciones.

Portada del libro El algoritmo ético: la ciencia del diseño de algoritmos con conciencia social. / UPenn

Suena todo bastante complicado.

¡Ya! Es más fácil decirlo que hacerlo. Llegar a buenas definiciones es muy difícil y también lo es el diseño de algoritmos. Antes he mencionado la privacidad diferencial, que en 2006 revolucionó el estudio de la privacidad de los datos. Hemos estado trabajando en el diseño de algoritmos durante casi quince años, con buenos progresos. Mediante el uso de técnicas como esta, podemos empezar a garantizar una protección real de la privacidad sin renunciar a importantes aplicaciones basadas en datos.

La privacidad diferencial ha sido ya desplegada por firmas como Apple, Google y el Censo 2020 de EEUU. Sin embargo, todavía estamos lejos de entender todo lo que implica. ¡Pero solo porque sea difícil no significa que no debamos seguir intentándolo!

Aparte de este tipo de herramientas, ¿cree que sería necesaria una regulación de los algoritmos por organizaciones independientes para proteger a los usuarios?

La regulación es una parte importante de la solución. Pero uno de los mensajes clave de nuestro libro es que nada es gratis. Si queremos que un algoritmo sea más justo o más privado con respecto a alguna medida concreta, esto suele tener un coste. Requerirá más datos o tal vez sea menos preciso, como decía antes, y esto repercutirá en el beneficio de las empresas. Por lo tanto, para que se adopten estas tecnologías, será necesario que haya fuertes incentivos externos, y la regulación puede ser una forma de proporcionarlos.

La IA está en manos de gigantes como Amazon, Google, Facebook, Microsoft, IBM... ¿Cree que a estas empresas les preocupa algo la ética o solo se centran en el negocio?

Estas compañías son grandes y complicadas. Cada una de ellas cuenta con grupos de investigación llenos de personas que están ayudando a avanzar en esta ciencia, son conscientes de lo que está en juego y están interesadas en algo más que el beneficio. Dicho esto, todas estas son corporaciones que cotizan en bolsa y tienen un objetivo de lucro, por lo que no se debería contar con ellas para que siempre hagan lo correcto sin algún incentivo externo.

¿Qué podemos hacer personalmente o como ciudadanos para exigir que esta tecnología que afecta a nuestra vida cotidiana sea más justa?

El punto de partida está en ser conscientes. Tener conciencia de que los algoritmos no son imparciales porque sean matemáticos. Y conciencia de que hay herramientas que pueden utilizarse para hacer que estos algoritmos se comporten mejor. Una vez que las personas entiendan esto, estarán en una mejor posición para abogar por sí mismas.