Algoritmos para la manipulación política y la discriminación

En 2011, Sarah Wysocki, maestra primaria en Washington DC, fue calificada por un algoritmo de evaluación docente. En vez de valorar su forma de enseñar, corregir, tutorizar, etc., medía indicadores indirectos: las notas de sus alumnos. Aunque gozaba de la estima de los padres y del director de su colegio, el ‘modelo de valor añadido’ puntuó a Wysocki muy bajo en enseñanza de lengua y matemáticas.

Basándose en decenas de pruebas de un solo curso (para tener validez estadística debería haber procesado cientos de exámenes), la despidieron. La cosa no acabó ahí: en los años siguientes, una inspección detectó numerosas tachaduras en las pruebas: los maestros, temiendo ser echados por el algoritmo, enmendaron al alza los ejercicios de sus estudiantes.

Otro ejemplo del efecto perverso del big data en la educación lo brindan los rankings de universidades, inventados en 1988 por la revista US News and World Report para vender ejemplares a los estudiantes. Aparte de ser confeccionados por periodistas sin idea de pedagogía, al tomar como referencia a las universidades de élite anglosajonas, priorizan parámetros que les benefician como la reputación (favorable a los centros más antiguos) y omiten los que les perjudican, como el precio de la matrícula (de incluirse, aquellas perderían posiciones y las universidades públicas subirían).

Consecuencia: las instituciones de élite aumentaron sus precios, los demás se vieron sometidos a exigencias inalcanzables y proliferó la picaresca para escalar posiciones en las tablas.

Son algunos de los casos examinados en Armas de destrucción matemática (título español que no recoge el juego de palabras entre mass y math patente en el original Weapons of Math Destruction). Con pocas fórmulas y abundantes analogías, Cathy O’Neil desnuda los errores estadísticos y la falaz neutralidad de ciertos modelos matemáticos, dando una muy oportuna réplica a la visión del big data como panacea de todos los males sociales y económicos.

Fiasco en las predicciones

En sus páginas señala las dos premisas erróneas que sustentaban la predicción de impagos hipotecarios, cuyo fiasco detonó la crisis financiera de 2008: el futuro no diferirá del pasado, y los impagos son hechos aleatorios no relacionados entre sí. O’Neil no habla de oídas; doctora en matemáticas porla Universidad de Harvard, fue analista cuantitativa del fondo de inversión D.E. Shaw antes de unirse al movimiento Occupy Wall Street, cuyo espíritu impregna su blog mathbabe y este libro.

El libro Armas de destrucción matemática ha sido editada por Capitán Swing.

Su lupa se detiene en los modelos de prevención criminal que orientan a los policías y jueces estadounidenses. Su preferencia por determinadas variables geográficas y figuras delictivas envía a los agentes a patrullar barrios pobres con altas tasas de delitos violentos y faltas al orden público, ignorando los distritos financieros donde se fraguan las estafas que arruinan a millones.

Ciertos algoritmos prevén el potencial reincidente de un reo a partir de criterios insuficientes como su área de residencia y su amistad con personas con antecedentes penales, propiciando con ello sentencias más duras. ¿Resultado? Estigmatización de las zonas marginadas, sobrerrepresentación carcelaria de las minorías étnicas desfavorecidas e impunidad de la delincuencia de guante blanco.

En la selección de personal para trabajos de baja remuneración se aplican algoritmos que no tienen la finalidad de encontrar “al mejor empleado sino de excluir a tantas personas como sea posible de manera barata”, resalta O’Neil. Otros ayudan al sector del seguro a identificar clientes de mayor riesgo para encarecer sus pólizas (sin abaratar las del resto de asegurados, dicho sea de paso), desvirtuando el significado social de una institución nacida para compensar los reveses de la fortuna.

Algoritmos y redes sociales

El último apartado se dedica a un área candente: el uso non sancto de los algoritmos de las redes sociales. El conocimiento detallado del perfil de sus usuarios permite a los políticos adaptar su propaganda a medida de cada individuo, potenciando la práctica demagógica de decir a cada uno lo que quiere oír, y, mucho más peligroso, la manipulación de sus emociones con fines electorales.

La irracionalidad subyacente a la ‘racionalidad numérica’ nos remite al principio GIGO (del inglés garbage in, garbage out), es decir si introcuces datos malos en un ordenador, saldrán datos malos. Es lo que ocurre con modelos que, al decir de O’Neil, “son opiniones incrustadas en matemáticas”, por lo común, prejuicios racistas y clasistas. La condición de secreto comercial de los algoritmos, que les sustrae al escrutinio público, garantiza la opacidad de estas “armas de destrucción matemática”. La gente ignora cómo procesan sus datos y por qué es clasificada de tal o cual manera con pernicioso impacto en sus vidas.

Advierte la autora que con el big data se explota “la mezcla de miedo y confianza que siente la gente por las matemáticas para evitar que hagan preguntas”.

Enamorada de su disciplina, cree que la ciencia de los números puede contribuir al bien común y defiende métricas que, en vez de desechar solicitantes de empleo, se destinen a aprovechar las cualidades laborales de cada candidato; que en lugar de enviar más gente a la cárcel, descubran las prisiones que favorecen la reintegracion de los exconvictos; o, como el modelo de Mira Bernstein, que revelen indicios de trabajos forzados en los proveedores de grandes marcas.

O’Neil cree que es crucial que el mundo académico se moje en el asunto, tal como han hecho en la Universidad de Princeton con software robótico que simula ser personas para detectar sesgos en los motores de búsqueda y buscadores de empleo en la red.

Una analogía transmite su mensaje final: así como las pésimas condiciones en las fábricas de la Revolución Industrial obligaron a imponer las leyes laborales, "nuestra época exige una legislación que proteja a la ciudadanía de los abusos perpetrados mediante la minería de datos".

Cabe apuntar que no estamos ante una obra de divulgación; la autora privilegia la denuncia por encima de la explicación minuciosa de los defectos matemáticos y estadísticos de los modelos cuestionados (una tarea imposible de cumplir en tan pocas páginas y con tantos ejemplos abarcados). Pese a esa deficiencia, el lector agradece su aldabonazo en la conciencia pública, que le pone en guardia contra las nuevas y sofisticadas formas de perpetrar injusticias.