La dificultad de usar algoritmos para controlar a las personas

Siempre que se habla de medidas de control de la población usando herramientas tecnológicas se centra el tema en el derecho a la privacidad y la libertad individual. Pero aquí vamos a ver porque es difícil que ese tipo de control funcione tan bien como prometen. Nos vamos a centrar en el mundo laboral que me parece el más neutral.

Trabajo como programador y una de los grandes retos de la industria es medir nuestro desempeño. No es que no existan técnicas para medirlo es que no funcionan. Los jefes piensan que sí y están felices con sus datos. Si hay algo que he aprendido es que mucha gente se siente más segura con un dato de fiabilidad cuestionable que sin datos. Sin embargo como si de un fenómeno cuántico se tratara el hecho de medir el rendimiento de la gente afecta a lo medido. Que muchas veces es lo que se desea, se instala un sistema para vigilar a los trabajadores, no tanto por los datos como para que el trabajador se sienta vigilado y trabaje más. Sin embargo el resultado puede ser el contrario, menos trabajo y de peor calidad. Los trabajadores se centran en puntuar bien aunque eso suponga empeorar su trabajo. Y no se debe a que el trabajador solo busca trabajar lo menos posible, si no que, como a todos, le gusta que le reconozcan su trabajo, cobrar más sueldo y ser ascendido. Y va a invertir su tiempo y esfuerzo en aquellas tareas que le den más posibilidades de conseguir alguno de esos tres objetivos.

Cuando hablamos de engañar a estos sistemas suena como algo complicado, necesitarias grandes conocimientos del algoritmos, matematicas y miles de pruebas para ver como se comporta. Los propios creadores de estos sitemas te podrán decir que ellos no sabrian como engañarlos. ¿Qué posibilidades tiene una persona normal?. Muy pocas, pero cuando el sistema trata con cientos o miles de personas la cosa cambia. Una persona puede encontrar de forma accidental un comportamiento que le da una ventaja frente a la evaluación. Los seres humanos somos muy buenos adaptandonos y percibiendo patrones, es algo que hacemos sin darnos cuenta. Tambien somos buenos adoptando comportamientos de grupo, muchas veces sin ser conscientes de ello. Si algo parece funcionar lo adoptamos. Así que cualquier comportamiento beneficioso va a extenderse entre la población.

Estos sistemas se enfrentan a un reto que es difícil de resolver hasta para los humanos: Evaluar de forma objetiva a una persona en un entorno real. Para ello tienen que trabajar con métrica y simplificaciones que no siempre son fieles a la realidad. Por lo que es casi seguro que habrá errores de clasificación, buenos trabajadores que son clasificados como malos y viceversa. Incluso puede que el error sea más sutil, un trabajador puede descubrir que es mejor valorado si hace las cosas de una determinada manera que si las hace de otra. La primera manera puede ser más correcta desde el punto de vista profesional pero el trabajador va a optar por la que mayor recompensa/reconocimiento le de. Además este proceso se realimenta puesto que los trabajadores que no hagan las cosas así tendrán menos éxito en esa empresa y será más probable que sean despedidos, se vayan o adopten la otra forma.

No hace falta que haya una búsqueda consciente de los puntos débiles de algoritmo, el sistema funciona por prueba y error. Se parece mucho a las metaheurísticas basadas en población. Muchos agentes probando (aun sin querer) estrategias diferentes y los que encuentran una estrategia que mejora su valoración son beneficiados, estas estrategias se extienden por el resto de los agentes mientras que los que no las imitan reciben peor puntuación, esto crea un ciclo de mejora y propagación constante.

Una solución que puede parecer muy sencilla es que cada persona sea evaluar por los demás algo del estilo «poner estrellitas», el problema de esto es que entonces el trabajador intentara «optimizar» la valoración del cliente. Puede dejar al cliente muy contento pero no realizar un trabajo satisfactorio. Por ejemplo puede dedicar demasiado tiempo atenderle a costa de realizar menos ventas o evitar atender a clientes «complicados». Incluso puede derivar en una guerra entre compañeros para «quitarse de encima esos clientes».

Otro problema que se da en este tipo de evaluaciones es «la inversión del control». Se da cuando en una jerarquía con este tipo de control alguien de un puesto superior puede perder mas que alguien de un puesto inferior si este no realiza su trabajo. De tal forma que el puesto inferior puede llegar a forzar al superior. También puede darse el caso de que el «castigo» por no realizar su trabajo se reparta entre los puesto inferiores suponiendo menor castigo a nivel personal que en los puestos superiores. Esa es la base de las huelgas, cada uno de los trabajadores pierde el sueldo de un día, pero la empresa pierde la producción de un día. Esto puede ser un gran problema para la empresa si le supone incumplir contratos, perder clientes o tener que pagar luego horas extra para recuperar la producción perdida.

Otro elemento difícil de eliminar de estos sistemas son los prejuicios. El sistema cree ciegamente sus resultados, ni se plantea que pueda equivocarse, ni tiene ne cuenta excepciones, ni el contexto. Tampoco hay que olvidar que toda aproximación estadística comete un error de sesgo al juzgar a una sola persona. Los datos te pueden decir que el 20% de los trabajadores que visten con pantalones azules tienen bajo rendimiento pero cuando aplicas eso a una sola persona vestida con pantalones azules estas siendo injusto y quizás descartando a un buen trabajador por otro peor.

No son necesarios sistemas muy complicados para que surjan estos comportamientos. Haces años trabajé programando una herramienta interna de gestión de proyectos. Una de sus principales funciones era ayudar a automatizar los cálculos de los costes de cada proyecto y el punto del mismo. De eso dependía la parte variable del sueldo de los jefes de proyecto. El sistema era especialmente propenso a las trampas ya que todos los jefes tenían acceso a los datos y podían ver claramente los motivos de su evaluación. Además la evaluación se realizaba en un momento concreto de la semana, lo que te daba tiempo a «arreglar los datos» por último era muy fácil retocar datos sin que se notase y si te pillaban achacarlo a un error,el riesgo si te pillaban era bajo pero el beneficio en comparación era alto. Esto dio lugar a todo tipo de manipulaciones y puñaladas entre los jefes de proyectos. El ambiente no era el mejor, pero los objetivos artificiales del sistema se cumplían. El sistema en si no era nada especialmente complicado básicamente calculaba los costes y los asignaba a cada proyecto según el uso de los recursos que hacia. Sin embargo pronto me toco ir modificando el código para tener en cuenta «casos especiales».

En resumen, a veces parece que ante el control automático solo hay dos caminos: la sumisión o la rebelión. Pero lo cierto es que el tercer camino la manipulación se nos da bastante mejor. Es más difícil controlarnos de lo que parece.Aun así existe el peligro de que estos sistemas inciten comportamientos no deseados como consecuencia de su uso.