Siempre que se habla de medidas de control de la población usando herramientas tecnológicas se centra el tema en el derecho a la privacidad y la libertad individual. Pero aquí vamos a ver porque es difícil que ese tipo de control funcione tan bien como prometen. Nos vamos a centrar en el mundo laboral que me parece el más neutral.

Trabajo como programador y una de los grandes retos de la industria es medir nuestro desempeño. No es que no existan técnicas para medirlo es que no funcionan. Los jefes piensan que sí y están felices con sus datos. Si hay algo que he aprendido es que mucha gente se siente más segura con un dato de fiabilidad cuestionable que sin datos. Sin embargo como si de un fenómeno cuántico se tratara el hecho de medir el rendimiento de la gente afecta a lo medido. Que muchas veces es lo que se desea, se instala un sistema para vigilar a los trabajadores, no tanto por los datos como para que el trabajador se sienta vigilado y trabaje más. Sin embargo el resultado puede ser el contrario, menos trabajo y de peor calidad. Los trabajadores se centran en puntuar bien aunque eso suponga empeorar su trabajo. Y no se debe a que el trabajador solo busca trabajar lo menos posible, si no que, como a todos, le gusta que le reconozcan su trabajo, cobrar más sueldo y ser ascendido. Y va a invertir su tiempo y esfuerzo en aquellas tareas que le den más posibilidades de conseguir alguno de esos tres objetivos.

Cuando hablamos de engañar a estos sistemas suena como algo complicado, necesitarias grandes conocimientos del algoritmos, matematicas y miles de pruebas para ver como se comporta. Los propios creadores de estos sitemas te podrán decir que ellos no sabrian como engañarlos. ¿Qué posibilidades tiene una persona normal?. Muy pocas, pero cuando el sistema trata con cientos o miles de personas la cosa cambia. Una persona puede encontrar de forma accidental un comportamiento que le da una ventaja frente a la evaluación. Los seres humanos somos muy buenos adaptandonos y percibiendo patrones, es algo que hacemos sin darnos cuenta. Tambien somos buenos adoptando comportamientos de grupo, muchas veces sin ser conscientes de ello. Si algo parece funcionar lo adoptamos. Así que cualquier comportamiento beneficioso va a extenderse entre la población.

Estos sistemas se enfrentan a un reto que es difícil de resolver hasta para los humanos: Evaluar de forma objetiva a una persona en un entorno real. Para ello tienen que trabajar con métrica y simplificaciones que no siempre son fieles a la realidad. Por lo que es casi seguro que habrá errores de clasificación, buenos trabajadores que son clasificados como malos y viceversa. Incluso puede que el error sea más sutil, un trabajador puede descubrir que es mejor valorado si hace las cosas de una determinada manera que si las hace de otra. La primera manera puede ser más correcta desde el punto de vista profesional pero el trabajador va a optar por la que mayor recompensa/reconocimiento le de. Además este proceso se realimenta puesto que los trabajadores que no hagan las cosas así tendrán menos éxito en esa empresa y será más probable que sean despedidos, se vayan o adopten la otra forma.

No hace falta que haya una búsqueda consciente de los puntos débiles de algoritmo, el sistema funciona por prueba y error. Se parece mucho a las metaheurísticas basadas en población. Muchos agentes probando (aun sin querer) estrategias diferentes y los que encuentran una estrategia que mejora su valoración son beneficiados, estas estrategias se extienden por el resto de los agentes mientras que los que no las imitan reciben peor puntuación, esto crea un ciclo de mejora y propagación constante.

Una solución que puede parecer muy sencilla es que cada persona sea evaluar por los demás algo del estilo «poner estrellitas», el problema de esto es que entonces el trabajador intentara «optimizar» la valoración del cliente. Puede dejar al cliente muy contento pero no realizar un trabajo satisfactorio. Por ejemplo puede dedicar demasiado tiempo atenderle a costa de realizar menos ventas o evitar atender a clientes «complicados». Incluso puede derivar en una guerra entre compañeros para «quitarse de encima esos clientes».

Otro problema que se da en este tipo de evaluaciones es «la inversión del control». Se da cuando en una jerarquía con este tipo de control alguien de un puesto superior puede perder mas que alguien de un puesto inferior si este no realiza su trabajo. De tal forma que el puesto inferior puede llegar a forzar al superior. También puede darse el caso de que el «castigo» por no realizar su trabajo se reparta entre los puesto inferiores suponiendo menor castigo a nivel personal que en los puestos superiores. Esa es la base de las huelgas, cada uno de los trabajadores pierde el sueldo de un día, pero la empresa pierde la producción de un día. Esto puede ser un gran problema para la empresa si le supone incumplir contratos, perder clientes o tener que pagar luego horas extra para recuperar la producción perdida.

Otro elemento difícil de eliminar de estos sistemas son los prejuicios. El sistema cree ciegamente sus resultados, ni se plantea que pueda equivocarse, ni tiene ne cuenta excepciones, ni el contexto. Tampoco hay que olvidar que toda aproximación estadística comete un error de sesgo al juzgar a una sola persona. Los datos te pueden decir que el 20% de los trabajadores que visten con pantalones azules tienen bajo rendimiento pero cuando aplicas eso a una sola persona vestida con pantalones azules estas siendo injusto y quizás descartando a un buen trabajador por otro peor.

No son necesarios sistemas muy complicados para que surjan estos comportamientos. Haces años trabajé programando una herramienta interna de gestión de proyectos. Una de sus principales funciones era ayudar a automatizar los cálculos de los costes de cada proyecto y el punto del mismo. De eso dependía la parte variable del sueldo de los jefes de proyecto. El sistema era especialmente propenso a las trampas ya que todos los jefes tenían acceso a los datos y podían ver claramente los motivos de su evaluación. Además la evaluación se realizaba en un momento concreto de la semana, lo que te daba tiempo a «arreglar los datos» por último era muy fácil retocar datos sin que se notase y si te pillaban achacarlo a un error,el riesgo si te pillaban era bajo pero el beneficio en comparación era alto. Esto dio lugar a todo tipo de manipulaciones y puñaladas entre los jefes de proyectos. El ambiente no era el mejor, pero los objetivos artificiales del sistema se cumplían. El sistema en si no era nada especialmente complicado básicamente calculaba los costes y los asignaba a cada proyecto según el uso de los recursos que hacia. Sin embargo pronto me toco ir modificando el código para tener en cuenta «casos especiales».

En resumen, a veces parece que ante el control automático solo hay dos caminos: la sumisión o la rebelión. Pero lo cierto es que el tercer camino la manipulación se nos da bastante mejor. Es más difícil controlarnos de lo que parece.Aun así existe el peligro de que estos sistemas inciten comportamientos no deseados como consecuencia de su uso.

Hablar de la privacidad de los datos como algo completamente seguro y cierto es una pequeña mentira que suelen hacer las empresas que viven de ellos. Si un dato está guardado su privacidad puede ser puesta en duda.

Envío de los datos

El primer problema es que hay que mandar los datos. Un dispositivo genera/captura el dato y debe de enviarlo a través de una red de comunicaciones hasta un dispositivo destinatario que lo almacenará. Vamos por partes:

El dispositivo origen es el primer punto débil de la cadena. Si es inseguro o está mal configurado puede filtrar los datos a un tercero y por mucho que te esfuerces en mantener seguro tu móvil o tu ordenador no basta. Muchas veces el dispositivo que envía los datos sobre ti es otro. Una estación de telefonía que envía que tu móvil está conectado a ella, un dispositivo domótico, un electrodoméstico inteligente o un caja de supermercado.

El segundo punto de ataque es el canal de comunicaciones. Todos estamos advertidos de lo inseguro que es conectarse a redes públicas, pero también las privadas pueden estar vulneradas. El router de tu casa quizás tenga una vulnerabilidad sin parchear que algún gusano en Internet ha aprovechado para infectarlo.

Lo mismo pasa con el destino. No sólo hay que fiarse de que el receptor hace un uso correcto de los datos. Sino que seguramente ha subcontratado parte de su infraestructura (bases de datos, servidores, conversión de voz a texto, reconocimiento de imágenes, estadísticas,….) a otras empresas  en las que también tienes que confiar. Y no solo es que ellos no «roben» tus datos es que sean seguros y no permitan que un tercero roben esos datos.

El gobierno siempre puede pedir tus datos

Ahora bien aunque no haya ningún problema y los datos lleguen seguros y sean almacenados de forma segura. Si el gobierno los pide las empresas están obligadas a dárselos. Y no basta con el típico: «no hagas nada para que el gobierno no te investigue». Los gobiernos piden los  datos basándose en sospechas. Quizás mañana un algoritmo diga que eres sospechoso y pidan tus datos para verificarlo. ¿Qué ocurre luego con esos datos? ¿Se quedan guardados mientras pasa el tiempo y los gobiernos? Los gobiernos a su vez subcontratan las herramientas e infraestructuras a otras empresas y otra vez dependemos la cadena de confianza. ¿Esas empresas respetan la privacidad de nuestros datos? ¿Son seguras?.

Leyes y empresas que cambian

Ahora mismo muchas empresas prometen privacidad. Pero quién sabe si seguirán prometiendola dentro de 20 años. Puede que hayan sido comprada por otra empresa con menos escrúpulos. Que las leyes hayan cambiado. Incluso que el procesado de datos haya alcanzado niveles tales que puedan extraer información de esos datos que no quieres que sepan.

Datos cifrados

Que los datos estén cifrados ofrece cierta protección contra el robo de estos por terceros, pero no para evitar la explotación fraudulenta de los mismos por el receptor.

Al final los datos cifrados no sirven de nada y cuando se procesan tienen que estar descifrados. Durante todo ese procesado son vulnerables.

Por ejemplo si la aplicación de domótica de mi móvil permite controlar con voz las luces de casa pero ellos no han construido una librería de conversión de voz a texto ni una de procesamiento de lenguaje natural, son servicios que contratan a otras dos empresas que a su vez se guardan los datos para mejorar su sistema o para sacar estadísticas. El intercambio entre empresas es cifrado pero una de ellas no guarda los datos cifrados o lo hace pero no ha contratado a un experto y comete errores que permite su descifrado a un tercero que ha burlado sus sistemas y ha robado sus datos.

Cruzar y desanonimizar datos

Una medida muy importante es que los datos estén anonimizados. Es decir que se hayan eliminado los datos que puedan identificar a la persona que generó esos datos. El problema es que según crece la cantidad de datos más difícil es que sigan siendo anónimos.

También cabe la posibilidad de que cruzando datos anonimizados de diferentes fuentes se puedan desanonimizar. Quizas una empresa compra otras dos lo que le permite cruzar sus datos. O se filtren datos de distintas fuentes que cruzando los permita desanonimizarlos.

Exigir el borrado de datos

Gracias a leyes como la nueva normativa europea de protección de datos el usuario puede exigir que eliminen los datos que una empresa tenga de él.

Para empezar no se borran todos los datos ya que muchos se tienen que mantener por ley al menos un tiempo. Por ejemplo los datos de pagos.

Segundo en algunas arquitecturas, en las que los datos se distribuyen en varias copias en diferentes sistemas y servicios, es difícil borrar un dato. Es fácil marcar que ese dato está borrado pero su eliminación física puede ser complicada.

Tercero hay muchos procesos internos que generan copias de los datos. Por ejemplo las copias de seguridad. Es difícil que tus datos sean borrados de todas las copias de seguridad. Si bien lo habitual es sobreescribirlas cada cierto tiempo.

Por último esto solo sirve con empresas que cumplen la ley y es fácil parecer que la cumples sin cumplirla. Tampoco es que sirva con quienes roban los datos.

Metadatos

Si estás preocupado por la privacidad no sólo son importantes los propios dato también los metadatos. Los metadatos son datos sobre los datos que son necesarios generar para que muchos procesos automáticos funcionen. Por ejemplo cuando entras a una web no solo estás enviando la dirección web, también tu IP, tu navegador, tu sistema operativo y alguna cosa más. Con estos datos se pueden deducir a su vez más cosas. Por ejemplo con la IP se puede aproximar tu localización geográfica.

No solo hay metadatos en las conexiones a Internet. Hay metadatos en todas partes. En los ficheros, fotografía, música, antenas de telefonía móvil para tener cobertura….

El problema es que ni siquiera somos conscientes de estos metadatos. Si nos conectamos a una web en Internet se generan gran cantidad de metadatos para que los paquetes lleguen de nuestro PC al servidor de la web. Y carecemos de control sobre ellos.

Los datos son para toda la vida

Los datos pueden ser almacenados durante décadas. Sobrevivir a cambios de servidores, soportes físicos, tecnologías, empresas, gobiernos y leyes. Tus datos pueden sobrevivirte. Y pocas veces pensamos en que será de nuestros datos a largo plazo. Vamos a ver algunas posibilidades.

Basta con que en alguno momento un fallo de seguridad o un error conprometa la privacidad de tus datos  para que pierdas el control de ellos para siempre. No sabrás cuántas copias hay ni quién tiene una.

Con el paso de los años los avances en big data pueden permitir que los datos que cedistes hace años revelen aspectos tuyos que prefieras que no se supieran.

Las leyes pueden exigir que se tomen ciertas medidas que los datos anteriores a esas leyes no cumplen. Lo cual te dejará expuesto ante quien tenga esos datos tuyos.

Un caso de ejemplo

En 2018 se filtraron los datos de una famosa empresa de pulseras deportivas. No estoy seguro si esos datos se enviaban al servidor cifrados y completamente anonimizados pero para el caso vamos a suponer que sí. Los datos filtrados eran las posiciones GPS de las distintas pulseras a lo largo del día.

Al contar con semejante cantidad de datos varios expertos en seguridad los usaron para ver que eran capaz de sacar de ellos. Uno de los casos más espectaculares fue que lograron encontrar varias bases militares secretas.

Obviamente no sabían cuales de esos datos eran de militares estadounidenses. Pero si ves una concentración de pulseras deportivas en un punto del desierto donde no debería haber nada no es difícil llegar a la conclusión de que ahí hay algo. Es más como los daos incluían la posición GPS se puede «dibujar» una nube de puntos que muestra la forma de la base con bastante exactitud. Estoy seguro de que de esos datos se pueden concluir más cosas: una extimación de cuantos hombres hay, teniendo en cuenta la hora saber donde están los comedores o los dormitorios, turnos, descansos,…

Es un ejemplo de como con datos enviados de forma segura y anonimizados se puede poner en peligro algo más que la privacidad de una persona. Y no es que la empresa tuviera malas intenciones, pero cometió un error de seguridad y los datos se filtraron. Al final todo dato almacenado corre el riesgo de volverse en tu contra.

Nuestra percepción del mundo no se basa en cálculos exactos del mundo. Solemos recurrir a intuiciones, heurísticas y aproximaciones para decidir que opciones son mejores para nosotros. Una de las mejores formas de ver las diferencias entre nuestra razón y el cálculo de probabilidades es a través de los ‘engaños» que se usan en los juegos de azar. Realmente esta entrada poco tiene que ver con la inteligencia artificial directamente pero me parece un buen ejemplo de cómo pensaría una «mente matemática» frente a una «mente intuitiva»

El bingo, porque siempre estás a punto de ganar

El bingo en su forma más básica consiste en que cada jugador tiene asignados 15 números al azar del 1 al 99. Se sacan números al azar y al primero que le salgan sus 15 números gana. ¿Qué diferencia hay entre dar 15 números y dar solo 1?. La diferencia es la sensación de que «casi me toca». Al tener tantos números y ser todos igual de probables según salen números estos se reparten de forma uniforme entre todos los cartones. Así que cuando alguien canta bingo todos los demás estaban a punto de cantarlo. Esto da la sensación de que has estado a punto de ganar y motiva a seguir probando suerte.

Quinielas, el engaño de ser experto

Pasamos de los juegos que son puramente de azar a otro donde el conocimiento aporta algo. Las quinielas deportivas. En su versión más simple hay que adivinar quien gana o pierde (en algunos casos empata) en varios partidos. Supongamos que tenemos un experto que acierta 9 de cada 10 partidos. Eso es una relación de aciertos inhumana. Podemos pensar que alguien tan experto tendrá muchas probabilidades de acertar la quiniela. En España hay que acertar 15 partidos por lo que sus probabilidad es del 0.9^15 = 0,2. Un 20% no está nada mal. Por desgracia las probabilidades caen rápidamente. Si acierta 8 de cada 10 partidos cae al 3% y con 7 de cada 10 un 0,4%. A esto hay que añadir que generalmente se añaden dificultades extra como empates (poco probables pero difíciles de predecir) o que no todos los partidos son igual de fáciles de predecir. Sin embargo es fácil sobrestimar cómo afecta a las probabilidades «saber del tema»

Cuando la habilidad y la suerte se confunden, porque se caen siempre los peluches de la garra

Uno de los trucos más retorcidos, en mi opinión, que hay en los juegos de azar es cuando mezclan habilidad con azar. Sobre todo si el jugador no tiene claro que existe una parte de azar. El ejemplo más conocido son las máquinas de peluche que tienen una pinza que desciende, agarra el peluche y lo deja caer en un conducto donde lo puedes coger. En esas máquinas se mezcla la habilidad del usuario para «enganchar» el peluche junto con un elemento de azar; la pinza elige aleatoriamente si hace fuerza suficiente para agarrar el peluche o no. Como al principio nuestros fallos se deben a nuestra torpeza y vamos mejorando poco a poco al llegar al punto en que lo decisivo es la suerte y no nuestra habilidad no sabemos distinguirlo así que seguimos intentándolo para mejorar lo suficientemente, efectivamente al final el esfuerzo tiene su recompensa. Solo que ese esfuerzo ha sido incrementado de forma artificial.

Cuando solo ves una parte, como acertar lo muy improbable

Te llega un email donde alguien predice un evento en teoría casi aleatorio. El ganador de la próxima carrera, partido o si van a subir o bajar varias acciones en bolsa. Sorprendido ves que acierta. Poco después te llega un segundo que también acierta y luego un tercero con otra predicción acertada. El cuarto te pide dinero para darte su predicción.

Parece una inversión seguro. ¿Que probabilidad hay de predecir correctamente si no hay un «método»?

La realidad es que hay un método, pero para engañar a la gente. Han mandado millones de emails con todas las posibles combinaciones. Al final quedan unas cuantas decenas de miles de personas que creen que han acertado tres veces y quizás acierten una cuarta. Si el precio no es alto muchos estarán dispuestos a pagar por una cuarta predicción.

Aquí el problema es que no estás viendo el escenario completo. Desde tu punto de vista han acertado algo que es prácticamente imposible de acertar al azar. Pero eso es porque te has perdido los millones de errores cometidos.

Este ejemplo ha sido usado como estafa por Internet.

La falacia del jugador, las rachas no existen

Uno de las malinterpretaciones que más habitualmente hacemos es la de las «rachas». De manera intuitiva creemos que las sucesiones de resultados similares afecta a la probabilidad del siguiente resultado.

Imaginemos el juego de tirar una moneda, salen tres caras seguidas. Esto hace que haya gente que piense que es más probable que salga una cara y gente que piense que es más probable que salga un cruz. Ambos están equivocados, caen en la falacia del jugador. Creer que los resultados anteriores afectan al siguiente lanzamiento de la moneda. Cuando son eventos independientes.

De hecho ante rachas especialmente largas de resultados similares lo que habría que preguntarse es si la moneda no esta trucada.

Vamos a entrar en el incierto mundo de las suposiciones, para ello intentaremos imaginar que ocurre cuando dotamos a una inteligencia artificial de libre albedrío (sin entrar en detalles sobre si existe o no). Una inteligencia artificial actúa como un agente racional. Esto que quiere decir que tomara decisiones basadas en elegir la que más beneficiosa sea según sus preferencias.

Las preferencias de los agentes son establecidas por varios factores: el aprendizaje, las circunstancias (tanto internas del agente como externas del medio) del momento en que se toma la decisión y de preferencias establecidas por los programadores. Esto quiere decir que dos agentes en las mismas situación pueden elegir respuestas diferentes y que un mismo agente puede elegir distintas respuestas según la situación en la que se encuentre.

Cuando a un agente de este tipo se le ofrecen varias alternativas pondera cada una de ellas y elige aquella que mayor valor le aporta.

Vamos con un ejemplo, imaginemos que tenemos un robot en Marte para estudiar su geología, vamos a resumirlo como «estudiar piedras». Si nuestro robot ve un piedra interesante puede decidir entre estudiarla o no. Lo primero que hará será valorar su nivel de batería, si la batería no tiene suficiente carga como para permitirle llegar hasta la piedra y estudiarla con cierto márgen de seguridad se quedará esperando a que sus paneles la recarguen. De esa forma su decisión queda condicionada a su estado. En otro caso encuentra dos piedras interesantes y tiene que elegir cuál es más interesante, para ello procesa las imágenes de ambas piedras en busca de indicadores que los geólogos terrestres han introducido en su base de datos. Ahí es donde las preferencias vienen condicionadas por los valores establecidos en su programación. Pasa el tiempo y tras analizar muchas piedras ha ido aprendiendo que los geólogos de la tierra no estaban del todo acertados sobre que piedra es interesante y cual no. Así que poco a poco cambia sus preferencias sobre «piedras interesantes» y por tanto su comportamiento. En este último caso ha ajustado sus preferencias según lo aprendido.

El modelo es muy simple, un modelo realista tendría que tener en cuenta muchas más cosas como el riesgo del camino a la piedra, el estado de las ruedas, la metereología y mil cosas más, pero un modelo tan complejo no ayuda más a entender las cosas que uno simple, así que vamos a quedarnos con nuestro robot simplificado.

Tenemos a nuestro robot tomando sus decisiones en Marte. Al principio desde la Tierra era fácil predecir su comportamiento, ya que seguía las reglas que habían escrito en su programación. Según pasa el tiempo va aprendiendo cosas nuevas y su experiencia influye más sobre sus decisiones haciendo que desde la Tierra no puedan predecir al 100% sus actos. Sin embargo, si pudieran hacer un volcado de su software y analizarlo verían que sigue siendo un agente racional que elige la opción que sus preferencias internas le dicen que es la mejor.

Desde la Tierra preparan una actualización de software que incluye el módulo «libre albedrío». Una vez descargada e instalada ¿Qué aporta este módulo?. Ahora, antes de tomar una decisión, el agente tiene que tener en cuenta un elemento más, el «libre albedrío». Este módulo le da la libertad de, voluntariamente, elegir la opción que quiera sin ceñirse a sus preferencias. ¿Qué le aporta a nuestro robot elegir una opción que no es la que prefiere?. Probablemente nuestro robot pasé su vida eligiendo la misma opción con libre albedrío que la que elegiría sin él. Así que el libre albedrío no debería influir demasiado en el resultado ya que solo sirve para elegir una opción distinta a la mejor, cosa que poco va a interesar a un agente racional.

En resumen un agente racional al eligir la mejor respuesta según sus preferencias hace que el libre albedrío no le afecte demasiado ya que no afecta a las preferencias ni a como se valora cada opción, si no que permite elegir una distinta a la mejor opción. Lo cual no parece resultar muy útil. Aún en el caso de tener libre albedrío lo más probable es que el resultado no varíe y la respuesta sea la misma. Es difícil diferenciar entre un agente racional y un agente racional con libre albedrío.

Cosas que no necesitan libre albedrío

Muchas veces se atribuyen al libre albedrío ser la causa de diversos comportamientos que en realidad no lo requieren.

Comportamiento aleatorio: el comportamiento aleatorio es tan contrario al libre albedrío como el comportamiento determinista.

Curiosidad: ser curioso consiste en tener preferencia por las cosas nuevas o desconocidas.

Comportamiento irracional: muchas veces el comportamiento irracional se debe a las diferentes preferencias entre el que juzga y el que lo juzga. Un agente es racional siempre siga sus preferencias, sin importar las que sean. Aquí surge que a veces se confunde la irracionalidad de la inteligencia artificial con la asociada a ciertos comportamientos humanos. Por ejemplo las conductas autodestructivas se consideran irracionales, pero si yo programo un agente para que prefiera darse, literalmente, cabezazos contra la pared ese será un comportamiento racional.

Pero….

A nivel de comportamiento puede ser que no varíe el resultado pero eso no quiere decir que dotar de libre albedrío a un agente inteligente no sería un logro histórico para la humanidad. Tendría consecuencias científicas y filosóficas revolucionarias. Hay una diferencia enorme entre «elegir la mejor opción» y «elegir libre y voluntariamente la mejor opción».

Últimamente grandes empresas de tecnología como Google o Microsoft han tenido conflictos con sus trabajadores por querer aplicar sus conocimientos en I.A. al campo militar. Parece que hay una corriente en contra de dotar a las armas de inteligencia. Por otro lado el Pentágono dice que necesita desarrollar ese tipo de armas para poder defenderse de países con menos escrúpulos que si las desarrollen.

Actualmente la mayoría aceptamos que el uso de armas en defensa propia es legítimo y ético. Siempre y cuando se haga un uso proporcionado de las mismas. Incluso se acepta tomar represalias en respuesta a ataques siempre que se evite afectar a inocentes. ¿Quién se podría negar a ayudar a defender a tu país? Y aunque no sea patriota. ¿Quién se niega a defender a sus vecinos?. Creo que nadie, el problema es confiar en que el gobierno de tu país no va a usar las armas de forma poco ética.

Realmente las armas inteligentes hace muchos años que existen y se emplean. Quizás el caso más conocido sean los sistemas de guiado para que las armas alcancen su blanco. Siempre se ha defendido que su mejora reducirá los daños colaterales. Sin embargo en su origen estos sistemas servían para lo contrario.

Mejores armas y tratados internacionales

Los sistemas de guía nacieron en la segunda guerra mundial con los cohetes alemanes. Que un cohete llegase solo hasta su objetivo cuando hasta a los pilotos de los bombarderos les costaba localizar los objetivos fue todo un reto. Los primeros sistemas de guía eran poco más que cronómetros que pasado cierto tiempo de vuelo cortaban el flujo de combustible a los motores para que el cohete se precipitara sobre su objetivo. Con objetivos del tamaño de Londres era posible, pero no fácil, acertar. Derribar un solo bloque de edificios en una ciudad era imposible. Pero Londres no se bombardeaba para alcanzar objetivos militares se bombardeaba para desmoralizar a la población. Cohetes más precisos no eran la solución. La solución ha sido los Convenios de Ginebra. Es decir llegar al acuerdo entre naciones de unas reglas humanitarias que hay que respetar en los conflictos armados. Muchas armas como las químicas, bacteriológicas, lanzallamas, napal, minas antipersona, bombas de racimo,… Se han prohibido, gracias a acuerdos internacionales y por razones humanitarias, no por motivos tecnológicos.

Por tanto, la mejora de las armas no trajo consigo una reducción del número de civiles muertos. Lo tratados internacionales es lo que los ha traído y aun así sigue habiendo gran cantidad de «daños colaterales». La idea es que si un país incumple esos acuerdos podrá ser sancionado por el resto de los países. Para ello es necesario que exista un equilibrio de fuerzas ya que en el momento que un país supere en fuerzas al resto de países juntos podría hacer lo que quisiera….¿O no?.  No. Aunque un ejercito sea muy superior a otro toda lucha tiene un coste. Puede que seas más fuerte que tú rival pero no vas a usar la fuerza con él porque aunque ganes algún golpe vas a recibir y nunca es agradable. Además de que tiene un coste en imagen, nadie quiere tratar con alguien violento. Para los países es parecido solo que muchos más complicado. Tienen que cuidar la imagen exterior pero también hacia los propios ciudadanos. Igualmente una guerra tiene dos tipos de costes, económico y en vidas de los soldados enviados a combatir. Los ciudadanos no se toman nada bien la muerte de los propios soldados.

Reducir los costes de la guerra

La inteligencia artificial permite hacer armas baratas y precisas. Pero también sustituir a los soldados. Esto permite reducir el coste de la guerra, al menos en vidas de soldados. De primeras puede parecer una ventaja, pero tiene una pega. Al reducir lo que a un país le cuesta la guerra es más fácil es que decida comenzar una, aunque sean guerras «baratas» en vidas no parece que sea una buena idea dirigirse hacia un mundo donde sea más fácil mandar a máquinas a destruirse entre ellas que sentarse a negociar.

Además nos podemos plantear si el ideal de una guerra donde no mueran soldados es una guerra sin víctimas. Los daños colaterales no siempre son causados por ataques directos. La población también sufre por los daños a las infraestructuras (electricicidad, agua, luz, comunicaciones, carreteras, …). Por lo que la idea de una guerra sin bajas es cuestionable y la única lucha sin muertes es la que se da en las mesas de negociación.

Carrera armamentística

Con tecnologías como la inteligencia artificial con un desarrollo tan rápido se corre el riesgo de entrar en una absurda carrera armamentística donde cada arma queda desfasada antes de entrar en uso. Espionaje, desconfianza, dudas de lo que habrán desarrollado los demás, pruebas de fuerza para demostrar lo que tú eres capaz pero sin mostrar todas tus cartas, faroles,…. El peligro de todo esto es la mala imagen que da del campo de la I.A. y esto puede repercutir en los futuros investigadores que decidan dedicarse a investigar otras cosas.

El secretismo retrasa el desarrollo

La investigaciones militares están rodeadas de un gran secretismo. Por lo que se corre el riesgo que los resultados y avances que ellos obtengan queden clasificados y no aporten a la comunidad. Si no que se lo pregunten a Clifford Cocks que creo un sistema de cifrado de clave asimétrica en 1973 pero que el gobierno británico mantuvo en secreto hasta 1997. Lo irónico de todo esto es que ese sistema fue reinventado en 1977 de forma independiente dando lugar al hoy conocido como «algoritmo RSA». En apenas 4 años su «sistema de cifrado secreto» podía ser usado por cualquiera. Y es que en el mundo actual con tanta gente cualificada es difícil que ningún gobierno o empresa desarrolle algo que nadie más este a punto desarrollar. La única manera que tiene un gobierno de proteger sus «armas secretas» es crear leyes que limiten el desarrollo de ciertos campos fuera del ámbito militar. Estados Unidos ha llegado a tener leyes muy estrictas sobre tecnologías para cifrar datos.

En la lista de afectados por este secretismo y prohibiciones podemos encontrar: la colaboración entre países, las universidades y sus investigadores, las empresas privadas, y los proyectos de software libre….casi nada.

I.A. tomando decisiones éticas

Las decisiones que tiene que tomar el ejercito no siempre son fáciles. De hecho puede que no haya solución buena. ¿Bombardear un campamento enemigo donde puede haber civiles pero que evitara una batalla más cruenta en un territorio más poblado? ¿Y si solo reduce el número de bajas de tus soldados? ¿Unos pocos civiles para evitar la muerte de miles de tus soldados?. ¿Cuantos daños colaterales son aceptables en un bombardeo?. Si hacemos máquinas inteligentes con la capacidad de decidir sobre la vida y la muerte han de ser capaces de lidiar con semejantes decisiones. Lo mínimo que ha de ser capaz es de saber a quien puede y a quien no puede disparar. O casos mas complejos como cuando un enemigo se ha rendido o esta herido. Un arma inteligente debe de respetar los tratados internacionales.

El ser humano no es perfecto. Son famosos muchos abusos de soldados a prisioneros. Sin embargo una I.A. dotada de una ética que le prohibiese comerte esos abusos nunca los cometería. ¿No podemos hacer armas dotadas de ética? Es difícil. Para empezar desde el punto de vista de todo ejercito ellos son los buenos. Las «hordas malvadas» existen en las películas, todos los soldados son personas con una vida, amigos y familia. Luchando por lo que creen que es lo correcto o por lo menos por lo que su país cree que es correcto. Incluso es posible que cada bando tenga parte de razón. A una guerra rara vez se llega de un día para otro, suele ser causa de una escalada de tensiones y de agresiones que termina en un conflicto entre bandos. Posiblemente la postura ética de «la violencia solo esta permitida en defensa propia» sea la más adecuada, pero difícilmente un ejercito va comprar un arma con esa forma de pensar. Sin embargo un arma inteligente que no tenga ningún tipo de limite ético seria poco más que una picadora de carne.

El peligro de que se vuelvan en nuestra contra

Quizás sea el caso menos probable, pero si dotamos a un arma de la capacidad de matar, debemos asegurarnos de que no la va a usar contra los seres humanos de forma indiscriminada. No podemos permitir que mate soldados, civiles, sanitarios, periodistas y cualquier cosa que se parezca a un ser humano. Asi que la ética de la I.A. actúa, ademas de como extensión de nuestra propia ética, como mecanismo de seguridad.

Una I.A. puede volverse en contra nuestra no solo por que alcance un nivel de consciencia tal que le permita «volverse contra sus creadores», también esta expuesta a problemas técnicos (averias, bugs, daños) y «hackeos» desde el otro bando. Este escenario es más probable y en el caso de un ejercito con gran dependencia de este tipo de armas puede ser un desastre.

Sin embargo el escenario más probable por el que un arma puede acabar siendo usada contra los soldados del país que la desarrollo. Su comercialización. La venta de armas mueve decenas de miles de millones de euros anuales. Es una cantidad muy jugosa como para no comercializar las innovaciones. Es cierto que se trata de limitar a que países se venden, pero al final cuando un arma se introduce en el mercado resulta difícil que no acabe en manos de aquellos países que tengan dinero para comprarlas.

Derecho a la defensa

Los países tienen el derecho y la necesidad de poder defenderse. Eso impulsa la carrera armamentística de fabricar armas antes de que lo haga el enemigo. Sin embargo no es del todo cierto. No hace falta tener las mismas armas para defenderte del enemigo. De las armas químicas o biológicas no te proteges con más armas químicas o biológicas si no mejorando los tratamientos. La defensa legitima la investigación en todo tipo de armas «para defendernos de ellas». Pero conocer cómo funcionan no quiere decir que se desarrollen. Precisamente para evitar eso entran de nuevo los tratados internacionales que vigilen que el resto de países no las fabriquen.

Los programadores y las armas

¿Puede un trabajador quejarse de que su trabajo se use en armas?. En un mundo ideal un trabajador tiene derecho a tener cierto control ético sobre su trabajo y más cuando es un trabajo creativo. en un mundo menos ideal y más real se entabla un «tira y afloja» con la empresa y dependerá de la fuerza que tenga cada uno. La mayor amenaza que tiene un trabajador es dimitir si la empresa sigue adelante. Nadie puede discutir el derecho de un trabajador a dimitir e irse si no le gusta lo que hace. En un área tan competitiva y necesitada de expertos como la inteligencia artificial el riesgo de causar descontento entre tus trabajadores y que una cantidad apreciable de ellos te abandonen por la competencia puede causar más costes que el beneficio que te reporte un proyecto militar, que además te va a producir mala imagen pública.

Conclusiones

El control de las armas ha de realizarse a través de tratados internacionales, la presión pública y la ética profesional.

La militarización de un campo puede entorpecer su desarrollo y dañar su imagen.

Mejores armas y más baratas no significan menos víctimas, ni guerras más humanas significa que sea más «barato» entrar en una guerra.

El big data esta de moda, la cantidad de empresas que anuncian que usan big data para mejorar los resultados del servicio que ofrecen no para de crecer. Muchas de ellas no tienen muy claro de que hablan o se dedican a entrenar algún modelo de aprendizaje máquina lanzandole datos sin limpiar ni procesar y esperan obtener algo que funcione. Por supuesto hay muchas que saben lo que hacen. Aún haciendo todo de forma correcta el big data y la I.A. corren el riesgo convertirse en los oráculos modernos. Le metes datos, esperas y obtienes una respuesta y sin la necesidad de sacrificar una cabra a ningún dios. El problema es que quienes acuden a estos oráculos toman las respuestas como verdades absolutas, sin entender de donde ha salido esa respuesta. Muchos de estos modelos se empiezan a aplicar para valorar a personas: concederles una hipoteca, un trabajo, la libertad condicional o una tarjeta de crédito, son solo algunos ejemplos. Aplicar estos modelos de caja negra a asuntos humanos es arriesgado y puede llegar a causar bastantes injusticias.

En esta entrada voy a tratar de describir algunos principios que deberían de cumplir los modelos obtenidos a partir de grandes cantidades de datos para que su uso con personas sea justo. Describe un ideal de las características que debería de tener un sistema así.

Ser transparente

Si se va a emplear un modelo obtenido a través de big data sobre alguna persona está debería ser correctamente informada de ello. Además debe de saber lo eficaz que es ese sistema. Su tasas de falsos positivos y negativos.

Ser entendible

Se ha de entender el proceso de decisión del sistema. Si no se entiende se corre el riesgo de estar tomando decisiones basadas en datos anecdóticos o sesgos en los datos del entrenamiento.

Para estar seguro de esto un humano experto ha de ser capaz de entender el funcionamiento del sistema y las decisiones que toma..

Ofrecer explicaciones

Tiene doble función, primero ayudar al punto anterior y segundo que la persona que ha sido evaluada por el sistema sepa que motivos han llevado a considerarla «apta» o «no apta».

Puede parecer que con que un sistema ofrezca un resultado es suficiente, pero la realidad es que no lo es. Si no sabes porque estas descartando a una persona no puedes decirselo y esta persona no sabe que tiene que cambiar para «pasar la prueba».

Resulta algo extremadamente frustrarte. Si no sabes que tienes que cambiar la sensación es que «estas marcado de por vida». Si una persona es informada de cuales han sido los motivos por los que es «no apta» puede valorar si trata de cambiarlos o no. Lo cual puede ser una ventaja para ambas partes. Imagínate que un banco te niega una hipoteca o un crédito por el único motivo de que no tienes un aval. Pero en realidad si que lo tienes o lo puedes pero no consta en los datos. Ambos estáis perdiendo una oportunidad beneficiosa.

Validación continua

Es necesario tener validación de su correcto funcionamiento permanentemente. Es fundamental comprobar que las conclusiones que ha tomado el sistema son correctas. La sociedad y el mundo cambia pudiendo hacer que el modelo quede obsoleto y falle si no se adapta correctamente. Hay que tener un mecanismo de revisión y validación para asegurarse de que sigue funcionando.

Asociado a esto tiene que tener un mecanismo de corrección. Si por ejemplo se descubre que el sistema tiene en cuenta algún dato que ya no se puede usar ha de poder descartarse este dato. En los últimos años hemos vivido varios cambios en las leyes sobre protección de datos. Un dato que se puede usar hoy en unos años puede ser ilegal usarlo, los sistemas han de ser capaces de adaptarse a eso.

Saber que datos nuestros se han usado

Tenemos derechos sobre nuestros datos y el mínimo de ellos es saber cuales se han usado y de donde provienen. Con más motivo si esos datos se usan para tomar decisiones sobre nosotros.

No solo saber que datos se usan, también El origen de los datos es importantes. La fuente que provee de datos pueden preferir cantidad a calidad y no verificarlos correctamente o ahorrar costes no verificando si datos de hace años aún son ciertos.

Muchas veces los datos tienen una historia detrás. No es lo mismo estar en una lista de morosos por tener varios créditos sin pagar que por tener pendiente una factura de un servicio tras discutir con el proveedor del mismo.

Gestión de casos extraordinarios

Solo con modelos muy simples el sistema acertará siempre. En el resto de las situaciones habrá casos extraordinarios que serán mal clasificados. Hay que saber como gestionar estos casos. No basta con justificarse en «lo dice el ordenador». Tiene que haber formas de saber si estamos ante un caso mal clasificado y es el oráculo ha hecho mal su trabajo.

Objeciones

«Una empresa privada ¿Por qué ha de seguir estas reglas?» Primero porque trabaja en la sociedad y tiene que seguir sus reglas y colaborar en mantenerlas. Segundo porque estos sistemas tienen el riesgo de extenderse. Un sistema realmente bueno puede ser vendido como servicio, que las empresas empiecen a contratarlo y entonces afectaría a millones de personas.

«Si las estadísticas dicen que algo es así será por algo». Si, obvio que es por algo. Pero antes de empezar a valorar a un grupo de personas por ser peores trabajadores o más delincuentes o menos confiables o cualquier prejuicio similar piensa que según las estadísticas un hospital es un lugar donde muere mucha gente y es mejor no ir y menos aún si estas enfermo. El que un hospital es un sitio peligroso para los enfermos es un prejuicio causado por un una visión parcial de la realidad fijándose solo en datos.

«Es un gran avance y puede producir un gran beneficio, no merece la pena frenarlo por unos pocos casos en os que resultaría injusto». Lo de sacrificar a unos pocos para obtener un bien mayor ha justificado muchas barbaridades. No es una cuestión de prohibirlo, si no de buscar un equilibrio.

«Con el tiempo mejorara y alcanzara una precisión absoluta». Es difícil que eso ocurra en los próximos años y posiblemente décadas. La realidad es demasiado compleja para separar fácilmente todos los casos sin cometer ningún error. De hecho incluso seria discutible que es un error y que no lo es.

En muchos artículos que leo se da por hecho que con los coches autónomos los accidentes desaparecerán y con ellos los seguros de coche que quedarán relegados a reparaciones y atención en carretera. Aunque muchas veces se de a entender lo contrario los primeros que celebrarían que esto ocurriese serían las aseguradoras, ellas ganan dinero cuando no hay accidentes. Desgraciadamente es una imagen irreal, los accidentes seguirán ocurriendo con los coches autónomos. En menor número ya que solo con eliminar los conductores cansados, temerarios, que miran el movil o bajo los efectos del alcohol o/y las drogas ya caerá bastante el número de accidentes. Pero seamos sinceros los buenos conductores, aquellos que están atentos, respetan todas las normas y son cautelosos lo hacen realmente bien. Los coches autónomos van a permitir gestionar y organizar el tráfico como nunca antes pero no van a ser perfectos. Vamos a usarlos como ejemplo para ver cuáles son los límites de la I.A.

Límites físicos para ejecución

Nuestro coche autónomo va circulando por una calle de un solo carril con coche aparcados a los lados cuando sin previo aviso aparece un viandante de detrás de una furgoneta a escasos tres o cuatro metros delante del coche. Por mucho que la I.A. frene la inercia va a arrastrar el coche hasta que atropelle al peatón, la otra opción es dar un volantazo y chocar con los coches aparcados. Ambas opciones son un accidente y es físicamente imposible evitarlo por muy eficaz que sea la I.A.

Límites físicos para el cálculo

Posiblemente el límite más conocido sea la capacidad de cálculo del sistema. Toda I.A. para ser útil ha de dar la respuesta en un tiempo finito y breve. Un sistema que tarde cuatrocientas millones de veces la vida del universo en dar una respuesta puede dar con la solución perfecta pero no resulta muy útil. Cuando juegas al ajedrez contra un software este responde con un movimiento suficientemente bueno pero no sé sabe si el mejor. En el caso de los coches autónomos cada elemento que tengan que «vigilar» aumenta la complejidad del problema (aumenta el espacio de búsqueda) y aumenta el tiempo que el sistema tiene que usar en detectarlo (reconocerlo, encontrar su límites, situarlo en el espacio, predecir su movimiento para anticiparse). Sin embargo el tiempo que tiene para reaccionar no aumenta.

Hay muchos más límites físicos, espacio, memoria, no-aleatoriedad, ….

Los sentidos nos engañan

O más bien «los sentidos están limitados». Descartes creía que no podemos confiar plenamente en los sentidos ya que nos pueden engañar. Lo cierto es que percibimos el mundo a través de ellos y nos dan una percepción muy limitada de la realidad. Los sensores tienen límites de alcance, precisión, exactitud, cometen errores y por supuesto se estropean dando medidas falsas

La sonda Schiaparelli se estrelló al tratar de aterrizar en Marte, la causa un error en las medidas de un sensor debido a que se saturo por el ruido indicaba que estaba bajo tierra así que apagó los motores.

Un fallo un sensor fue también la causa de los problemasdel Boeing 737 max.

Incertidumbre

Hay algoritmos para tratar con la incertidumbre. Pero generalmente acaban trabajando con probabilidades y tratando de decidir valorando beneficios y costes respecto a lo probable que sean. Pero algo sea improbable no quiere decir que no vaya a ocurrir.

Un coche autónomo puede suponer que es improbable que un ciervo cruce la carretera de repente y lo atropelle, todos conducimos sin plantearnos cada segundo si un animal va a saltar sobre nuestro capó, pero sabemos que no es imposible y que ha se han dado casos.

Funcionamos con la suposición de que lo improbable no va a pasar, el coche de al lado no va a abalanzarse sobre nosotros sin previo aviso (incluso los conductores agresivos dejan claras sus intenciones confiando que los demás cedan por precaución y les dejen cambiarse), que nadie va a ir circulando en dirección contraria por mi carril o que los demás van a respetar el semáforo en el cruce. Por supuesto que a veces estas reglas se incumplen pero es tan improbable que difícilmente se pueden tener en cuenta si no hay otras señales que nos hagan pensar que es probable (el conductor de al lado hace unas «eses» sospechosas mientras trata de mantenerse en el carril o el coche que llega al cruce va demasiado rápido como para frenar de golpe en el semáforo).

Aprende de la experiencia

El aprendizaje máquina trata de sacar unas reglas generales a partir de un montón de ejemplos particulares. El problema está en que la I.A. no va a poder tratar casos que no haya «visto». Por ejemplo una I.A. que ha aprendido a reconocer peatones puede fallar si el peatón va disfrazado de platano, por ejemplo. Eso no quiere decir que no tenga que frenar si se cruza, pero para la I.A. sería un obstáculo en la vía, no un peatón

Los agentes inteligentes están altamente especializados. Un programa que aprende a jugar al ajedrez no sirve para aprender a conducir. Los coches autónomos se mueven en el mundo real en una sociedad creada por humanos que tienen sus reglas de convivencia y un entorno muy complejo.

Por ejemplo algunos modelos de coches autónomos han tenido problemas con su forma de conducir porque marea a los pasajeros. Un conductor humano siente lo mismo que los pasajeros y evita sensaciones desagradables a los mismos (frenazos muy bruscos, giros repentinos, aceleraciones bruscas,…). Pero nadie había entrenado a la I.A. del coche para ello.

Otro ejemplo es el de un coche autónomo que buscando ahorrar dinero en lugar de aparcar en una zona de pago prefiera seguir circulando despacito de tal forma que el coste de circular sea menor que el del aparcamiento. Desde un punto de vista cívico eso es una barbaridad, consumir energía gratuitamente y empeorar el tráfico. Si la inteligencia no ha sido entrenada para tener en cuenta eso puede caer en soluciones erróneas.

Límites del sistema

Es parecido al punto de los límites físicos, pero en este caso los motivos no son físicos si no la organización o estructura del sistema. En muchos casos la solución es reorganizar el sistema pero eso queda más allá de las opciones del agente inteligente. Un ejemplo son algunos atascos. Hace años trabajé en un polígono industrial con solo dos salidas. Los viernes en verano la mayoría de las empresas salíamos entre las tres y las tres media de la tarde lo que suponía soportar atascos de 20 minutos. Y no hay forma de evitarlos. Aunque todos los coches fueran un agente inteligente y se coordinasen seguiría habiendo atascos. Se lo que estáis pensando: «Los coches se podrían coordinar para no intentar salir todos a la vez». Pero la consecuencia es la misma que un atasco, me va a costar 20 minutos salir de ahí. Me da igual si estoy atascado o esperando con el coche o con el coche dando vueltas o esperando que me avise al móvil que ya podemos irnos.

Riesgos calculados

En la vida real hay que tomar riesgos. Generalmente por dos motivos, falta de información e imposibilidad de conseguirla o que no hay más remedio para evitar una situación peor.

Un ejemplo es llegar a un cruce donde un camión mal aparcado tapa la visión. El coche autónomo no puede quedarse parado hasta que retiren el camión. Tendrá que moverse lentamente minimizando los riesgos pero asumiendo que ni el ve ni es visto y eso podría causar un accidente.

Decisiones irracionales

Actualmente la inteligencia artificial no puede decidir si no tiene una forma de comparar opciones. Eso no quiere decir que no pueda simplemente elegir al azar una opción. El mismo problema tiene si varias opciones son igual de buenas.

Al final hemos diseñado la I.A. para que haga decisiones racionales pero la vida humana esta llena de decisiones no racionales.

El título suena completamente a ciencia ficción, pero solo parte de este texto es especulativo, la realidad es que ya se han hecho experimentos para controlar animales usando interfaces máquina cerebro. Aunque pueda parecer algo complicado la idea básica es muy fáciles de entender.

Primero hemos de poder comunicar al animal que tiene que hacer. Se conectan electrodos a alguno de los nervios sensitivos del animal. Por ejemplo a la antena derecha y a la antena izquierda. No hay límite a la cantidad de «zonas» que podemos estimular, pero el animal ha de poder distinguir claramente entre los distintos estímulos. Si no es así podría malinterpretarlos.

Es importante que el estímulo este asociado con la acción. Si por ejemplo queremos que una cucaracha de volteretas laterales cuando reciba un estímulo en la antena derecha, difícilmente va a ocurrir. Sin embargo si queremos que gire a la derecha va a ser muy probable que ocurra.

Tras realizar la acción que queremos que ocurra hay que recompensarle. Por ejemplo estimulando sus centros de placer. Este video lo explica mejor que yo

En resumen, asociamos un estímulo con una recompensa al realizar una acción. Es lo que se conoce como condicionamiento operante con refuerzo positivo y no es nada nuevo, lo que es nuevo es estimular directamente el cerebro para lograrlo.

Desde el punto de vista externo al sujeto del experimento los pasos son:

1. Decidir la acción
2. Enviar el estímulo
3. Verificar la realización de la acción
4. Recompensar

Hay que tener algunos detalles en cuenta como que no puede pasar demasiado tiempo entre el estimulo, la acción y la recompensa o el animal no sera capaz de asociarlos entre ellos.

Con este sistema el animal sigue teniendo libre albedrío (si es que existe) y puede decidir oponerse a los estímulos. Sin embargo la sensación de placer tras cumplir la acción es lo que les motiva. Realmente no es muy distinto a dar una golosina a un perro cuando realiza correctamente un truco. Y de hecho se podría usar junto con entrenamiento tradicional para conseguir acciones más complejas.

Hay que tener cuidado con los comportamientos repetitivos para conseguir retroalimentacion positiva. Son causados cuando repetir una acción te genera una recompensa, haciendo que el sujeto repita todo el rato la misma acción para conseguir la recompensa. Supongamos que queremos que una rata se levante y se rasque los bigotes. Para ello le damos una recompensa al levantarse y otra mayor al rascarse los bigotes. La rata puede descubrir que si se levanta, se sienta y se vuelve levantar experimenta placer continuamente, mientras que si se rasca lo bigotes experimenta un placer mayor pero solo una vez. Esto da lugar conductas repetititas. Se podrían debilitar la recompensa en cada repitición para reducir el número de repeticiones. Más adelante veremos los refuerzos negativos que podrian usarse para evitar estos comportamientos castigando las repeticiones.

Mejoras poco éticas

Ahora entramos en un tema delicado. No apoyo que se realicen experimentos con ninguna de las opciones que voy a contar aquí. De hecho son experimentos que dudo que recibiesen aprobación por motivos éticos. Pero tampoco le veo sentido a negar la posibilidad de su existencia o a censurarlas.

Hay más formas de mejorar el aprendizaje y asegurarse de la obediencia de las instrucciones. En los experimentos se usa el refuerzo positivo pero se puede usar refuerzo negativo. Causar dolor o molestias si no se realiza la acción. Pero a se puede refinar más el sistema siendo un poco retorcido se puede crear una molestia que vaya creciendo hasta que se cumpla la acción deseada.

La lista de pasos para el proceso no ético seria:

1. Decidir la acción
2. Enviar el estímulo
3. Generar una molestia
4. Verificar la realización de la acción
5. Si no se realiza la acción castigar
6. Si se realiza la acción recompensar

Desde el punto de vista del sujeto lo que se percibiría es que se siente una molestia que crece hasta el dolor y que desaparece, sintiendose un gran placer, cuando se realiza cierta acción. Tiene similitudes con algunos comportamientos compulsivos.

¿Qué tiene que ver esto con la inteligencia artificial?

Poco, pero lo he visto relacionado con la tematica del blog y me apetecia hablar de ello. Además hay un hueco para ella (siempre hay hueco para poner una I.A.), tras realizar la accion y antes de entregar la recompensa un agente externo tiene que evaluar que la acción es adecuada para entregar la recompensa. Si recurrimos a la versión no etica aun tiene más trabajo gestionando castigos.

¿Lo puede hacer una I.A.? Depende de la complejidad de las acciones. La I.A. ha de ser capaz de percibilas sin errores, hay que tener cuidado con los falsos negativos y falsos positivos ya que recompensas o castigos sin sentido podria causar confusión en el sujeto.
¿Debe de hacerlo una I.A.? tiendo a pensar que las implicaciones éticas de tener una máquina dirigiendo las acciones de un ser vivo nos impediria hacerlo. No se me ocurre ningun caso en que sea justificable.

¿Es aplicable para humanos?

Físicamente nada impide usar estas técnicas en humanos. Pero hay que recordar que este sistema no afecta a la voluntad del individuo solo le castiga/recompensa para que realice ciertas acciones. Un ser humano es consciente de la manipulación a la que es sometido y puede elegir desobedecer. La historia está llena de personas resistiendo torturas horribles sin doblegarse.

Sin embargo supongamos que el sujeto no es consciente de que tiene insertado este sistema (dejemos de lado problemas de como puede ser eso posible o de cuánto le duraría la batería). Algo le impulsaría a realizar acciones y sentiría un gran alivio y placer al realizarlas y un terrible dolor al resistirse. Sin embargo ya hay transtornos con estos comportamientos y se tratan, consiguiendo cierto grado de control sobre ellos.

Leyendo hasta aqui parece una historia de terror, pero las teconolgías usadas en estos experimentos tambien se han empleado, por ejemplo, en el tratamiento de enfermedades como el Parkinson realizando estimulación sobre la corteza motora. Esta tecnología puede servir para ayudar con diversas enfermedades y trastornos graves estimulando diversas areas cerebrales, que no tiene que ser los circuitos de recompensa. El cuando sea ético o no aplicarlas es otro tema.

Los agentes inteligentes necesitan alguna forma de comparar resultados para basar sus decisiones. Es decir saber de forma numérica «lo útil» que es cada decisión. Es algo complicado. Muchas veces podemos estar tentados en tomar atajos. Uno de los más habituales es usar el valor económico como media de este valor. Sin embargo los seres humanos tienen un relación curiosa con el dinero.

¿Por qué es importante el dinero para la I.A.?

El dinero es importante para la I.A. por el sencillo motivo de que es importante para los humanos. Si necesitamos que los agentes inteligentes interaccionen con nosotros han de tener en cuenta nuestras peculiaridades.

También resulta curioso comparar como actuamos con el dinero. El dinero actúa como una función de utilidad para nosotros y al ser tan fácilmente interpretable (es un simple valor numérico) podemos comparar como actuamos respecto a cómo esperaríamos que actúe una inteligencia artificial.

¿Eso quiere decir que algo falla en nosotros o en los agentes? No, simplemente quiere decir que hemos llegado por caminos distintos y valoramos el dinero de forma diferente. Para los agentes es simplemente un número que usar como función de utilidad, mejor cuánto mayor sea el número. Para nosotros todo es más complicado. El dinero es una mezcla de algo natural y conocido como es el acumular bienes materiales con algo nuevo y desconocido que es el valorar algo abstracto e inmaterial como es el dinero.

Los humanos entendemos que acumular bienes es beneficioso, pero en la naturaleza la mayoría de los bienes importantes no son acumulables más allá de cierto punto. La comida se estropea y tener cien lanzas en lugar de dos o tres solo te supone una carga. De hecho repartir las cosas que te sobra entre tus amigos y familia puede ser una buena inversión ya que te conseguirá su simpatía y cierto estatus social y quién sabe si en un futuro necesitarás un favor y te lo podrán devolver. Además ayuda al grupo y estar en un grupo fuerte también es beneficioso. Al final compartir puede resultar la mejor forma de usar los bienes y el reconocimiento del grupo más valioso a largo plazo que los bienes.

Sin embargo. El dinero puede acumularse sin límites, sin suponer una carga o que se eche a perder con el tiempo (se devalúa pero no es comparable). El dinero permite mejorar nuestra calidad de vida y nos proporciona seguridad para el futuro. Pero esta claro que no sabemos muy bien como valorarlo de forma intuitiva lo que da resultado a comportamientos contradictorios.

El valor del dinero y la justicia

El valor del dinero es relativo, depende de lo que tengas, de lo que tengan los que te rodean o incluso tus esperanzas de beneficio. De primeras todos podemos pensar que si sales ganando dinero has ganado. De hecho las matemáticas nos apoyan. Ganar dinero es mejor que no ganarlo y desde luego mucho mejor que perderlo desde la teoría de juegos está claro. Sin embargo para el ser humano no es tan simple.

Hay un juego llamado «ultimátum», sus reglas son sencillas: Hay dos jugadores, a uno se le da una cantidad de dinero, supongamos 100€, su función es decidir cómo repartirlo, cuánto se queda el y cuánto el otro jugador. El otro jugador solo tiene una función, decir si acepta o no el trato. Si lo acepta ambos se quedan con su parte del dinero, si no lo acepta los dos pierden su dinero. Lo lógico sería aceptar cualquier trato cuyo valor sea mayor que 0. Algo siempre es mejor opción que nada. Pero los humanos no somos tan simples y tendemos a rechazar repartos que no sean lo suficientemente «justos», parece que podemos asumir cierta cantidad de injusticia a cambio de un beneficio pero «sin pasarse». Es decir mucha gente estaria dispuesta a aceptar un reparto 60-40 pero muy poca un reparto 90-10.

Para entenderlo vamos a comparar dos casos, supongamos que alguien te regala 10€, estarás agradecido. Ahora estás jugando al juego del ultimátum y te ofrecen 10€. El valor intrínseco del dinero es el mismo. Pero nuestra forma de valorarlo no. La injusticia del reparto hace que el dinero pierda valor, tanto como para llegar a rechazarlo. Ojo que al actuar así nos aseguramos que el reparto se acerque a lo justo. Incluso en el juego del dictador, una versión en la que el segundo jugador no puede decir que no, el reparto se aleja más de lo que sería justo pero no llega a los 0€ que sería lo óptimo en este caso. Esta claro que valoramos algo más que el simple beneficio económico

Se suele decir que «todos tenemos un precio», no estoy seguro si todos lo tenemos, pero algunos desde luego. Si el ultimátum se jugará con millones de euros estoy seguro que mucha gente se trataría su orgullo y aceptaría un reparto de 99 millones a 1 millón aunque fuera injusto.

Valor del dinero en el entorno social

Hay estudios que demuestran que la gente esta más o menos satisfecha con su salario o su bienes en relación a lo que tengan la gente que le rodea. Es decir valoras el dinero como indicador de estatus social. Y aprovechándose de eso muchos productos caros se publicitan como indicadores de estatus social. Se venden como si fueran la cola de un pavo real.

Mucha gente paga más de lo que corresponde en la relación beneficio/costo solo por aparentar. Comprarse un producto caro que no va a aprovechar. Se podría discutir que se compensa por el incremento de estatus social. También se podría cuestionar lo beneficioso que es entrar en esas dinámicas absurdas donde el único beneficio real lo saca el vendedor.

El hecho que haya gente que por aparentar se endeude quiere decir que valoramos el reconocimiento social como una valor en si mismo

Valor del dinero y necesidad

Para hacer un algoritmo que valore lo beneficiosa económicamente que es una acción podemos usar cálculos como la esperanza que son independientes de tu situación, solo dependen del beneficio que se pueda esperar.

En los humanos el valor que damos al dinero depende de la necesidad que tengamos de él. A mayor necesidad mayor valor le damos al dinero, sobre todo si es inmediato. De ello viven esas empresas que dan créditos rápidos a intereses altos. Cuando necesitamos dinero no valoramos correctamente los costes de obtenerlo. De hecho cuando la deuda alcanza un nivel que es imposible de pagar mucha gente opta por adoptar el punto de vista «de perdidos al río» tomando decisiones arriesgadas que pueden hacer que la deuda crezca ¿Pero que más da si ya no podemos pagarla?

Cuando tienes mucho dinero también resulta difícil evaluar el riego y eso hace que mucha gente acabe perdiendo su fortuna. Se da en muchos casos de gente que le ha tocado mucho dinero en la lotería que lo gestiona mal y lo pierde en la llamada maldición de la lotería. Posiblemente debida a que según vas acumulando cosas la felicidad que obtienes de ello disminuye muy rápidamente y acabas gastando más de lo debido. Parece que el acumular cosas por encima de un limite no produce más felicidad.

¿Ocurre solo con el dinero?

Realmente no, ocurre con cualquier cosa que tenga valor para nosotros. Estudios con primates han demostrado comportamientos parecidos con frutas o juguetes. Parece ser que valoramos más cosas que el simple beneficio material de nuestras acciones. Que la justicia, el reconocimiento o el grupo social nos interesa más de lo que consciente mente percibimos.

Cualquier inteligencia, artificial o no, que quiera vivir en la sociedad humana ha de tener en cuenta estos valores o no logrará predecir nuestro comportamiento. Como ejemplo, el caso de un colegio que cansado de que los padres llegaran tarde a buscar a los hijos decidió multarlos. Resultado, los padres empezaron a llegar aun más tarde. Al pagar por ello dejaron de sentirse tan culpables por llegar tarde, el coste social fue reemplazado por el económico