Vivimos en un momento en que podemos empezar a preocuparnos del «peligro» de la I.A. sin que piensen que hablamos de ciencia ficción. ¿Pero y si esa preocupación llega demasiado tarde? En concreto unos cartoce mil millones de años tarde (año arriba, año abajo). ¿Es posible que todos nosotros seamos una IA y no lo sepamos?

Dadme un momento y os explico cómo es posible que seamos IA y no nos hayamos dado cuenta. Para ello vamos a recurrir a las hipótesis de Nick Bostrom, uno de los mayores ideologos del peligro de las super inteligencias. Sin embargo usando sus propios escritos podríamos concluir que ya es tarde.

Para ello empezaremos por revisar su trabajo: «Are you living in a computer simulation?» En el que trata de resolver la cuestión de si vivimos o no en una simulación. Si bien su desarrollo, en mi opinión, peca de simplificar demasiado el tema ignorando gran parte de su complejidad reduciéndolo todo a una simple fórmula. Me vais a permitir que use sus conclusiones, puesto que cuenta con bastante apoyo popular que defiende su tesis. (Principalmente debido a que presenta sus ideas de una forma sencilla y elegante y la conclusión es muy atractiva, mientras que las réplicas suelen ser más complicadas de entender y nos devuelven a la triste realidad).

La tesis se fundamenta en que si se cumplen estos puntos:

• Si alguna civilización alcanza el nivel tecnológico suficiente para simular un universo (el habla de sobrevivir el tiempo suficiente pero nada nos asegura que sea posible hacerlo)
• Si encuentra interesante simular un universo y su vida.
• Si las simulaciones a su vez permiten los dos puntos anteriores (este punto no viene explícitamente en el texto original)

En ese caso es posible que haya simulaciones infinitas. Universos simulando universos que a su vez son simulaciones de universos, …

Como se supone que esto tenderia a infinito (no contempla que cada universo consumiría recursos del universo original…por decirlo de forma burda: se ejecutan todos en la misma CPU). La posibilidad de que el nuestro sea el universo original tiende a 0. Por lo que nosotros viviríamos casi seguro en una simulación.

Siguiendo con la obra del mismo autor llegamos a «Superinteligencia» (El libro que nos  causó miedo de las IA). Considera como IA aquellos agente inteligentes que surjan de emular el funcionamiento del cerebro (¡Ojo! si volcamos la mente de una persona a ese emulador no es una IA, solo si la IA surge aprovechando lo aprendido para crear esa emulación). Siguiendo su propia definición si viviéramos en un universo simulado, todos seriamos IA. La pregunta de si podemos evitar que la IA destruya el mundo y otros temores que comenta en «Superinteligencia» quedaría distorsionado por el hecho de que ya seriamos IA.

¿Tiene algo de sentido todo esto? El argumento de la simulación tiene muchas criticas realizadas por expertos en diversos temas que van de la filosofía a varias ramas de la física. Sin embargo, mi principal pega es más sencilla y no tan compleja. Creo que la visión del autor del problema es una sobre simplificación. No puede resumirse en una ecuación como la que debajo de estas líneas un problema tan complejo como si vivimos en una simulación y menos usarla para sacar conclusiones usando una lógica bastante simple. Aunque eso no quiere decir que al final no este acertado….y seamos una IA.

Siempre que se habla de medidas de control de la población usando herramientas tecnológicas se centra el tema en el derecho a la privacidad y la libertad individual. Pero aquí vamos a ver porque es difícil que ese tipo de control funcione tan bien como prometen. Nos vamos a centrar en el mundo laboral que me parece el más neutral.

Trabajo como programador y una de los grandes retos de la industria es medir nuestro desempeño. No es que no existan técnicas para medirlo es que no funcionan. Los jefes piensan que sí y están felices con sus datos. Si hay algo que he aprendido es que mucha gente se siente más segura con un dato de fiabilidad cuestionable que sin datos. Sin embargo como si de un fenómeno cuántico se tratara el hecho de medir el rendimiento de la gente afecta a lo medido. Que muchas veces es lo que se desea, se instala un sistema para vigilar a los trabajadores, no tanto por los datos como para que el trabajador se sienta vigilado y trabaje más. Sin embargo el resultado puede ser el contrario, menos trabajo y de peor calidad. Los trabajadores se centran en puntuar bien aunque eso suponga empeorar su trabajo. Y no se debe a que el trabajador solo busca trabajar lo menos posible, si no que, como a todos, le gusta que le reconozcan su trabajo, cobrar más sueldo y ser ascendido. Y va a invertir su tiempo y esfuerzo en aquellas tareas que le den más posibilidades de conseguir alguno de esos tres objetivos.

Cuando hablamos de engañar a estos sistemas suena como algo complicado, necesitarias grandes conocimientos del algoritmos, matematicas y miles de pruebas para ver como se comporta. Los propios creadores de estos sitemas te podrán decir que ellos no sabrian como engañarlos. ¿Qué posibilidades tiene una persona normal?. Muy pocas, pero cuando el sistema trata con cientos o miles de personas la cosa cambia. Una persona puede encontrar de forma accidental un comportamiento que le da una ventaja frente a la evaluación. Los seres humanos somos muy buenos adaptandonos y percibiendo patrones, es algo que hacemos sin darnos cuenta. Tambien somos buenos adoptando comportamientos de grupo, muchas veces sin ser conscientes de ello. Si algo parece funcionar lo adoptamos. Así que cualquier comportamiento beneficioso va a extenderse entre la población.

Estos sistemas se enfrentan a un reto que es difícil de resolver hasta para los humanos: Evaluar de forma objetiva a una persona en un entorno real. Para ello tienen que trabajar con métrica y simplificaciones que no siempre son fieles a la realidad. Por lo que es casi seguro que habrá errores de clasificación, buenos trabajadores que son clasificados como malos y viceversa. Incluso puede que el error sea más sutil, un trabajador puede descubrir que es mejor valorado si hace las cosas de una determinada manera que si las hace de otra. La primera manera puede ser más correcta desde el punto de vista profesional pero el trabajador va a optar por la que mayor recompensa/reconocimiento le de. Además este proceso se realimenta puesto que los trabajadores que no hagan las cosas así tendrán menos éxito en esa empresa y será más probable que sean despedidos, se vayan o adopten la otra forma.

No hace falta que haya una búsqueda consciente de los puntos débiles de algoritmo, el sistema funciona por prueba y error. Se parece mucho a las metaheurísticas basadas en población. Muchos agentes probando (aun sin querer) estrategias diferentes y los que encuentran una estrategia que mejora su valoración son beneficiados, estas estrategias se extienden por el resto de los agentes mientras que los que no las imitan reciben peor puntuación, esto crea un ciclo de mejora y propagación constante.

Una solución que puede parecer muy sencilla es que cada persona sea evaluar por los demás algo del estilo «poner estrellitas», el problema de esto es que entonces el trabajador intentara «optimizar» la valoración del cliente. Puede dejar al cliente muy contento pero no realizar un trabajo satisfactorio. Por ejemplo puede dedicar demasiado tiempo atenderle a costa de realizar menos ventas o evitar atender a clientes «complicados». Incluso puede derivar en una guerra entre compañeros para «quitarse de encima esos clientes».

Otro problema que se da en este tipo de evaluaciones es «la inversión del control». Se da cuando en una jerarquía con este tipo de control alguien de un puesto superior puede perder mas que alguien de un puesto inferior si este no realiza su trabajo. De tal forma que el puesto inferior puede llegar a forzar al superior. También puede darse el caso de que el «castigo» por no realizar su trabajo se reparta entre los puesto inferiores suponiendo menor castigo a nivel personal que en los puestos superiores. Esa es la base de las huelgas, cada uno de los trabajadores pierde el sueldo de un día, pero la empresa pierde la producción de un día. Esto puede ser un gran problema para la empresa si le supone incumplir contratos, perder clientes o tener que pagar luego horas extra para recuperar la producción perdida.

Otro elemento difícil de eliminar de estos sistemas son los prejuicios. El sistema cree ciegamente sus resultados, ni se plantea que pueda equivocarse, ni tiene ne cuenta excepciones, ni el contexto. Tampoco hay que olvidar que toda aproximación estadística comete un error de sesgo al juzgar a una sola persona. Los datos te pueden decir que el 20% de los trabajadores que visten con pantalones azules tienen bajo rendimiento pero cuando aplicas eso a una sola persona vestida con pantalones azules estas siendo injusto y quizás descartando a un buen trabajador por otro peor.

No son necesarios sistemas muy complicados para que surjan estos comportamientos. Haces años trabajé programando una herramienta interna de gestión de proyectos. Una de sus principales funciones era ayudar a automatizar los cálculos de los costes de cada proyecto y el punto del mismo. De eso dependía la parte variable del sueldo de los jefes de proyecto. El sistema era especialmente propenso a las trampas ya que todos los jefes tenían acceso a los datos y podían ver claramente los motivos de su evaluación. Además la evaluación se realizaba en un momento concreto de la semana, lo que te daba tiempo a «arreglar los datos» por último era muy fácil retocar datos sin que se notase y si te pillaban achacarlo a un error,el riesgo si te pillaban era bajo pero el beneficio en comparación era alto. Esto dio lugar a todo tipo de manipulaciones y puñaladas entre los jefes de proyectos. El ambiente no era el mejor, pero los objetivos artificiales del sistema se cumplían. El sistema en si no era nada especialmente complicado básicamente calculaba los costes y los asignaba a cada proyecto según el uso de los recursos que hacia. Sin embargo pronto me toco ir modificando el código para tener en cuenta «casos especiales».

En resumen, a veces parece que ante el control automático solo hay dos caminos: la sumisión o la rebelión. Pero lo cierto es que el tercer camino la manipulación se nos da bastante mejor. Es más difícil controlarnos de lo que parece.Aun así existe el peligro de que estos sistemas inciten comportamientos no deseados como consecuencia de su uso.

Hablar de la privacidad de los datos como algo completamente seguro y cierto es una pequeña mentira que suelen hacer las empresas que viven de ellos. Si un dato está guardado su privacidad puede ser puesta en duda.

Envío de los datos

El primer problema es que hay que mandar los datos. Un dispositivo genera/captura el dato y debe de enviarlo a través de una red de comunicaciones hasta un dispositivo destinatario que lo almacenará. Vamos por partes:

El dispositivo origen es el primer punto débil de la cadena. Si es inseguro o está mal configurado puede filtrar los datos a un tercero y por mucho que te esfuerces en mantener seguro tu móvil o tu ordenador no basta. Muchas veces el dispositivo que envía los datos sobre ti es otro. Una estación de telefonía que envía que tu móvil está conectado a ella, un dispositivo domótico, un electrodoméstico inteligente o un caja de supermercado.

El segundo punto de ataque es el canal de comunicaciones. Todos estamos advertidos de lo inseguro que es conectarse a redes públicas, pero también las privadas pueden estar vulneradas. El router de tu casa quizás tenga una vulnerabilidad sin parchear que algún gusano en Internet ha aprovechado para infectarlo.

Lo mismo pasa con el destino. No sólo hay que fiarse de que el receptor hace un uso correcto de los datos. Sino que seguramente ha subcontratado parte de su infraestructura (bases de datos, servidores, conversión de voz a texto, reconocimiento de imágenes, estadísticas,….) a otras empresas  en las que también tienes que confiar. Y no solo es que ellos no «roben» tus datos es que sean seguros y no permitan que un tercero roben esos datos.

El gobierno siempre puede pedir tus datos

Ahora bien aunque no haya ningún problema y los datos lleguen seguros y sean almacenados de forma segura. Si el gobierno los pide las empresas están obligadas a dárselos. Y no basta con el típico: «no hagas nada para que el gobierno no te investigue». Los gobiernos piden los  datos basándose en sospechas. Quizás mañana un algoritmo diga que eres sospechoso y pidan tus datos para verificarlo. ¿Qué ocurre luego con esos datos? ¿Se quedan guardados mientras pasa el tiempo y los gobiernos? Los gobiernos a su vez subcontratan las herramientas e infraestructuras a otras empresas y otra vez dependemos la cadena de confianza. ¿Esas empresas respetan la privacidad de nuestros datos? ¿Son seguras?.

Leyes y empresas que cambian

Ahora mismo muchas empresas prometen privacidad. Pero quién sabe si seguirán prometiendola dentro de 20 años. Puede que hayan sido comprada por otra empresa con menos escrúpulos. Que las leyes hayan cambiado. Incluso que el procesado de datos haya alcanzado niveles tales que puedan extraer información de esos datos que no quieres que sepan.

Datos cifrados

Que los datos estén cifrados ofrece cierta protección contra el robo de estos por terceros, pero no para evitar la explotación fraudulenta de los mismos por el receptor.

Al final los datos cifrados no sirven de nada y cuando se procesan tienen que estar descifrados. Durante todo ese procesado son vulnerables.

Por ejemplo si la aplicación de domótica de mi móvil permite controlar con voz las luces de casa pero ellos no han construido una librería de conversión de voz a texto ni una de procesamiento de lenguaje natural, son servicios que contratan a otras dos empresas que a su vez se guardan los datos para mejorar su sistema o para sacar estadísticas. El intercambio entre empresas es cifrado pero una de ellas no guarda los datos cifrados o lo hace pero no ha contratado a un experto y comete errores que permite su descifrado a un tercero que ha burlado sus sistemas y ha robado sus datos.

Cruzar y desanonimizar datos

Una medida muy importante es que los datos estén anonimizados. Es decir que se hayan eliminado los datos que puedan identificar a la persona que generó esos datos. El problema es que según crece la cantidad de datos más difícil es que sigan siendo anónimos.

También cabe la posibilidad de que cruzando datos anonimizados de diferentes fuentes se puedan desanonimizar. Quizas una empresa compra otras dos lo que le permite cruzar sus datos. O se filtren datos de distintas fuentes que cruzando los permita desanonimizarlos.

Exigir el borrado de datos

Gracias a leyes como la nueva normativa europea de protección de datos el usuario puede exigir que eliminen los datos que una empresa tenga de él.

Para empezar no se borran todos los datos ya que muchos se tienen que mantener por ley al menos un tiempo. Por ejemplo los datos de pagos.

Segundo en algunas arquitecturas, en las que los datos se distribuyen en varias copias en diferentes sistemas y servicios, es difícil borrar un dato. Es fácil marcar que ese dato está borrado pero su eliminación física puede ser complicada.

Tercero hay muchos procesos internos que generan copias de los datos. Por ejemplo las copias de seguridad. Es difícil que tus datos sean borrados de todas las copias de seguridad. Si bien lo habitual es sobreescribirlas cada cierto tiempo.

Por último esto solo sirve con empresas que cumplen la ley y es fácil parecer que la cumples sin cumplirla. Tampoco es que sirva con quienes roban los datos.

Metadatos

Si estás preocupado por la privacidad no sólo son importantes los propios dato también los metadatos. Los metadatos son datos sobre los datos que son necesarios generar para que muchos procesos automáticos funcionen. Por ejemplo cuando entras a una web no solo estás enviando la dirección web, también tu IP, tu navegador, tu sistema operativo y alguna cosa más. Con estos datos se pueden deducir a su vez más cosas. Por ejemplo con la IP se puede aproximar tu localización geográfica.

No solo hay metadatos en las conexiones a Internet. Hay metadatos en todas partes. En los ficheros, fotografía, música, antenas de telefonía móvil para tener cobertura….

El problema es que ni siquiera somos conscientes de estos metadatos. Si nos conectamos a una web en Internet se generan gran cantidad de metadatos para que los paquetes lleguen de nuestro PC al servidor de la web. Y carecemos de control sobre ellos.

Los datos son para toda la vida

Los datos pueden ser almacenados durante décadas. Sobrevivir a cambios de servidores, soportes físicos, tecnologías, empresas, gobiernos y leyes. Tus datos pueden sobrevivirte. Y pocas veces pensamos en que será de nuestros datos a largo plazo. Vamos a ver algunas posibilidades.

Basta con que en alguno momento un fallo de seguridad o un error conprometa la privacidad de tus datos  para que pierdas el control de ellos para siempre. No sabrás cuántas copias hay ni quién tiene una.

Con el paso de los años los avances en big data pueden permitir que los datos que cedistes hace años revelen aspectos tuyos que prefieras que no se supieran.

Las leyes pueden exigir que se tomen ciertas medidas que los datos anteriores a esas leyes no cumplen. Lo cual te dejará expuesto ante quien tenga esos datos tuyos.

Un caso de ejemplo

En 2018 se filtraron los datos de una famosa empresa de pulseras deportivas. No estoy seguro si esos datos se enviaban al servidor cifrados y completamente anonimizados pero para el caso vamos a suponer que sí. Los datos filtrados eran las posiciones GPS de las distintas pulseras a lo largo del día.

Al contar con semejante cantidad de datos varios expertos en seguridad los usaron para ver que eran capaz de sacar de ellos. Uno de los casos más espectaculares fue que lograron encontrar varias bases militares secretas.

Obviamente no sabían cuales de esos datos eran de militares estadounidenses. Pero si ves una concentración de pulseras deportivas en un punto del desierto donde no debería haber nada no es difícil llegar a la conclusión de que ahí hay algo. Es más como los daos incluían la posición GPS se puede «dibujar» una nube de puntos que muestra la forma de la base con bastante exactitud. Estoy seguro de que de esos datos se pueden concluir más cosas: una extimación de cuantos hombres hay, teniendo en cuenta la hora saber donde están los comedores o los dormitorios, turnos, descansos,…

Es un ejemplo de como con datos enviados de forma segura y anonimizados se puede poner en peligro algo más que la privacidad de una persona. Y no es que la empresa tuviera malas intenciones, pero cometió un error de seguridad y los datos se filtraron. Al final todo dato almacenado corre el riesgo de volverse en tu contra.

Nuestra percepción del mundo no se basa en cálculos exactos del mundo. Solemos recurrir a intuiciones, heurísticas y aproximaciones para decidir que opciones son mejores para nosotros. Una de las mejores formas de ver las diferencias entre nuestra razón y el cálculo de probabilidades es a través de los ‘engaños» que se usan en los juegos de azar. Realmente esta entrada poco tiene que ver con la inteligencia artificial directamente pero me parece un buen ejemplo de cómo pensaría una «mente matemática» frente a una «mente intuitiva»

El bingo, porque siempre estás a punto de ganar

El bingo en su forma más básica consiste en que cada jugador tiene asignados 15 números al azar del 1 al 99. Se sacan números al azar y al primero que le salgan sus 15 números gana. ¿Qué diferencia hay entre dar 15 números y dar solo 1?. La diferencia es la sensación de que «casi me toca». Al tener tantos números y ser todos igual de probables según salen números estos se reparten de forma uniforme entre todos los cartones. Así que cuando alguien canta bingo todos los demás estaban a punto de cantarlo. Esto da la sensación de que has estado a punto de ganar y motiva a seguir probando suerte.

Quinielas, el engaño de ser experto

Pasamos de los juegos que son puramente de azar a otro donde el conocimiento aporta algo. Las quinielas deportivas. En su versión más simple hay que adivinar quien gana o pierde (en algunos casos empata) en varios partidos. Supongamos que tenemos un experto que acierta 9 de cada 10 partidos. Eso es una relación de aciertos inhumana. Podemos pensar que alguien tan experto tendrá muchas probabilidades de acertar la quiniela. En España hay que acertar 15 partidos por lo que sus probabilidad es del 0.9^15 = 0,2. Un 20% no está nada mal. Por desgracia las probabilidades caen rápidamente. Si acierta 8 de cada 10 partidos cae al 3% y con 7 de cada 10 un 0,4%. A esto hay que añadir que generalmente se añaden dificultades extra como empates (poco probables pero difíciles de predecir) o que no todos los partidos son igual de fáciles de predecir. Sin embargo es fácil sobrestimar cómo afecta a las probabilidades «saber del tema»

Cuando la habilidad y la suerte se confunden, porque se caen siempre los peluches de la garra

Uno de los trucos más retorcidos, en mi opinión, que hay en los juegos de azar es cuando mezclan habilidad con azar. Sobre todo si el jugador no tiene claro que existe una parte de azar. El ejemplo más conocido son las máquinas de peluche que tienen una pinza que desciende, agarra el peluche y lo deja caer en un conducto donde lo puedes coger. En esas máquinas se mezcla la habilidad del usuario para «enganchar» el peluche junto con un elemento de azar; la pinza elige aleatoriamente si hace fuerza suficiente para agarrar el peluche o no. Como al principio nuestros fallos se deben a nuestra torpeza y vamos mejorando poco a poco al llegar al punto en que lo decisivo es la suerte y no nuestra habilidad no sabemos distinguirlo así que seguimos intentándolo para mejorar lo suficientemente, efectivamente al final el esfuerzo tiene su recompensa. Solo que ese esfuerzo ha sido incrementado de forma artificial.

Cuando solo ves una parte, como acertar lo muy improbable

Te llega un email donde alguien predice un evento en teoría casi aleatorio. El ganador de la próxima carrera, partido o si van a subir o bajar varias acciones en bolsa. Sorprendido ves que acierta. Poco después te llega un segundo que también acierta y luego un tercero con otra predicción acertada. El cuarto te pide dinero para darte su predicción.

Parece una inversión seguro. ¿Que probabilidad hay de predecir correctamente si no hay un «método»?

La realidad es que hay un método, pero para engañar a la gente. Han mandado millones de emails con todas las posibles combinaciones. Al final quedan unas cuantas decenas de miles de personas que creen que han acertado tres veces y quizás acierten una cuarta. Si el precio no es alto muchos estarán dispuestos a pagar por una cuarta predicción.

Aquí el problema es que no estás viendo el escenario completo. Desde tu punto de vista han acertado algo que es prácticamente imposible de acertar al azar. Pero eso es porque te has perdido los millones de errores cometidos.

Este ejemplo ha sido usado como estafa por Internet.

La falacia del jugador, las rachas no existen

Uno de las malinterpretaciones que más habitualmente hacemos es la de las «rachas». De manera intuitiva creemos que las sucesiones de resultados similares afecta a la probabilidad del siguiente resultado.

Imaginemos el juego de tirar una moneda, salen tres caras seguidas. Esto hace que haya gente que piense que es más probable que salga una cara y gente que piense que es más probable que salga un cruz. Ambos están equivocados, caen en la falacia del jugador. Creer que los resultados anteriores afectan al siguiente lanzamiento de la moneda. Cuando son eventos independientes.

De hecho ante rachas especialmente largas de resultados similares lo que habría que preguntarse es si la moneda no esta trucada.

Vamos a entrar en el incierto mundo de las suposiciones, para ello intentaremos imaginar que ocurre cuando dotamos a una inteligencia artificial de libre albedrío (sin entrar en detalles sobre si existe o no). Una inteligencia artificial actúa como un agente racional. Esto que quiere decir que tomara decisiones basadas en elegir la que más beneficiosa sea según sus preferencias.

Las preferencias de los agentes son establecidas por varios factores: el aprendizaje, las circunstancias (tanto internas del agente como externas del medio) del momento en que se toma la decisión y de preferencias establecidas por los programadores. Esto quiere decir que dos agentes en las mismas situación pueden elegir respuestas diferentes y que un mismo agente puede elegir distintas respuestas según la situación en la que se encuentre.

Cuando a un agente de este tipo se le ofrecen varias alternativas pondera cada una de ellas y elige aquella que mayor valor le aporta.

Vamos con un ejemplo, imaginemos que tenemos un robot en Marte para estudiar su geología, vamos a resumirlo como «estudiar piedras». Si nuestro robot ve un piedra interesante puede decidir entre estudiarla o no. Lo primero que hará será valorar su nivel de batería, si la batería no tiene suficiente carga como para permitirle llegar hasta la piedra y estudiarla con cierto márgen de seguridad se quedará esperando a que sus paneles la recarguen. De esa forma su decisión queda condicionada a su estado. En otro caso encuentra dos piedras interesantes y tiene que elegir cuál es más interesante, para ello procesa las imágenes de ambas piedras en busca de indicadores que los geólogos terrestres han introducido en su base de datos. Ahí es donde las preferencias vienen condicionadas por los valores establecidos en su programación. Pasa el tiempo y tras analizar muchas piedras ha ido aprendiendo que los geólogos de la tierra no estaban del todo acertados sobre que piedra es interesante y cual no. Así que poco a poco cambia sus preferencias sobre «piedras interesantes» y por tanto su comportamiento. En este último caso ha ajustado sus preferencias según lo aprendido.

El modelo es muy simple, un modelo realista tendría que tener en cuenta muchas más cosas como el riesgo del camino a la piedra, el estado de las ruedas, la metereología y mil cosas más, pero un modelo tan complejo no ayuda más a entender las cosas que uno simple, así que vamos a quedarnos con nuestro robot simplificado.

Tenemos a nuestro robot tomando sus decisiones en Marte. Al principio desde la Tierra era fácil predecir su comportamiento, ya que seguía las reglas que habían escrito en su programación. Según pasa el tiempo va aprendiendo cosas nuevas y su experiencia influye más sobre sus decisiones haciendo que desde la Tierra no puedan predecir al 100% sus actos. Sin embargo, si pudieran hacer un volcado de su software y analizarlo verían que sigue siendo un agente racional que elige la opción que sus preferencias internas le dicen que es la mejor.

Desde la Tierra preparan una actualización de software que incluye el módulo «libre albedrío». Una vez descargada e instalada ¿Qué aporta este módulo?. Ahora, antes de tomar una decisión, el agente tiene que tener en cuenta un elemento más, el «libre albedrío». Este módulo le da la libertad de, voluntariamente, elegir la opción que quiera sin ceñirse a sus preferencias. ¿Qué le aporta a nuestro robot elegir una opción que no es la que prefiere?. Probablemente nuestro robot pasé su vida eligiendo la misma opción con libre albedrío que la que elegiría sin él. Así que el libre albedrío no debería influir demasiado en el resultado ya que solo sirve para elegir una opción distinta a la mejor, cosa que poco va a interesar a un agente racional.

En resumen un agente racional al eligir la mejor respuesta según sus preferencias hace que el libre albedrío no le afecte demasiado ya que no afecta a las preferencias ni a como se valora cada opción, si no que permite elegir una distinta a la mejor opción. Lo cual no parece resultar muy útil. Aún en el caso de tener libre albedrío lo más probable es que el resultado no varíe y la respuesta sea la misma. Es difícil diferenciar entre un agente racional y un agente racional con libre albedrío.

Cosas que no necesitan libre albedrío

Muchas veces se atribuyen al libre albedrío ser la causa de diversos comportamientos que en realidad no lo requieren.

Comportamiento aleatorio: el comportamiento aleatorio es tan contrario al libre albedrío como el comportamiento determinista.

Curiosidad: ser curioso consiste en tener preferencia por las cosas nuevas o desconocidas.

Comportamiento irracional: muchas veces el comportamiento irracional se debe a las diferentes preferencias entre el que juzga y el que lo juzga. Un agente es racional siempre siga sus preferencias, sin importar las que sean. Aquí surge que a veces se confunde la irracionalidad de la inteligencia artificial con la asociada a ciertos comportamientos humanos. Por ejemplo las conductas autodestructivas se consideran irracionales, pero si yo programo un agente para que prefiera darse, literalmente, cabezazos contra la pared ese será un comportamiento racional.

Pero….

A nivel de comportamiento puede ser que no varíe el resultado pero eso no quiere decir que dotar de libre albedrío a un agente inteligente no sería un logro histórico para la humanidad. Tendría consecuencias científicas y filosóficas revolucionarias. Hay una diferencia enorme entre «elegir la mejor opción» y «elegir libre y voluntariamente la mejor opción».

Últimamente grandes empresas de tecnología como Google o Microsoft han tenido conflictos con sus trabajadores por querer aplicar sus conocimientos en I.A. al campo militar. Parece que hay una corriente en contra de dotar a las armas de inteligencia. Por otro lado el Pentágono dice que necesita desarrollar ese tipo de armas para poder defenderse de países con menos escrúpulos que si las desarrollen.

Actualmente la mayoría aceptamos que el uso de armas en defensa propia es legítimo y ético. Siempre y cuando se haga un uso proporcionado de las mismas. Incluso se acepta tomar represalias en respuesta a ataques siempre que se evite afectar a inocentes. ¿Quién se podría negar a ayudar a defender a tu país? Y aunque no sea patriota. ¿Quién se niega a defender a sus vecinos?. Creo que nadie, el problema es confiar en que el gobierno de tu país no va a usar las armas de forma poco ética.

Realmente las armas inteligentes hace muchos años que existen y se emplean. Quizás el caso más conocido sean los sistemas de guiado para que las armas alcancen su blanco. Siempre se ha defendido que su mejora reducirá los daños colaterales. Sin embargo en su origen estos sistemas servían para lo contrario.

Mejores armas y tratados internacionales

Los sistemas de guía nacieron en la segunda guerra mundial con los cohetes alemanes. Que un cohete llegase solo hasta su objetivo cuando hasta a los pilotos de los bombarderos les costaba localizar los objetivos fue todo un reto. Los primeros sistemas de guía eran poco más que cronómetros que pasado cierto tiempo de vuelo cortaban el flujo de combustible a los motores para que el cohete se precipitara sobre su objetivo. Con objetivos del tamaño de Londres era posible, pero no fácil, acertar. Derribar un solo bloque de edificios en una ciudad era imposible. Pero Londres no se bombardeaba para alcanzar objetivos militares se bombardeaba para desmoralizar a la población. Cohetes más precisos no eran la solución. La solución ha sido los Convenios de Ginebra. Es decir llegar al acuerdo entre naciones de unas reglas humanitarias que hay que respetar en los conflictos armados. Muchas armas como las químicas, bacteriológicas, lanzallamas, napal, minas antipersona, bombas de racimo,… Se han prohibido, gracias a acuerdos internacionales y por razones humanitarias, no por motivos tecnológicos.

Por tanto, la mejora de las armas no trajo consigo una reducción del número de civiles muertos. Lo tratados internacionales es lo que los ha traído y aun así sigue habiendo gran cantidad de «daños colaterales». La idea es que si un país incumple esos acuerdos podrá ser sancionado por el resto de los países. Para ello es necesario que exista un equilibrio de fuerzas ya que en el momento que un país supere en fuerzas al resto de países juntos podría hacer lo que quisiera….¿O no?.  No. Aunque un ejercito sea muy superior a otro toda lucha tiene un coste. Puede que seas más fuerte que tú rival pero no vas a usar la fuerza con él porque aunque ganes algún golpe vas a recibir y nunca es agradable. Además de que tiene un coste en imagen, nadie quiere tratar con alguien violento. Para los países es parecido solo que muchos más complicado. Tienen que cuidar la imagen exterior pero también hacia los propios ciudadanos. Igualmente una guerra tiene dos tipos de costes, económico y en vidas de los soldados enviados a combatir. Los ciudadanos no se toman nada bien la muerte de los propios soldados.

Reducir los costes de la guerra

La inteligencia artificial permite hacer armas baratas y precisas. Pero también sustituir a los soldados. Esto permite reducir el coste de la guerra, al menos en vidas de soldados. De primeras puede parecer una ventaja, pero tiene una pega. Al reducir lo que a un país le cuesta la guerra es más fácil es que decida comenzar una, aunque sean guerras «baratas» en vidas no parece que sea una buena idea dirigirse hacia un mundo donde sea más fácil mandar a máquinas a destruirse entre ellas que sentarse a negociar.

Además nos podemos plantear si el ideal de una guerra donde no mueran soldados es una guerra sin víctimas. Los daños colaterales no siempre son causados por ataques directos. La población también sufre por los daños a las infraestructuras (electricicidad, agua, luz, comunicaciones, carreteras, …). Por lo que la idea de una guerra sin bajas es cuestionable y la única lucha sin muertes es la que se da en las mesas de negociación.

Carrera armamentística

Con tecnologías como la inteligencia artificial con un desarrollo tan rápido se corre el riesgo de entrar en una absurda carrera armamentística donde cada arma queda desfasada antes de entrar en uso. Espionaje, desconfianza, dudas de lo que habrán desarrollado los demás, pruebas de fuerza para demostrar lo que tú eres capaz pero sin mostrar todas tus cartas, faroles,…. El peligro de todo esto es la mala imagen que da del campo de la I.A. y esto puede repercutir en los futuros investigadores que decidan dedicarse a investigar otras cosas.

El secretismo retrasa el desarrollo

La investigaciones militares están rodeadas de un gran secretismo. Por lo que se corre el riesgo que los resultados y avances que ellos obtengan queden clasificados y no aporten a la comunidad. Si no que se lo pregunten a Clifford Cocks que creo un sistema de cifrado de clave asimétrica en 1973 pero que el gobierno británico mantuvo en secreto hasta 1997. Lo irónico de todo esto es que ese sistema fue reinventado en 1977 de forma independiente dando lugar al hoy conocido como «algoritmo RSA». En apenas 4 años su «sistema de cifrado secreto» podía ser usado por cualquiera. Y es que en el mundo actual con tanta gente cualificada es difícil que ningún gobierno o empresa desarrolle algo que nadie más este a punto desarrollar. La única manera que tiene un gobierno de proteger sus «armas secretas» es crear leyes que limiten el desarrollo de ciertos campos fuera del ámbito militar. Estados Unidos ha llegado a tener leyes muy estrictas sobre tecnologías para cifrar datos.

En la lista de afectados por este secretismo y prohibiciones podemos encontrar: la colaboración entre países, las universidades y sus investigadores, las empresas privadas, y los proyectos de software libre….casi nada.

I.A. tomando decisiones éticas

Las decisiones que tiene que tomar el ejercito no siempre son fáciles. De hecho puede que no haya solución buena. ¿Bombardear un campamento enemigo donde puede haber civiles pero que evitara una batalla más cruenta en un territorio más poblado? ¿Y si solo reduce el número de bajas de tus soldados? ¿Unos pocos civiles para evitar la muerte de miles de tus soldados?. ¿Cuantos daños colaterales son aceptables en un bombardeo?. Si hacemos máquinas inteligentes con la capacidad de decidir sobre la vida y la muerte han de ser capaces de lidiar con semejantes decisiones. Lo mínimo que ha de ser capaz es de saber a quien puede y a quien no puede disparar. O casos mas complejos como cuando un enemigo se ha rendido o esta herido. Un arma inteligente debe de respetar los tratados internacionales.

El ser humano no es perfecto. Son famosos muchos abusos de soldados a prisioneros. Sin embargo una I.A. dotada de una ética que le prohibiese comerte esos abusos nunca los cometería. ¿No podemos hacer armas dotadas de ética? Es difícil. Para empezar desde el punto de vista de todo ejercito ellos son los buenos. Las «hordas malvadas» existen en las películas, todos los soldados son personas con una vida, amigos y familia. Luchando por lo que creen que es lo correcto o por lo menos por lo que su país cree que es correcto. Incluso es posible que cada bando tenga parte de razón. A una guerra rara vez se llega de un día para otro, suele ser causa de una escalada de tensiones y de agresiones que termina en un conflicto entre bandos. Posiblemente la postura ética de «la violencia solo esta permitida en defensa propia» sea la más adecuada, pero difícilmente un ejercito va comprar un arma con esa forma de pensar. Sin embargo un arma inteligente que no tenga ningún tipo de limite ético seria poco más que una picadora de carne.

El peligro de que se vuelvan en nuestra contra

Quizás sea el caso menos probable, pero si dotamos a un arma de la capacidad de matar, debemos asegurarnos de que no la va a usar contra los seres humanos de forma indiscriminada. No podemos permitir que mate soldados, civiles, sanitarios, periodistas y cualquier cosa que se parezca a un ser humano. Asi que la ética de la I.A. actúa, ademas de como extensión de nuestra propia ética, como mecanismo de seguridad.

Una I.A. puede volverse en contra nuestra no solo por que alcance un nivel de consciencia tal que le permita «volverse contra sus creadores», también esta expuesta a problemas técnicos (averias, bugs, daños) y «hackeos» desde el otro bando. Este escenario es más probable y en el caso de un ejercito con gran dependencia de este tipo de armas puede ser un desastre.

Sin embargo el escenario más probable por el que un arma puede acabar siendo usada contra los soldados del país que la desarrollo. Su comercialización. La venta de armas mueve decenas de miles de millones de euros anuales. Es una cantidad muy jugosa como para no comercializar las innovaciones. Es cierto que se trata de limitar a que países se venden, pero al final cuando un arma se introduce en el mercado resulta difícil que no acabe en manos de aquellos países que tengan dinero para comprarlas.

Derecho a la defensa

Los países tienen el derecho y la necesidad de poder defenderse. Eso impulsa la carrera armamentística de fabricar armas antes de que lo haga el enemigo. Sin embargo no es del todo cierto. No hace falta tener las mismas armas para defenderte del enemigo. De las armas químicas o biológicas no te proteges con más armas químicas o biológicas si no mejorando los tratamientos. La defensa legitima la investigación en todo tipo de armas «para defendernos de ellas». Pero conocer cómo funcionan no quiere decir que se desarrollen. Precisamente para evitar eso entran de nuevo los tratados internacionales que vigilen que el resto de países no las fabriquen.

Los programadores y las armas

¿Puede un trabajador quejarse de que su trabajo se use en armas?. En un mundo ideal un trabajador tiene derecho a tener cierto control ético sobre su trabajo y más cuando es un trabajo creativo. en un mundo menos ideal y más real se entabla un «tira y afloja» con la empresa y dependerá de la fuerza que tenga cada uno. La mayor amenaza que tiene un trabajador es dimitir si la empresa sigue adelante. Nadie puede discutir el derecho de un trabajador a dimitir e irse si no le gusta lo que hace. En un área tan competitiva y necesitada de expertos como la inteligencia artificial el riesgo de causar descontento entre tus trabajadores y que una cantidad apreciable de ellos te abandonen por la competencia puede causar más costes que el beneficio que te reporte un proyecto militar, que además te va a producir mala imagen pública.

Conclusiones

El control de las armas ha de realizarse a través de tratados internacionales, la presión pública y la ética profesional.

La militarización de un campo puede entorpecer su desarrollo y dañar su imagen.

Mejores armas y más baratas no significan menos víctimas, ni guerras más humanas significa que sea más «barato» entrar en una guerra.

El big data esta de moda, la cantidad de empresas que anuncian que usan big data para mejorar los resultados del servicio que ofrecen no para de crecer. Muchas de ellas no tienen muy claro de que hablan o se dedican a entrenar algún modelo de aprendizaje máquina lanzandole datos sin limpiar ni procesar y esperan obtener algo que funcione. Por supuesto hay muchas que saben lo que hacen. Aún haciendo todo de forma correcta el big data y la I.A. corren el riesgo convertirse en los oráculos modernos. Le metes datos, esperas y obtienes una respuesta y sin la necesidad de sacrificar una cabra a ningún dios. El problema es que quienes acuden a estos oráculos toman las respuestas como verdades absolutas, sin entender de donde ha salido esa respuesta. Muchos de estos modelos se empiezan a aplicar para valorar a personas: concederles una hipoteca, un trabajo, la libertad condicional o una tarjeta de crédito, son solo algunos ejemplos. Aplicar estos modelos de caja negra a asuntos humanos es arriesgado y puede llegar a causar bastantes injusticias.

En esta entrada voy a tratar de describir algunos principios que deberían de cumplir los modelos obtenidos a partir de grandes cantidades de datos para que su uso con personas sea justo. Describe un ideal de las características que debería de tener un sistema así.

Ser transparente

Si se va a emplear un modelo obtenido a través de big data sobre alguna persona está debería ser correctamente informada de ello. Además debe de saber lo eficaz que es ese sistema. Su tasas de falsos positivos y negativos.

Ser entendible

Se ha de entender el proceso de decisión del sistema. Si no se entiende se corre el riesgo de estar tomando decisiones basadas en datos anecdóticos o sesgos en los datos del entrenamiento.

Para estar seguro de esto un humano experto ha de ser capaz de entender el funcionamiento del sistema y las decisiones que toma..

Ofrecer explicaciones

Tiene doble función, primero ayudar al punto anterior y segundo que la persona que ha sido evaluada por el sistema sepa que motivos han llevado a considerarla «apta» o «no apta».

Puede parecer que con que un sistema ofrezca un resultado es suficiente, pero la realidad es que no lo es. Si no sabes porque estas descartando a una persona no puedes decirselo y esta persona no sabe que tiene que cambiar para «pasar la prueba».

Resulta algo extremadamente frustrarte. Si no sabes que tienes que cambiar la sensación es que «estas marcado de por vida». Si una persona es informada de cuales han sido los motivos por los que es «no apta» puede valorar si trata de cambiarlos o no. Lo cual puede ser una ventaja para ambas partes. Imagínate que un banco te niega una hipoteca o un crédito por el único motivo de que no tienes un aval. Pero en realidad si que lo tienes o lo puedes pero no consta en los datos. Ambos estáis perdiendo una oportunidad beneficiosa.

Validación continua

Es necesario tener validación de su correcto funcionamiento permanentemente. Es fundamental comprobar que las conclusiones que ha tomado el sistema son correctas. La sociedad y el mundo cambia pudiendo hacer que el modelo quede obsoleto y falle si no se adapta correctamente. Hay que tener un mecanismo de revisión y validación para asegurarse de que sigue funcionando.

Asociado a esto tiene que tener un mecanismo de corrección. Si por ejemplo se descubre que el sistema tiene en cuenta algún dato que ya no se puede usar ha de poder descartarse este dato. En los últimos años hemos vivido varios cambios en las leyes sobre protección de datos. Un dato que se puede usar hoy en unos años puede ser ilegal usarlo, los sistemas han de ser capaces de adaptarse a eso.

Saber que datos nuestros se han usado

Tenemos derechos sobre nuestros datos y el mínimo de ellos es saber cuales se han usado y de donde provienen. Con más motivo si esos datos se usan para tomar decisiones sobre nosotros.

No solo saber que datos se usan, también El origen de los datos es importantes. La fuente que provee de datos pueden preferir cantidad a calidad y no verificarlos correctamente o ahorrar costes no verificando si datos de hace años aún son ciertos.

Muchas veces los datos tienen una historia detrás. No es lo mismo estar en una lista de morosos por tener varios créditos sin pagar que por tener pendiente una factura de un servicio tras discutir con el proveedor del mismo.

Gestión de casos extraordinarios

Solo con modelos muy simples el sistema acertará siempre. En el resto de las situaciones habrá casos extraordinarios que serán mal clasificados. Hay que saber como gestionar estos casos. No basta con justificarse en «lo dice el ordenador». Tiene que haber formas de saber si estamos ante un caso mal clasificado y es el oráculo ha hecho mal su trabajo.

Objeciones

«Una empresa privada ¿Por qué ha de seguir estas reglas?» Primero porque trabaja en la sociedad y tiene que seguir sus reglas y colaborar en mantenerlas. Segundo porque estos sistemas tienen el riesgo de extenderse. Un sistema realmente bueno puede ser vendido como servicio, que las empresas empiecen a contratarlo y entonces afectaría a millones de personas.

«Si las estadísticas dicen que algo es así será por algo». Si, obvio que es por algo. Pero antes de empezar a valorar a un grupo de personas por ser peores trabajadores o más delincuentes o menos confiables o cualquier prejuicio similar piensa que según las estadísticas un hospital es un lugar donde muere mucha gente y es mejor no ir y menos aún si estas enfermo. El que un hospital es un sitio peligroso para los enfermos es un prejuicio causado por un una visión parcial de la realidad fijándose solo en datos.

«Es un gran avance y puede producir un gran beneficio, no merece la pena frenarlo por unos pocos casos en os que resultaría injusto». Lo de sacrificar a unos pocos para obtener un bien mayor ha justificado muchas barbaridades. No es una cuestión de prohibirlo, si no de buscar un equilibrio.

«Con el tiempo mejorara y alcanzara una precisión absoluta». Es difícil que eso ocurra en los próximos años y posiblemente décadas. La realidad es demasiado compleja para separar fácilmente todos los casos sin cometer ningún error. De hecho incluso seria discutible que es un error y que no lo es.