SÍNTESIS DE LA SESIÓN DEL 15 DE ABRIL DE 2020
| Descargar en formato PDF |  |
 |
| Fotografías disponibles (Flickr) | ||
El comité de expertos del Seminario Permanente La Huella Digital: ¿servidumbre o servicio? ha celebrado su tercera sesión el 15 de abril de 2020 por videoconferencia, dadas las restricciones en vigor por COVID 19; se ha centrado esta vez en el impacto del análisis de datos y de la “inteligencia artificial” (IA) en la transformación de la actividad financiera y aseguradora.
Diego Bodas Sagi, Lead Data Scientist de Mapfre, ha presentado el tema desde la experiencia y la reflexión de la empresa. Paul H. Dembinski, director del Observatoire de la Finance en Ginebra, ha aportado a continuación elementos de reflexión crítica. El seminario permanente, que continuará su trabajo hasta junio del 2021, tiene el objetivo de explorar cómo se puede generar un debate ético eficaz sobre el buen gobierno de la innovación tecnológica desde una perspectiva interdisciplinar. Para conseguir ese propósito, el comité de expertos promueve el intercambio de puntos de vista de filósofos, sociólogos, comunicólogos, economistas, juristas, tecnólogos y personas con experiencia directiva o laboral de empresas del sector tecnológico, financieras e industriales, cada uno desde su experiencia, pero buscando superar los discursos unilaterales de cada disciplina.
La interpretación de los modelos de IA y la toma de decisiones
Visto desde la empresa, el motor de la transformación digital es la competencia en un contexto en el que los clientes demandan servicios de calidad, que sean proporcionados de forma eficiente y ágil. En el caso concreto de la actividad aseguradora, la misión del sector es la gestión de riesgos; en los últimos años han aparecido nuevos retos, tanto por su naturaleza como por su frecuencia. Ejemplos de esto son el fenómeno atmosférico de las “DANA” (depresión aislada en niveles altos) que ocurrieron los últimos meses en España y supusieron decenas de miles de asistencias semanales para las aseguradoras; o los nuevos riesgos cibernéticos que afectan a empresas e instituciones – con dimensiones desconocidas hasta ahora por el cúmulo de riesgo sin frontera; o la crisis sanitaria creada por la pandemia del Covid-19. La aparición de estos fenómenos es difícil de anticipar, pero la economía de un país depende de la capacidad de respuesta ante este tipo de contingencias, correspondiendo al sector asegurador y financiero buena parte de la responsabilidad.
Para hacer frente a los nuevos problemas, las compañías aseguradoras deben dar soluciones eficientes y ágiles, apoyándose en las técnicas de análisis de datos más avanzadas. Su aplicación no es un mero intento de “robotizar” tareas existentes, sino esencialmente de responder a problemas nuevos por sus características o frecuencia. La clave de la respuesta está en la prevención. Es decir, para tener un control adecuado de la situación, hay que adelantarse a los acontecimientos. Esto se logra con la medición y análisis de los datos, y posterior ejecución de los modelos de Inteligencia Artificial que constituyen un elemento cada vez más relevante para la toma de decisiones. En resumen, para gestionar el riesgo hay que medir y para medir hay que tener datos.
En la gestión de riesgos apoyada en la IA, la primera necesidad es el buen gobierno del dato. La plena aplicación de la legislación y la regulación europeas es una buena base de partida para la obtención de unos datos confiables y adecuados a los objetivos, lo que supone la calidad de la información. En este sentido, es primordial que las empresas inviertan en procedimientos, herramientas y recursos que garanticen la implantación de un buen sistema de gobierno de los datos, sin los cuales es imposible llegar a resultados de confianza. Asegurada la calidad y gobierno del dato, la segunda condición necesaria es la adecuación de la metodología para asegurarse de que los proyectos abarcados están alineados con las necesidades de negocio, se cumple con rigurosidad el método científico y los estándares técnicos, y se monitorizan correctamente los modelos industrializados.
A partir del análisis de datos, la interpretabilidad y la monitorización constante de los modelos de IA son piezas fundamentales para mitigar los riesgos en la aplicación de la IA. Teniendo en cuenta el ámbito de actuación, los profesionales pueden intentar comprender por qué los modelos proponen ciertas medidas, con el fin de no decidir nada a ciegas. La IA no comprende lo que está proponiendo tal y como lo haría un humano, por ello tampoco tiene capacidad de reacción ante imprevistos. Lo último hace que, ante decisiones relevantes, la IA requiera supervisión humana experta. Las compañías deben implantar modelos para llevar a cabo aquellas operaciones que no se pueden abandonar al proceso automático.
La automatización de la decisión admite muchos grados, dependiendo del uso. Se puede permitir que la IA ejecute sin más una resolución sobre aspectos que no ponen en peligro el bienestar del ciudadano, como por ejemplo recomendar un libro o una serie TV ya que se ha generado un patrón de los gustos del consumidor. Sin embargo, en el caso de decisiones más trascendentales, diagnósticos médicos, decisiones económicas de gran calibre, etc. debe analizarse con detalle y rigurosidad si procede la automatización completa del proceso o, por el contrario, los algoritmos constituyen un aporte de información más para los humanos que deben tomar la decisión final. En muchos contextos, existirán aspectos que deben ser tenidos en cuenta que no hayan podido traducirse a datos interpretables, o sesgos en los datos difíciles de controlar. El debate surge en aquellos casos en los que no parece del todo claro si se puede o no dejar la decisión a la IA, por ejemplo, en la concesión de un crédito o de una cobertura de seguro. En líneas generales, parece claro que la utilidad de la IA está en despejar prejuicios subjetivos y en facilitar una toma de decisión humana plenamente informada, pero en el debate se mantiene la duda sobre el alcance respectivo de la respuesta automatizada y de la “deliberación” propiamente humana.
Prevención de daños o control social
La gestión de datos para la prevención de riesgos tiene dos caras que abren el debate ético respecto a la intencionalidad de las fórmulas del cálculo: lo que para algunos aparece como perjudicial, para otros es algo positivo. Para ilustrar eso se puede atender al ejemplo de las pulseras de actividad. El registro de la actividad de las personas se muestra como un método preventivo. Los datos que estas pulseras recopilan ayudan a predecir si una persona es propensa a tener ciertos problemas de salud, como aquellos que se derivan de la obesidad o el riesgo de sufrir un infarto. Desde este punto de vista, los datos ayudarían a mejorar el sistema de prevención, lo que sería benéfico para las personas que podrían verse afectadas por ciertas enfermedades, para el sistema sanitario y el económico. Pero, por otro lado, para algunos expertos este tipo de información, sin duda buena para las empresas, podría afectar de forma negativa a la selección de riesgos: por ejemplo, podría llegar a darse el caso en el que, por tener toda la información de una persona gracias a las pulseras de actividad, se le niegue el acceso a un seguro de salud.
Para algunos, las empresas aparecen como un ente todopoderoso que se encuentra en una situación de superioridad ante un consumidor individual que queda en desventaja. El proveedor de servicios está en una situación privilegiada porque tiene la información, todos los datos del individuo. En esta relación asimétrica se plantea la cuestión de confianza: ¿se puede dar por bueno el propósito de quien controla todo el proceso? ¿No existe el riesgo de que, mediante una personalización total del producto y del precio, el mercado deje de funcionar y el consumidor pierda toda libertad de opción? Ante esta visión, los operadores señalan que, al menos en Europa, el margen de personalización es reducido puesto que el Reglamento General de Protección de Datos se ha establecido como una cierta garantía contra las discriminaciones. Esta norma de privacidad, pionera en el mundo, vela para que cierta información de los ciudadanos europeos, como pueden ser la raza o el sexo, no se pueda utilizar a la hora de decidir sobre la concesión de servicios financieros o de seguros. Además, el uso de estos datos para la selección de riesgos está regulado, ya sea por el Banco de España, ya sea por la Dirección General de Seguros.
En la relación asimétrica entre individuos y empresas respecto al uso de datos personales, surge constantemente la dialéctica entre prevención y control. ¿El uso de información personal es beneficioso o perjudicial para la sociedad? En el seguro de automóviles, por ejemplo, puede parecer deseable para el interés general que, por medio de la monitorización de la actividad de una persona, se conozcan las posibilidades que ésta tiene de provocar un accidente. No es nuevo que se apliquen precios distintos a distintos perfiles de personas, tipos de coches o situaciones de riesgo, cosa que con herramientas de IA se puede hacer con mayor precisión. Algunos temen que, de esta forma, se ponga en duda el principio básico del seguro, la mutualización del riesgo. Desde el punto de vista de la empresa aseguradora, este temor no tiene fundamentos ya que las coberturas y los precios, aunque estén parcialmente personalizados en función de perfiles y riesgos distintos, están siempre basados en una probabilidad relativamente baja de ocurrencia del siniestro, cuyo coste se cubre mediante una multitud de primas de asegurados. Además, como se ha dicho anteriormente, los riesgos y causas de siniestros evolucionan constantemente y la probabilidad del siniestro, por consiguiente, no deja nunca de ser una aproximación.
Otro ejemplo de esta problemática aparece con la ya mencionada concesión de créditos. Se cree que gracias a las herramientas de IA los bancos pueden ser más exactos a la hora de determinar qué personas son buenas candidatas para recibir un crédito. En función de determinadas variables, los algoritmos determinan si un individuo es más o menos propenso a terminar en la lista de morosidad. Hay quien defiende que esto es bueno para todos, bancos y ciudadanos, ya que el deterioro de la cartera de créditos y/o la concesión imprudente de créditos (como se vio en la crisis financiera de 2008) traen como consecuencia un sufrimiento social generalizado. La información exacta permite además a los bancos determinar con mayor precisión su nivel de reservas obligatorias, lo que puede ayudarles a no limitar excesivamente la concesión de nuevos créditos.
La cuestión es más bien que ciertas decisiones deben replantearse con la llegada de las herramientas de la IA que introducen procesos automáticos, en opinión de algunos no totalmente transparentes, donde antes intervenían decisiones humanas apoyadas en herramientas estadísticas tradicionales. La dificultad viene de las características de precisión y escalabilidad cuando es la estadística la que llega a juzgar comportamientos individuales. La buena fe de las compañías a la hora de diseñar los criterios y la finalidad de los algoritmos deberá demostrarse con controles independientes, auditorías específicas y nuevas instancias de responsabilidad social corporativa. Este control no puede depender exclusivamente de la regulación y del sector público, que probablemente no tiene capacidad instalada para ello. Es imprescindible que intervenga una racionalidad ética, y no puramente funcional, dentro de los mismos procesos operativos empresariales: en otros términos, es necesario “repensar” cada modelo de negocio en función de la tecnología IA que afecta, no sólo a las funciones tradicionales, sino que permite abordar nuevos riesgos, al mismo tiempo que plantea cuestiones éticas distintas a las tradicionales en su naturaleza y en su dimensión.
La distancia moral
En el siglo XII el Concilio de Letrán prohibió la ballesta ya que se consideraba que dado que la flecha alcanzaba unos objetivos que se encontraban fuera de la vista del arquero, éste no podía juzgar moralmente el efecto de sus obras. A este problema se le llama la distancia moral. Lo que ocurrió con la ballesta en la Edad Media es lo que parece ocurrir en el siglo XXI con las tecnologías digitales. Aquellos que deciden sobre el uso de algoritmos y bases de datos se ven afectados por una “distancia moral”. La proximidad es clave a la hora de tomar decisiones morales, pero ésta se ve en gran parte eliminada con las herramientas de IA que funcionan en base a categorías y segmentos definidos lejos de su objeto real.
Algunos sospechan que la distancia moral podría no ser un efecto concomitante de las innovaciones tecnológicas, sino un efecto buscado como objetivo para “perfeccionar” la sociedad de consumo. Una vez más, el uso de IA hace necesario desarrollar una racionalidad distinta que incorpore unos fines de interés general, para compensar esta distancia puesto que es materialmente inevitable que surja. Hablar de ética no es hacer una segunda valoración respecto de una decisión tomada previamente, es una forma de racionalidad que se debe reforzar y educar, en ella se debe incluir la afectividad, pero no puede ser determinante.
El avance del uso de la huella digital y de la IA pone de relieve un riesgo latente de “regresión moral” en nuestra sociedad. Como se ve en la presente crisis de COVID-19, la técnica es esencial para atacar la pandemia y sus consecuencias, pero hay decisiones y prioridades que no se pueden tomar sobre la base del cálculo, sino que son deliberativas. Para abordarlas, no basta con los planteamientos unilateralmente determinados (“pre-convencionales” en la terminología de Lawrence Kohlberg) propios de las máquinas; tampoco basta con los criterios convencionales pendientes de la opinión pública o de la autoridad; es imprescindible desarrollar la capacidad moral “post-convencional”, es decir el juicio ético autónomo de los agentes. Promover esta capacidad ética propia supone probablemente que las instituciones, tanto privadas como públicas, dispongan de espacios donde se ejerza la libertad de opinión de las personas, aun cuando su opinión sea contraria a lo que dicten los procesos automatizados, y donde se contrasten las cuestiones técnicas con opiniones expertas.
Listado de asistentes:
- Albert Cortina, Abogado, Experto en Transhumanismo Director del Estudio DTUM
- Alfredo Marcos Martínez, Catedrático de Filosofía de la Ciencia, Universidad de Valladolid
- Alfredo Pastor Bodmer, Economista, Profesor emérito, IESE
- Ángel Gómez de Agreda, Coronel Jefe, Área de Análisis Geopolítico DICOES/ SEGENPOL
- Ángel González Ferrer, Director Ejecutivo Centro Cultura Digital Consejo Pontificio para la cultura del Vaticano
- Carlos Losada Marrodán, Profesor titular, Dpto, de Dirección General y Estrategia ESADE
- Carolina Villegas, Investigadora de la Cátedra Iberdrola de Ética Financiera y Empresarial, Universidad Pontificia de Comillas
- David Roch Dupré, Investigador en Formación, Instituto de Investigación Tecnológica
- Diego Bodas, Lead Data Scientist de Mapfre
- Domingo Sugranyes, Director del Seminario de Huella Digital
- Esther de la Torre, Responsible Digital Banking Manager, BBVA
- Francisco Javier López Martín, Ex-Secretario General , CCOO de Madrid
- Gloria Sánchez Soriano, Directora de Asesoría Jurídica de Tecnología, Costes y Transformación de grupo Santander
- Guillermo Monroy Pérez, Profesor, Instituto de Estudios Bursátiles
- Idoia Salazar, Experta en Ética en IA, Universidad CEU San Pablo
- Idoya Zorroza, Profesora Contratada Doctora, Facultad de Filosofía, Universidad Pontificia de Salamanca
- Ignacio Quintanilla Navarro, Filósofo, Educador, Universidad Complutense de Madrid
- Jesús Avezuela, Director General de la Fundación Pablo VI
- Jesús Sánchez Camacho, Profesor de la Facultad de Teología, Universidad Pontificia Comillas
- José Luis Calvo, Director de Inteligencia Artificial en SNGULAR
- José Luis Fernández, Director de la Cátedra Iberdrola de Ética Económica y Empresarial ICADE
- José María Viñals, Socio, Squire Patton Boggs
- Juan Benavides, Catedrático de comunicaciónUniversidad Complutense de Madrid
- Pablo García Mexía, Jurista Digital, Of Council Ashurst LLP
- Paul Dembinski, director del Observatoire de la Finance en Ginebra
- Raúl González Fabre, Profesor, Universidad Pontificia de Comillas
- Richard Benjamins, Embajador de Data & IA, Telefónica
- Samuel Privara, Experto en el área de cibernética, robótica e inteligencia artificial
