Juli Ponce: "La reserva de humanidad es clave: las máquinas son psicópatas, no tienen empatía" 🤖
"Con IA se pueden evitar desastres como una DANA, pero el factor humano es imprescindible. La combinación entre humanos y máquinas definirá el futuro de la administración pública" 🧠+💻
Juli Ponce Solé (Barcelona, 1967), catedrático de Derecho Administrativo de la Universidad de Barcelona. Juli Ponce es una de las mentes más entendidas en administración, sector público e inteligencia artificial. Dirigió la Escuela de Administración Pública de Catalunya y es uno de los expertos de la Generalitat para reformar la administración.
En los próximos años se jubilará un millón de funcionarios y trabajadores públicos. ¿Podrían ser sustituidos por máquinas?
Hay una ola de jubilaciones en el sector público debido a una cuestión demográfica y, al mismo tiempo, cálculos sobre cuántos puestos de trabajo podrían automatizarse mediante sistemas diversos, que incluyen inteligencia artificial, y la cifra asciende a un millón. Este cálculo de automatización se proyecta para 2030, coincidiendo con esta ola de jubilaciones. Por tanto, al pensar en el modelo de administración pública del futuro, será necesario tener en cuenta ambos factores.
Usted, que ha estudiado la reforma de la administración y fue director de la Escuela de Administración Pública, ¿cómo lo ve? ¿Es una oportunidad o un problema con la legislación y la tecnología actuales?
Vivimos tiempos interesantes, y esto debe ser una oportunidad, aunque también conlleva riesgos negativos. La jubilación masiva de empleados del sector público ofrece una ocasión para repensar qué administración hemos tenido hasta ahora y cuál queremos para los próximos años. Esto sucede en un contexto de cambio tecnológico acelerado, donde disponemos de una serie de tecnologías que podrían permitirnos construir una mejor administración pública: una administración que preste mejores servicios públicos y haga efectivo el derecho de los ciudadanos a una buena administración. La clave estará en combinar jubilaciones y tecnologías para lograr una mezcla virtuosa y conseguir una mejor administración pública. Creo que hay muchas posibilidades de mejora, pero también riesgos que debemos valorar.
¿Cuáles son esos riesgos?
Son diversos y afectan directamente a los derechos de los ciudadanos en sus relaciones con las administraciones públicas. Derechos como la protección de datos o el derecho a la igualdad, que puede verse comprometido por los sesgos de los sistemas de inteligencia artificial. Incluso el derecho a una buena administración puede estar en peligro debido a los errores que presentan estos sistemas.
De hecho, si observamos casos en el ámbito internacional, en algunas administraciones que han apostado decididamente por la automatización con sistemas de IA se han producido episodios notables que han generado malas administraciones. Por ejemplo, el caso de Robodebt en Australia: un programa de seguridad social que reclamaba cantidades a ciudadanos que no debían y que terminó en litigios. Otro caso notorio, que incluso tiene una serie de televisión que recomiendo, es el del señor Bates contra el servicio postal británico. Un programa generó una serie de errores en las oficinas de correos del Reino Unido, culpando a los gerentes de esas oficinas, lo que les supuso un auténtico calvario con despidos, litigios y suicidios. Finalmente, se descubrió que el problema no era humano, sino de los sistemas automatizados.
En España también tenemos un caso pendiente de resolución en el Tribunal Supremo, conocido como el caso Bosco. Este sistema, diseñado para tramitar más rápidamente el bono social de energía para personas en pobreza energética, tenía errores. La Fundación Civio detectó estos fallos y solicitó el acceso al programa informático, pero la administración pública se lo denegó. Hasta el momento, los tribunales han fallado a favor de la administración en dos ocasiones, aludiendo razones de propiedad intelectual. Sin embargo, hace pocos días, el Supremo admitió el recurso de casación, lo que significa que habrá una sentencia de máxima instancia para decidir si se puede acceder al código del programa Bosco para comprobar si contiene errores o no. Este será un caso emblemático que marcará la pauta para los próximos años.
¿Hay oportunidades, riesgos… y los costos?
Tenemos costos de tipo ambiental, ya que los sistemas de inteligencia artificial consumen una cantidad considerable de agua y energía. Nos corresponde a los humanos, también en el sector público, sopesar costos y beneficios, y analizar exactamente dónde podemos mejorar la administración y dónde los riesgos y los costos excesivos hacen que no valga la pena adquirir sistemas de IA.
En Catalunya, ¿el caso más conocido es el de Riscanvi?
Sí, probablemente. Es un sistema muy sencillo, algorítmico, sin inteligencia artificial porque todo es humano, que fue influido por un colega mío de la Universidad de Barcelona, el doctor Antonio Andrés Pueyo y su equipo. Es un sistema diseñado para ayudar en la toma de decisiones en el ámbito penitenciario, como en cuestiones de libertades condicionales, entre otros. Me parece una iniciativa interesante, pero nuevamente debemos considerar los riesgos y beneficios. Algunos afirman que aporta beneficios reales, como la automatización y la fundamentación de las decisiones en una serie de ítems. Sin embargo, como cualquier sistema algorítmico, no está exento de críticas. Algunos estudios mencionan el caso Riscanvi como ejemplo del llamado sesgo de automatización.
¿Qué significa el sesgo de automatización?
Que los humanos, todos, tendemos a confiar demasiado en las máquinas porque, generalmente, hacen bien su trabajo. Por ejemplo, solemos confiar en el GPS porque nos lleva a nuestro destino, pero en ocasiones puede guiarnos por rutas absurdas e incluso ha habido personas que han perdido la vida por seguir ciegamente las indicaciones del GPS. En el caso de Riscanvi, podría existir un sesgo de automatización en el humano que toma la decisión final, ya que en un 97 % de los casos acepta lo que le indica el sistema algorítmico.
¿Qué otros usos de la IA existen en la administración en Catalunya?
Se han extendido muchos chatbots en las administraciones municipales y otros organismos para mantener conversaciones con los usuarios. Son sistemas interesantes que permiten la interacción, pero nuevamente los riesgos están presentes.
¿Cómo se imagina la administración dentro de 10 años? ¿Con más humanos que máquinas o con más máquinas, pero con los humanos al mando?
Si pensamos en una década, sin duda habrá más humanos que máquinas, pero la presencia de sistemas de automatización en la actividad administrativa, incluida la IA, aumentará. Lo difícil de predecir es en qué proporción. Es posible encontrar el equilibrio adecuado entre humanos y máquinas para mejorar la administración. Sin embargo, el riesgo es acabar teniendo lo peor de ambos mundos: lo peor de las máquinas (falta de empatía, formas de razonar limitadas) y lo peor de los humanos (sesgos y limitaciones en la capacidad de procesar información). Esto es lo que deberíamos evitar.
¿Con la IA tendremos una mejor administración en 10 años?
Depende. La administración que tenemos hoy es manifiestamente mejorable, por lo que sí es posible, pero solo con una combinación adecuada de humanos y máquinas. Todo dependerá de las decisiones estratégicas que se tomen ahora pensando en las próximas décadas. Y dependerá de decisiones humanas; esto no lo solucionará el ChatGPT. Las decisiones estratégicas que tomemos ahora sobre cómo mejorar la administración, y en Catalunya tenemos mucho margen de mejora según rankings internacionales, y sobre cómo combinar máquinas y humanos, influirán decisivamente en las próximas décadas.
Dentro de 10 años, si hubiese una DANA en Valencia, con más IA se evitaría la mala gestión. Para según qué cosas, es mejor estar en manos de las máquinas que de los humanos.
Para según qué cosas, sí, pero siempre que las máquinas estén supervisadas por humanos. No tengo ninguna duda de que, con sistemas avanzados de automatización e IA, fenómenos como el desastre de una DANA serían más fáciles de prever, detectar y gestionar. Sin embargo, siempre nos encontraremos con el factor humano.
Un ejemplo ilustrativo es el caso del coronel Petrov en los años ochenta, durante la Unión Soviética. Trabajaba en una base de misiles nucleares que un día detectó, a través de sus sistemas algorítmicos, un supuesto ataque nuclear estadounidense. Petrov tenía en sus manos la decisión de responder al ataque. Si no respondía y el ataque era real, supondría la destrucción de la Unión Soviética. Pero si el ataque no era real y él reaccionaba, provocaría la destrucción de Estados Unidos y, probablemente, del mundo. Fue un momento angustioso. Finalmente, Petrov decidió por iniciativa propia no reaccionar ante el supuesto ataque. No lo vio claro, esperó unos minutos y, efectivamente, no había ningún ataque.
Por lo tanto, dentro de 10 años podremos prevenir DANAs y hasta guerras nucleares, probablemente, pero nuevamente debemos tener cuidado con la combinación humano-máquina.
En su último libro, El Reglamento de Inteligencia Artificial de la Unión Europea 2024: el derecho a una buena administración digital y su control judicial en España, habla de la reserva de humanidad. ¿Esto significa que tendremos una administración donde las máquinas hagan el trabajo pesado y los humanos tomen las decisiones más selectivas o políticas? ¿O la reserva de humanidad debería aplicarse en todos los niveles de la administración?
La reserva de humanidad implica la existencia de una serie de tareas y funciones que no deberían ser asumidas por las máquinas. Por ejemplo, ¿qué preferiría el ciudadano? ¿Que lo juzgase una máquina o un humano? ¿O que las decisiones urbanísticas de su pueblo no las tomara el pleno del ayuntamiento, sino una máquina a la que se le hubiera delegado previamente? ¿O que la regulación del acceso a la universidad o cuestiones médicas las decidiera una máquina?
Algunos se sentirían cómodos, otros menos, incluso aunque no fueran luditas. La idea de la reserva de humanidad no es nueva. Ya en los años setenta del siglo pasado se lanzó un chatbot llamado Eliza, al que la gente llegó a tomarle cariño.
En el sector público, la reserva de humanidad tiene tres razones principales:
Falta de empatía en las máquinas. Las máquinas son psicópatas; ni a medio ni a largo plazo dejarán de serlo porque no tienen empatía. Mientras que el 99 % de los humanos no somos psicópatas, nuestro cableado neuronal funciona correctamente, contamos con neuronas espejo y estamos entrenados en la empatía. En decisiones como expropiar o sancionar, la capacidad de entender la situación de una persona afectada es esencial, algo que las máquinas no poseen.
Razonamiento humano versus IA. Las IA que tenemos hoy no razonan como los humanos. Las más sencillas, las de los años cincuenta, funcionan con sistemas de razonamiento abductivo. Las más sofisticadas, basadas en aprendizaje automático o profundo, utilizan razonamientos inductivos: procesan grandes cantidades de datos para deducir patrones, predicciones y decisiones. Sin embargo, los humanos no solo razonamos de estas formas; contamos con sentido común y conocimiento del mundo que nos permite formular hipótesis acertadas.
Escuchar al ciudadano. En el sector público, es imprescindible escuchar a la persona afectada por una decisión. No podemos implementar sistemas automáticos que tomen decisiones sin detenerse a procesar información relevante y considerar las necesidades y preocupaciones humanas.
La reserva de humanidad es fundamental para garantizar que la administración pública no pierda de vista estos valores esenciales en la toma de decisiones.
También está el tema de las cajas negras de la IA, según explica en su libro.
Exacto. Hay sistemas tan sofisticados que sabemos la información que introducen y la decisión que generan, pero no sabemos cómo llegan a esa decisión. Alguien podría decir: "Como los humanos". Es cierto que nadie sabe exactamente cómo un juez o un urbanista procesan su razonamiento, pero no es lo mismo. La opacidad de los sistemas es mayor que la de los humanos.
Por tanto, la reserva de humanidad implica que ciertas decisiones no pueden quedar en manos de las máquinas porque no tienen empatía, no pueden razonar abductivamente y, además, es necesario escuchar a otros humanos. Estos límites de la reserva de humanidad son suficientemente importantes y, de hecho, ya están incluidos en el reglamento de IA de la Unión Europea en relación con jueces y juezas. El reglamento establece que la IA puede ayudar a los jueces a tomar decisiones, pero no sustituirlos totalmente.
En un país mediterráneo, ¿la reserva de humanidad podría propiciar la corrupción en la administración pública? ¿No cree que las máquinas psicópatas podrían reducir ciertos niveles de corrupción humana?
Es un pensamiento razonable. De hecho, hace unos años, en Japón, un robot se presentó a elecciones locales y obtuvo un número considerable de votos. Uno de los argumentos de los votantes era que, al menos, no sería corrupto.
Sin embargo, no debemos ser ingenuos. Los programas y datos que utilizan estos sistemas provienen de algún lugar, no de mundos puros. Esa aureola de pureza que a veces se asigna a los sistemas de IA debe matizarse. Al igual que los sesgos pueden introducirse a través de los programadores humanos, los sistemas también podrían ser manipulados. Es cierto que, en principio, las máquinas no deberían tener incentivos humanos para actuar de manera corrupta, pero eso no significa que sean inmunes a la influencia.
Si fuese Carles Puigdemont, quizá preferiría que lo juzgase una IA antes que el juez Marchena. Si fuese Sandro Rosell, quizá preferiría una IA antes que la jueza Lamela. Y si fuese un vecino de Paiporta, quizá confiaría más en una IA que en Carlos Mazón para gestionar una DANA.
En todos estos casos, antes de preferir una opción u otra, yo me preguntaría: “¿De dónde proviene esta máquina, este sistema?”. ¿Ha sido desarrollado internamente por el sector público o ha sido externalizado y comprado a una empresa privada? Si es lo segundo, ¿qué empresa privada lo ha desarrollado y qué garantías hay de que no se hayan introducido sesgos u otros elementos?
No es tan sencillo. Por ejemplo, hace pocos meses se estrenó la película Justicia artificial, que recomiendo. En algunos casos donde los jueces supervisan decisiones administrativas, hay mandatos legales que obligan a la administración a tener en cuenta aspectos humanitarios.
En el libro menciona un caso de Canadá.
Sí, la administración denegó el asilo a una persona, pero un juez humano pudo considerar una serie de elementos de compasión, empatía y equidad, y protegió a esa persona. Este tipo de intervenciones demuestra la importancia de preservar la reserva de humanidad en ciertas decisiones críticas.
¿Podría ser que en el futuro los sesgos sean la ideología del presente? Hoy la ideología está reservada a los humanos, pero, ¿podría en el futuro ser el sesgo que tengan las máquinas? Usted en su libro habla de la discrecionalidad...
Sin duda, hoy es bastante razonable afirmar que, efectivamente, ya sea en humanos o en máquinas, cuando en la toma de decisiones hay un margen de apreciación, nos encontramos con lo que los juristas denominan poderes discrecionales. No es lo mismo decidir sobre la solicitud de un crédito bancario, que se basa en condiciones claras y puede ser automatizada, que contraer matrimonio, donde intervienen numerosos factores subjetivos.
Hay decisiones muy sencillas en las que la IA puede desempeñar un papel importante, lo que técnicamente llamamos poderes reglados. En Europa, ya hay ciudades que están considerando el uso de IA para la concesión de licencias de obras, porque, en teoría, se trata de decisiones fáciles y regladas. Viena, por ejemplo, tiene en marcha un proyecto llamado Brise. Vitoria está estudiando su implementación y Madrid está impulsando un programa similar.
Sin embargo, en Catalunya, los permisos de obras pueden tardar hasta un par de años, lo que muestra la necesidad de agilizar estos procesos.
En cambio, usted no permitiría que una IA redactara el Plan General de una población.
No permitiría que una IA tuviera la última palabra sobre el Plan General de Ordenación Urbanística de un municipio. Sin embargo, hace aproximadamente un año se hizo viral la noticia de que, en Porto Alegre, Brasil, el pleno del Ayuntamiento aprobó una ordenanza redactada por ChatGPT sobre medidores y consumos de agua. Un regidor simpático introdujo la propuesta sin informar a sus compañeros, y todos votaron a favor de la ordenanza sin cambiar ni una coma.
OpenAI
Google
Microsoft
Microsoft está tan desesperada porque uses su IA que ahora está forzando a utilizar y pagar Copilot.
Apple
Apple acelerará en 2025 y presentará todos estos dispositivos. Uno de ellos es completamente inédito.
Elon Musk
Tendencias
El cargador USB-C es universal y obligatorio en Europa: qué significa y qué cambia.
El uso rutinario de la IA en departamentos y agencias de Comunicación se triplica en un año.
Medios
El Gobierno destina los primeros 35 millones para digitalizar los medios y frenar la desinformación.
Sólo la prensa impresa recibirá ayudas del Gobierno para crear sus propios ChatGPT.
Herramientas
La serie IA para todos de El Punt Avui
La cuadragésima quinta entrega de la serie IA para todos de El Punt Avui:
🧑⚖️ Entrevista con Juli Ponce i Solé, catedrático de derecho administrativo de la Universidad de Barcelona:
“Se jubilan un millón de funcionarios y es necesario repensar la administración pública para afrontar este reto.”
🔸 “La clave será conjugar jubilaciones y tecnologías, creando una mezcla virtuosa para mejorar la administración.”
🔸 “Es posible el encaje entre humanos e IA, pero debemos evitar los riesgos: lo peor de las máquinas y lo peor de los humanos.”
📌 Puntos clave de la entrevista:
En Catalunya hay mucho margen para mejorar en la combinación de máquinas y humanos, y esto influirá en el futuro de las próximas décadas.
Las máquinas actuales no razonan como los humanos y todavía no contamos con una IA general. “Las máquinas son psicópatas.”
En Japón, un robot se presentó a las elecciones locales y obtuvo votos porque era percibido como no corrupto.
La IA puede ayudar a los jueces a tomar decisiones más eficientes, pero nunca sustituirlos completamente.
📚 Consulta toda la serie IA para todos en la web. Y los PDF del diario impreso.
[Este artículo de Algoritmo Transparente #65 también está traducido al catalán, inglés, francés e italiano.]