Superando la Algocracia: Inteligencia Artificial, Blockchain y Crowdsourcing para Diseñar Mejores Sistemas de Resolución de Disputas
Federico Ast explora el potencial y los riesgos de la algocracia, así como el papel del crowdsourcing en el diseño de mejores sistemas de resolución de disputas.
Publicado anteriormente en el newsletter Just Resolutions del área de resolución de disputas de la American Bar Association en noviembre de 2023.
En mayo de 2017, el departamento de policía de la ciudad británica de Durham anunció el lanzamiento de la Herramienta de Evaluación de Riesgo de Daño (HART), un sistema de IA diseñado para ayudar a los oficiales de policía a decidir si un sospechoso debía ser liberado o quedar detenido.
Entrenado con más de 100,000 eventos de custodia, el algoritmo comenzó a utilizarse para clasificar a las personas arrestadas bajo sospecha de un delito como de alto, medio o bajo riesgo de reincidir.
Los individuos evaluados como de riesgo bajo o medio podían ser elegidos para un programa de rehabilitación. Aquellos clasificados como de alto riesgo eran mantenidos en custodia y debían enfrentar un juicio.
El Dr. Geoffrey Barnes, de la Universidad de Cambridge, realizó un estudio sobre individuos arrestados en Durham entre septiembre de 2016 y octubre de 2017. Siguió a los sospechosos para ver si reincidían y volvían a ser detenidos dentro de los dos años siguientes.
HART demostró ser ligeramente mejor que los oficiales humanos en predecir las tasas de reincidencia. El modelo HART fue preciso el 53.8% de las veces en comparación con el 52.2% obtenido por los oficiales de custodia.
IA en el Derecho: La Promesa y el Peligro
En el largo plazo, cualquier tarea legal que dependa del análisis de datos históricos para predecir la probabilidad de ocurrencia de ciertos eventos caerá dentro del dominio de la IA. Modelos similares a HART se utilizarán para predecir decisiones judiciales, fallos de arbitraje y más.
Estos sistemas pueden traer grandes beneficios. Permiten ahorrar tiempo y costos para todas las partes involucradas, así como dar resultados más precisos basados en datos. Pero los modelos predictivos de machine learning también enfrentan varios desafíos.
El primero es la opacidad. Los modelos de IA son capaces de tomar decisiones, pero no de explicar cómo las tomaron. Como vimos, HART superó ligeramente a los oficiales humanos en predecir el riesgo de reincidencia.
Sin embargo, no pudo explicar por qué un individuo específico era clasificado como de alto o bajo riesgo. Las decisiones se toman en una especie de “caja negra” y no se dan razones.
El segundo desafío es el riesgo de sesgos derivados del conjunto de datos utilizado para entrenar el modelo. HART utilizaba 34 variables para predecir la probabilidad de reincidencia, incluyendo edad, género, etnia y lugar de residencia.
Según la organización Fair Trials, el modelo estaba sesgado contra los residentes de barrios pobres, a quienes se les asignaba una puntuación más alta de riesgo de reincidencia.
De esta forma, la combinación entre opacidad y sesgo podría llevar a un futuro distópico de sistemas que toman decisiones potencialmente erróneas sin poder explicarlas.
Este tal vez sea un riesgo aceptable para un algoritmo que ofrece recomendaciones personalizadas de programas de televisión en Netflix, donde lo peor que puede pasar es que al usuario no le guste la película recomendada.
Sin embargo, puede ser problemático en el terreno legal.
Uno de los elementos clave del estado de derecho es que la justicia no solo debe ser impartida; también debe ser percibida como que ha sido impartida por todas las partes involucradas y por personas que no son expertas en derecho.
Nadie Se Metió en Problemas por Seguir al Algoritmo
Los marcos regulatorios emergentes para la inteligencia artificial, como la Ley de IA de la Unión Europea y la Carta de Derechos de IA de los Estados Unidos, exigen una estricta supervisión humana de los modelos de machine learning.
Cualquier herramienta de decisión de IA debe tener un mecanismo de apelación donde se pueda acudir a un tomador de decisiones humano. Para ser justos, HART siempre fue concebido como una herramienta de apoyo a la decisión para funcionarios humanos, no como un juez robot que tomara decisiones completamente automatizadas.
Sin embargo, a medida que los sistemas predictivos se vuelvan más extendidos y precisos, podría surgir una tendencia natural a que los mecanismos de apelación humana comiencen a fallar.
Imagina que eres un oficial de custodia que tiene que decidir el destino de un sospechoso. El algoritmo ha determinado que esta persona tiene una alta probabilidad de reincidir. Pero no estás convencido…
Después de una audiencia con el sospechoso, honestamente crees que ha decidido cambiar y que no reincidirá, así que decides liberarlo.
Dos meses después, esta persona comete un asesinato. Tus superiores (y potencialmente algunos reporteros) querrán saber por qué no seguiste el consejo de la IA.
Como se dice en el mundo de los negocios: “Nunca nadie fue despedido por comprar de IBM.” En el mundo venidero del derecho de IA, podríamos terminar con un nuevo dicho: “Nunca nadie se metió en problemas por seguir al algoritmo.”
Con el tiempo, la “decisión segura” para los tomadores de decisiones humanos probablemente será simplemente aceptar lo que la IA ha decidido.
Incluso si las herramientas algorítmicas inicialmente sólo estaban destinadas a ser un apoyo para la decisión, podríamos terminar en una situación donde, en la práctica, se conviertan en los principales tomadores de decisiones.
Diseñando Nuevos Sistemas de Resolución de Disputas
En un debate organizado por The Economist entre el autor Yuval Noah Harari y el fundador de DeepMind Mustafa Suleyman, Harari afirmó que la gobernanza de la IA requerirá el desarrollo de nuevas instituciones.
Instituciones que aseguren supervisión humana (y que no estén ellas mismas sesgadas) para controlar a las decisiones tomadas por los algoritmos.
Aunque todavía estamos en las primeras etapas, este sistema podría basarse en los principios de la justicia descentralizada, un sistema que emplea crowdsourcing y tecnología blockchain para emitir decisiones neutrales y equitativas en disputas.
Estos sistemas, de los cuales Kleros es el primer ejemplo funcional, ensamblan paneles de jurados expertos de manera aleatoria para llegar a decisiones imparciales. El uso de blockchain proporciona trazabilidad, responsabilidad y transparencia al proceso. Por ejemplo, asegurando que nadie pueda manipular los datos o el sorteo aleatorio que determina qué jurados deben revisar un caso.
Un enfoque basado en la justicia descentralizada podría ayudar a resolver algunos problemas en el contexto de la supervisión humana de los sistemas de IA.
Primero, los sistemas de justicia descentralizada podrían establecer un mecanismo de apelación donde los resultados de los modelos de IA sean monitoreados continuamente por un grupo de jurados de diversos orígenes. Los jurados podrían ser convocados para revisar el proceso de toma de decisiones de la IA para determinar si existe sesgo y revertir decisiones consideradas injustas.
Segundo, la naturaleza pública de los procedimientos de justicia descentralizada añade transparencia y responsabilidad, lo cual es especialmente importante en un contexto donde los sistemas de IA son opacos y no pueden proporcionar razones para sus decisiones.
Los jurados humanos en procesos de justicia descentralizada pueden ofrecer interpretación humana. En casos donde el panel de jurados esté de acuerdo con la decisión del algoritmo, pueden proporcionar la explicación necesaria para hacer la decisión comprensible para todas las partes.
Finalmente, los sistemas de justicia descentralizada podrían ayudar a auditar los modelos de IA en busca de sesgos. Los modelos y conjuntos de datos podrían ser evaluados por un grupo diverso de jurados que evaluarían la equidad del sistema y señalarían cualquier patrón discriminatorio.
Un sistema de toma de decisiones diseñado de esta manera podría ayudar a abordar los desafíos de opacidad y sesgo que afectan a los modelos de IA. El uso de blockchain es crucial para que todas las partes verifiquen que se siguió el debido proceso, mientras que el crowdsourcing asegura una mayor diversidad de perspectivas.
Un mayor número de jurados (quizás combinado con la posibilidad de preservar su identidad) podría reducir el sesgo de “simplemente seguir al algoritmo” que afecta a los tomadores de decisiones individuales. Las decisiones tomadas por este panel serían una fuente de retroalimentación que ayudaría a los desarrolladores de IA a identificar y rectificar sesgos que podrían haber sido pasados por alto durante el desarrollo.
Superando la Amenaza de la Algocracia
En el siglo XIX, el filósofo Jeremy Bentham argumentó que el sistema legal era un misterio para el profano y necesitaba más publicidad y procedimientos de toma de decisiones claros.
En aquel entonces, la fuente de opacidad provenía del uso de jerga legal y procedimientos complicados. En el futuro, podría provenir de la complejidad de los algoritmos.
En su artículo del Wall Street Journal “ChatGPT Heralds an Intellectual Revolution”, Henry Kissinger, Eric Schmidt y Daniel Huttenlocher argumentan que hay un problema fundamental para la toma de decisiones democrática si confiamos en un sistema que supuestamente es superior a los humanos pero no puede explicar sus decisiones. John Danaher llamó a esto “la amenaza de la algocracia.”
La próxima era de la IA hace que este tema sea aún más relevante, ya que seguramente tendremos más sistemas automatizados tomando decisiones que afectan varios aspectos de nuestras vidas.
No debemos temer a la IA, ya que tiene el potencial de mejorar enormemente la eficiencia de los sistemas legales y ayudarnos a avanzar hacia el sueño de la inclusión en la justicia.
Sin embargo, para cumplir con esta promesa, necesitamos situar a los algoritmos dentro de un diseño de mecanismos apropiado para asegurar que las ganancias en eficiencia no se logren a expensas de nuestras democracias o de nuestros derechos individuales.
En este sentido, los diseños de sistemas de resolución de disputas que incluyan la diversidad inherente al crowdsourcing y la transparencia de las blockchains pueden ayudarnos a aprovechar las ventajas de la IA mientras minimizamos el riesgo de algocracia.