He señalado un par de veces la inconstitucionalidad de la disposición del Plan Nacional de Desarrollo del gobierno Petro que establece el “secreto algorítmico” del SISBÉN. Su justificación -evitar que los “tramposos” manipulen el sistema- desconoce los riesgos que implica un uso acrítico de la tecnología en la provisión de servicios estatales. El reciente informe de la OCDE me da la razón.
El informe de la Organización para la Cooperación y el Desarrollo Económico (OCDE) “Inteligencia Artificial y el futuro de la protección social en los países OCDE” parte de afirmar que los países están usando tecnología y datos para mejorar la cobertura, la eficacia y la eficiencia de los programas sociales. En la práctica, señala el informe, la IA ya se aplica en funciones como atención al cliente (chatbots), automatización de procesos administrativos internos y detección de fraudes. Dice que estos usos suelen ser de escalas pequeñas o pilotos, mientras que las aplicaciones más avanzadas (como análisis predictivo para anticipar necesidades) son menos comunes, por ahora.
Por otra parte, el informe también advierte sobre amenazas a la privacidad -por manejo y enlace de grandes datos sensibles-, sesgos algorítmicos y errores derivados de decisiones automatizadas difíciles de explicar, que pueden generar graves injusticias. Cita ejemplos de fallas en sistemas automatizados de fraude en Países Bajos o de cobro de deudas en Australia. Y eso que este informe no alcanzó a documentar las acusaciones contra la agencia de bienestar social en Suecia en 2024. Adicionalmente, el documento alerta sobre la posible deshumanización y falta de transparencia si no existe supervisión humana y participación suficiente en estos sistemas.
No sorprende entonces que, según la encuesta OCDE “Riesgos que importan” aplicada en 27 países miembros (Colombia no participó), solo el 40 % considere que el uso de IA sirve para ayudar a procesar y aprobar las solicitudes de programas sociales es bueno para los usuarios, mientras que un 30 % manifiesta dudas y un 25 % lo rechaza. Estos resultados tan tibios en medio del entusiasmo por la IA pueden explicar lo que el informe advierte es un comportamiento cauteloso de los gobiernos en este campo, que en su mayoría limitan las iniciativas a proyectos piloto y buscan infraestructuras de apoyo antes de escalar su uso.
Los riesgos señalados son especialmente pertinentes en Colombia. El informe “Experimentando con la pobreza” de Karisma (2020) mostró cómo desde hace años se aplican sistemas de analítica de datos para decidir quién recibe ayudas estatales, aunque en ese momento no eran herramientas IA, si eran experimentos que anticipan los dilemas que surgirán con el despliegue de algoritmos más sofisticados.
Serviría que Planeación Nacional leyera el informe con detenimiento y se comprometiera a: (i) garantizar confianza asegurando transparencia y explicabilidad, pero también que las personas afectadas puedan cuestionar decisiones y acceder a recursos legales; (ii) establecer supervisión real: no solo técnica o simbólica, sino con participación de comunidades vulnerables y mecanismos efectivos de rendición de cuentas; (iii) contar con supervisión humana, entendiendo que esa supervisión no debe ser simbólica ni de élites técnicas, sino que tendría que incluir mecanismos reales de participación y rendición de cuentas desde las comunidades vulnerables que pueden verse afectadas; (iv) no hacer experimentos masivos, implementar pilotos con control independiente: acompañados de monitoreo externo, evaluación crítica y respeto a los derechos de los beneficiarios.
De entre los países de la región, la mencionada encuesta “Riesgos que importan” solo recoge datos de México y Chile, pero si midiéramos esto en América Latina seguramente la situación sería peor, dada la débil confianza ciudadana en el Estado en estos países. Como advirtió Karisma en 2020, porque la aproximación que tiene Planeación Nacional para SISBÉN es anterior a este gobierno, cualquier tecnología de “intervención social” debe construir legitimidad desde el inicio con participación comunitaria y controles externos, por tanto estamos ya en mora.
Tal vez si lo dice la OCDE, se dé un primer paso hacia la eliminación del “secreto algorítmico” y Planeación Nacional haga ajustes sustanciales a este tipo de intervenciones.
