¿Qué pasa cuando una máquina decide que está bien y qué está mal?

Imagen de referencia.

Foto: Getty Images

En el comienzo de la pandemia por el COVID-19, muchas plataformas de redes sociales cambiaron sus políticas de moderación de contenido para hacerlas más dependiente de herramientas de automatización.

Twitter, Facebook y YouTube aumentaron sus capacidades en áreas como aprendizaje de máquinas (machine learning) para identificar contenido problemático en un esfuerzo para proteger a sus equipos de moderación y la privacidad de sus usuarios.

Lea también: La vigilancia en las oficinas durante la reactivación económica

Muchas empresas dependen trabajadores del llamado Sur global para revisar este tipo de contenido, que suelen laborar en condiciones precarias y sin las protecciones adecuadas de los efectos traumáticos de su trabajo. Y, si bien proteger a estos equipos es un fin legítimo, la moderación automatizada aún representa muchos riegos para la libertad de expresión en línea.

A pesar de que la moderación humana de contenido no se puede hacer a gran escala rápidamente, y además viene con costos sociales, ésta sigue siendo indispensable. Los sistemas automatizados simplemente no son capaces de, consistentemente, identificar el contenido de forma correcta.

La comunicación y la interacción humanas son complejas y estas herramientas malinterpretan el contexto social, político o interpersonal todo el tiempo. Por eso es crucial que la moderación de contenido algorítmica siempre esté supervisada por humanos y que, además, los usuarios puedan apelar medidas como dar de baja una pieza.

El más reciente informe de transparencia de Facebook muestra que a la aproximación de esta plataforma durante la pandemia le hace falta tanto la moderación humana, como los mecanismos de apelación para los usuarios. Y, a pesar de que los impactos de largo plazo aún no resultan claros, queremos resaltar los efectos de la moderación automatizada que se hace en esta red social, así como en Instagram, partiendo de este documento.

Como este reporte de transparencia omite detalles claves, resulta imposible analizar toda la extensión de las políticas y prácticas de moderación de contenido que emplea Facebook. El documento apenas comparte información sobre categorías amplias en las que se clasifica el contenido borrado, así como los números más generales de publicaciones retiradas, sobre las que hubo apelaciones y acerca de las que volvieron a ser restauradas.

Sin transparencia de verdad, no puede haber completa responsabilidad.

Políticas inconsistentes

A pesar de que Facebook e Instagram comparten el mismo set de políticas de contenido, hay diferencias notables en sus respectivas secciones del reporte. El documento, que contiene información de los últimos dos trimestres de 2019 y de los dos primeros de 2020, no presenta datos en las mismas categorías para las dos plataformas y la granularidad y detalle de los datos presentados varía entre cada sitio.

Lo que más preocupa es las diferencias acerca de si un usuario puede acceder a mecanismos de apelación o no. Cuando el contenido es removido de Facebook o Instagram, la gente suele tener la opción de cuestionar estas decisiones.

Usualmente, cuando arranca el proceso de apelación, el material borrador es revisado por un moderador humano y la decisión puede ser reversada. Durante la pandemia, sin embargo, esta opción ha sido limitada severamente y los usuarios han recibido mensajes de que su apelación puede no ser considerada. De acuerdo con el reporte de transparencia, hubo cero apelaciones en Instagram durante el segundo trimestre y muy pocas en Facebook.

El impacto de prohibir las apelaciones

La compañía ocasionalmente restaura contenido por su propia mano, pero lo cierto es que las apelaciones de los usuarios son el detonador de la vasta mayoría de inclusiones de contenido que ha sido retirado.

Un ejemplo. En el segundo trimestre de este año fueron removidos más de 380.000 publicaciones de Instagram por, supuestamente, incluir contenido asociado con el terrorismo (en el primer trimestre fueron 440.000). Mientras que unas 8.100 publicaciones fueron apeladas en el primer trimestre, esta cifra bajó a cero en el segundo.

Ahora, si se mira el número de publicaciones restauradas, el impacto de la falta de apelaciones de los usuarios se observa claramente: durante el primer trimestre, 500 piezas de contenido fueron reinsertadas después de recibir quejas de los usuarios, comparado con 190 publicaciones que fueron reactivadas sin apelación alguna. En el segundo trimestre, apenas 70 piezas de los cientos de miles que supuestamente estaban asociadas con terrorismo fueron restauradas.

Lea también: Tecnología y libertades: un dilema de la pandemia

Malas medidas de moderación causan daños reales

Ahora bien, ¿por qué importa todo esto? Con frecuencia, la evidencia de violaciones a derechos humanos o de crímenes de guerra queda atrapada en la red de la moderación automatizada de contenido, pues los algoritmos tienen problemas serios para leer el contexto y así diferenciar el contenido directamente asociado al terrorismo con los esfuerzos para dejar un registro de estos hechos, por ejemplo. Este impacto negativo en la detección de contenido afecta más, y por mucho, a las comunidades árabes y musulmanas.

Las diferencias sobre cómo las plataformas aplican de forma diferente el mismo set de reglas resaltan las dificultades que hay en la moderación automatizada de contenido. Al mismo tiempo, resalta el hecho de que los usuarios no pueden esperar el mismo tratamiento en diferentes plataformas, lo que puede incrementar los riesgos de autocensura.

Y aquí hay otro ejemplo de los problemas con la moderación automatizada. En el segundo trimestre de 2020, Instagram removió cerca de medio millón de imágenes que, consideraba, entraban en la categoría de desnudez infantil y explotación sexual. Ese es un número significativamente más bajo del registrado en los primeros tres meses del año, cuando se removieron un millón de fotos. Mientras en el primer trimestre 16.200 casos fueron apelados satisfactoriamente por las personas, sólo 10 piezas fueron restauradas en el periodo en el que no se les dio esta opción a los usuarios.

Estas discrepancias sugieren que hay una gran cantidad de contenido que fue borrado sin razón, lo que lesiona la libertad de expresión de, potencialmente, millones de usuarios. También muestra el rol fundamental que cumplen los procesos de apelación en la salvaguarda de los derechos digitales básicos de las personas.

Facebook aún debe aclarar si el incremento en la moderación automatizada es temporal o llegó para quedarse.

*La versión original de este texto fue publicada por la Electronic Frontier Fundation bajo una licencia Creative Commons. Puede ser consultado aquí.