Los problemas de la moderación de contenido cuando se hace en escala global
La multitud de usos de algunos términos que pueden ser problemáticos en ciertos contextos dificulta esta labor. Así mismo, la automatización de esta labor complica aún más el panorama.
Jullian York y David Greene *
El discurso de odio representa uno de los problemas más difíciles de resolver en todo el panorama de la moderación del contenido en línea.
Hacerlo a escala global es prácticamente imposible, en buena parte porque unas pocas personas se ponen de acuerdo para definir qué es discurso de odio y qué no lo es: si se limita a asuntos raciales, de género, religión u otras categorías que típicamente han estado sometidas a prácticas de odio, si incluye todas las formas de acoso y matoneo o si sólo aplica cuando se ejerce desde una posición de poder en contra de quienes no lo han tenido.
Lea también: Tenemos que hablar de tecnología
Estos problemas de definición, que suelen enredar a autoridades judiciales en todo el mundo, también impactan el trabajo de las plataformas en línea. Como resultado de estos debates y controversias, los esfuerzos para remover el discurso de odio suelen hacerse a expensas de la libertad de expresión.
Y esta encrucijada se puede apreciar mejor con el actual dilema de Facebook sobre cómo lidiar con el término sionismo.
El problema con definir el discurso de odio
El discurso de odio representa uno de los problemas más grandes que tiene la moderación de contenido en las plataformas en línea. Pocos de estos servicios quieren albergar discurso de odio, cuando mucho es tolerado por algunos y ninguno le da la bienvenida. Como resultado de esto, hay una serie de esfuerzos a través de varios sitios para intentar solucionar este problema.
El asunto es que determinar qué es discurso de odio y qué no es complicado: palabras que pueden pasar por problemáticas en un contexto no lo son en otro, si son ofensivas para una población pueden no serlo para otra. Y las leyes diseñadas para proteger a minorías de palabras de odio usualmente han sido usadas por mayorías para suprimir la expresión de poblaciones oprimidas. Recientemente, esto se ha visto en Estados Unidos, en donde algunos han clasificado al movimiento Black Lives Matter como discurso de odio contra los blancos.
Y, claro, tomar estas determinaciones en una plataforma con miles de millones de usuarios de prácticamente todo el planeta es mucho más complicado, más aún cuando buena parte de este trabajo es asumido por trabajadores tercerizados y mal pagos o, peor aún, a través de tecnologías de automatización.
Las dificultades de la automatización
La más reciente controversia lingüística de Facebook gira alrededor de la palabra sionista, que se usa para describir a alguien que se suscribe con la ideología política del sionismo (movimiento nacionalista asociado con Israel), pero que a veces también se utiliza como un eufemismo para referirse en una forma despectiva a un judío o judíos.
Para añadirle más complejidad al asunto, esta palabra también es utilizada por algunos palestinos para referirse a los israelíes que identifican como colonizadores de sus tierras.
Debido a la multitud de dimensiones en las que el término es usado, Facebook está considerando incluirlo como una categoría protegida bajo el marco de su política de discurso de odio, que ya ha sido criticada en varias ocasiones por algunas de estas acciones.
Y este movimiento a su vez no ha sido visto con buenos ojos por académicos y expertos en antisemitismo, un grupo de 55 de éstos lo ha catalogado como “altamente problemático y controversial”.
Lea también: ¿Cómo se encuentra la protección de datos en Latinoamérica?
Moderación en escala global
Aunque No se puede negar que la palabra sionista se puede usar de formas que son antisemitas, la multitud de usos del término vuelve la moderación a escala global en una tarea imposible.
En un mundo perfecto, esta tarea la podrían desarrollar personas con conocimiento de los matices sociales y políticos de una región específica, idealmente personal con títulos en materias como ciencias políticas o derechos humanos.
En el mundo real, sin embargo, la economía política de la moderación implica que la plataforma les paga a trabajadores para que se sienten en una mesa y laboren bajo un esquema de cuotas y decidan qué viola, o no, unas reglas que constantemente están cambiando.
Y a pesar de que una porción de la moderación se realiza de forma manual, Facebook y otras compañías están utilizando de forma creciente tecnologías de automatización para lidiar con este contenido, lo que implica que el toque humano (que entiende sutilezas, matices y contextos) no está siempre presente en estas labores.
* La versión original de este texto fue publicada por la Electronic Frontier Fundation bajo una licencia Creative Commons. Puede ser consultado aquí.
El discurso de odio representa uno de los problemas más difíciles de resolver en todo el panorama de la moderación del contenido en línea.
Hacerlo a escala global es prácticamente imposible, en buena parte porque unas pocas personas se ponen de acuerdo para definir qué es discurso de odio y qué no lo es: si se limita a asuntos raciales, de género, religión u otras categorías que típicamente han estado sometidas a prácticas de odio, si incluye todas las formas de acoso y matoneo o si sólo aplica cuando se ejerce desde una posición de poder en contra de quienes no lo han tenido.
Lea también: Tenemos que hablar de tecnología
Estos problemas de definición, que suelen enredar a autoridades judiciales en todo el mundo, también impactan el trabajo de las plataformas en línea. Como resultado de estos debates y controversias, los esfuerzos para remover el discurso de odio suelen hacerse a expensas de la libertad de expresión.
Y esta encrucijada se puede apreciar mejor con el actual dilema de Facebook sobre cómo lidiar con el término sionismo.
El problema con definir el discurso de odio
El discurso de odio representa uno de los problemas más grandes que tiene la moderación de contenido en las plataformas en línea. Pocos de estos servicios quieren albergar discurso de odio, cuando mucho es tolerado por algunos y ninguno le da la bienvenida. Como resultado de esto, hay una serie de esfuerzos a través de varios sitios para intentar solucionar este problema.
El asunto es que determinar qué es discurso de odio y qué no es complicado: palabras que pueden pasar por problemáticas en un contexto no lo son en otro, si son ofensivas para una población pueden no serlo para otra. Y las leyes diseñadas para proteger a minorías de palabras de odio usualmente han sido usadas por mayorías para suprimir la expresión de poblaciones oprimidas. Recientemente, esto se ha visto en Estados Unidos, en donde algunos han clasificado al movimiento Black Lives Matter como discurso de odio contra los blancos.
Y, claro, tomar estas determinaciones en una plataforma con miles de millones de usuarios de prácticamente todo el planeta es mucho más complicado, más aún cuando buena parte de este trabajo es asumido por trabajadores tercerizados y mal pagos o, peor aún, a través de tecnologías de automatización.
Las dificultades de la automatización
La más reciente controversia lingüística de Facebook gira alrededor de la palabra sionista, que se usa para describir a alguien que se suscribe con la ideología política del sionismo (movimiento nacionalista asociado con Israel), pero que a veces también se utiliza como un eufemismo para referirse en una forma despectiva a un judío o judíos.
Para añadirle más complejidad al asunto, esta palabra también es utilizada por algunos palestinos para referirse a los israelíes que identifican como colonizadores de sus tierras.
Debido a la multitud de dimensiones en las que el término es usado, Facebook está considerando incluirlo como una categoría protegida bajo el marco de su política de discurso de odio, que ya ha sido criticada en varias ocasiones por algunas de estas acciones.
Y este movimiento a su vez no ha sido visto con buenos ojos por académicos y expertos en antisemitismo, un grupo de 55 de éstos lo ha catalogado como “altamente problemático y controversial”.
Lea también: ¿Cómo se encuentra la protección de datos en Latinoamérica?
Moderación en escala global
Aunque No se puede negar que la palabra sionista se puede usar de formas que son antisemitas, la multitud de usos del término vuelve la moderación a escala global en una tarea imposible.
En un mundo perfecto, esta tarea la podrían desarrollar personas con conocimiento de los matices sociales y políticos de una región específica, idealmente personal con títulos en materias como ciencias políticas o derechos humanos.
En el mundo real, sin embargo, la economía política de la moderación implica que la plataforma les paga a trabajadores para que se sienten en una mesa y laboren bajo un esquema de cuotas y decidan qué viola, o no, unas reglas que constantemente están cambiando.
Y a pesar de que una porción de la moderación se realiza de forma manual, Facebook y otras compañías están utilizando de forma creciente tecnologías de automatización para lidiar con este contenido, lo que implica que el toque humano (que entiende sutilezas, matices y contextos) no está siempre presente en estas labores.
* La versión original de este texto fue publicada por la Electronic Frontier Fundation bajo una licencia Creative Commons. Puede ser consultado aquí.