Cómo un computador venció a jugadores humanos en "Dota 2"

Cortesía - Valve

El grupo de investigación de inteligencia artificial OpenAI creó un software capaz de vencer a equipos de cinco jugadores humanos en el videojuego Dota 2, un hito en las ciencias de la computación.

El logro pone a OpenAI, empresa con sede en San Francisco que cuenta con el multimillonario Elon Musk entre sus patrocinadores, por delante de otros investigadores de inteligencia artificial en el desarrollo de software capaz de dominar juegos complejos que combinan acción rápida en tiempo real, estrategia a largo plazo, información imperfecta y juego en equipo.

Lea también: ¿Quién responde cuando el computador dice no?: inteligencia artificial con parámetros humanos

La capacidad de aprender este tipo de videojuegos, a niveles de humanos o súper humanos, es importante para el avance de la IA porque se aproximan más a las incertidumbres y la complejidad del mundo real que juegos como el ajedrez, que el software de IBM dominó a fines de la década de 1990, o Go, que fue conquistado en 2016 con el software creado por DeepMind.

Dota 2 es un videojuego de fantasía de ciencia ficción multijugador creado por Valve Corp., con sede en Bellevue, Washington. La versión de torneo enfrenta a dos equipos de cinco jugadores. A cada equipo se le asigna una base en extremos opuestos de un mapa que sólo se puede conocer a través de la exploración. Cada jugador controla un personaje separado con poderes y armas únicos. Cada equipo debe luchar para llegar al territorio del equipo contrario y destruir una estructura llamada “Ancient”.

El juego, con más de un millón de jugadores activos, también es uno de los deportes electrónicos profesionales más populares y lucrativos. El año pasado, The International, el primer torneo profesional del juego, tenía un pozo de premios de más de US$24 millones, el más grande para un deporte electrónico hasta la fecha.

OpenAI dijo que a mediados de junio su software superó a un equipo semiprofesional que se encuentra entre el 1 % de los mejores jugadores de Dota 2 y un equipo amateur clasificado en el 10 % superior. En ambas ocasiones, ganó dos juegos a uno en una serie del mejor de tres.

El software de OpenAI aprendió únicamente a través de prueba y error mientras jugaba contra sí mismo. Esta técnica es conocida como aprendizaje por refuerzo y se compara frecuentemente con la forma en que aprenden los bebés. También fue utilizado por DeepMind para crear su inteligencia artificial que venció a uno de los mejores jugadores humanos de Go en el mundo.

El software comienza haciendo movimientos aleatorios y debe aprender, a través de una serie de recompensas (generalmente puntos en un entorno de juego), cómo jugar con éxito. Los juegos se usan a menudo para investigación de aprendizaje por refuerzo porque tienen puntos que pueden servir como recompensas provisionales y un claro ganador o perdedor.

En este caso, OpenAI utilizó un algoritmo de aprendizaje por refuerzo relativamente simple lanzado el año pasado, que alienta a la inteligencia artificial a probar cosas nuevas sin alejarse demasiado de lo que está haciendo actualmente que parece estar funcionando. Durante el entrenamiento, los investigadores también ampliaron gradualmente el tiempo entre las recompensas que la IA recibió como una forma de alentar al “bot”, una vez que aprendió los conceptos básicos del juego, a pensar más acerca de la estrategia a largo plazo y la victoria final frente a las retribuciones a corto plazo.

Estas técnicas podrían apuntar a grandes avances en el entrenamiento de robots, autos sin conductor, negociación de acciones o cualquier cosa que pueda ser simulada de manera confiable, dijo en una entrevista Greg Brockman, cofundador y director de tecnología de OpenAI.

"Lo que Dota hace es mostrar que los algoritmos de hoy pueden ir mucho más allá de poder resolver esos desafíos del mundo real de lo que la gente se ha dado cuenta", dijo.

Lea también: Cuando la tecnología pasa al diván, una reflexión sobre las promesas del futuro

Fundada en octubre de 2015 por Musk, Sam Altman, el presidente de la incubadora tecnológica Y Combinator de Silicon Valley y un grupo de otros ex alumnos de PayPal Holdings, OpenAI es una compañía sin fines de lucro dedicada a crear lo que llama inteligencia artificial general “segura" y a distribuirla "tan ampliamente y lo más uniformemente posible". 

La inteligencia general artificial es un término que se refiere al software que tendría la flexibilidad para igualar o superar las capacidades intelectuales humanas a través de una amplia variedad de tareas diferentes, como los androides que aparecen en las películas de ciencia ficción.