La inteligencia artificial devuelve el color a tres obras perdidas de Klimt
De los cuadros, destruidos por los nazis, solo quedaron fotos en blanco y negro, que ahora reciben los colores que Klimt podría haber usado.
La inteligencia artificial y el conocimiento humano se han aliado para rescatar tres cuadros de Gustav Klimt, destruidos por los nazis en 1945 y de los que quedaban solo fotos en blanco y negro, a las que ahora se les ha añadido todo el colorido y la luz típica del pintor austríaco.
El punto de partida de esta reconstrucción ha sido una serie de fotografías en gran formato de las llamadas “Pinturas de la Facultad”, encargadas a Klimt en 1894 para decorar el techo del Aula Magna de la Universidad de Viena.
La interpretación que Klimt hizo de los estudios clásicos de la “Filosofía”, la “Medicina” y la “Jurisprudencia” fueron rechazadas por pornográficas y tras años de enfrentamiento con el Ministerio de Educación, Klimt devolvió lo que había cobrado y recuperó las obras.
Las piezas pasaron a manos privadas, fueron luego robadas por los nazis y quedaron destruidas en 1945 en el incendio del castillo donde estaban almacenadas con más obras expoliadas.
“Alimentar” al algoritmo
Para sacar ahora los colores a esas fotos, apenas el único vestigio visual de los cuadros, se alimentó a un algoritmo con información sobre Klimt: sus obras, sus técnicas y su uso del color.
La herramienta de aprendizaje automático, diseñada por Emil Wallner, de Google Arts & Culture Lab, aplicó a las fotos, bajo la dirección de Smola, los colores usados por Klimt en otras obras.
”Y el algoritmo lo entendió. Detalles como que el color que se usa donde hay un cuerpo es distinto al del pelo, o de un fondo. Logró esa diferenciación, ver dónde termina un motivo, un trozo de tela, por ejemplo y empieza otro”, explica Smola.
Colorear las fotos, no repintar
“Estoy al 80 % seguro de que el resultado es correcto”, afirma el experto, que insiste en que el objetivo no era “repintar” los cuadros perdidos, sino dotar a las fotografías de los colores que Klimt podría haber usado.
En cualquier caso, la nueva visión de esos cuadros sólo ha sido posible por la combinación de inteligencia artificial y conocimiento humano.
Por un lado, el algoritmo no podía sugerir por sí mismo colores partiendo desde los tonos de blanco y negro de la foto.
Por el otro, la máquina ejecutó sobre las fotos el color, las sombras, los espacios intermedios y los puntos de luz con un nivel de detalle que no habría logrado un humano.
“Se tiene la sensación de que Klimt lo habría hecho así. Todo encaja”, resume Smola.
“Un cielo verde”
Una parte esencial del trabajo de reconstrucción ha sido el análisis de lo que se dijo en su día de los cuadros.
La polémica fue tan grande que periodistas y críticos de la época publicaron numerosos comentarios sobre las obras, que han ayudado ahora a colorear las fotografías.
“Un cielo nocturno verde-azul tachonado de miríadas de estrellas blancas y doradas brillantes”, describía el periódico Wiener Abendpost el 12 de marzo de 1900.
“Toda clase de azules, violetas, verdes y grises se mezclan, y sus ondulaciones se intercalan con amarillos parpadeantes que se convierten en auténtico oro”, escribía el periodista Ludwig Hevesi dos meses después.
Pese al carácter tendencioso y exagerado de algunos de esos artículos, han servido a Smola para comparar los colores que se describen con los que Klimt usó en otras obras y darle aún más seguridad de que el resultado final no se trata de una especulación.
Gran exposición virtual
El coloreado de las “Pinturas de la Facultad” es uno de los principales atractivos de una exposición virtual sobre Klimt que Google Arts & Culture ha organizado junto al Belvedere y otros 30 museos e instituciones de todo el mundo.
Bajo el título “Klimt vs. Klimt. El hombre de las contradicciones”, esa muestra online permite explorar 120 de las principales obras del pintor austriaco usando técnicas de realidad aumentada, representaciones en tres dimensiones e imágenes en ultra alta definición.
Aparte de tener bajo un mismo techo, aunque sea virtual, tantas obras que difícilmente pueden verse juntas, toda esa tecnología permite captar detalles que difícilmente pueden verse en un museo, donde hay que mantener más distancia.
Con todo, Smola reconoce que toda la tecnología no puede sustituir las sensaciones de estar frente a frente a obras maestras como “El Beso” en el Belvedere.
”Pero la audiencia de Google es tan grande que asumimos que no todas esas personas van a tener alguna vez la oportunidad de venir a Viena. En ese sentido, es un buen sustituto”, dice.
La exposición online se puede ver en https://artsandculture.google.com/project/klimt-vs-klimt
La inteligencia artificial y el conocimiento humano se han aliado para rescatar tres cuadros de Gustav Klimt, destruidos por los nazis en 1945 y de los que quedaban solo fotos en blanco y negro, a las que ahora se les ha añadido todo el colorido y la luz típica del pintor austríaco.
El punto de partida de esta reconstrucción ha sido una serie de fotografías en gran formato de las llamadas “Pinturas de la Facultad”, encargadas a Klimt en 1894 para decorar el techo del Aula Magna de la Universidad de Viena.
La interpretación que Klimt hizo de los estudios clásicos de la “Filosofía”, la “Medicina” y la “Jurisprudencia” fueron rechazadas por pornográficas y tras años de enfrentamiento con el Ministerio de Educación, Klimt devolvió lo que había cobrado y recuperó las obras.
Las piezas pasaron a manos privadas, fueron luego robadas por los nazis y quedaron destruidas en 1945 en el incendio del castillo donde estaban almacenadas con más obras expoliadas.
“Alimentar” al algoritmo
Para sacar ahora los colores a esas fotos, apenas el único vestigio visual de los cuadros, se alimentó a un algoritmo con información sobre Klimt: sus obras, sus técnicas y su uso del color.
La herramienta de aprendizaje automático, diseñada por Emil Wallner, de Google Arts & Culture Lab, aplicó a las fotos, bajo la dirección de Smola, los colores usados por Klimt en otras obras.
”Y el algoritmo lo entendió. Detalles como que el color que se usa donde hay un cuerpo es distinto al del pelo, o de un fondo. Logró esa diferenciación, ver dónde termina un motivo, un trozo de tela, por ejemplo y empieza otro”, explica Smola.
Colorear las fotos, no repintar
“Estoy al 80 % seguro de que el resultado es correcto”, afirma el experto, que insiste en que el objetivo no era “repintar” los cuadros perdidos, sino dotar a las fotografías de los colores que Klimt podría haber usado.
En cualquier caso, la nueva visión de esos cuadros sólo ha sido posible por la combinación de inteligencia artificial y conocimiento humano.
Por un lado, el algoritmo no podía sugerir por sí mismo colores partiendo desde los tonos de blanco y negro de la foto.
Por el otro, la máquina ejecutó sobre las fotos el color, las sombras, los espacios intermedios y los puntos de luz con un nivel de detalle que no habría logrado un humano.
“Se tiene la sensación de que Klimt lo habría hecho así. Todo encaja”, resume Smola.
“Un cielo verde”
Una parte esencial del trabajo de reconstrucción ha sido el análisis de lo que se dijo en su día de los cuadros.
La polémica fue tan grande que periodistas y críticos de la época publicaron numerosos comentarios sobre las obras, que han ayudado ahora a colorear las fotografías.
“Un cielo nocturno verde-azul tachonado de miríadas de estrellas blancas y doradas brillantes”, describía el periódico Wiener Abendpost el 12 de marzo de 1900.
“Toda clase de azules, violetas, verdes y grises se mezclan, y sus ondulaciones se intercalan con amarillos parpadeantes que se convierten en auténtico oro”, escribía el periodista Ludwig Hevesi dos meses después.
Pese al carácter tendencioso y exagerado de algunos de esos artículos, han servido a Smola para comparar los colores que se describen con los que Klimt usó en otras obras y darle aún más seguridad de que el resultado final no se trata de una especulación.
Gran exposición virtual
El coloreado de las “Pinturas de la Facultad” es uno de los principales atractivos de una exposición virtual sobre Klimt que Google Arts & Culture ha organizado junto al Belvedere y otros 30 museos e instituciones de todo el mundo.
Bajo el título “Klimt vs. Klimt. El hombre de las contradicciones”, esa muestra online permite explorar 120 de las principales obras del pintor austriaco usando técnicas de realidad aumentada, representaciones en tres dimensiones e imágenes en ultra alta definición.
Aparte de tener bajo un mismo techo, aunque sea virtual, tantas obras que difícilmente pueden verse juntas, toda esa tecnología permite captar detalles que difícilmente pueden verse en un museo, donde hay que mantener más distancia.
Con todo, Smola reconoce que toda la tecnología no puede sustituir las sensaciones de estar frente a frente a obras maestras como “El Beso” en el Belvedere.
”Pero la audiencia de Google es tan grande que asumimos que no todas esas personas van a tener alguna vez la oportunidad de venir a Viena. En ese sentido, es un buen sustituto”, dice.
La exposición online se puede ver en https://artsandculture.google.com/project/klimt-vs-klimt