Los algoritmos de aprendizaje profundo de Nvidia para ‘completar’ las imágenes
A finales del mes pasado, analizamos un algoritmo, desarrollado por un equipo de investigadores para Nvidia que permitía aplicar el estilo de una imagen en otra con efectos fotorrealistas de forma rápida y eficiente. Ahora, otro equipo de investigadores ha desarrollado, para esta misma compañía, unos algoritmos basados en deep learning –aprendizaje profundo– que son capaces de “completar” imágenes a las que les falta información con bastante precisión.
Hablamos del clásico problema de rellenar una información inexistente a partir de la información del entorno, que se conoce habitualmente bajo el nombre de content-aware. La idea es poder deducir que información debe ir en esos espacios en blanco para poder obtener un resultado global coherente con el resto de los datos disponibles.
En la actualidad, existen diversos algoritmos que realizan este tipo de operaciones, especialmente en los programas de edición fotográfica más conocidos, como Adobe Photoshop. Muchos de estos usan las respuestas de los filtros de convolución condicionadas tanto a los píxeles válidos como a los sustituidos, lo que da lugar, según este equipo de investigadores, a todo tipo de artefactos e inconsistencias.
Estos últimos proponen ahora realizar convoluciones parciales condicionadas solo a los píxeles válidos, y aplicar de forma iterativa una nueva máscara normalizada con la información del paso previo. Todo ello haciendo uso, por supuesto, de modelos de aprendizaje profundo, dentro del campo de la inteligencia artificial tan de boga hoy en día.
Todos los detalles de estos nuevos algoritmos se recogen en el artículo titulado “Image Inpainting for Irregular Holes Using Partial Convolutions“, donde se ilustran con ejemplos reales obtenidos a partes de imágenes de referencia. Según los investigadores, los resultados obtenidos sobrepasan con creces los de los actuales algoritmos, aunque reconocen que todavía existen limitaciones en su aplicación –como en algunas escenas con escasa estructura–. No obstante, en los casos en los que funciona, las imágenes resultantes son bastante espectaculares.
Más información en el paper de Nvidia.
