Coloración automatizada utilizando herramientas de Computer Vision para la restauración de imágenes históricas de la ciudad de Barranquilla

Abstract

La colorización es la asignación de posibles colores a los objetos que componen la imagen en escala de grises de forma que correspondan a los reales. La colorización plantea un reto específico en visión computarizada para la reconstrucción de imágenes y video, tales como, la búsqueda de una fiel aproximación, la saturación correcta de colores escogidos y áreas no desfasadas. La coloración automatizada de imágenes ha sido abordada desde varios puntos, uno de esos es Image Analogies, en donde se aplican operaciones y filtros para abstraer e integrar características de unas imágenes a otra, lo cual requiere intervención humana para la escogencia de imágenes de referencia con características similares a la imagen que se desea colorear(Gupta, R.K., Chia, A.Y.S., Rajan, D., Ng, E.S., Zhiyong, H, 2012). En intentos de mejorar la respuesta al problema se han presentado soluciones utilizando redes neuronales convolucionales (CNN) y se comienza a reducir la necesidad de semejanza directa entre las imágenes de entrenamiento y las de prueba, se plantea entonces como un problema de predicción del espacio de color (Zhang, Richard, Phillip Isola, and Alexei A., 2016). Proponemos el diseño e implementación de una herramienta de restauración de imágenes históricas de la ciudad de Barranquilla realizándoles un coloreado por medio de herramientas de computer vision. Cayena, nuestra aplicación web presenta una galería de imágenes de la historia de Barranquilla y de forma interactiva permite realizarles el coloreado. Para aplicar el coloreado la aplicación genera una petición a nuestra API que que aloja el servicio y ejecuta el proceso de coloración; este proceso de coloración consiste en el procesamiento de la imagen para que tenga el tamaño adecuado, la transformación a escala de grises y la posterior ejecución, por medio del marco de trabajo de aprendizaje profundo Caffe, de un modelo de CNN pre-entrenado que predice los posibles colores reales de la imagen.

Having a grayscale image as an input, colorization is the assignation of the possible colors to the objects composing the image so that the colors are similar to the real ones. Colorization poses a specific challenge on the field of computerized vision for image and video restoration, such as reliable approximation, an adequate saturation of the chosen colors and no mismatched areas. Different approaches have been made to assess automated colorization of images, such as Image Analogies, where filters and operations are applied to obtain and integrate characterics from some images to other, which requires human intervention to choose reference images with similar characteristics to those of the image to be colorized (Gupta, R.K., Chia, A.Y.S., Rajan, D., Ng, E.S., Zhiyong, H, 2012). In attempts to get better outcomes, convolutional neural networks(CNN) have been presented, increasingly getting rid of the need of the direct image resemblance between training and test images, posing the problem of colorization as one of space color prediction (Zhang, Richard, Phillip Isola, and Alexei A., 2016). We propose the design and implementation of a image restoration tool for historical images of the city of Barranquilla by applying a colorization using computer vision techniques. Cayena, our web application displays a gallery of historical images of Barranquilla and interactively allows to colorize them. In order to apply the colorization the application makes a request to our API that hosts the service and executes the colorization process; this colorization process consists in the processing of the image so it has the right size and the verification to make sure it is a grayscale image and transform it if it is not, and the subsequent execution of an pre trained CNN model using the Deep Learning framework ‘Caffe’ which predicts the possible real colors of the image.