Tal y como indicamos en nuestra anterior entrega, debemos realizar una simulación para mostrar el efecto del debayerizado en la varianza de ruido dentro de los niveles de la transformada de ondícula (wavelet).
Aplicamos ruido blanco aditivo gaussiano (AWGN) a la imagen de la ciudad generada por ordenador –que hemos mencionado con anterioridad– y mostramos la desviación estándar de los coeficientes de la ondícula –para las diferentes bandas de la misma– en la siguiente gráfica:
Como era de esperar, el ruido es igualmente fuerte en todas las bandas de frecuencia –según el modelo de ruido blanco que se utiliza de manera más común–. A continuación, usamos la imagen artificial de nuevo, pero esta vez aplicándole un patrón Bayer. De este modo podemos obtener datos comparables a los del sensor y aplicarles un debayerizado para conseguir una imagen ruidosa debayerizada.
Observamos que el ruido ha disminuido en las bandas de alta frecuencia –nivel 1 y 2– por el debayerizado, como consecuencia del paso de interpolación. El ruido en los niveles más altos es ligeramente más fuerte. Este hecho cuadra bien con la distribución de la frecuencia que mostrábamos al hablar del ruido en el campo de la transformada de Fourier discreta. La diferencia entre las dos gráficas –de la imagen que precede a este párrafo– reside en la imagen de referencia que se ha utilizado para calcular la desviación estándar del ruido en el campo de la transformada de ondícula.
En la primera, se ha empleado la referencia RGB completa, que está disponible para la imagen de la ciudad simulada por ordenador. Esto significa, que la gráfica muestra el ruido y –además– el error adicional del debayerizado. En la segunda, se he debayerizado la imagen de referencia antes de la comparación. De ahí que no incluya el error de debayerizado. Teniendo en cuenta que el objetivo de esta serie de artículos es la reducción de ruido, utilizaremos la segunda para las gráficas siguientes.
Para averiguar si el efecto descrito es válido sólo para un método específico de debayerizado, o para más métodos en general, es necesario emplear un conjunto de diez algoritmos de debayerizado diferentes. Hemos escogido los siguientes:
- Debayerizado bilineal
- Debayerizado de cámara (Ada3 y Ada5)
- Debayerizado con filtrado direccional y decisión a posteriori (DDFAPD)
- Estimación del error cuadrático promedio lineal direccional (DLMMSE)
- Interpolación de la matriz de filtros de color adaptativa espacialmente para datos con ruido y sin él (LPAICI)
- Debayerizado Matlab estándar
- Proyecciones en conjuntos convexos (POCS)
- Interpolación residual (RI)
Los resultados muestran que todos estos métodos de debayerizado conllevan características de ruido de ondícula muy similares. La fortaleza del ruido en los niveles de ondícula es la misma. Los niveles 1 y 2 tienen claramente la desviación estándar de ruido más baja, y los niveles de ruido aumentan con el número de nivel. La DLMMSE muestra la menor diferencia entre niveles. Podemos ver los resultados para el debayerizado lineal y para el DLMMSE en las siguientes gráficas:
Estos resultados son muy útiles para diseñar algoritmos que operen en el campo de la transformada de ondícula.
Ruido después de las transformaciones de color
El tercer paso –las transformaciones de color– incluye una reasignación de tonos no lineal y una conversión del espacio de color, para adaptar los valores lineales a señales que se puedan mostrar en una pantalla. Las transformaciones de color pueden fortalecer las correlaciones espaciales y cromáticas del ruido. En este apartado nos ceñiremos al procesado tal y como lo hemos descrito en el capítulo 5 de esta serie. La manera exacta en que se realiza la conversión de color es una decisión individual y los resultados que obtendremos de varianza y distribución del ruido sólo son aplicables al procesado descrito.
No obstante, operaciones muy parecidas a la que describimos aquí son comunes para la reproducción de los tonos en todos los sensores de imagen de HDR actuales. Son necesarias para obtener una imagen agradable visualmente en pantallas y dispositivos de bajo intervalo tonal. Las transformaciones en sí mismas no suponen ninguna novedad. Las operaciones de asignación de tonos ya se han estudiado en el pasado en el caso de los procesos fotográficos fotoquímicos.
Durante el proceso de codificación logarítmica y reasignación de tonos, se debe calcular la varianza de ruido en la curva LogC y en los datos de vídeo para diferentes niveles promediados de señal. Generamos datos de ruido del sensor basándonos en el modelo que establecimos en el capítulo 6 de esta serie.
A continuación estos datos se transforman a LogC y luego a información válida para mostrar en pantallas. Se usa la transformación de la matriz de gamut amplio para obtener los datos LogC y se continúa con la transformación logarítmica no lineal, la propia curva LogC. De cara a la salida válida para pantallas, se aplica además la reasignación de tonos, la conversión al espacio de color sRGB y la corrección de gamma.
La simulación se realiza para niveles de señal –en incrementos por pasos de los datos lineales– que permiten obtener una curva de varianza suficientemente detallada. Para la LogC y los datos de vídeo se emplean 480 valores de señal. Emplearemos dos parámetros diferentes para el índice de exposición, 800 y 3200. Un Índice de Exposición (EI) de 800 suele representar buena calidad de imagen con un nivel de ruido perfectamente aceptable. Un EI de 3200 se utiliza para condiciones de poca luminosidad y contiene una cantidad de ruido significativa. Estos son los resultados:
El hallazgo más relevante es que la varianza –en los datos de la imagen válida para pantallas y de la LogC– no aumenta con el nivel de señal –como si ocurre con los datos lineales del sensor–. De hecho, muestra la tendencia opuesta: después de alcanzar un pico a niveles bajos de señal, la varianza decrece según van aumentando dichos niveles.
Este hecho resulta ser de extrema importancia. Dado que la mayoría de los algoritmos de procesado de imagen actuales se diseñan y prueban basándose en datos de imagen fácilmente procesables –es decir, datos de imagen válidos para mostrar en pantallas– se demuestra que basarse en ellos para diseñar y probar métodos para reducir el ruido real de los sensores –como hace algún sistema de reducción del ruido de disparo– no es nada realista. Las publicaciones de conjuntos de datos de imágenes reales de cámara constituyen una prueba mucho más acertada para desarrollar esos métodos en investigaciones futuras.
El último paso es evaluar la distribución del ruido. Mientras que la distribución en los datos RAW iguala a la gaussiana, la de la LogC y los datos de vídeo es más compacta alrededor de los valores promedio y tiene colas más largas. Podemos ver a continuación, tal distribución representativa para un nivel de señal:
En resumen, los resultados muestran que el ruido tras la transformación de color es significativamente diferente al ruido en los datos lineales. A diferencia de lo que ocurre con el ruido del sensor, la varianza es más baja para los niveles altos de señal y no para los más bajos.