Демозаїкізація
Демозаїкізація (або дебаєрізація) — алгоритм, який використовуються для відтворення повного кольорового зображення з неповних вихідних даних з сенсора зображення, закритого масивом кольорових фільтрів (МКФ). Процедура також відома як реконструкція кольору.
Більшість сучасних камер використовують єдиний сенсор зображення, вкритий МКФ; таким чином, демозаїкізація є частиною послідовності процесу обробки зображення, що є необхідною для переводу цих зображень у формат, доступний для перегляду
Багато сучасних цифрових камер можуть зберігати зображення у «сирому форматі», що дозволяє користувачу проводити процес демозаїкізації за допомогою зовнішнього програмного забезпечення, а не використовуючи прошивку камери.
Метою демозаїкізації є відтворення повного кольорового зображення (тобто, повного набору кольорових трійок) з неповного набору вихідних даних з МКФ. Алгоритм повинен мати такі властивості:
- Уникати створювати кольорові артефакти, такі як хроматичний аліасинг, зіперінг (різка неприродна зміна насиченості поміж сусідніми пікселями) та фіолетові ореоли.
- Максимально зберігати роздільність зображення.
- Низька алгоритмічна складність для швидкої обробки або ефективної вбудованої апаратної реалізації.
- Доступність для аналізу для правильного зниження шуму.
Масив кольорових фільтрів являє собою мозаїку кольорових фільтрів перед сенсором зображення. Найбільш вживаною конфігурацією МКФ є баєрівський фільтр, що показаний на ілюстрації. Він має змінні червоний (R) та зелений (G) фільтри на непарних рядках та зелений (G) та синій (B) фільтри на парних. Зелених фільтрів удвічі більше, ніж червоних або синіх, оскільки чутливість людського ока до зеленого світла найвища.
Через те, що кольорова підвибірка МКФ за своєю природою веде до аліасингу, зазвичай використовується також оптичний анти-аліасинговий фільтр, що зазвичай розташований між сенсором та об'єктивом для зниження кольорових артефактів (хроматичних аліасів), що з'являються внаслідок інтерполяції.[1]
Через те що кожного пікселя сенсора вкрито кольоровим фільтром, на виході маємо масив пиксельних значень інтенсивності яскравості для одного з трьох кольорів. Тобто, алгоритм повинен оцінювати значення усіх трьох компонентів для кожного пікселя, а не тільки одного з трьох.
Для відтворення повного кольорового зображення з даних МКФ потрібна певна форма інтерполяції.
У цьому зразку ми використовуємо бікубічну інтерполяцію Adobe Photoshop для симуляції схеми пристрою з баєровським фільтром, такого як цифрова камера.
Зображення нижче симулює вихідні дані з сенсору, вкритого Баєровським фільтром; кожен піксель має тільки червоний, зелений або синій компонент. Оригінальне зображення показано поруч с реконструйованим у кінці секції.
| ||
| Зразок Баєровського фільтра | ||
|
|
|
| Червоний | Зелений | Синій |
Цифрова камера зазвичай має засоби для реконструкції повного кольорового зображення, використовуючи інформацію вище. Результат може виглядати якось так:
|
|
| Оригінал | Реконструкція |
Реконструйоване зображення зазвичай доволі точне на однокольорових ділянках, проте втрачає роздільність (деталі та різкість) та має артефакти на краях (наприклад, краї літер мають видиму кольорову кайму та деякі нерівності).
Ці алгоритми є зразком багатовимірної інтерполяції на рівномірній сітці, вони використовують відносно прості математичні операції на найближчих включеннях того ж самого кольорового компоненту. Найпростішим методом є інтерполяція методом найближчого сусіда, що просто копіює суміжний піксель того ж каналу. Цей метод не підходить будь-де, де важлива якість, але може використовуватися для генерації превью при обмежених обчислювальних ресурсах. Іншим простим методом є білінійна інтерполяція, де червоний канал нечервоного пікселя обчислюється як середнє двох або чотирьох сусідніх червоних пікселей, так само для зеленого та синього. Більш складні методи інтерполюють незалежно, в межах кожної кольорової площини, включають в себе бікубічну інтерполяцію, інтерполяцію сплайнами та фільтр Ланцоша.
Незважаючи на те, що за допомогою цих методів можна отримати хороші результати для однородних ділянок зображення, вони схильні до створення серйозних артефактів демозаїкізації у ділянках з краями та деталями, коли використовуються з чистокольоровими МКФ.[2] Проте лінійна інтерполяція може давати дуже хороші результати в поєднанні з просторово-спектральним (панхроматичним) МКФ.[3] Можливо використовувати для демозаїкізації прості моделі формування зображень. У природних зображеннях у межах одного сегменту співвідношення кольорів повинно зберігатися. Цей факт було використано при створенні інтерполяції, чутливої до зображення, що використовується для демозаїкізації.[4]
Більш складні демозаїкуючі алгоритмі використовують просторову та/або спектральну кореляцію пікселів у кольоровому зображенні.[5] Просторова кореляція — це схильність пікселів приймати однакових кольорових значень у межах малих однорідних ділянок зображення. Спектральна кореляція — залежність між піксельними значеннями різних кольорових площин на маленькій ділянці зображення.
Ці алгоритми включають у себе:
- Інтерполяція зі змінним числом градієнтів[6] обчислює градієнти навколо цільового пікселя та використовує нижчий градієнт (що представляє гладші та більш подібні частини зображення) для оцнки. Використовувалася у першій версії dcraw та потерпала від кольорових артефактів.
- Піксельне групування[7] використовує припущення про природні зображення у своїх оцінках. Воно має менше кольорових артефактів, ніж метод змінного числа градієнтів; вперше представлене у dcraw 8.71 як «Групування пікселів по шаблону».
- Адаптивна однорідно-направлена інтерполяція обирає напрям інтерполяції таким чином, щоб максимізувати метрику однорідності, що зазвичай мінімізує кольорові артефакти.[8] Вона була впроваджена у останніх версіях dcraw.[9]
Деякі методи можуть давати кращий результат для природних зображень, а деякі — для печатних матеріалів. Також існує компроміс між швидкістю та якістю алгоритмів.
При наявності доступу до зображення у сирому форматі з цифрової камери можливо використовувати комп'ютерне програмне забезпечення з асортиментом демозаїкуючих алгоритмів замість використання лише одного, вбудованого в камеру. Деякі програми, такі як RawTherapee, дають користувачу можливість вибирати проміж алгоритмів. Але більшість програм зазвичай використовують тільки один алгоритм. Різниця у прорисовці тонких деталей (та зернистих текстур), що викликана вибором алгоритму, є часто головною різницею проміж різних програм; часто фотографи обирають конкретну програму з естетичних міркувань, пов'язаних з цим ефектом.
Кольорові артефакти, викликані демозаїкізацією, дають важливу інформацію для визначення підробок.[10]
- ↑ Adrian Davies; Phil Fennessy (2001). Digital imaging for photographers (вид. Fourth). Focal Press. ISBN 0-240-51590-0. Архів оригіналу за 7 березня 2021. Процитовано 20 жовтня 2016.
- ↑ Lanlan Chang; Yap-Peng Tan. Hybrid color filter array demosaicking for effective artifact suppression (PDF): 2. Архів оригіналу (PDF) за 29 грудня 2009. Процитовано 20 жовтня 2016.
- ↑ Keigo Hirakawa; Patrick J. Wolfe. Spatio-Spectral Color Filter Array Design for Enhanced Image Fidelity (PDF). Архів оригіналу (PDF) за 20 липня 2011.
- ↑ R. Kimmel. Demosaicing: Image reconstruction from color CCD samples [Архівовано 22 вересня 2017 у Wayback Machine.]. IEEE Trans. on Image Processing, 8(9):1221–8, Sept. 1999.
- ↑ Lanlan Chang; Yap-Peng Tan. Hybrid color filter array demosaicking for effective artifact suppression (PDF). Архів оригіналу (PDF) за 29 грудня 2009. Процитовано 20 жовтня 2016.
- ↑ Ting Chen. Interpolation using a Threshold-based variable number of gradients. Архів оригіналу за 22 квітня 2012. Процитовано 20 жовтня 2016.
- ↑ Chuan-kai Lin, Portland State University (2004). Pixel Grouping for Color Filter Array Demosaicing. Архів оригіналу за 23 вересня 2016. Процитовано 20 жовтня 2016.
- ↑ Kiego Hirakawa; Thomas W. Parks. Adaptive homogeneity-directed demosaicing algorithm (PDF). Архів оригіналу (PDF) за 24 лютого 2021. Процитовано 20 жовтня 2016.
- ↑ Decoding raw digital photos in Linux [Архівовано 19 жовтня 2016 у Wayback Machine.], Dave Coffin.
- ↑ YiZhen Huang; YangJing Long (2008). Demosaicking recognition with applications in digital photo authentication based on a quadratic pixel correlation model (PDF). Proc. IEEE Conference on Computer Vision and Pattern Recognition: 1—8. Архів оригіналу (PDF) за 17 червня 2010. Процитовано 20 жовтня 2016.