Моменти зображення

В обробці зображень, комп'ютерному зорі та суміжних областях, під моментами зображення розуміються деякі часткові зважені середні інтенсивностей пікселів зображення, які є глобальними дескрипторами зображення. Моменти зображення корисні для опису об'єктів після сегментації.

Геометричні моменти

Для 2D неперервної функції $f(x,y)$ геометричним моментом порядку (p + q) називається вираз

$M_{pq}=\int \limits _{-\infty }^{\infty }\int \limits _{-\infty }^{\infty }x^{p}y^{q}f(x,y)\,dx\,dy$

для p,q = 0,1,2,... Для диcкреnного напівтонового зображення з інтенсивністю пікселів $I(x,y)$ та розміру $M\times N$, геометричні моменти $M_{ij}$ обчислюються за формулою

$M_{ij}=\sum _{x=0}^{M-1}\sum _{y=0}^{N-1}x^{i}y^{j}I(x,y)\,\!$

Теорема єдиності (Hu [1962]) стверджує, що коли f(x,y) є кусково-неперервною функцією яка приймає ненульові значення в скінченній області площини Oxy, то моменти всіх порядків $M_{ij}$ існують і однозначно визначаються функцією $f(x,y)$ . Навпаки, функція $f(x,y)$ однозначно відновлюється з її моментів $M_{ij}$.

Приклади

Прості властивості зображення виражені в термінах геометричних моментів:

• Площа (для бінарного зображення) або сума рівнів сірого (для напівтонових зображень):$M_{00}$
• Центр мас зображення: $\{{\bar {x}},\ {\bar {y}}\}=\left\{{\frac {M_{10}}{M_{00}}},{\frac {M_{01}}{M_{00}}}\right\}$

Центральні моменти

Центральний момент визначається як

$\mu _{pq}=\int \limits _{-\infty }^{\infty }\int \limits _{-\infty }^{\infty }(x-{\bar {x}})^{p}(y-{\bar {y}})^{q}f(x,y)\,dx\,dy$

де ${\bar {x}}={\frac {M_{10}}{M_{00}}}$ i ${\bar {y}}={\frac {M_{01}}{M_{00}}}$ є компонентами центроїда.

Якщо ƒ(x, y) є дискретним зображенням, тоді попереднє рівняння перетворюється у наступне

$\mu _{pq}=\sum _{x}\sum _{y}(x-{\bar {x}})^{p}(y-{\bar {y}})^{q}f(x,y)$

Центральніи моменти до третього порядку:

$\mu _{00}=M_{00},\,\!$

$\mu _{01}=0,\,\!$

$\mu _{10}=0,\,\!$

$\mu _{11}=M_{11}-{\bar {x}}M_{01}=M_{11}-{\bar {y}}M_{10},$

$\mu _{20}=M_{20}-{\bar {x}}M_{10},$

$\mu _{02}=M_{02}-{\bar {y}}M_{01},$

$\mu _{21}=M_{21}-2{\bar {x}}M_{11}-{\bar {y}}M_{20}+2{\bar {x}}^{2}M_{01},$

$\mu _{12}=M_{12}-2{\bar {y}}M_{11}-{\bar {x}}M_{02}+2{\bar {y}}^{2}M_{10},$

$\mu _{30}=M_{30}-3{\bar {x}}M_{20}+2{\bar {x}}^{2}M_{10},$

$\mu _{03}=M_{03}-3{\bar {y}}M_{02}+2{\bar {y}}^{2}M_{01}.$

Центральні моменти виражаються через геометричні моменти:

$\mu _{pq}=\sum _{m}^{p}\sum _{n}^{q}{p \choose m}{q \choose n}(-{\bar {x}})^{(p-m)}(-{\bar {y}})^{(q-n)}M_{mn}$

Центральні моменти є інваріантами відносно паралельного перенесення.

Приклади

Інформація про орієнтацію зображення може бути отримана з коваріаційної матриці побудованої з центральних моментів:

$\mu '_{20}=\mu _{20}/\mu _{00}=M_{20}/M_{00}-{\bar {x}}^{2}$

$\mu '_{02}=\mu _{02}/\mu _{00}=M_{02}/M_{00}-{\bar {y}}^{2}$

$\mu '_{11}=\mu _{11}/\mu _{00}=M_{11}/M_{00}-{\bar {x}}{\bar {y}}$

Коваріаційна матриця зображення $I(x,y)$ має вигляд

$\operatorname {cov} [I(x,y)]={\begin{bmatrix}\mu '_{20}&\mu '_{11}\\\mu '_{11}&\mu '_{02}\end{bmatrix}}$.

Власні вектори цієї матриці відповідають головній і побічній осям інтенсивності зображення, тому орієнтація може бути отримана з кута власного вектора асоційованого з найбільшим власним значенням у напрямку осі яка найближча до цього власного вектора. Цей кут Θ обчислюється за такою формулою:

$\Theta ={\frac {1}{2}}\arctan \left({\frac {2\mu '_{11}}{\mu '_{20}-\mu '_{02}}}\right)$

Наведена формула справедлива тих пір, поки:

$\mu '_{20}-\mu '_{02}\neq 0$

Власні вектори коваріаційної матриці рівні

$\lambda _{i}={\frac {\mu '_{20}+\mu '_{02}}{2}}\pm {\frac {\sqrt {4{\mu '}_{11}^{2}+({\mu '}_{20}-{\mu '}_{02})^{2}}}{2}},$

Моментні інваріанти

Моменти добре відомі своїм застосуванням в аналізі зображень, оскільки їх можна використовувати для отримання інваріантів щодо конкретних класів перетворень.

Зауважимо, що детально описані нижче інваріанти є точними інваріантними лише для неперервних зображень. У дискретному випадку ні масштабування, ні повороти не визначені коректно: дискретне зображення, перетворене таким чином, як правило, є наближенням, і задіяні перетворення не є оборотним. Тому ці інваріанти є лише приблизно інваріантними при описі фігури в дискретному зображенні.

Інваріанти групи паралельних перенесень

Центральні моменти μ_{i j} довільного порядку є інваріантами відносно паралельних перенесень, за побудовою.

Інваріанти групи рівномірних розтягів

Інваріанти $\eta _{ij}$ відносно як паралельних переносів так і рівномірних розтягів можуть бути побудовані з центральних моментів шляхом ділення на підходящу степінь нульового центрального моменту:

$\eta _{ij}={\frac {\mu _{ij}}{\mu _{00}^{\left(1+{\frac {i+j}{2}}\right)}}}\,\!$

де i + j ≥ 2.

Інваріанти групи поворотів

Як показано в статті Hu, інваріанти відносно паралельних переносів, масштабування і поворотів мають вигляд

$I_{1}=\eta _{20}+\eta _{02}$

$I_{2}=(\eta _{20}-\eta _{02})^{2}+4\eta _{11}^{2}$

$I_{3}=(\eta _{30}-3\eta _{12})^{2}+(3\eta _{21}-\eta _{03})^{2}$

$I_{4}=(\eta _{30}+\eta _{12})^{2}+(\eta _{21}+\eta _{03})^{2}$

$I_{5}=(\eta _{30}-3\eta _{12})(\eta _{30}+\eta _{12})[(\eta _{30}+\eta _{12})^{2}-3(\eta _{21}+\eta _{03})^{2}]+(3\eta _{21}-\eta _{03})(\eta _{21}+\eta _{03})[3(\eta _{30}+\eta _{12})^{2}-(\eta _{21}+\eta _{03})^{2}]$

$I_{6}=(\eta _{20}-\eta _{02})[(\eta _{30}+\eta _{12})^{2}-(\eta _{21}+\eta _{03})^{2}]+4\eta _{11}(\eta _{30}+\eta _{12})(\eta _{21}+\eta _{03})$

$I_{7}=(3\eta _{21}-\eta _{03})(\eta _{30}+\eta _{12})[(\eta _{30}+\eta _{12})^{2}-3(\eta _{21}+\eta _{03})^{2}]-(\eta _{30}-3\eta _{12})(\eta _{21}+\eta _{03})[3(\eta _{30}+\eta _{12})^{2}-(\eta _{21}+\eta _{03})^{2}].$

Ці інваріанти добре відомі як інваріантні моменти Hu.

Перший з них I₁, є аналогом моменту інерції відносно центроїда зображення. Останній I₇ називається косим інваріантом, який дає змогу розрізняти дзеркальні зображення. Ці інваріанти залежні між собою.

Повна і незалежна множина інваріантів групи повороту вперше побудована в J. Flusser. Також він довів, що моменти Hu не є повною множиною інваріантів до третього порядку і вони не є незалежними. I₃ не дуже корисний оскільки є раціональним дробом від інших інваріантів. Також в оригінальні статті Hu пропущено незалежний інваріант :

$I_{8}=\eta _{11}[(\eta _{30}+\eta _{12})^{2}-(\eta _{03}+\eta _{21})^{2}]-(\eta _{20}-\eta _{02})(\eta _{30}+\eta _{12})(\eta _{03}+\eta _{21})$

Л. Бедратюк розглянув питання побудови моментних інваріантів як задачу класичної теорії інваріантів. В статті було введено поняття алгебри 2D моментних інваріантів і показано що ця алгебра ізоморфна класичному об'єкту -- алгебрі спільних $SO(2)$-інваріантів кількох бінарних форм. Також було обчислено мінімальну породжуючу систему алгебри моментних інваріантів і підтверджено результати статті $[3].$