Узагальнений структурний тензор

Виявляння ознак
Виявляння контурів
Кенні Деріша Диференціальне Собеля Прюітт Робертса
Виявляння кутів
Гарріса Сі та Томазі Кривина ізоліній міри вираженості гессіанових ознак SUSAN FAST
Виявляння плям
Лапласіан гауссіана (ЛГ, LoG) Різниця гауссіанів (РГ, DoG) Визначник гессіана (ВГ, DoH) МСЕО (MSER) PCBR
Виявляння хребтів
Перетворення Гафа
Перетворення Гафа Узагальнене перетворення Гафа
Структурний тензор
Структурний тензор Узагальнений структурний тензор
Афінноінваріантне виявляння ознак
Афінне пристосовування форми Афінне Гарріса Афінне гесіанне
Опис ознак
SIFT SURF GLOH HOG
Простір масштабів
Масштабопросторові аксіоми Деталі втілення Піраміди

В аналізі зображень узага́льнений структу́рний те́нзор (УСТ, англ. generalized structure tensor, GST) — розширення декартового структурного тензора до криволінійних координат. Його переважно використовують для виявляння та подання параметрів «напрямку» кривих, так само як декартів структурний тензор виявляє та подає напрямок у декартових координатах. Найкраще досліджено сімейства кривих, породжених парами локально ортогональних функцій.

Це широко відомий метод у застосуваннях обробки зображень і відео, включно з комп'ютерним баченням, наприклад, у біометричній ідентифікація за відбитками пальців та дослідженнях зрізів тканин людини.

УСТ у двовимірних локально ортогональних базисах

Нехай термін «зображення» (англ. "image") подає функцію $f(\xi (x,y),\eta (x,y))$, де $x,y$ — дійсні змінні, а $\xi ,\eta$ та $f$ — дійснозначні функції. УСТ подає напрямок, уздовж якого зображення $f$ може зазнавати нескінченно малого перенесення з мінімальною похибкою (повних найменших квадратів), уздовж «ліній», що відповідають таким умовам:

1. «Лінії» — це звичайні прямі в криволінійному координатному базисі $\xi ,\eta$

$\cos(\theta )\xi (x,y)+\sin(\theta )\eta (x,y)={\text{constant}}$

що є кривими в декартових координатах, як показано у рівнянні вище. Похибка вимірюється в сенсі $L^{2}$, і її мінімальність відтак рахують відносно норми L².

2. Функції $\xi (x,y),\eta (x,y)$ становлять гармонічну пару, тобто задовольняють рівняння Коші — Рімана,

${\begin{aligned}&{\frac {\partial \xi }{\partial x}}=-{\frac {\partial \eta }{\partial y}},\\[4pt]&{\frac {\partial \xi }{\partial y}}={\frac {\partial \eta }{\partial x}}.\end{aligned}}$

Відповідно, такі криволінійні координати $\xi ,\eta$ локально ортогональні.

Тоді УСТ полягає в

$GST=(\lambda _{max}-\lambda _{min})\int w(\xi ,\eta )\left[{\begin{array}{c}{\frac {\partial f}{\partial \xi }}\\{\frac {\partial f}{\partial \eta }}\\\end{array}}\right][{\frac {\partial f}{\partial \xi }},{\frac {\partial f}{\partial \eta }}]d\xi d\eta +\lambda _{min}I$

де $0\leq \lambda _{min}\leq \lambda _{max}$ — похибки (нескінченно малого) паралельного перенесення у найкращому (позначеному кутом $\theta$) і найгіршому (визначаному через $\theta +\pi /2$) напрямках. Функція $w(\xi ,\eta )$ — це віконна функція, що визначає «зовнішній масштаб» (англ. "outer scale"), у якому виконуватиметься виявляння $\theta$, яку можливо пропустити, якщо її вже включено до $f$ або якщо $f$ — повне зображення (а не локальне). Матриця $I$ — одинична матриця. Використовуючи ланцюгове правило, можливо показати, що наведене вище інтегрування можливо втілити як згортки в декартових координатах, застосовані до звичайного структурного тензора, коли $\xi ,\eta$ утворюють пару дійсної та уявної частин аналітичної функції $g(z)$,

${\begin{array}{c}\xi (x,y)=\Re g(z)\\\eta (x,y)=\Im g(z)\\\end{array}}$

де $z=x+iy$. До прикладів аналітичних функцій належать $g(z)=\log z=\log(x+iy)$, а також одночлени $g(z)=z^{n}=(x+iy)^{n}$, $g(z)=z^{n/2}=(x+iy)^{n/2}$, де $n$ — довільне додатне або від'ємне ціле число. Одночлени $g(z)=z^{n}$ в комп'ютерному баченні та обробці зображень також називають гармонічними функціями.

Таким чином, декартів структурний тензор — це окремий випадок УСТ, в якому $\xi =x$ й $\eta =y$, тобто, гармонічна функція — це просто $g(z)=z=(x+iy)$. Таким чином, обравши гармонічну функцію $g$, можливо виявляти всі криві, які є лінійними поєднаннями її дійсної та уявної частин, лише за допомогою згорток на (прямокутних) сітках зображень, навіть якщо $\xi ,\eta$ недекартові. Крім того, обчислення згортки можливо виконувати за допомогою комплексних фільтрів, застосовуваних до комплексної версії структурного тензора. Таким чином, втілення УСТ часто виконують із використанням комплексної версії структурного тензора, а не тензора (1,1).

Комплексний варіант УСТ

Оскільки існує комплексна версія звичайного структурного тензора, існує також і комплексна версія УСТ

${\begin{array}{c}\kappa _{20}=(\lambda _{1}-\lambda _{2})\exp(i2\theta )&=&w*(h*f)^{2}\\\kappa _{11}=\lambda _{1}+\lambda _{2}&=&|w|*|h*f|^{2}\\\end{array}}$

що ідентична своєму двоюрідному братові з тією різницею, що $w$ — комплексний фільтр. Слід нагадати, що $w$ звичайного структурного тензора — це дійсний фільтр, який зазвичай визначають дискретизованим та масштабованим гауссіаном для окреслення околу, відомого також як зовнішній масштаб. Ця простота є причиною того, чому втілення УСТ переважно використовували наведену вище комплексну версію. Для сімейств кривих $\xi ,\eta$, визначених аналітичними функціями $g$, можливо показати, що функція визначення околу є комплекснозначною,

$w=(x\pm iy)^{n}\exp(-(x^{2}+y^{2})/(2\sigma ^{2}))\propto (D_{x}\pm iD_{y})^{n}\exp(-(x^{2}+y^{2})/(2\sigma ^{2}))$ ,

так званою похідною симетрії гауссіана. Таким чином, напрямкову мінливість візерунку, яку потрібно шукати, безпосередньо включено до функції визначення околу, й виявляння відбувається в просторі (звичайного) структурного тензора.

Основна концепція його використання в обробці зображень і комп'ютерному баченні

Ефективне виявляння $\theta$ в зображеннях можливе шляхом обробки зображень для пари $\xi$, $\eta$. Основними обчислювальними елементами втілень УСТ є комплексні згортки (або відповідні матричні операції) та поточкові нелінійні відображення. Оцінку $2\theta$ методом повних найменших квадратів відтак отримують разом із двома похибками, $\lambda _{max}$ та $\lambda _{min}$. За аналогією з декартовим структурним тензором, оцінюваний кут має подвійнокутове подання, тобто обчислення надають $2\theta$, і його можливо використовувати як ознаку форми, тоді як $\lambda _{max}-\lambda _{min}$ окремо або в поєднанні з $\lambda _{max}+\lambda _{min}$ можливо використовувати як міру якості (впевненості, певності) для цієї оцінки кута.

Логарифмічні спіралі, включно з колами, можливо, наприклад, виявляти (комплексними) згортками та нелінійними відображеннями. Спіралі можуть бути в зображеннях у відтінках сірого (багатозначних), або в бінарному зображенні, тобто розташування елементів контурів відповідних фігур, таких як контури кіл або спіралей, не повинно бути відомим чи якимось чином позначеним.

Узагальнений структурний тензор можливо використовувати як альтернативу перетворенню Гафа в обробці зображень і комп'ютерному баченні для виявляння образів, чиї локальні спрямування можливо моделювати, наприклад точок з'єднання. До основних відмінностей належать:

• Допускається від'ємне, а також комплексне голосування;
• За допомогою одного шаблону можливо виявляти декілька образів, які належать до одного сімейства;
• Бінаризація зображення не потрібна.

Фізична та математична інтерпретація

Криволінійні координати УСТ можуть інтерпретувати фізичні процеси, застосовувані до зображень. Добре відома пара процесів складається з обертання та масштабування. Вони пов'язані з перетворенням координат $\xi =\log({\sqrt {x^{2}+y^{2}}})$ та $\eta =\tan ^{-1}(x,y)$.

Якщо зображення $f$ складається з ізокривих, які можливо інтерпретувати через лише $\xi$, тобто його ізокриві складаються з кіл $f(\xi ,\eta )=g(\xi )$, де $g$ — будь-яка дійснозначна диференційовна функція, визначена на одному вимірі, то це зображення інваріантне до поворотів (навколо початку координат).

Операцію масштабування (включно зі зменшенням масштабу) моделюють подібно. Якщо зображення має ізокриві, схожі на «зірку» або велосипедні спиці, тобто, $f(\xi ,\eta )=g(\eta )$ для деякої диференційовної одновимірної функції $g$, то зображення $f$ інваріантне до масштабування (відносно початку координат).

У поєднанні,

$f(\xi ,\eta )=g(\cos(\theta )\log({\sqrt {x^{2}+y^{2}}})+\sin(\theta )\tan ^{-1}(x,y))$

інваріантна до певної величини обертання в поєднанні з масштабуванням, де цю величину уточнюють параметром $\theta$.

Аналогічно, декартів структурний тензор — також подання паралельного перенесення. Тут фізичний процес полягає у звичайному паралельному перенесенні певної величини вздовж $x$ у поєднанні з паралельним перенесенням вздовж $y$,

$\cos(\theta )x+\sin(\theta )y={\text{constant}}$

де цю величину вказано параметром $\theta$. Очевидно, тут $\theta$ позначує напрямок лінії.

Загалом, оцінений $\theta$ подає напрямок (в координатах $\xi ,\eta$), уздовж якого нескінченно малі паралельні перенесення лишають зображення інваріантним, на практиці — найменшим варіантним. З кожною криволінійною координатною базисною парою існує пара нескінченно малих паралельних перенесень, лінійне поєднання яких є диференціальним оператором. Останні пов'язані з алгеброю Лі .

Різне

«Зображення» (англ. "image") у контексті УСТ може означати як звичайне зображення, так і якийсь його окіл (локальне зображення), залежно від контексту. Наприклад, фотографія — це зображення, як і будь-який окіл у ній.

Див. також

• Структурний тензор
• Перетворення Гафа
• Тензор
• Гауссове
• Виявляння кутів
• Виявляння контурів
• Афінне пристосовування форми
• Похідна за напрямком
• Диференціальний оператор
• Алгебра Лі