Взаємна кореляція

Наочне порівняння згортки, взаємної кореляції та автокореляції. Для операцій, що включають функцію f, і виходячи з припущення, що висота f становить 1,0, значення результату в 5 різних точках показано затіненою областю під кожною точкою. Також, вертикальна симетрія f є причиною того, що $f*g$ та $f\star g$ в цьому прикладі ідентичні.

В обробці сигналів взаємна кореляція (англ. cross-correlation) — це міра подібності двох рядів як функція зміщення одного відносно іншого. Вона також відома як ковзний скалярний добуток (англ. sliding dot product) та ковзний внутрішній добуток (англ. sliding inner-product). Її зазвичай використовують для пошуку в довгому сигналі коротшої відомої ознаки. Вона має застосування в розпізнаванні образів, аналізі одиничних частинок, електронній томографії, усереднюванні, криптоаналізі та нейрофізіології . Взаємна кореляція за своєю природою подібна до згортки двох функцій. В автокореляції, яка є взаємною кореляцією сигналу з самим собою, завжди буде пік на нульовій затримці, і його розмір буде енергією сигналу.

У теорії ймовірностей та статистиці термін взаємні кореляції стосується кореляцій між елементами двох випадкових векторів $\mathbf {X}$ та $\mathbf {Y}$, тоді як кореляції випадкового вектора $\mathbf {X}$ є кореляціями між елементами самого $\mathbf {X}$, що утворюють кореляційну матрицю $\mathbf {X}$. Якщо як $\mathbf {X}$, так і $\mathbf {Y}$ є скалярними випадковими величинами, які багаторазово реалізуються в часовому ряді, то кореляції різних часових примірників $\mathbf {X}$ відомі як автокореляції (англ. autocorrelations) $\mathbf {X}$, а взаємні кореляції $\mathbf {X}$ із $\mathbf {Y}$ у часі є часовими взаємними кореляціями (англ. temporal cross-correlations). У теорії ймовірностей та статистиці визначення кореляції завжди включає такий стандартувальний коефіцієнт, щоби кореляції мали значення від −1 до +1.

Якщо $X$ та $Y$ — дві незалежні випадкові величини з функціями густини ймовірності $f$ та $g$ відповідно, то густина ймовірності різниці $Y-X$ формально задається взаємною кореляцією (у сенсі обробки сигналів) $f\star g$, проте цю термінологію в теорії ймовірностей та статистиці не використовують. На противагу цьому, згортка $f*g$ (еквівалентна взаємній кореляції $f(t)$ та $g(-t)$) дає функцію густини ймовірності суми $X+Y$.

Взаємна кореляція детермінованих сигналів

Для безперервних функцій $f$ та $g$ взаємну кореляцію визначають як

$(f\star g)(\tau )\ \triangleq \int _{-\infty }^{\infty }{\overline {f(t)}}g(t+\tau )\,dt$

( 1 )

що рівнозначне

$(f\star g)(\tau )\ \triangleq \int _{-\infty }^{\infty }{\overline {f(t-\tau )}}g(t)\,dt$

де ${\overline {f(t)}}$ позначує комплексне спряжене $f(t)$, а $\tau$ — зміщення, відоме також як запізнювання (англ. lag; ознака в $f$ з $t$ трапляється в $g$ на $t+\tau$).

Якщо $f$ та $g$ обидві є безперервними періодичними функціями з періодом $T$, то інтегрування з $-\infty$ до $\infty$ замінюється інтегруванням за будь-яким інтервалом $[t_{0},t_{0}+T]$ довжини $T$:

$(f\star g)(\tau )\ \triangleq \int _{t_{0}}^{t_{0}+T}{\overline {f(t)}}g(t+\tau )\,dt$

( 2 )

що рівнозначне

$(f\star g)(\tau )\ \triangleq \int _{t_{0}}^{t_{0}+T}{\overline {f(t-\tau )}}g(t)\,dt$

Аналогічно, для дискретних функцій взаємну кореляцію визначають як

$(f\star g)[n]\ \triangleq \sum _{m=-\infty }^{\infty }{\overline {f[m]}}g[m+n]$

( 3 )

що рівнозначне

$(f\star g)[n]\ \triangleq \sum _{m=-\infty }^{\infty }{\overline {f[m-n]}}g[m]$.

Для скінченних дискретних функцій $f,g\in \mathbb {C} ^{N}$ (циклічну, англ. circular) взаємну кореляцію визначають як

$(f\star g)[n]\ \triangleq \sum _{m=0}^{N-1}{\overline {f[m]}}g[(m+n)_{{\text{mod}}~N}]$

( 4 )

що рівнозначне

$(f\star g)[n]\ \triangleq \sum _{m=0}^{N-1}{\overline {f[(m-n)_{{\text{mod}}~N}]}}g[m]$.

Для скінченних дискретних функцій $f\in \mathbb {C} ^{N}$, $g\in \mathbb {C} ^{M}$ ядрову взаємну кореляцію (англ. kernel cross-correlation) визначають як

$(f\star g)[n]\ \triangleq \sum _{m=0}^{N-1}{\overline {f[m]}}K_{g}[(m+n)_{{\text{mod}}~N}]$

( 5 )

де $K_{g}=[k(g,T_{0}(g)),k(g,T_{1}(g)),\dots ,k(g,T_{N-1}(g))]$ — вектор ядрових функцій $k(\cdot ,\cdot )\colon \mathbb {C} ^{M}\times \mathbb {C} ^{M}\to \mathbb {R}$, а $T_{i}(\cdot )\colon \mathbb {C} ^{M}\to \mathbb {C} ^{M}$ — афінне перетворення.

Зокрема, $T_{i}(\cdot )$ може бути перетворенням циклічного перенесення, поворотним та масштабувальним перетворенням тощо. Ядрова взаємна кореляція узагальнює взаємну кореляцію з лінійного простору до ядрового. Взаємна кореляція рівнозначна перенесенню; ядрова взаємна кореляція рівнозначна будь-яким афінним перетворенням, включно з перенесенням, повертанням, масштабуванням тощо.

Пояснення

Як приклад розгляньмо дві дійснозначні функції $f$ та $g$, що відрізняються лише невідомим зміщенням уздовж осі x. Взаємною кореляцією можливо скористатися, щоби знайти, наскільки $g$ мусить бути зміщено вздовж осі x, щоби зробити її ідентичною до $f$. Ця формула по суті соває функцію $g$ уздовж осі x, обчислюючи інтеграл від їхнього добутку в кожному положенні. Коли функції збігаються, значення $(f\star g)$ є максимальним. Це тому, що коли піки (додатні області) вирівняно, вони роблять великий внесок до інтегралу. Аналогічно, коли вирівнюються западини (від'ємні області), вони також роблять додатний внесок до інтегралу, оскільки добуток двох від'ємних чисел є додатним.

Анімація, яка наочно показує, як обчислюється взаємна кореляція

З комплекснозначними функціями $f$ та $g$ взяття спряження $f$ забезпечує, що вирівняні піки (або вирівняні западини) з уявними компонентами робитимуть до інтегралу додатний внесок.

В економетрії взаємну кореляцію з запізнюванням іноді називають взаємною автокореляцією (англ. cross-autocorrelation).^{:с. 74}

Властивості

• Взаємна кореляція функцій $f(t)$ та $g(t)$ рівнозначна згортці (позначуваній через $*$) функцій ${\overline {f(-t)}}$ та $g(t)$. Тобто,

  $[f(t)\star g(t)](t)=[{\overline {f(-t)}}*g(t)](t).$

• $[f(t)\star g(t)](t)=[{\overline {g(t)}}\star {\overline {f(t)}}](-t).$
• Якщо функція $f$ є ермітовою, то $f\star g=f*g.$
• Якщо як $f$, так і $g$ є ермітовими, то $f\star g=g\star f$.
• $\left(f\star g\right)\star \left(f\star g\right)=\left(f\star f\right)\star \left(g\star g\right)$.
• Аналогічно теоремі про згортку, взаємна кореляція задовольняє
  ${\mathcal {F}}\left\{f\star g\right\}={\overline {{\mathcal {F}}\left\{f\right\}}}\cdot {\mathcal {F}}\left\{g\right\},$
  де ${\mathcal {F}}$ позначує перетворення Фур'є, а ${\overline {f}}$ знову позначує комплексне спряження $f$, оскільки ${\mathcal {F}}\left\{{\overline {f(-t)}}\right\}={\overline {{\mathcal {F}}\left\{f(t)\right\}}}$. У поєднанні з алгоритмами швидкого перетворення Фур'є цю властивість часто використовують для ефективного чисельного обчислення взаємних кореляцій (див. циклічну взаємну кореляцію).
• Взаємна кореляція пов'язана зі спектральною густиною (див. теорему Вінера — Хінчина).
• Взаємна кореляція згортки $f$ та $h$ з функцією $g$ це згортка взаємної кореляції $g$ та $f$ з ядром $h$:

  $g\star \left(f*h\right)=\left(g\star f\right)*h$.

Взаємна кореляція випадкових векторів

Визначення

Для випадкових векторів $\mathbf {X} =(X_{1},\ldots ,X_{m})^{\rm {T}}$ та $\mathbf {Y} =(Y_{1},\ldots ,Y_{n})^{\rm {T}}$, кожен з яких складається з випадкових елементів з відомими математичним сподіваннями та дисперсіями, матрицю взаємної кореляції $\mathbf {X}$ та $\mathbf {Y}$ визначають через^:с.337

$\operatorname {R} _{\mathbf {X} \mathbf {Y} }\triangleq \ \operatorname {E} \left[\mathbf {X} \mathbf {Y} ^{\rm {T}}\right]$

( 6 )

й вона має розміри $m\times n$. У записі по складових:

$\operatorname {R} _{\mathbf {X} \mathbf {Y} }={\begin{bmatrix}\operatorname {E} [X_{1}Y_{1}]&\operatorname {E} [X_{1}Y_{2}]&\cdots &\operatorname {E} [X_{1}Y_{n}]\\\\\operatorname {E} [X_{2}Y_{1}]&\operatorname {E} [X_{2}Y_{2}]&\cdots &\operatorname {E} [X_{2}Y_{n}]\\\\\vdots &\vdots &\ddots &\vdots \\\\\operatorname {E} [X_{m}Y_{1}]&\operatorname {E} [X_{m}Y_{2}]&\cdots &\operatorname {E} [X_{m}Y_{n}]\end{bmatrix}}$

Випадкові вектори $\mathbf {X}$ та $\mathbf {Y}$ не зобов'язані мати однакові розміри, й будь-який з них може бути скалярним значенням.

Приклад

Наприклад, якщо $\mathbf {X} =\left(X_{1},X_{2},X_{3}\right)^{\rm {T}}$ та $\mathbf {Y} =\left(Y_{1},Y_{2}\right)^{\rm {T}}$ — випадкові вектори, то $\operatorname {R} _{\mathbf {X} \mathbf {Y} }$ — матриця $3\times 2$, чиїм $(i,j)$-м елементом є $\operatorname {E} [X_{i}Y_{j}]$.

Визначення для комплексних випадкових векторів

Якщо $\mathbf {Z} =(Z_{1},\ldots ,Z_{m})^{\rm {T}}$ та $\mathbf {W} =(W_{1},\ldots ,W_{n})^{\rm {T}}$ — комплексні випадкові вектори, кожен з яких містить випадкові величини з відомими математичними сподіваннями та дисперсіями, то матрицю взаємної кореляції $\mathbf {Z}$ та $\mathbf {W}$ визначають через

$\operatorname {R} _{\mathbf {Z} \mathbf {W} }\triangleq \ \operatorname {E} [\mathbf {Z} \mathbf {W} ^{\rm {H}}]$

де ${}^{\rm {H}}$ позначує ермітове транспонування.

Взаємна кореляція стохастичних процесів

В аналізі часових рядів і статистиці взаємна кореляція пари випадкових процесів — це кореляція між значеннями цих процесів у різні моменти часу як функція від цих двох моментів часу. Нехай $(X_{t},Y_{t})$ — пара випадкових процесів, а $t$ — будь-яка точка в часі ($t$ може бути цілим числом для дискретночасового процесу, або дійсним числом для процесу неперервночасового). Тоді $X_{t}$ — це значення (або реалізація), реалізоване в результаті заданого перебігу процесу в момент часу $t$.

Взаємна кореляційна функція

Припустімо, що цей процес у момент часу $t$ має середні значення $\mu _{X}(t)$ та $\mu _{Y}(t)$ і дисперсії $\sigma _{X}^{2}(t)$ та $\sigma _{Y}^{2}(t)$, для будь-якого $t$. Тоді визначенням взаємної кореляції між моментами часу $t_{1}$ та $t_{2}$ є^:с.392

$\operatorname {R} _{XY}(t_{1},t_{2})\triangleq \ \operatorname {E} \left[X_{t_{1}}{\overline {Y_{t_{2}}}}\right]$

( 7 )

де $\operatorname {E}$ — оператор математичного сподівання. Зауважте, що цей вираз може бути не визначеним.

Взаємна коваріаційна функція

Віднімання середнього значення перед множенням дає перехресну коваріацію моментів часу $t_{1}$ та $t_{2}$:^:с.392

$\operatorname {K} _{XY}(t_{1},t_{2})\triangleq \ \operatorname {E} \left[\left(X_{t_{1}}-\mu _{X}(t_{1})\right){\overline {(Y_{t_{2}}-\mu _{Y}(t_{2}))}}\right]$

( 8 )

Зауважте, що цей вираз не є однозначно визначеним для всіх часових рядів та процесів, оскільки середнє значення або дисперсія можуть не існувати.

Визначення для стаціонарного в широкому сенсі стохастичного процесу

Нехай $(X_{t},Y_{t})$ подає пару стохастичних процесів, спільно стаціонарних у широкому сенсі. Тоді взаємну коваріаційну та взаємну кореляційну функції задають наступним чином.

Взаємна кореляційна функція

$\operatorname {R} _{XY}(\tau )\triangleq \ \operatorname {E} \left[X_{t}{\overline {Y_{t+\tau }}}\right]$

( 9 )

або, рівнозначно,

$\operatorname {R} _{XY}(\tau )=\operatorname {E} \left[X_{t-\tau }{\overline {Y_{t}}}\right]$

Взаємна коваріаційна функція

$\operatorname {K} _{XY}(\tau )\triangleq \ \operatorname {E} \left[\left(X_{t}-\mu _{X}\right){\overline {\left(Y_{t+\tau }-\mu _{Y}\right)}}\right]$

( 10 )

або, рівнозначно,

$\operatorname {K} _{XY}(\tau )=\operatorname {E} \left[\left(X_{t-\tau }-\mu _{X}\right){\overline {\left(Y_{t}-\mu _{Y}\right)}}\right]$

де $\mu _{X}$ та $\sigma _{X}$ — середнє значення та стандартне відхилення процесу $(X_{t})$, сталі в часі через стаціонарність; і так само для $(Y_{t})$, відповідно. $\operatorname {E} [\ ]$ показує математичне сподівання. Те, що взаємні коваріація та кореляція не залежать від $t$, — саме додаткова інформація (поза індивідуальною стаціонарністю в широкому сенсі), яку передає вимога, що $(X_{t},Y_{t})$ спільно стаціонарні в широкому сенсі.

Взаємну кореляцію пари спільно стаціонарних у широкому сенсі стохастичних процесів можливо оцінювати усереднюванням добутку зразків, виміряних за одним процесом, і зразків, виміряних за іншим (та за його зсувами в часі). Зразки, включені до цього усереднювання, можуть бути довільною підмножиною всіх зразків у сигналі (наприклад, зразки в межах скінченного часового вікна, або підвибірка^[яка?] одного з сигналів). За великої кількості зразків це усереднення збігається до істинної взаємної кореляції.

Унормовування

Поширеною практикою в деяких дисциплінах (наприклад, у статистиці та аналізі часових рядів) є унормовувати взаємно кореляційну функцію, щоб отримувати залежний від часу коефіцієнт кореляції Пірсона. Проте в деяких інших дисциплінах (наприклад, в інженерії) унормовування зазвичай пропускають, а терміни «взаємна кореляція» та «взаємна коваріація» використовують як взаємозамінні.

Визначення нормованої взаємної кореляції стохастичного процесу:

$\rho _{XX}(t_{1},t_{2})={\frac {\operatorname {K} _{XX}(t_{1},t_{2})}{\sigma _{X}(t_{1})\sigma _{X}(t_{2})}}={\frac {\operatorname {E} \left[\left(X_{t_{1}}-\mu _{t_{1}}\right){\overline {\left(X_{t_{2}}-\mu _{t_{2}}\right)}}\right]}{\sigma _{X}(t_{1})\sigma _{X}(t_{2})}}$.

Якщо функція $\rho _{XX}$ однозначно визначена, її значення мусять лежати в діапазоні $[-1,1]$, причому 1 вказує на ідеальну кореляцію, а −1 — на ідеальну антикореляцію.

Для спільно стаціонарних у широкому сенсі стохастичних процесів визначення таке:

$\rho _{XY}(\tau )={\frac {\operatorname {K} _{XY}(\tau )}{\sigma _{X}\sigma _{Y}}}={\frac {\operatorname {E} \left[\left(X_{t}-\mu _{X}\right){\overline {\left(Y_{t+\tau }-\mu _{Y}\right)}}\right]}{\sigma _{X}\sigma _{Y}}}$.

Унормовування важливе як тому, що інтерпретація автокореляції як кореляції забезпечує безмасштабну міру сили статистичної залежності, так і тому, що унормовування впливає на статистичні властивості оцінюваних автокореляцій.

Властивості

Властивість симетрії

Для спільно стаціонарних у широкому сенсі стохастичних процесів взаємно кореляційна функція має таку властивість симетрії:^:с.173

$\operatorname {R} _{XY}(t_{1},t_{2})={\overline {\operatorname {R} _{YX}(t_{2},t_{1})}}$

Відповідно, для спільно СШС стохастичних процесів:

$\operatorname {R} _{XY}(\tau )={\overline {\operatorname {R} _{YX}(-\tau )}}$

Аналіз часової затримки

Взаємні кореляції корисні для визначання часової затримки між двома сигналами, наприклад, для визначання часових затримок поширення акустичних сигналів системою спрямованих мікрофонів.^{[прояснити: ком.]}  Після обчислення взаємної кореляції між двома сигналами максимум (або мінімум, якщо сигнали корельовані негативно) взаємно кореляційної функції вказує момент часу, коли сигнали узгоджені найкраще; тобто затримка часу між цими двома сигналами визначається аргументом максимуму, або arg max, взаємної кореляції, як у

$\tau _{\mathrm {delay} }={\underset {t\in \mathbb {R} }{\operatorname {arg\,max} }}((f\star g)(t))$

Термінологія в обробці зображень

Центрована нормована взаємна кореляція (ЦНВК)

Для застосувань в обробці зображень, у яких яскравість зображення та шаблону може змінюватися залежно від умов освітлення та експозиції, зображення можуть спочатку унормовувати. Зазвичай це роблять на кожному кроці шляхом віднімання середнього значення та ділення на стандартне відхилення. Тобто, взаємна кореляція шаблону $t(x,y)$ з підзображенням $f(x,y)$ — це

${\frac {1}{n}}\sum _{x,y}{\frac {1}{\sigma _{f}\sigma _{t}}}\left(f(x,y)-\mu _{f}\right)\left(t(x,y)-\mu _{t}\right)$

де $n$ — число пікселів у $t(x,y)$ та $f(x,y)$, $\mu _{f}$ — усереднення $f$, а $\sigma _{f}$ — стандартне відхилення $f$.

З погляду функціонального аналізу це можливо розглядати як добуток двох унормованих векторів. Тобто, якщо

$F(x,y)=f(x,y)-\mu _{f}$

та

$T(x,y)=t(x,y)-\mu _{t}$

то наведена вище сума дорівнює

$\left\langle {\frac {F}{\|F\|}},{\frac {T}{\|T\|}}\right\rangle$

де $\langle \cdot ,\cdot \rangle$ — скалярний добуток, а $\|\cdot \|$ — норма L². З Коші — Буняковського тоді випливає, що ЦНВК (англ. zero-normalized cross-correlation, ZNCC) має діапазон $[-1,1]$.

Таким чином, якщо $f$ та $t$ є дійснозначними матрицями, то їх нормована взаємна кореляція дорівнює косинусу кута між одиничними векторами $F$ та $T$, будучи відтак $1$ тоді й лише тоді, коли $F$ дорівнює $T$, помноженому на додатний скаляр.

Нормована кореляція — це один із методів, які використовують для зіставляння з шаблоном, процесу, який використовують для пошуку зразків або об'єктів у зображенні. Вона також є двовимірною версією коефіцієнту кореляції моменту добутку Пірсона.

Нормована взаємна кореляція (НВК)

НВК (англ. normalized cross-correlation, NCC) подібна до ЦНВК, з тією лише відмінністю, що не віднімається локальне середнє значення освітленостей:

${\frac {1}{n}}\sum _{x,y}{\frac {1}{\sigma _{f}\sigma _{t}}}f(x,y)t(x,y)$

Нелінійні системи

При використанні взаємної кореляції для нелінійних систем необхідно бути обережними. За певних обставин, які залежать від властивостей вхідних даних, взаємна кореляція між входом і виходом системи з нелінійною динамікою може бути повністю сліпою до певних нелінійних ефектів. Ця проблема виникає через те, що деякі квадрати моментів можуть дорівнювати нулеві, й це може помилково підказувати, що між двома сигналами існує невелика «кореляція» (у сенсі статистичної залежності), хоча насправді ці два сигнали сильно пов'язані нелінійною динамікою.

Див. також

• Автоковаріація
• Автокореляція
• Взаємна коваріація
• Взаємний спектр
• Взаємно кореляційна матриця
• Згортка
• Когерентність
• Кореляційна функція
• Кореляція
• Кореляція цифрових зображень
• Масштабна кореляція
• Спектральна густина
• Теорема Вінера — Хінчина
• Фазова кореляція

Література

• Tahmasebi, Pejman; Hezarkhani, Ardeshir; Sahimi, Muhammad (2012). Multiple-point geostatistical modeling based on the cross-correlation functions. Computational Geosciences. 16 (3): 779—797. doi:10.1007/s10596-012-9287-1. (англ.)

Посилання

• Взаємна кореляція від Mathworld [Архівовано 30 серпня 2020 у Wayback Machine.] (англ.)
• http://scribblethink.org/Work/nvisionInterface/nip.html [Архівовано 22 квітня 2022 у Wayback Machine.] (англ.)
• http://www.staff.ncl.ac.uk/oliver.hinton/eee305/Chapter6.pdf [Архівовано 1 серпня 2020 у Wayback Machine.](англ.)