Відношення Релея

У математиці для даної комплексної ермітової матриці $M$ і ненульового вектора $x$ відношення Релея $R(M,x)$ визначають так:

$R(M,x)={x^{*}Mx \over x^{*}x}.$

Для дійсних матриць умова ермітовості матриці зводиться до її симетричності, а ермітове спряження векторів $x^{*}$ перетворюється на звичайне транспонування $x'$. Зауважте, що $R(M,cx)=R(M,x)$ для будь-якої дійсної константи $c\neq 0$. Нагадаємо, що ермітова (як і симетрична дійсна) матриця має дійсні власні значення. Можна показати, що для матриці відношення Релея досягає мінімального значення $\lambda _{\min }$ (найменше власне число матриці $M$) коли $x$ дорівнює $v_{\min }$ (відповідний власний вектор). Так само можна показати, що $R(M,x)\leq \lambda _{\max }$ і $R(M,v_{\max })=\lambda _{\max }$. Відношення Релея використано в теоремі Куранта — Фішера про мінімакс для отримання всіх значень власних чисел. Використовується воно і в алгоритмах знаходження власних значень матриці для отримання наближення власного значення з наближення власного вектора. А саме, відношення є базою для ітерацій з відношенням Релея.

Множину значень відношення Релея називають числовим образом матриці.

Окремий випадок коваріаційних матриць

Коваріаційну матрицю $M$ для багатовимірної статистичної вибірки $A$ (матриці спостережень) можна подати у вигляді добутку $A'A$. Як симетрична дійсна матриця, $M$ має невід'ємні власні значення і ортогональні (або звідні до ортогональних) власні вектори.

По-перше, оскільки власні значення $\lambda _{i}$ не від'ємні:

$Mv_{i}=A'Av_{i}=\lambda _{i}v_{i}$

$\Rightarrow v_{i}'A'Av_{i}=v_{i}'\lambda _{i}v_{i}$

$\Rightarrow \left\|Av_{i}\right\|^{2}=\lambda _{i}\left\|v_{i}\right\|^{2}$

$\Rightarrow \lambda _{i}={\frac {\left\|Av_{i}\right\|^{2}}{\left\|v_{i}\right\|^{2}}}\geq 0$

і, по-друге, оскільки власні вектори $v_{i}$ ортогональні один з одним:

$Mv_{i}=\lambda _{i}v_{i}$

$\Rightarrow v_{j}'Mv_{i}=\lambda _{i}v_{j}'v_{i}$

$\Rightarrow (Mv_{j})'v_{i}=\lambda _{i}v_{j}'v_{i}$

$\Rightarrow \lambda _{j}v_{j}'v_{i}=\lambda _{i}v_{j}'v_{i}$

$\Rightarrow (\lambda _{j}-\lambda _{i})v_{j}'v_{i}=0$

$\Rightarrow v_{j}'v_{i}=0$, якщо власні значення різні; в разі однакових значень можна знайти ортогональний базис.

Тепер покажемо, що відношення Релея набуває найбільшого значення на векторі, відповідному найбільшому власному значенню. Розкладемо довільний вектор $x$ за базисом власних векторів $v_{j}$:

$x=\sum _{i=1}^{n}\alpha _{i}v_{i}$, де $\alpha _{i}={\frac {x'v_{i}}{v_{i}'v_{i}}}={\frac {\langle x,v_{i}\rangle }{\left\|v_{i}\right\|^{2}}}$ є проєкцією $x$ на $v_{i}$

Отже, рівність

$R(M,x)={\frac {x'A'Ax}{x'x}}$

можна переписати так:

$R(M,x)={\frac {(\sum _{j=1}^{n}\alpha _{j}v_{j})'A'A(\sum _{i=1}^{n}\alpha _{i}v_{i})}{(\sum _{j=1}^{n}\alpha _{j}v_{j})'(\sum _{i=1}^{n}\alpha _{i}v_{i})}}$

Оскільки власні вектори ортогональні, остання рівність перетворюється на

$R(M,x)={\frac {\sum _{i=1}^{n}\alpha _{i}^{2}\lambda _{i}}{\sum _{i=1}^{n}\alpha _{i}^{2}}}=\sum _{i=1}^{n}\lambda _{i}{\frac {(x'v_{i})^{2}}{(x'x)(v_{i}'v_{i})}}$

Остання рівність показує, що відношення Релея є сумою квадратів косинусів кутів між вектором $x$ і кожним з власних векторів $v_{i}$, помножених на відповідне власне значення.

Якщо вектор $x$ максимізує $R(M,x)$, то всі вектори, отримані з $x$ множенням на скаляр ($kx$ для $k\neq 0$) також максимізують $R$. Таким чином, задачу можна звести до знаходження максимуму $\sum _{i=1}^{n}\alpha _{i}^{2}\lambda _{i}$ за умови $\sum _{i=1}^{n}\alpha _{i}^{2}=1$.

Оскільки всі власні числа не від'ємні, задача зводиться до знаходження максимуму опуклої функція і можна показати, що він досягається при $\alpha _{1}=1$ і $\forall i>1,\alpha _{i}=0$ (власні значення впорядковані за спаданням).

Таким чином, відношення Релея досягає максимуму на власному векторі, відповідному найбільшому власному значенню.

Той самий результат з використанням множників Лагранжа

Той самий результат можна отримати за допомогою множників Лагранжа. Задача полягає в знаходженні критичних точок функції

$R(M,x)=x^{T}Mx$,

за сталої величини $\|x\|^{2}=x^{T}x=1.$ Тобто, потрібно знайти критичні точки функції

${\mathcal {L}}(x)=x^{T}Mx-\lambda (x^{T}x-1),$

де $\lambda$ — множник Лагранжа.

Для стаціонарних точок функції ${\mathcal {L}}(x)$ виконується рівність

${\frac {d{\mathcal {L}}(x)}{dx}}=0$

$\therefore 2x^{T}M^{T}-2\lambda x^{T}=0$

$\therefore Mx=\lambda x$

і $R(M,x)={\frac {x^{T}Mx}{x^{T}x}}=\lambda {\frac {x^{T}x}{x^{T}x}}=\lambda .$

Таким чином, власні вектори $x_{1}\ldots x_{n}$ матриці $M$ є критичними точками відношення Релея і їхні власні значення $\lambda _{1}\ldots \lambda _{n}$ — відповідними стаціонарними значеннями.

Ця властивість є базисом методу головних компонент і канонічної кореляції.

Використання в теорії Штурма — Ліувілля

Теорія Штурма — Ліувілля полягає в дослідженні лінійного оператора

$L(y)={\frac {1}{w(x)}}\left(-{\frac {d}{dx}}\left[p(x){\frac {dy}{dx}}\right]+q(x)y\right)$

зі скалярним добутком

$\langle {y_{1},y_{2}}\rangle =\int _{a}^{b}w(x)y_{1}(x)y_{2}(x)\,dx$,

де функції задовольняють деяким специфічним граничним умовам у точках $a$ і $b$. Відношення Релея тут набуває вигляду

${\frac {\langle {y,Ly}\rangle }{\langle {y,y}\rangle }}={\frac {\int _{a}^{b}{y(x)\left(-{\frac {d}{dx}}\left[p(x){\frac {dy}{dx}}\right]+q(x)y(x)\right)}dx}{\int _{a}^{b}{w(x)y(x)^{2}}dx}}.$

Іноді це відношення подають в еквівалентному вигляді, скориставшись інтегруванням частинами:

${\frac {\langle {y,Ly}\rangle }{\langle {y,y}\rangle }}={\frac {\int _{a}^{b}{y(x)\left(-{\frac {d}{dx}}\left[p(x)y'(x)\right]\right)}dx+\int _{a}^{b}{q(x)y(x)^{2}}\,dx}{\int _{a}^{b}{w(x)y(x)^{2}}\,dx}}$

$={\frac {-y(x)\left[p(x)y'(x)\right]|_{a}^{b}+\int _{a}^{b}{y'(x)\left[p(x)y'(x)\right]}\,dx+\int _{a}^{b}{q(x)y(x)^{2}}\,dx}{\int _{a}^{b}{w(x)y(x)^{2}}\,dx}}$

$={\frac {-p(x)y(x)y'(x)|_{a}^{b}+\int _{a}^{b}\left[p(x)y'(x)^{2}+q(x)y(x)^{2}\right]\,dx}{\int _{a}^{b}{w(x)y(x)^{2}}\,dx}}.$

Узагальнення

Для будь-якої пари $(A,B)$ дійсних симетричних додатноозначених матриць і ненульового вектора $x$, узагальнене відношення Релея визначається як

$R(A,B;x):={\frac {x^{T}Ax}{x^{T}Bx}}.$

Узагальнене відношення Релея можна звести до відношення Релея $R(D,Cx)$ перетворенням $D={C^{*}}^{-1}AC^{-1}$, де $C$ — розклад Холецького матриці $B$.

Див. також

• Числовий образ матриці

Література

• Б. Парлетт. Симметричная проблема собственных значений. Численные методы. — 1983.
• Э. Беккенббах, Р. Беллман. Неравенства. — М. : «Мир», 1965.
• Richard Haberman. Elementary applied partial differential equations. — Prentice Hall, Englewood, New Jersey, 1987.
• В. М. Вержбицкий. Численные методы (Линейная алгебра и нелинейные уравнения). — М. : «Высшая школа», 2000.
• В. В. Прасолов. Задачи и теоремы линейной алгебры. — М, 2008.
• Геворгян Л. З. Некоторые геометрические характеристики числового образа оператора. — Государственный Инженерный Университет Армении. Архівовано з джерела 31 серпня 2006.
• Zdzisław Burda, Jerzy Jurkiewicz, Bartłomiej Wacław. Eigenvalue density of empirical covariance matrix for correlated samples // Acta physica polonica B. — 2005. — Т. 36, вип. 9 (25 січня). — С. 2642.
• Коршунов Ю. М. Получение многомерной статистической выборки с заданными корреляционными свойствами // Вестник РГРТУ. — 2008. — Вип. 23 (25 січня). Архівовано з джерела 11 вересня 2021. Процитовано 11 вересня 2021.
• Shi Yu, Léon-Charles Tranchevent, Bart Moor, Yves Moreau. Ch. 2 // Kernel-based Data Fusion for Machine Learning: Methods and Applications in Bioinformatics and Text Mining. — Springer, 2011. Архівовано з джерела 11 вересня 2021