Русская Википедия:Отношение Рэлея
В математике для данной комплексной эрмитовой матрицы <math>M</math> и ненулевого вектора <math>x</math> отношение Рэлея[1] <math>R(M, x)</math> определяется следующим образом[2][3]:
- <math>R(M,x) = {x^{*} M x \over x^{*} x}.</math>
Для действительных матриц условие эрмитовости матрицы сводится к её симметричности, а эрмитово сопряжение векторов <math>x^{*}</math> превращается в обычное транспонирование <math>x'</math>. Заметьте, что <math>R(M, c x) = R(M,x)</math> для любой вещественной константы <math>c \neq 0 </math>. Напомним, что эрмитова (как и симметричная вещественная) матрица имеет вещественные собственные значения. Можно показать, что для матрицы отношение Рэлея достигает минимального значения <math>\lambda_\min</math> (наименьшее собственное число матрицы <math>M</math>) когда <math>x</math> равен <math>v_\min</math> (соответствующий собственный вектор). Подобным образом можно показать, что <math>R(M, x) \leq \lambda_\max</math> и <math>R(M, v_\max) = \lambda_\max</math>. Отношение Рэлея используется в теореме Куранта-Фишера о минимаксе для получения всех значений собственных чиселШаблон:Sfn. Используется оно и в алгоритмах нахождения собственных значений матрицы для получения приближения собственного значения из приближения собственного вектора. А именно, отношение является базой для Шаблон:Не переведено 5Шаблон:SfnШаблон:Sfn.
Множество значений отношения Рэлея называется Шаблон:Не переведено 5Шаблон:SfnШаблон:Sfn.
Специальный случай ковариационных матриц
Ковариационная матрица M для многомерной статистической выборки A (матрицы наблюдений) может быть представлена в виде произведения A' AШаблон:SfnШаблон:Sfn. Будучи симметричной вещественной матрицей, M имеет неотрицательные собственные значения и ортогональные (или приводимые к ортогональным) собственные вектора.
Во-первых, то, что собственные значения <math>\lambda_i</math> не отрицательны:
- <math>M v_i = A' A v_i = \lambda_i v_i</math>
- <math>\Rightarrow v_i' A' A v_i = v_i' \lambda_i v_i</math>
- <math>\Rightarrow \left\| A v_i \right\|^2 = \lambda_i \left\| v_i \right\|^2</math>
- <math>\Rightarrow \lambda_i = \frac{\left\| A v_i \right\|^2}{\left\| v_i \right\|^2} \geq 0.</math>
И, во-вторых, что собственные вектора <math>v_i</math> ортогональны друг другу:
- <math>M v_i = \lambda _i v_i</math>
- <math>\Rightarrow v_j' M v_i = \lambda _i v_j' v_i</math>
- <math>\Rightarrow (M v_j )' v_i = \lambda _i v_j' v_i</math>
- <math>\Rightarrow \lambda_j v_j ' v_i = \lambda _i v_j' v_i</math>
- <math>\Rightarrow (\lambda_j - \lambda_i) v_j ' v_i = 0</math>
- <math>\Rightarrow v_j ' v_i = 0</math> (если собственные значения различны — в случае одинаковых значений можно найти ортогональный базис).
Теперь покажем, что отношение Рэлея принимает максимальное значение на векторе, соответствующем наибольшее собственное значение. Разложим произвольный вектор <math>x</math> по базису собственных нормированных векторов vi:
- <math>x = \sum _{i=1} ^n \alpha _i v_i</math>, где <math> \alpha_i = \frac{x'v_i}{v_i'v_i} = \frac{\langle x,v_i\rangle}{\left\| v_i \right\| ^2}</math> является проекцией x на <math>v_i</math>
- <math>\forall i, || v_i || = \sqrt{(v_i' v_i )} = 1</math>
Таким образом, равенство
- <math>R(M,x) = \frac{x' A' A x}{x' x}</math>
можно переписать в следующем виде:
- <math>R(M,x) = \frac{(\sum _{j=1} ^n \alpha _j v_j)' A' A (\sum _{i=1} ^n \alpha _i v_i)}{(\sum _{j=1} ^n \alpha _j v_j)' (\sum _{i=1} ^n \alpha _i v_i)}</math>
Поскольку собственные вектора ортогональны, последнее равенство превращается в
- <math>R(M,x) = \frac{\sum _{i=1} ^n \alpha _i ^2 \lambda _i}{\sum _{i=1} ^n \alpha _i ^2} = \sum_{i=1}^n \lambda_i \frac{(x'v_i)^2}{ (x'x)} = \sum_{i=1}^n \lambda_i \frac{(x'v_i)^2}{ (x'x)( v_i' v_i)}
</math>
Последнее равенство показывает, что отношение Рэлея является суммой квадратов косинусов углов между вектором <math>x</math> и каждым из собственных векторов <math>v_i</math>, умноженных на соответствующее собственное значение.
Если вектор <math>x</math> максимизирует <math>R(M,x)</math>, то все вектора, полученные из <math>x</math> умножением на скаляр (<math>k x</math> для <math>k \ne 0</math>) также максимизируют R. Таким образом, задачу можно свести к нахождению максимума <math>\sum _{i=1} ^n \alpha _i ^2 \lambda _i</math> при условии <math>\sum _{i=1} ^n \alpha _i ^2 = 1</math>.
Поскольку все собственные числа не отрицательны, задача сводится к нахождению максимума выпуклой функции и можно показать, что он достигается при <math>\alpha _1 = 1</math> и <math>\forall i > 1, \alpha _i = 0</math> (собственные значения упорядочены по убыванию).
Таким образом, отношение Рэлея достигает максимума на собственном векторе, соответствующему максимальному собственному значению.
Тот же результат с использованием множителей Лагранжа
Тот же результат может быть получен с помощью множителей Лагранжа. Задача состоит в нахождении критических точек функции
- <math>R(M,x) = x^T M x </math>,
при постоянной величине <math>\|x\|^2 = x^Tx = 1.</math> То есть, нужно найти критические точки функции
- <math>\mathcal{L}(x) = x^T M x -\lambda (x^Tx - 1), </math>
где <math>\lambda </math> — множитель Лагранжа. Для стационарных точек функции <math>\mathcal{L}(x)</math> выполняется равенство
- <math>\frac{d\mathcal{L}(x)}{dx} = 0 </math>
- <math>\therefore 2x^T M^T - 2\lambda x^T = 0 </math>
- <math>\therefore M x = \lambda x </math>
и <math> R(M,x) = \frac{x^T M x}{x^T x} = \lambda \frac{x^Tx}{x^T x} = \lambda.</math>
Таким образом, собственные вектора <math>x_1 \ldots x_n</math> матрицы M являются критическими точками отношения Рэлея и их собственные значения <math>\lambda_1 \ldots \lambda_n</math> — соответствующими стационарными значениями.
Это свойство является базисом метода главных компонент и канонической корреляции.
Использование в теории Штурма — Лиувилля
Теория Штурма — Лиувилля заключается в исследовании линейного оператора
- <math>L(y) = \frac{1}{w(x)}\left(-\frac{d}{dx}\left[p(x)\frac{dy}{dx}\right] + q(x)y\right)</math>
- <math>\langle{y_1,y_2}\rangle = \int_a^b w(x)y_1(x)y_2(x) \, dx</math>,
где функции удовлетворяют некоторым специфичным граничным условиям в точках a и b. Отношение Рэлея здесь принимает вид
- <math>\frac{\langle{y,Ly}\rangle}{\langle{y,y}\rangle} = \frac{\int_a^b{y(x)\left(-\frac{d}{dx}\left[p(x)\frac{dy}{dx}\right] + q(x)y(x)\right)}dx}{\int_a^b{w(x)y(x)^2}dx}.</math>
Иногда это отношение представляют в эквивалентном виде используя интегрирование по частямШаблон:Sfn:
- <math>\frac{\langle{y,Ly}\rangle}{\langle{y,y}\rangle} = \frac{\int_a^b{y(x)\left(-\frac{d}{dx}\left[p(x)y'(x)\right]\right)}dx + \int_a^b{q(x)y(x)^2} \, dx}{\int_a^b{w(x)y(x)^2} \, dx}</math>
- <math>= \frac{-y(x)\left[p(x)y'(x)\right]|_a^b + \int_a^b{y'(x)\left[p(x)y'(x)\right]} \, dx + \int_a^b{q(x)y(x)^2} \, dx}{\int_a^b{w(x)y(x)^2} \, dx}</math>
- <math>= \frac{-p(x)y(x)y'(x)|_a^b + \int_a^b\left[p(x)y'(x)^2 + q(x)y(x)^2\right] \, dx}{\int_a^b{w(x)y(x)^2} \, dx}.</math>
Обобщение
Для любой пары <math>(A, B)</math> вещественных симметричных положительно определённых матриц и ненулевого вектора <math>x</math>, обобщенное отношение Рэлея определяется как
- <math>R(A,B; x) := \frac{x^T A x}{x^T B x}.</math>
Обобщённое отношение Рэлея можно свести к отношению Рэлея <math>R(D, Cx)</math> путём преобразования <math>D = {C^*}^{-1} A C^{-1}</math>, где <math>C</math> — разложение Холецкого матрицы <math>B</math>.
См. также
Примечания
Литература
- Шаблон:Книга
- Шаблон:Книга
- Шаблон:Книга
- Шаблон:Книга
- Шаблон:Книга
- Шаблон:Статья
- Шаблон:Статья
- Шаблон:Статья
- Шаблон:Книга
Шаблон:Rq
- ↑ также известно под именем отношение Рэлея-Рица, названного в честь Вальтера Рица и Лорда Рэлея.
- ↑ Horn, R. A. and C. A. Johnson. 1985. Matrix Analysis. Cambridge University Press. pp. 176–180.
- ↑ Parlet B. N. The symmetric eigenvalue problem, SIAM, Classics in Applied Mathematics,1998
