Русская Википедия:Теорема Карунена — Лоэва
Шаблон:RoughTranslation Важным принципиальным вопросом теории дискретизации является вопрос об объёме дискретного описания сигналов, то есть о количестве <math>N</math> базисных функций, используемых для представления:
- <math>a(t)=\sum_{k=0}^{N-1}\alpha_{k}\varphi_{k}(t)</math>.
Чтобы найти оптимальный базис, нужно определить класс сигналов, для которого он отыскивается, а также задать точность восстановления для этого класса. При статистическом подходе к описанию сигналов оптимальным <math>N</math> — мерным базисом для представления отдельных реализаций сигналов обычно считается базис, при котором норма ошибки, усредненная по ансамблю реализаций, минимальна. В этом случае необходимые и достаточные условия минимума нормы ошибки представления сигнала в виде суммы базисных функций определяет теорема Карунена-Лоэва.
Популярная формулировка
Минимальное значение нормы ошибки представления сигналов на интервале протяженностью <math>T</math> достигается при использовании в качестве базиса собственных функций оператора, ядром которого является корреляционная функция сигналов <math>R_{a}(t, \tau)</math>:
- <math>\int_{-\frac{T}{2}}^{\frac{T}{2}}R_{a}(t, \tau)\varphi_{k}(\tau)d\tau=\lambda_{k}\varphi_{k}(t)</math>,
соответствующих <math>N</math> наибольшим собственным значениям. При этом норма ошибки равна:
- <math>\| \epsilon \|^{2}_{min}=\|a(t)-\sum_{k=0}^{N-1}\alpha_{k}\varphi_{k}(t)\|^{2}_{min}=\sum_{k=N}^{\infty}\lambda_{k}</math>.
Такое разложение является разложением Карунена-ЛоэваШаблон:SfnШаблон:Sfn.
Применение
В теории случайных процессов теорема Карунена-Лоэва (названа в честь Кари Карунена и Мишеля Лоэва) — представление случайного процесса в виде бесконечной линейной комбинации ортогональных функций, аналогичное представлению рядов Фурье — последовательному представлению функций на ограниченном интервале. В отличие от рядов Фурье, где коэффициенты являются действительными числами и базис представления состоит из синусоидальных функций (то есть, из функций синус и косинус с разными частотами), коэффициенты в теореме Карунена-Лоэва — случайные переменные, и базис представления зависит от процесса. Ортогональные базисные функции, использованные в этом представлении, определяет функция ковариации процесса. Если мы рассматриваем стохастический процесс как случайную функцию F, то есть процесс, в котором функция на интервале [a, b] принимает значение F, то эта теорема может рассматриваться как случайное ортонормальное разложение F.
Центрированный случайный процесс {Xt}t ∈ [a, b] (где центрирование означает, что математические ожидания E(Xt) существуют и равны нулю для всех значений параметра t из [a, b]), удовлетворяющий техническому условию непрерывности, допускает разложение следующего вида:
- <math> \mathbf{X}_t = \sum_{k=1}^\infty \mathbf{Z}_k e_k(t). </math>
где Zk — взаимнонекоррелированые случайные величины и функции ek — непрерывные вещественные функции на [a, b], ортогональные в L² [a, b]. В случае нецентрированного процесса имеет место аналогичное разложение, получаемое разложением функции математического ожидания в базисе ek.
Если процесс <math> \mathbf{X}_t </math> гауссовский, то случайные величины Zk — тоже гауссовские и являются независимыми. Этот результат обобщает преобразования Карунена-Лоэва. Важным примером центрированного случайного процесса на интервале [0,1] является винеровский процесс, и теорема Карунена-Лоэва может быть использована для получения канонического ортогонального представления. В этом случае разложение состоит из синусоидальных функций.
Приведенные выше разложения в также известны как разложения или декомпозиция Карунена-Лоэва (эмпирическая версия, то есть, с коэффициентами из исходных числовых данных), как анализ главных компонент, собственное ортогональное разложение или преобразование Хотеллинга.
Формулировка
Сформулируем результат в терминах комплекснозначных стохастических процессов. Результаты могут быть применены к вещественнозначным процессам без модификаций, вспоминая, что число, комплексно-сопряженное с действительным числом, совпадает с ним самим.
Для случайных элементов X и Y скалярное произведение определяется формулой
- <math> \langle \mathbf{X}|\mathbf{Y} \rangle = \operatorname{E}(\mathbf{X^*}\mathbf{Y})</math>
где * обозначает операцию комплексного сопряжения.
Статистики второго порядка
Скалярное произведение корректно определено, если как <math>X</math>, так и <math>Y</math> имеют конечные вторые моменты, или, что то же самое, если они оба квадратично интегрируемы. Отметим, что скалярное произведение связано с ковариацией и корреляцией. В частности, для случайных переменных со средним нулевым значением, ковариация и скалярное произведение совпадают. Функция автоковариации <math>K_\mathrm{XX}</math>
- <math> K_\mathrm{XX}(t,s) = \operatorname{Cov}[ X(t),X(s) ] = \langle \mathbf{X}_t | \mathbf{X}_s \rangle </math>
- <math>= \mathrm{E} \{ [ X(t)-\mu_X(t) ]^* [ X(s)-\mu_X(s) ] \}</math>
- <math>= \mathrm{E} \{ X^*(t) X(s) \} - \mu^*_X(t) \mu_X(s)</math>
- <math>= R_\mathrm{XX}(t,s) - \mu^*_X(t) \mu_X(s) .</math>
Если процесс {Xt}t центрированный, то
- <math>\mu_X(t) = 0</math>
для всех t. Таким образом, автоковариация KXX равна автокорреляции RXX:
- <math> K_\mathrm{XX}(t,s) = R_\mathrm{XX}(t,s) .</math>
Отметим, что если {Xt}t центрированный и t1, ≤ t2, …, ≤ tN являются точками на интервале [a, b], следовательно
- <math> \sum_{k,\ell} \operatorname{Cov}_{\mathbf{X}}(t_k,t_\ell) = \operatorname{Var}\left(\sum_{k=1}^N \mathbf{X}_k\right) \geq 0. </math>
Формулировка теоремы
Теорема. Рассмотрим центрированный случайный процесс <math>\{\mathbf{X}_t\}</math>, индексированный <math>t</math> на интервале <math>[a,b]</math> с ковариационной функцией <math>\mathrm{Cov}_{\mathbf{X}}</math>. Предположим, что ковариационная функция <math>\mathrm{Cov}_{\mathbf{X}}(t,s)</math> непрерывна по совокупности переменных <math>t, s</math>. Тогда <math>\mathrm{Cov}_{\mathbf{X}}</math> — положительно определенное ядро, и по теореме Мерсера интегральный оператор <math>T</math> в <math>L^2[a,b]</math> (близкой к мере Лебега на <math>[a,b]</math>) имеет ортонормированный базис из собственных векторов. Пусть <math>\{e_i\}</math> являются собственными векторами <math>T</math>, соответствующими ненулевым собственным значениям и
- <math> \mathbf{Z}_i = \int_a^b \mathbf{X}_t e_i(t) dt. </math>
Тогда <math>Z_i</math> — центрированные ортогональные случайные величины и
- <math> \mathbf{X}_t = \sum_{i=1}^\infty e_i(t) \mathbf{Z}_i </math>
ряд сходится в среднем квадратичном, а также равномерно по <math>t</math>. Кроме того
- <math> \operatorname{Var}(\mathbf{Z}_i) = \operatorname{E}(\mathbf{Z}_i^2) = \lambda_i.</math>
где <math>\lambda_i</math> собственное значение, соответствующее собственному вектору <math>e_i</math>.
Суммы Коши
В формулировке теоремы интеграл в определении <math>Z_i</math> можно понимать как предел в среднем сумм Коши случайных величин
- <math> \sum_{k=0}^{\ell-1} \mathbf{X}_{\xi_k} e_i(\xi_k) (t_{k+1} - t_k), </math>
где
- <math> a = t_0 \leq \xi_0 \leq t_1 \leq \cdots \leq \xi_{\ell-1} \leq t_n = b </math>
Особый случай: гауссовское распределение
Так как предел в среднем квадратичном из совместно гауссовских случайных величин является гауссовским и совместно гауссовские случайные (центрированные) величины независимы тогда и только тогда, когда они являются ортогональными, мы можем также заключить:
Теорема. Случайные величины <math>Z_i</math> имеют гауссовское распределение и являются независимыми, если первоначальный процесс {Xt}t тоже является гауссовским.
В гауссовском случае, поскольку случайные величины <math>Z_i</math> являются независимыми, мы можем быть уверены в том, что:
- <math> \lim_{N \rightarrow \infty} \sum_{i=1}^N e_i(t) \mathbf{Z}_i(\omega) = \mathbf{X}_t(\omega) </math>
почти наверное.
Отметим, что обобщая теорему Мерсера, мы можем заменить интервал <math>[a,b]</math> другими компактными пространствами <math>C</math> , а меру Лебега на <math>[a,b]</math> — борелевской мерой с носителем в <math>C</math>.
Винеровский процесс
Винеровский процесс в теории случайных процессов — это математическая модель броуновского движения или случайного блуждания с непрерывным временем. Здесь мы определяем его как центрированный гауссовский процесс B(t) с ковариационной функцией
- <math> \mathrm{K}_\mathrm{BB}(t,s) = \operatorname{Cov}(B(t),B(s)) = \min (s,t). </math>
Легко видеть, что собственные векторы ковариации равны
- <math> e_k(t) = \sqrt{2} \sin \left(k - \frac{1}{2}\right) \pi t </math>
а соответствующие собственные значения
- <math> \lambda_k = \frac{4}{(2 k -1)^2 \pi^2}. </math>
Это позволяет получить нам следующее представление винеровского процесса:
Теорема. Существует последовательность {Wi}i независимых гауссовких случайных величин с нулевым средним и единичной дисперсией такая, что
- <math> \mathbf{B}_t = \sqrt{2} \sum_{k=1}^\infty \mathbf{W}_k \frac{\sin \left(k - \frac{1}{2}\right) \pi t}{ \left(k - \frac{1}{2}\right) \pi}. </math>
Сходимость является равномерной по t в норме L² так, что
- <math> \operatorname{E}\left(\mathbf{B}_t - \sqrt{2} \sum_{k=1}^n \mathbf{W}_k \frac{\sin \left(k - \frac{1}{2}\right) \pi t}{ \left(k - \frac{1}{2}\right) \pi} \right)^2 \rightarrow 0 </math>
равномерно по t.
Использование
Было высказано мнение, что в проекте SETI следует использовать преобразования Карунена-Лоэва для обнаружения сигналов с очень широким спектром. Аналогично, в системах адаптивной оптики иногда используют функции Карунена-Лоэва для восстановления информации о фазе фронта волны. (Dai 1996, JOSA A).
См. также
Ссылки
- И. И. Гихман, А. В. Скороход, Введение в теорию случайных процессовШаблон:Недоступная ссылка.- М.: Наука, 1965.
- B. Simon, Functional Integration and Quantum Physics, Academic Press, 1979
- K. Karhunen, Kari, Uber lineare Methoden in der Wahrscheinlichkeitsrechnung, Ann. Acad. Sci. Fennicae. Ser. A. I. Math.-Phys., 1947, No. 37, 1-79
- М. Лоев, Теория вероятностей, — М.: ИЛ, 1962.
- G. Dai, Modal wave-front reconstruction with Zernike polynomials and Karhunen-Loeve functions, JOSA A, 13, 6, 1996
Примечания
Литература