Русская Википедия:Норма матрицы
Норма матрицы — норма в линейном пространстве матриц, как правило некоторым образом связанная с соответствующей векторной нормой (согласованнаяШаблон:Переход или подчиненнаяШаблон:Переход).
Определение
Пусть Шаблон:Mvar — основное поле (обычно Шаблон:Math или Шаблон:Math) и <math>K^{m \times n}</math> — линейное пространство всех матриц с Шаблон:Mvar строками и Шаблон:Mvar столбцами, состоящих из элементов Шаблон:Mvar. На пространстве матриц задана норма, если каждой матрице <math>A \in K^{m \times n}</math> ставится в соответствие неотрицательное действительное число <math>\| A \|</math>, называемое ее нормой, так, что
- <math> \| A \| > 0 </math>, если <math> A \ne 0</math>, и <math> \| A \| = 0 </math>, если <math> A = 0 </math>.
- <math> \| A + B \| \le \| A \| + \| B \| , \quad A, B \in K^{m \times n} </math>.
- <math> \| \alpha A \| = |\alpha| \| A \|, \quad \alpha \in K, \quad A \in K^{m \times n} </math>Шаблон:Sfn.
Шаблон:AnchorВ случае квадратных матриц (то есть Шаблон:Math), матрицы можно перемножать не выходя из пространства, и потому нормы в этих пространствах обычно также удовлетворяют свойству субмультипликативности:
- <math>\|AB\| \le \|A\|\|B\| </math> для всех матриц Шаблон:Mvar и Шаблон:Mvar в <math>K^{n \times n}</math>.
Субмультипликативность может выполняться также и для норм неквадратных матриц, но определённых сразу для нескольких нужных размеров. Именно, если Шаблон:Mvar — матрица Шаблон:Math, и Шаблон:Mvar — матрица Шаблон:Math, то Шаблон:Math — матрица Шаблон:Math.
Операторные нормы
Шаблон:Main Важным классом матричных норм являются операторные нормы, также именуемые подчинёнными или индуцированными. Операторная норма однозначно строится по двум нормам, определённым в <math>K^n</math> и <math>K^m</math>, исходя из того, что всякая матрица Шаблон:Math представляется линейным оператором из <math>K^n</math> в <math>K^m</math>. Конкретно,
- <math> \begin{align}
\|A\| &= \sup\{\|Ax\| : x\in K^n,\ \|x\|= 1\} \\ &= \sup\left\{\frac{\|Ax\|}{\|x\|} : x\in K^n,\ x\ne 0\right\}. \end{align} </math>Шаблон:Sfn
При условии согласованного задания норм на пространствах векторов, такая норма является субмультипликативной (см. выше).
Примеры операторных норм
- Матричная норма <math> \| A \|_1 = \max\limits_{1 \le j \le n} \sum_{i = 1}^m |a_{ij}| </math>, подчинённая векторной норме <math> \| x \|_1 = \sum_{i = 1}^n |x_i| </math>.
- Матричная норма <math> \| A \|_{\infty} = \max\limits_{1 \le i \le m} \sum_{j = 1}^n |a_{ij}| </math>, подчинённая векторной норме <math> \| x \|_{\infty} = \max\limits_{1 \le i \le n} |x_i| </math>.
- Спектральная норма <math> \| A \|_2 = \sup\limits_{\| x \|_2 = 1} \| A x \|_2 = \sup\limits_{(x, x) = 1} \sqrt{(Ax, Ax)}=\sqrt{\lambda_{max}(A^*A)}</math>, подчиненная векторной норме <math> \| x \|_2 = \sqrt{\sum_{i = 1}^n |x_i|^2} </math>.
Свойства спектральной нормы:
- Спектральная норма оператора равна максимальному сингулярному числу этого оператора.
- Спектральная норма нормального оператора равна абсолютному значению максимального по модулю собственного значения этого оператора.
- Спектральная норма не изменяется при умножении матрицы на ортогональную (унитарную) матрицу.
Неоператорные нормы матриц
Существуют нормы матриц, не являющиеся операторными. Понятие неоператорных норм матриц ввел Ю. И. Любич [1] и исследовал Г. Р. Белицкий.
Пример неоператорной нормы
Например, рассмотрим две различные операторные нормы <math>\| A \|_{1}</math> и <math>\| A \|_{2}</math>, например строчную и столбцовую нормы. Образуем новую норму <math>\| A \| = \max{ (\| A \|_{1}, \| A \|_{2})} </math>. Новая норма обладает кольцевым свойством <math>\|AB\| \leqslant \|A\|\|B\| </math>, сохраняет единицу <math>\| I\| = 1</math> и не является операторнойШаблон:Sfn.
Примеры норм
Норма Lp,q
Пусть <math>(a_1, \ldots, a_n) </math>— вектор из столбцов матрицы <math>A.</math> Норма <math>L_{2,1}</math> по определению равна сумме евклидовых норм столбцов матрицы:
- <math>\Vert A \Vert_{2,1}
= \sum_{j=1}^n \Vert a_{j} \Vert_2 = \sum_{j=1}^n \left( \sum_{i=1}^m |a_{ij}|^2 \right)^{1/2}</math>
Норма <math>L_{2,1}</math> может быть обобщена до нормы <math>L_{p,q},\;p,q\geqslant1:</math>
- <math>\Vert A \Vert_{p,q}
= \left(\sum_{j=1}^n \left( \sum_{i=1}^m |a_{ij}|^p \right)^{q/p}\right)^{1/q} </math>
Векторная <math>p</math>-норма
Можно рассматривать <math>m \times n</math> матрицу как вектор размера <math> m n</math> и использовать стандартные векторные нормы. Например, из нормы <math>L_{p,q}</math> при <math>p=q</math> получается векторная p-норма:
- <math>\| A \|_p = \| \mathrm{vec}(A) \|_p = \left( \sum_{i=1}^m \sum_{j=1}^n |a_{ij}|^p \right)^{1/p}</math>
Эта норма отличается от индуцированной p-нормы <math> \|A\| _p = \sup \limits _{x \ne 0} \frac{\| A x\| _p}{\|x\|_p} </math>и от p-нормы Шаттена (см. ниже), хотя используется одно и то же обозначение.
Норма Фробениуса, или евклидова норма (для евклидового пространства) представляет собой частный случай Шаблон:Mvar-нормы для Шаблон:Math: <math> \|A\|_{F}=\sqrt{\sum_{i=1}^m\sum_{j=1}^n |a_{ij}|^2} </math>.
Норма Фробениуса легко вычисляется (по сравнению, например, со спектральной нормой). Обладает следующими свойствами:
- СогласованностьШаблон:Переход: <math> \| A x \|_2 \le \| A \|_F \| x \|_2 </math>, так как в силу неравенства Коши-Буняковского
- <math> \| A x \|_2^2 = \sum_{i = 1}^m \left| \sum_{j = 1}^n a_{ij} x_j \right|^2 \le \sum_{i = 1}^m \left( \sum_{j = 1}^n |a_{ij}|^2 \sum_{j = 1}^n |x_j|^2\right) =
\sum_{j = 1}^n |x_j|^2 \| A \|_F^2 = \| A \|_F^2 \|x \|_2^2.</math>
- Субмультипликативность: <math> \| A B \|_F \le \| A \|_F \| B \|_F </math>, так как <math> \| A B \|_F^2 = \sum_{i, j} \left| \sum_k a_{ik} b_{kj}\right|^2 \le \sum_{i, j} \left( \sum_k |a_{ik}| |b_{kj}| \right)^2 \le \sum_{i,j} \left( \sum_k |a_{ik}|^2 \sum_k |b_{kj}|^2 \right) = \sum_{i, k} |a_{ik}|^2 \sum_{k,j} |b_{kj}|^2 = \| A \|_F^2 \| B \|_F^2 </math>.
- <math> \| A \|_F^2 = \mathop{\rm tr} A^* A = \mathop{\rm tr} A A^*</math>, где <math>\mathop{\rm tr} A</math> — след матрицы <math>A</math>, <math>A^*</math> — эрмитово-сопряжённая матрица.
- <math> \| A \|_F^2 = \rho_1^2 + \rho_2^2 + \dots + \rho_n^2 </math>, где <math> \rho_1, \rho_2, \dots, \rho_n </math> — сингулярные числа матрицы <math>A</math>.
- <math> \| A \|_F \ge \| A \|_2 </math>, где <math>\|\cdot\|_2</math> — спектральная норма.
- <math> \| A \|_F </math> не изменяется при умножении матрицы <math> A </math> слева или справа на ортогональные (унитарные) матрицыШаблон:Sfn.
Максимум модуля
Норма максимума модуля — другой частный случай Шаблон:Mvar-нормы для Шаблон:Math.
- <math> \|A\|_{\text{max}} = \max \{|a_{ij}|\}. </math>
Норма Шаттена
Нормы Шаттена возникают при применении <math>p</math>-нормы к вектору сингулярных значений матрицы. Если обозначить через <math>\sigma_i(A)</math> <math>i</math>-ое сингулярное число матрицы <math>A</math> размера <math>m \times n</math>, то <math>p</math>-норма Шаттена определяется как
- <math> \|A\|_p = \left( \sum_{i=1}^{\min\{m,n\}} \sigma_{i}^p(A) \right)^{1/p}.</math>
Нормы Шаттена обозначаются так же, как индуцированная и векторная <math>p</math>-нормы, но не совпадают с ними.
Для любого <math>p</math> норма Шаттена субмультипликативна и унитарно инвариантна, то есть <math>||AB||_p \leq ||A||_p ||B||_p</math> и <math>\|A\|_p = \|UAV\|_p</math> для любых матриц <math>A</math> и <math>B</math> и любых унитарных матриц <math>U</math> и <math>V</math>.
При <math>p = 2</math> норма Шаттена совпадает с нормой Фробениуса, при <math>p = \infty</math> — со спектральной нормой, а при <math>p = 1</math> — с ядерной нормой (известной также как следовая норма и <math>n</math>-норма Ки Фана), которая определяется как
- <math>\|A\|_1 = \sum_{i=1}^{\min\{m,n\}} \sigma_{i}(A) = \mbox{tr} \left(\sqrt{A^*A}\right).</math>
Ядерная норма является выпуклой оболочкой функции ранга на множестве матриц с единичной спектральной нормой, поэтому она часто используется в задачах оптимизации для нахождения матриц с малым рангом[2].
Согласованность матричной и векторных норм
Матричная норма <math>\| \cdot \|_{ab}</math> на <math>K^{m \times n}</math> называется согласованной с нормами <math>\| \cdot \|_{a}</math> на <math>K^n</math> и <math>\| \cdot \|_{b}</math> на <math>K^m</math>, если:
- <math>\|Ax\|_b \leq \|A\|_{ab} \|x\|_a</math>
для любых <math>A \in K^{m \times n}, x \in K^n</math>. Операторная норма по построению является согласованной с исходной векторной нормой.
Примеры согласованных, но не подчиненных матричных норм:
- Евклидова норма <math> \|A\|_{F}=\sqrt{\sum_{i=1}^n\sum_{j=1}^m a_{ij}^2} </math> согласована с векторной нормой <math> \| x \|_2 = \sqrt{\sum_{i = 1}^n x_i^2 } </math>Шаблон:Sfn.
- Норма <math> \| A \| = \sum_{i, j = 1}^n |a_{ij}| </math> согласована с векторной нормой <math> \| x \|_1 = \sum_{i = 1}^n |x_i| </math>Шаблон:Sfn.
Эквивалентность норм
Все нормы в пространстве <math>K^{m \times n}</math> эквивалентны, то есть для любых двух норм <math> \| . \|_{\alpha}</math> и <math> \| . \|_{\beta} </math> и для любой матрицы <math> A \in K^{m \times n} </math> верно двойное неравенство:
- <math> C_1 \| A \|_{\alpha} \le \| A \|_{\beta} \le C_2 \| A \|_{\alpha},</math>
где константы <math>C_1</math> и <math>C_2</math> не зависят от матрицы <math>A</math>.
Для <math>A \in \mathbb R^{m \times n}</math> справедливы неравенства:
- <math> \| A \|_2 \le \| A \|_F \le \sqrt n \| A \|_2 </math>,
- <math> \| A \|_{\text{max}} \le \| A \|_2 \le \sqrt{m n} \| A \|_{\text{max}} </math>,
- <math> \frac{1}{\sqrt n} \| A \|_{\infty} \le \| A \|_2 \le \sqrt m \| A \|_{\infty}</math>,
- <math> \frac{1}{\sqrt m} \| A \|_1 \le \| A \|_2 \le \sqrt n \| A \|_1</math>,
где <math> \| A \|_1 </math>, <math> \| A \|_2 </math> и <math>\| A \|_{\infty} </math> — операторные нормыШаблон:Sfn.
Применение
Матричные нормы часто используются при анализе вычислительных методов линейной алгебры. Например, программа решения систем линейных алгебраических уравнений может давать неточный результат, если матрица коэффициентов плохо обусловленная («почти вырожденная»). Для количественной характеристики близости к вырожденности нужно уметь измерять расстояние в пространстве матриц. Такую возможность дают матричные нормыШаблон:Sfn.
См. также
Примечания
Литература
Ссылки
- ↑ Любич Ю. И. Об операторных нормах матриц // УМН. — 1963. — N. 18. Вып. 4(112) — С. 161—164. — URL: http://mi.mathnet.ru/rus/umn/v18/i4/p161
- ↑ Шаблон:Статья
