Ортогональность векторов и подпространств

Изучение ортогональности позволяет понять ее алгебраические и геометрические свойства, которые станут для нас инструментами для декмопозиции (разложения - альт. термин) пространств на подпространства. Более того это знание поможет нам более широко взглянуть на решение систем линейных уравнений.

Определение ортогональности

Два вектора $v,w \in \mathbb{R}^n$ являются ортогональными если

v^\top w = \sum^{n}_{i=1} = 0.

Два подпространства $V, W$ ортогональны, если для всех $v \in V$ и $w \in W$ , $v$ и $w$ ортогональны.

Пример

В качестве иллюстрации рассмотрим вектор $\mathbf{v} = (a,b)^{T} \in \mathbb{R}^2$ , где $a,b \in \mathbb{R}$ . Тогда вектор $(-b,a)^{T}$ ортогонален $\mathbf{v}$ . Аналогично, прямым вычислением можно установить, что подпространства

V = \{\lambda (1,2,3)^{T} \mid \lambda \in \mathbb{R}\} \subset \mathbb{R}^3, \qquad W = \{\mu (1,-2,1)^{T} \mid \mu \in \mathbb{R}\}

являются ортогональными. В данном случае достаточно проверить ортогональность векторов $(1,2,3)^{T}$ и $(1,-2,1)^{T}$ . Более того, это отражает общее свойство: чтобы установить ортогональность подпространств $V$ и $W$ , достаточно проверить ортогональность векторов, образующих их базисы.

Леммы и следствия ортогональности

Лемма 1 - ортогональность базисов

Из определения ортогональности следует, что если базисы подпространств ортогональны, то и сами подпространства ортогональны, и наоборот. Если более формально, то:

Пускай $v_1, \dots, v_k$ будет базисом подпространства $V$ . Пускай $w_1, \dots, w_l$ будет базисом подпространства $W$ . $V$ и $W$ ортогональны тогда и только тогда, когда $v_i$ и $w_i$ ортогональны для всех $i \in \{1, \dots, k\}$ и $j \in \{1, \dots, l\}$ .

Это очень полезная лемма, так как проверка ортогональности базисов подпространств является эффективным методом подтверждения того, что сами подпространства ортогональны.

Доказательство

Докажем утверждение в обе стороны.

( $\Rightarrow$ ) Пусть подпространства $V$ и $W$ ортогональны. Тогда для любых базисных векторов $\mathbf{v}_i \in V$ , $i=1,\dots,k$ , и $\mathbf{w}_j \in W$ , $j=1,\dots,l$ , выполняется

\mathbf{v}_i^{T}\mathbf{w}_j = 0.

( $\Leftarrow$ ) Пусть теперь

\mathbf{v}_i^{T}\mathbf{w}_j = 0 \quad \text{для всех } i=1,\dots,k,\; j=1,\dots,l.

Возьмём произвольные $\mathbf{v} \in V$ и $\mathbf{w} \in W$ . Тогда существуют коэффициенты $\lambda_i, \mu_j \in \mathbb{R}$ такие, что

\mathbf{v} = \sum_{i=1}^{k} \lambda_i \mathbf{v}_i, \qquad \mathbf{w} = \sum_{j=1}^{l} \mu_j \mathbf{w}_j.

Тогда

\mathbf{v}^{T}\mathbf{w} = \sum_{i=1}^{k}\sum_{j=1}^{l} \lambda_i \mu_j \, \mathbf{v}_i^{T}\mathbf{w}_j = 0.

Следовательно, $V$ и $W$ ортогональны. $\square$

Лемма 2 - линейная независимость ортогональных базисов

Еще одна ценная лемма, гласит следующее:

Пускай $V$ и $W$ являются двумя ортогональными подпространствами $\mathbb{R}^n$ . Пускай $v_1, \dots, v_k$ будет базисом подпространства $V$ . Пускай $w_1, \dots, w_l$ будет базисом подпространства $W$ . Множество векторов $\{v_1, \dots, v_k, w_1, \dots, w_l\}$ является линейно независимым.

Доказательство

Рассмотрим линейную комбинацию

(*) \qquad \sum_{i=1}^{k} \lambda_i \mathbf{v}_i + \sum_{j=1}^{l} \mu_j \mathbf{w}_j = \mathbf{0}.

Покажем, что $\lambda_i = 0$ для всех $i=1,\dots,k$ и $\mu_j = 0$ для всех $j=1,\dots,l$ .

Обозначим

\mathbf{v} = \sum_{i=1}^{k} \lambda_i \mathbf{v}_i.

Тогда из $(*)$ следует

\mathbf{v} = - \sum_{j=1}^{l} \mu_j \mathbf{w}_j.

Вычисляя скалярное произведение с $\mathbf{v}$ , получаем

\mathbf{v}^{T}\mathbf{v} = - \sum_{j=1}^{l} \mu_j \, \mathbf{v}^{T}\mathbf{w}_j = 0.

Следовательно, $\mathbf{v} = \mathbf{0}$ , и тогда $(*)$ принимает вид

\sum_{j=1}^{l} \mu_j \mathbf{w}_j = \mathbf{0}.

Поскольку векторы $\mathbf{v}_1,\dots,\mathbf{v}_k$ и $\mathbf{w}_1,\dots,\mathbf{w}_l$ линейно независимы, получаем

\lambda_i = 0 \quad \text{и} \quad \mu_j = 0

для всех $i=1,\dots,k$ и $j=1,\dots,l$ . $\square$

Факт - объединение базисов дает вновь базис

Из вышеописанной леммы вытекает еще один важный факт об ортогональных подпространствах:

Объединение базисов двух подпространств $V$ и $W$ дает вновь базис для подпространства

\large V + W = \{\lambda v + \mu w \mid \lambda, \mu \in \mathbb{R}, \ v \in V, \ w \in W \}.

Здесь важно заметить, что если $V$ и $W$ являются подпространствами $\mathbb{R}^n$ , то и $V + W$ также будет являться подпространством $\mathbb{R}^n$ .

Следствие 3 - пересечение и размерность ортогональных подпространств

Предпоследнее доказательство продемонстрировало, что если вектор $v$ находится на пересечении двух ортогональных подпространств, то $v = 0$ . Из этого мы можем заключить (как следствие), что если $V$ и $W$ являются ортогональными подпространствами, тогда

\large V \cap W = \{0\}.

Более того, если $\dim(V) = k$ и $\dim(W) = l$ , тогда

\large \dim(V+W) = k+l \leq n.

Определение ортогонального дополнения

Пускай $V$ будет подпространством $\mathbb{R}^n$ . Мы определяем ортогональное дополнение $V$ , как

V^\perp = \{w \in \mathbb{R}^n \mid w^\top v = 0 \text{ для всех } v \in V\}.

То есть это множество всех векторов в $\mathbb{R}^n$ , которые ортогональны для всех $v \in V$ . К тому же мы можем заметить, что $V^\perp$ является тоже подпространством $\mathbb{R}^n$ . Именно благодаря ортогональным подпространствам мы можем делать декомпозицию (разложение) пространства $\mathbb{R}^n$ .

Пример

Пускай $A \in \mathbb{R}^{m \times n}$ будет матрицей. Тогда самым явным примером, прямиком следующим из раздела о четырех фундаментальных подпространствах, будут подпространства $C(A^\top)$ и $N(A)$ . Они являются ортогональными дополнениями относительно друг-друга и, соответственно,

C(A^\top)^\perp = R(A)^\perp = N(A).

Это значит, что мы можем разложить пространство $\mathbb{R}^n$ на два ортогональных подпространства: столбцовое пространство $C(A^\top)$ и нулевое пространство (ядро) $N(A)$ .

Доказательство

Сначала покажем, что $N(A) \subseteq C(A^{T})^{\perp}$ .

Пусть $\mathbf{x} \in N(A)$ и возьмём произвольный $\mathbf{b} \in C(A^{T})$ . По определению существует $\mathbf{y} \in \mathbb{R}^{m}$ такое, что $\mathbf{b} = A^{T}\mathbf{y}$ . Тогда

\mathbf{b}^{T}\mathbf{x} = \mathbf{y}^{T}A\mathbf{x} = 0.

Следовательно, $\mathbf{x} \in C(A^{T})^{\perp}$ .

Теперь докажем обратное включение: $C(A^{T})^{\perp} \subseteq N(A)$ . Пусть $\mathbf{x} \in C(A^{T})^{\perp}$ , то есть

\mathbf{b}^{T}\mathbf{x} = 0 \quad \text{для всех } \mathbf{b} \in C(A^{T}).

Положим $\mathbf{y} := A\mathbf{x} \in \mathbb{R}^{m}$ и возьмём $\mathbf{b} := A^{T}\mathbf{y} \in C(A^{T})$ . Тогда $\mathbf{x}^{T}\mathbf{b}=0$ , и потому

0 = \mathbf{x}^{T}\mathbf{b} = \mathbf{x}^{T}A^{T}\mathbf{y} = \mathbf{x}^{T}A^{T}A\mathbf{x} = \|A\mathbf{x}\|^{2}.

Отсюда $A\mathbf{x}=\mathbf{0}$ , то есть $\mathbf{x} \in N(A)$ . $\square$

Теорема ортогональных подпространств

Пускай $V, W$ являются ортогональными подпространствами $\mathbb{R}^n$ .

Следующие утверждения эквивалентны:

$W = V^\perp$
$\dim(V)+\dim(W)=n$
Каждый вектор $u \in \mathbb{R}^n$ может быть выражен как $u = v + w$ при помощи уникальных векторов $v \in V, w \in W$ .

Доказательство

Пусть $\mathbf{v}_1,\dots,\mathbf{v}_k$ — базис $V$ , а $\mathbf{w}_1,\dots,\mathbf{w}_l$ — базис $W$ . По лемме 1 подпространства $V$ и $W$ ортогональны тогда и только тогда, когда

\mathbf{v}_i^{T}\mathbf{w}_j = 0 \quad \text{для всех } i=1,\dots,k,\; j=1,\dots,l.

1 $\Rightarrow$ 2. Определим матрицу $A \in \mathbb{R}^{k \times n}$ , строками которой являются $\mathbf{v}_1,\dots,\mathbf{v}_k$ . Тогда

V = R(A) = C(A^{T}).

Кроме того, из вышеприведенного примера

W = V^{\perp} = N(A).

Следовательно, $\dim(V) = k$ и потому $\dim(W) = n-k$ . 2 $\Rightarrow$ 3. По лемме 2 система векторов

\{\mathbf{v}_1,\dots,\mathbf{v}_k, \mathbf{w}_1,\dots,\mathbf{w}_l\}

линейно независима. Поскольку $l=n-k$ , эта система образует базис $\mathbb{R}^n$ . Значит, любой вектор $\mathbf{u} \in \mathbb{R}^n$ единственным образом представляется в виде

\mathbf{u} = \sum_{i=1}^{k} \lambda_i \mathbf{v}_i + \sum_{j=1}^{l} \mu_j \mathbf{w}_j, \qquad \lambda_i,\mu_j \in \mathbb{R}.

Обозначим

\mathbf{v} := \sum_{i=1}^{k} \lambda_i \mathbf{v}_i, \qquad \mathbf{w} := \sum_{j=1}^{l} \mu_j \mathbf{w}_j.

3 $\Rightarrow$ 1. Покажем, что $W = V^{\perp}$ . Так как $W$ ортогонально $V$ , имеем $W \subseteq V^{\perp}$ . Пусть теперь $\mathbf{u} \in V^{\perp}$ . По предположению в 3, мы знаем, что

\mathbf{u} = \mathbf{v} + \mathbf{w}, \quad \mathbf{v} \in V,\; \mathbf{w} \in W.

Тогда

0 = \mathbf{u}^{T}\mathbf{v} = \mathbf{v}^{T}\mathbf{v} + \mathbf{w}^{T}\mathbf{v} = \|\mathbf{v}\|^{2}.

Следовательно, $\mathbf{v}=\mathbf{0}$ и потому $\mathbf{u}=\mathbf{w}\in W$ . Значит, $V^{\perp} \subseteq W$ , откуда $W = V^{\perp}$ . $\square$

Дополнительные леммы, основанные на теореме

Лемма 4 - двойное ортогональное дополнение

Пускай $V$ будет подпространством $\mathbb{R}^n$ . Тогда

\large V = (V^\perp)^\perp.

Лемма 5 - ортогональное дополнение ядра матрицы

Лемма 4 вместе с предыдущей теоремой дает нам возможность заключить, что

N(A) = C(A^\top)^\perp \ \text{ и } \ N(A)^\perp = C(A^\top).

Лемма 6 - равные ядра и столбцовые пространства

Наконец, ещё одна лемма, которая поможет нам позже в разборе проекций:

N(A) = N(A^\top A) \ \text{ и } \ C(A^\top) = C(A^\top A).

Доказательство

Если $x \in N(A)$ , тогда $Ax = 0$ и также $A^\top Ax = 0$ , соответственно $x \in N(A^\top A)$ .

Теперь другое направление: Если $x \in N(A^\top A)$ тогда $A^\top Ax = 0$ . Из этого следует::

0 = x^\top 0 = x^\top A^\top Ax = (Ax)^\top (Ax) = \| Ax \|^2.

Это показывает, что вектор $Ax$ должен быть вектором с нормой равной $0$ , что означает $Ax=0$ , то есть $x \in N(A)$ .

$\square$

Для второго утверждения мы используем факт, что $N(A) = N(A^\top A)$ и $C(A^\top) = C(A^\top A)$ :

C(A^\top) = N(A)^\perp = N(A^\top A)^\perp = C((A^\top A)^\top) = C(A^\top A).

$\square$

Вычисление четырех фундаментальных подпространств Псевдообратная матрица