Если A имеет n линейно независимых столбцов, то первые n столбцов Q образуют ортонормированный базис для пространства столбцов A. В более общем случае, первые k столбцов Q образуют ортонормированный базис для охвата первых k столбцов A для любого 1 ≤ k ≤ n . [1] Тот факт, что любой столбец k матрицы A зависит только от первых k столбцов Q, соответствует треугольной форме R. [1]
Прямоугольная матрица
В более общем случае мы можем разложить комплексную матрицу A размером m × n , где m ≥ n , на множители как произведение унитарной матрицы Q размером m × m и верхней треугольной матрицы R размером m × n . Поскольку нижние ( m − n ) строк верхней треугольной матрицы размером m × n состоят полностью из нулей, часто бывает полезно разбить R или и R , и Q :
где R 1 — верхняя треугольная матрица размера n × n , 0 — нулевая матрица размера ( m − n ) × n , Q 1 — это m × n , Q 2 — это m ×( m − n ) , а Q 1 и Q 2 имеют ортогональные столбцы.
Голуб и Ван Лоан (1996, §5.2) называют Q 1 R 1 тонкой QR - факторизацией A ; Трефетен и Бау называют это сокращенной QR-факторизацией . [1] Если A имеет полный ранг n и мы требуем, чтобы диагональные элементы R 1 были положительными, то R 1 и Q 1 уникальны, но в общем случае Q 2 — нет. Тогда R 1 равен верхнему треугольному множителю разложения Холецкого A * A ( = A T A, если A действительно).
Разложения QL, RQ и LQ
Аналогично можно определить разложения QL, RQ и LQ, где L — нижняя треугольная матрица.
Теперь мы можем выразить s через наш недавно вычисленный ортонормальный базис:
где . Это можно записать в матричной форме:
где:
и
Пример
Рассмотрим разложение
Напомним, что ортонормированная матрица обладает свойством .
Тогда мы можем провести расчет с помощью метода Грама–Шмидта следующим образом:
Таким образом, мы имеем
Отношение к разложению RQ
Разложение RQ преобразует матрицу A в произведение верхней треугольной матрицы R (также известной как прямоугольная) и ортогональной матрицы Q. Единственное отличие от разложения QR заключается в порядке этих матриц.
Разложение QR представляет собой ортогонализацию Грама–Шмидта столбцов матрицы A , начиная с первого столбца.
Разложение RQ представляет собой ортогонализацию Грама–Шмидта строк матрицы A , начиная с последней строки.
Преимущества и недостатки
Процесс Грама-Шмидта изначально численно нестабилен. Хотя применение проекций имеет привлекательную геометрическую аналогию с ортогонализацией, сама ортогонализация подвержена численным ошибкам. Значительным преимуществом является простота реализации.
Используя размышления Домохозяина
Отражение Хаусхолдера ( или преобразование Хаусхолдера ) — это преобразование, которое берет вектор и отражает его относительно некоторой плоскости или гиперплоскости . Мы можем использовать эту операцию для вычисления QR- факторизации матрицы m на n с m ≥ n .
Q можно использовать для отражения вектора таким образом, что все координаты, кроме одной, исчезнут.
Пусть будет произвольным вещественным m -мерным вектором-столбцом , таким что для скаляра α . Если алгоритм реализован с использованием арифметики с плавающей точкой , то α должен получить противоположный знак как k -я координата , где будет опорной координатой , после которой все элементы равны 0 в окончательной верхней треугольной форме матрицы A , чтобы избежать потери значимости . В комплексном случае установите [2]
и замените транспозицию сопряженной транспозицией в конструкции Q ниже.
Тогда, где - вектор [1 0 ⋯ 0] T , || · || - евклидова норма и - единичная матрица размером m × m , заданная
Или, если это сложно
представляет собой матрицу Хаусхолдера размером m на m , которая является как симметричной, так и ортогональной (эрмитовой и унитарной в комплексном случае), и
Это можно использовать для постепенного преобразования матрицы A размером m на n в верхнюю треугольную форму. Сначала мы умножаем A на матрицу Хаусхолдера Q 1 , которую получаем, когда выбираем первый столбец матрицы для x . Это приводит к матрице Q 1 A с нулями в левом столбце (за исключением первой строки).
Это можно повторить для A ′ (полученной из Q 1 A путем удаления первой строки и первого столбца), что приведет к матрице Хаусхолдера Q ′ 2 . Обратите внимание, что Q ′ 2 меньше Q 1 . Поскольку мы хотим, чтобы она действительно работала с Q 1 A вместо A ′, нам нужно расширить ее в верхний левый угол, заполнив 1, или в общем случае:
После итераций этого процесса ,
является верхней треугольной матрицей. Так что, с
представляет собой QR-разложение .
Этот метод имеет большую численную устойчивость , чем метод Грама–Шмидта, описанный выше.
В следующей таблице приведено количество операций на k -м шаге QR-разложения с помощью преобразования Хаусхолдера, предполагая квадратную матрицу размером n .
Операция
Число операций на k -м шаге
Умножения
Дополнения
Разделение
Квадратный корень
Суммируя эти числа за n − 1 шагов (для квадратной матрицы размера n ), сложность алгоритма (в терминах умножений с плавающей точкой) определяется как
Пример
Давайте вычислим разложение
Сначала нам нужно найти отражение, которое преобразует первый столбец матрицы A , вектор , в .
Сейчас,
и
Здесь,
и
Поэтому
и , а затем
Теперь обратите внимание:
так что у нас уже есть почти треугольная матрица. Нам нужно только обнулить элемент (3, 2).
Возьмите (1, 1) минор , а затем снова примените процесс к
Тем же методом, что и выше, получаем матрицу преобразования Хаусхолдера
после выполнения прямого сложения с 1, чтобы убедиться, что следующий шаг в процессе работает правильно.
Теперь мы находим
Или, с точностью до четырех десятичных знаков,
Матрица Q ортогональна, а R — верхняя треугольная, поэтому A = QR — требуемое QR-разложение.
Преимущества и недостатки
Использование преобразований Хаусхолдера по своей сути является наиболее простым из численно устойчивых алгоритмов разложения QR из-за использования отражений в качестве механизма для создания нулей в матрице R. Однако алгоритм отражения Хаусхолдера потребляет много полосы пропускания и не поддается распараллеливанию, поскольку каждое отражение, создающее новый нулевой элемент, изменяет всю матрицу Q и R.
Использование вращения Гивенса
QR-разложения также можно вычислить с помощью серии поворотов Гивенса . Каждый поворот обнуляет элемент в поддиагонали матрицы, образуя матрицу R. Конкатенация всех поворотов Гивенса образует ортогональную матрицу Q.
На практике вращения Гивенса фактически не выполняются путем построения целой матрицы и выполнения умножения матриц. Вместо этого используется процедура вращения Гивенса, которая выполняет эквивалент умножения разреженной матрицы Гивенса, без дополнительной работы по обработке разреженных элементов. Процедура вращения Гивенса полезна в ситуациях, когда требуется обнулить только относительно небольшое количество недиагональных элементов, и ее легче распараллелить, чем преобразования Хаусхолдера .
Пример
Давайте вычислим разложение
Сначала нам нужно сформировать матрицу вращения, которая обнулит самый нижний левый элемент, . Мы формируем эту матрицу с помощью метода вращения Гивенса и называем матрицу . Сначала мы повернем вектор , чтобы он указывал вдоль оси X. Этот вектор имеет угол . Мы создаем ортогональную матрицу вращения Гивенса, :
И результат now имеет ноль в элементе.
Аналогично мы можем сформировать матрицы Гивенса и , которые обнулят поддиагональные элементы и , образуя треугольную матрицу . Ортогональная матрица формируется из произведения всех матриц Гивенса . Таким образом, имеем , а QR- разложение равно .
Преимущества и недостатки
QR-разложение посредством вращений Гивенса является наиболее сложным для реализации, поскольку порядок строк, требуемый для полного использования алгоритма, не является тривиальным для определения. Однако у него есть существенное преимущество в том, что каждый новый нулевой элемент влияет только на строку с элементом, который должен быть обнулен ( i ), и строку выше ( j ). Это делает алгоритм вращения Гивенса более эффективным с точки зрения пропускной способности и параллелизуемым, чем метод отражения Хаусхолдера.
Связь с определителем или произведением собственных значений
Мы можем использовать QR-разложение, чтобы найти определитель квадратной матрицы. Предположим, что матрица разлагается как . Тогда мы имеем
можно выбрать так, что . Таким образом,
где — элементы на диагонали . Кроме того, поскольку определитель равен произведению собственных значений, мы имеем
где являются собственными значениями .
Мы можем распространить вышеуказанные свойства на неквадратную комплексную матрицу, введя определение QR-разложения для неквадратных комплексных матриц и заменив собственные значения сингулярными значениями.
Начнем с QR-разложения неквадратной матрицы A :
где обозначает нулевую матрицу, а — унитарная матрица.
Обратите внимание, что сингулярные значения и идентичны, хотя их комплексные собственные значения могут быть разными. Однако, если A является квадратным, то
Отсюда следует, что QR-разложение можно использовать для эффективного вычисления произведения собственных значений или сингулярных значений матрицы.
Поворот колонны
Повернутый QR отличается от обычного Грама-Шмидта тем, что он берет наибольший оставшийся столбец в начале каждого нового шага — поворот столбца — [3] и таким образом вводит матрицу перестановки P :
Поворот столбцов полезен, когда A (почти) имеет дефицит ранга или подозревается в этом. Он также может повысить численную точность. P обычно выбирается так, чтобы диагональные элементы R не возрастали: . Это можно использовать для нахождения (числового) ранга A с меньшими вычислительными затратами, чем разложение по сингулярным значениям , что составляет основу так называемых QR-алгоритмов выявления ранга .
Использование для решения линейных обратных задач
По сравнению с прямой обратной матрицей, обратные решения с использованием QR-разложения более численно устойчивы, о чем свидетельствуют их уменьшенные числа обусловленности . [4]
Чтобы решить недоопределенную ( ) линейную задачу , где матрица имеет размеры и ранг , сначала найдите QR-разложение транспонированной матрицы : , где Q — ортогональная матрица (т.е. ), а R имеет специальную форму: . Здесь — квадратная прямоугольная матрица, а нулевая матрица имеет размерность . После некоторой алгебры можно показать, что решение обратной задачи можно выразить как: где можно либо найти методом исключения Гаусса , либо вычислить напрямую прямой подстановкой . Последний метод обладает большей числовой точностью и меньшим объемом вычислений.
Чтобы найти решение переопределенной ( ) задачи , которая минимизирует норму , сначала найдите QR-разложение : . Затем решение можно выразить как , где — матрица, содержащая первые столбцы полного ортонормированного базиса , а где — как и прежде. Эквивалентно недоопределенному случаю, можно использовать обратную подстановку для быстрого и точного нахождения этого без явного инвертирования . ( и часто предоставляются числовыми библиотеками как «экономичное» QR-разложение.)
^ Стоер, Йозеф; Булирш, Роланд (2002), Введение в численный анализ (3-е изд.), Springer, стр. 225, ISBN0-387-95452-X
^ Стрэнг, Гилберт (2019). Линейная алгебра и обучение на основе данных (1-е изд.). Уэллсли: Wellesley Cambridge Press. стр. 143. ISBN978-0-692-19638-0.
^ Паркер, Роберт Л. (1994). Геофизическая обратная теория. Принстон, Нью-Джерси: Princeton University Press. Раздел 1.13. ISBN978-0-691-20683-7. OCLC 1134769155.