ch 1 householder schur svd application

Transformation de HouseholderReduction de Schur

Reduction de HessenbergMethode QR de Francis

Methode QR pour la determination des valeurs propresAvantages et inconvenients de la methode QR

Algorithme et application

Transformation de Householder, decomposition deSchur, SVD et applications

Master MOCASIM 1ere anneeFaculte des Sciences et Technique

MARRAKECH

Annee Universitaire 2015/2016

1/35 Transformation de Householder, decomposition de Schur, SVD et applications





Plan

1 Transformation de Householder

2 Reduction de Schur

3 Reduction de Hessenberg

4 Methode QR de Francis

5 Methode QR pour la determination des valeurs propres

6 Avantages et inconvenients de la methode QR

7 Algorithme et application






Alston Scott Householder (Rockford, Illinois, USA, 5 May 1904 Malibu,California, USA, 4 July 1993) was an American mathematician whospecialized in mathematical biology and numerical analysis, inventor ofthe Householder transformation and of Householder’s method.After receiving his doctorate, Householder concentrated on the field ofmathematical biology at the University of Chicago.In 1946, Householder joined the Mathematics Division of the Oak RidgeNational Laboratory, it is during this period that his interests shift towardnumerical analysis.






Definition : Soit v un vecteur non nul de Rn, on appelle matrice deHoudeholder associee a v la matrice symetrique, orthogonaleH(v) ∈ Rn×n definit par:

H(v) = In − 2.v .v t

v t .v

Theoreme :Soit u ∈ Rn un vecteur non nul verifiant u /∈vecte1 oue1 = (1, 0, ..., 0)t . Il existe un vecteur v non nul de Rn telqueH(v).u = α.e1, α ∈ R∗. Le vecteur v est donne par v = u ± ‖u‖ .e1 eton a H(v).u = ±‖u‖ .e1.

Remarque : Pour des raisons de stabilite numerique, on prendv = u+signe(u1) · ‖u‖ .e1 et on a alors H(v).u = −signe(u1) · ‖u‖ .e1.






1) H(v) est symetrique, orthogonale.2)

∀w ∈ vect v , H(v).w = −w

∀w ∈ vect v⊥ , H(v).w = w






Issai Schur

Issai Schur (1875− 1941), est unmathematicien d’origine russe qui a surtouttravaille en Allemagne. Il a etudie a Berlinsous Frobenius, a obtenu son doctorat en1901 et est devenu charge d’enseignementen 1903. Il a donne son nom a plusieursconcepts et theoremes mathematiques :

Decomposition de Schur

Complement de Schur

Inegalite de Schur

Lemme de Schur

Multiplicateur de Schur

Polynome de Schur

etc..






Enonce de la decomposition

Theorem (version Complexe)

Soit A ∈ Cn×n, alors il existe une matrice orthogonale Q ∈ Cn×n tel quela matrice T = Q> · A · Q est triangulaire superieur.

Theorem (version reelle)

Soit A ∈ Rn×n, alors il existe une matrice orthogonale Q ∈ Rn×n tel queQ> · A · Q est quasi-triangulaire c’est-a-dire :

Q> · A · Q =

R11 · · · · · · R1m

0. . .

......

. . .. . .

...0 · · · 0 Rmm

ou les Rii sont des blocs de taille (1× 1) ou (2× 2).






Preuve

On effectue une demonstration par recurrence sur le nombre de pairede valeurs propres conjuguees note k .

Pour k = 0, le theoreme est vrai c’est une consequence direct de ladecomposition de Schur standard.

On suppose que le theoreme est vrai pour toutes matrices ayant unnombre de pair complexe < k .Soit λ = α + iβ, β 6= 0 et x = u + iv valeur et vecteur propre de A.On a

A · u = α · u − β · v et A · v = α · v + β · u

on en deduit alors le resultat suivant :

A · [u, v ] = [u, v ] ·[

α β−β α

]






Preuve

On introduit x1, x2 une base orthonormale de l’espace vectu, v,[x1, x2] = [u, v ] · Cd’ou

A · [x1, x2] = [x1, x2] · C−1 ·[

α β−β α

]· C︸︷︷︸

S

On complete la base x1, x2 pour avoir une base orthonormale deRn on obtient alors x1, x2,W une base de Rn, W = x3, · · · , xn.On a

[[x1, x2] ,W ]> · A · [[x1, x2] ,W ] =

[S [x1, x2]> · A ·W0 W> · A ·W

]

Finalement, on applique l’hypothese de recurrence a W> · A ·W .






Karl Adolf Hessenberg

Karl Adolf Hessenberg(1904− 1959), est un mathematicienet ingenieur allemand. La matrice deHessenberg etait introduite par lui en 1940par le biais de son rapport: ”Traitementdes problemes de valeurs propres linaires enutilisant le theoreme de Cayley-Hamilton”.






Enonce de la Reduction

Theorem

∀A ∈ Rn×n, ∃Q ∈ Rn×n, tel que Q> ·A ·Q = H ou H est de Hessenberg.En effet, Q est le produit de (n − 2) matrice de Householder

Preuve

On demontre le resultat par recurrence sur la dimension. Pour n = 2on a toute matrice est de Hessenberg sans multiplier par une matricede Householder.

On suppose que ∀k ≤ n − 1 pour A ∈ Rk×k , ∃Q ∈ Rk×k , tel queQ> ·A ·Q est de Hessenberg. Q est le produit de (k − 2) matrice deHouseholder. Montrons le theoreme pour A ∈ Rn×n.






Preuve

Soit A =

a11 a12 · · · a1n

a21. . .

......

. . ....

a1n · · · · · · ann

, on note a1 =

a21

...an1

On sait qu’il existe Hu matrice de Householder tel que Hu · a1 = αe1,d’apres la transformation u = a1 ± ‖a1‖e1. on prend

H(n−2) =

[1 O>

O Hu

]. Alors

H(n−2) · A · H(n−2) =

[a11 [a12, · · · , a1n] · Hu

α · e1 Hu · A(1) · Hu

]






Reduction de Hessenberg

Preuve

On applique l’hypothese de recurrence a la matrice B = Hu ·A(1) ·Hu

donc on a

(n−3∏i=1

Hi

)· B ·

(n−3∏i=1

Hi

)>est de Hessenberg

le resultat est clair en prenant

Q =

(n−3∏i=1

[1 O>

O Hi

])· Hn−2






Algorithme: Reduction de Hessenberg

Initialisation: Q = I et H = A

Pour j = 1 : n − 2

On pose u = H(:, j); puis on annule les composantes u(i = 1 : j)

Calcul du vecteur de Householderv = u + sign(u(j + 1)) ∗ ‖u‖ ∗ ej+1 puis on normalise v = u/ ‖u‖.Calcul de la matrice de Householder P = In − 2 ∗ (v ∗ vT )

Mise a jours des matrice H ←− P ∗ H ∗ PT et Q ←− Q ∗ P;

Fin(j)






John FRANCIS

John FRANCIS ne en 1934,est un Anglais chercheur en informatique,qui en 1961 a publie l’algorithmeQR pour le calcul des valeurs propres dematrices, qui a ete nomme comme l’un desdix importants algorithmes du XXe siecle.En 1961, Francisa quitte le domaine de l’analyse numerique,et n’avaitaucune idee de l’impact que son travail surl’algorithme QR avait,jusqu’a re-contacte par Gene Golub en 2007.






Si A = QR avec Q matrice orthogonale et R matrice triangulairesuperieur, alors la matrice A′ = RQ est semblable a A car :

QtAQ = QtQRQ = RQ = A′






• Principe de la methode :Posons A1 = A.On ecrit la factorisation QR de A1:

A1 = Q1R1

et on formeA2 = R1Q1 = Qt

1A1Q1

A l’etape k,Ak = QkRk

On poseAk+1 = RkQk = Qt

kAkQk

On obtientAk+1 = (Q1Q2...Qk)tA(Q1Q2...Qk)

Ce qui montre que Ak+1 est semblable a A donc admet les memesvaleurs propres.






Theoreme

Soit A ∈ Mn(R) inversible et ayant des valeurs propres differentes enmodule. C’est-a-dire qu’il existe une matrice P inversible verifiant:

P−1AP =

λ1

. . .

λn

et |λ1| > ... > |λn|.Alors la suite Ak verifie:

limk→∞

(Ak)ii = λi ∀i = 1, 2, ..., n

limk→∞

(Ak)ij = 0 ∀j < i






Remarque

• On ne peut rien dire sur la convergence de la partie superieure i < j .• Si A est une matrice reelle et que les valeurs propres sont differentes enmodule, ceci entraıne que les valeurs propres sont toutes reelles car sinonles valeurs propres complexes apparaissent par paires de racinescojuguees, donc de meme module ce qui est exclu par l’hypothese dutheoreme.• Si A est symetrique alors la suite Ak converge vers une matricediagonale formee par les valeurs propres de A.






• Preuve:On pose Ωk = Q1...Qk et <k = Rk ...R1

On a Ak+1 = ΩtkAΩk

L’idee est d’etudier le comportement de la suite Ωk .On va utiliser le fait qu’on a une factorisation QR de la matrice Ak avecAk = Q1...QkRk ...R1.On va chercher maintenant une factorisation QR avec Rii > 0 pourpouvoir utiliser l’unicite et par suite deduire le resultat final.

P−1 = LU, P = QR et Λ =

λ1

. . .

λn

.

On a alors Ak = PΛkP−1

= QRΛkLU= QR(ΛkLΛ−k)ΛkU

Or limk→∞

ΛkLΛ−k = I






Ce qui est equivalent a dire que

ΛkLΛ−k = I + Fk avec limk→∞

Fk = 0

DoncR(ΛkLΛ−k) = (I + RFkR−1)R

La matrice I + RFkR−1 admet une factorisation QR avec Rii > 0, qu’onnote

I + RFkR−1 = Qk Rk

limk→∞

Qk = Q et limk→∞

Rk = R avec Rii > 0

Donc QR = I , et par unicite de la factorisation QR, on a Q = R = I .En reprenons l’expression de Ak et en remplacant, on obtient

Ak = (QQk)(RkRΛkU)






qui est une autre factorisation QR de Ak , mais rien ne garantie queRii > 0.En intercalons une matrice diagonale Dk avec |(Dk)ii | = 1 de sorte aavoir (Dk RkRΛkU)ii > 0, et par unicite on conclut

QQkDk = Ωk

Passons a l’etape finale Ak+1 = ΩtkAΩk

= DtkQt

kRΛR−1QkDk Or

limk→∞

Nk = RΛR−1 avec Nk ≡ QtkRΛR−1Qk






avec

RΛR−1 =

λ1 ∗ · · · · · ·0 λ2 ∗ · · ·...

. . .. . .

. . .

0 · · · 0 λn

Donc finalement,

limk→∞

Ak+1 = RΛR−1






Avantages et inconvenients de la methode QR

• Avantage:· Calcul de toutes les valeurs propres.

• Inconvenients:· Convergence lente,· Chaque iteration demande une decomposition QR.· La methode QR ne calcul pas directement les vecteurs propres.






Remarque

• La convergence comme on avait dit est lente mais peut etre acceleree,en reduisant la matrice A en une matrice plus simple (Quasi triangulaire)dite de Hessenberg:

A =

∗ ∗ · · · · · · ∗∗ ∗ · · · · · · ∗

0 ∗. . . · · ·

......

. . .. . .

. . ....

0 · · · 0 ∗ ∗

L’avantage provient du fait que la suite Ak reste sous la forme deHessenberg.






• On peut egalement accelerer la convergence lorsqu’il s’agit d’unematrice symetrique, en reduisant cette derniere en une forme tridiagonalea l’aide des matrices de Householder.






Algorithme

Poser A(0) = A et k = 0

Tant que maxi>j|a(k)

ij | ≥ ε

-Calculer R(k) et Q(k) telles queA(k) = Q(k)R(k)

-Calculer A(k+1) parA(k+1) = R(k)Q(k)

-iterk ← k + 1Fin de tant que






Application

On prend par exemple la matrice

A =

1 5 3 25 12 0 10 8 1 43 2 9 1

Le spectre de A:σ(A)= 15.6590, -4.5723, 4.3265, -0.4132.


ch 1 householder schur svd application

Documents

hessenbergmethode qr

hessenberg4 methode

francis5 methode qr

methode qralgorithme

u signeu1 u

francismethode qr p

valeurs propresavantages

householder concentrated