Bor Plestenjak

Iterativne numericne metode v linearni algebri

skripta vaj

1. februar 2018

O skripti

Skripta vaj je namenjena predmetu Iterativne numerične metode v linearni algebri, ki se predavana drugi stopnji smeri Matematika in Finančna matematika na Fakulteti za matematiko in fizikoUniverze v Ljubljani.

Skripta je nastala ob izvajanju predmeta v letu 2017/18. V njej so zaenkrat v glavnemteoretične naloge, ki smo jih to leto delali na vajah, in še nekaj dodatnih nalog. Poleg tega smodokazali tudi nekaj rezultatov, ki so že vsebovani v skripti predavanj, teh nisem pisal še enkrat.Naloge so zbrane iz različnih koncev, nekaj jih je sposojenih iz zbirke, ki jo je pripravil AndrejMuhič, ko je izvajal vaje pri predmetu v letu 2013/14. Skripta se bo skozi posodabljala.

Še nasvet, če želite od reševanja nalog odnesti čim več, ne preklopite takoj na strani z rešitvami!

prof. dr. Bor Plestenjak

Kazalo

1 Klasične iterativne metode 2

2 Metode podprostorov Krilova 3

3 Računanje lastnih vrednosti 6

4 Rešitve 10

1

1 Klasicne iterativne metode

1. Pokaži: Jacobijeva metoda za matriko A konvergira natanko tedaj, ko konvergira za AT .

2. Gauss-Seidelovo metodo dobimo iz Jacobijeve tako, da komponente x (r+1) racunamo izenacb po vrsti od prve do zadnje in pri tem upoštevamo nove izracunane komponentevektorja x (r+1). Ce namesto tega uporabimo vrstni red od zadnje do prve enacbe dobimometodo, ki ji lahko recemo obrnjena Gauss-Seidelova metoda. Zapiši njeno iteracijskomatriko in pokaži, da v primeru, ko je A strogo diagonalno dominantna po vrsticah,konvergira za vsak zacetni približek.

3. Naj bo matrika A strogo diagonalno dominantna po stolpcih. Pokaži, da tako Jacobijevakot tudi Gauss-Seidelova metoda konvergirata za poljuben zacetni približek.

4. Naj velja ‖R‖< 1. Izpelji naslednje ocene za iteracijo x (r+1) = Rx (r)+ c, kjer je bx = Rbx + c.

(a) ‖x (r+1) − x (r)‖ ≤ ‖R‖‖x (r) − x (r−1)‖,

(b) ‖x (r) − bx‖ ≤‖R‖

1− ‖R‖‖x (r) − x (r−1)‖,

(c) ‖x (r) − bx‖ ≤‖R‖r

1− ‖R‖‖x (1) − x (0)‖.

5. Izracunaj prva dva približka sistema

10x1 − 2x2 + 4x3 = 8

−x1 + 8x2 + 2x3 = 8

x1 − 3x2 + 10x3 = 5

po Jacobijevi in Gauss-Seidelovi metodi iz x (0) =

0 0 0T

. Oceni število potrebnihkorakov, da bo x (k) − bx‖∞ < 10−5, kjer je bx tocna rešitev.

6. Pri Richardsonovi metodi sistem Ax = b rešujemo z iteracijo xk+1 = xk+α(b−Axk), kjer jeα izbrani skalar. Denimo, da so lastne vrednosti A vse realne in urejene kot λn ≤ · · · ≤ λ1.

(a) Pokaži, da v primeru λn < 0< λ1 metoda ne konvergira za nobeno izbiro α.

(b) Pokaži, da v primeru 0 < λn ≤ λ1 lahko poišcemo tak α, da metoda konvergira.Poišci dopustne vrednosti za α in ugotovi optimalno vrednost.

7. Pokaži, da za polinome Cebiševa velja ocena Tm(1+ ε)≥ 1+m2ε za ε > 0.

8. Pokaži, da pri skalarnem produktu

⟨ f , g⟩ :=

∫ 1

−1

f (x)g(x)d x

p1− x2

polinomi Cebiševa tvorijo ortogonalni sistem na [−1,1].

9. Za dana števila α < β ≤ γ poišci polinom p, ki ima najmanjšo neskoncno normo naintervalu [α,β] med vsem polinomi stopnje n za katere velja p(γ) = 1.

10. Pokaži:

2

(a) Za polinome Cebiševe velja

Tk(x) =zk + z−k

2, kjer je x =

z + z−1

2.

(b) Naj bo z = eα+iβ , kjer je α > 0 in β ∈ (−π,π). Pokaži, da je potem

Tk(x) = cosh(kα) cos(kβ) + i sinh(kα) sin(kβ).

11. Pokaži, da za x > 1 obstaja tak ρ > 1, da je Tk(x)≥12ρ

k.

12. Pokaži, da ima tridiagonalna matrika n× n matrika oblike

A=

a b

c a. . .

. . . . . . bc a

lastne vrednosti

λk = a+ 2p

bc cos

kπn+ 1

, k = 1, . . . , n.

Nasvet: Nastavi enacbo Ax = λx in reši diferencno enacbo za elemente lastnega vek-torja.

2 Metode podprostorov Krilova

13. Pokaži, da je K k(αI + βA, b) =Kk(A, b) za poljuben α in poljuben β 6= 0.

14. Naj bo A ∈ Rn×n taka matrika, da je AT = p(A) za nek polinom p stopnje m. Pokaži, dapotem za zgornjo Hessenbergovo matriko Hk, ki jo dobimo pri Arnoldijevem algoritmu,velja, da ima pasovno obliko širine m+ 1 oziroma hi j = 0 za j − i > m.

15. Naj bo A simetricna pozitivno definitna matrika, bx tocna rešitev sistema Ax = b in xkrešitev, ki jo dobimo po k korakih metode konjugiranih gradientov iz zacetnega približkax0. Izpelji oceno

‖b− Axk‖2‖b− Ax0‖2

≤Æ

κ2(A)‖bx − xk‖A‖bx − x0‖A

.

16. Z zacetnim približkom x0 = 0 izvedi dva koraka metode konjugiranih gradientov za sis-tem Ax = b, kjer je

A=

2 −1−1 2 −1

−1 2 −1−1 2 −1

−1 1

, b =

10000

.

3

17. Z zacetnim približkom x0 = 0 izvedemo k < n korakov metode konjugiranih gradientovza sistem Ax = b, kjer je A matrika velikosti n × n oblike A = tridiag(−1,2,−1) − eneT

nin b = e1. Izpelji splošne formule za vektorje pk, rk, xk in skalarje αk,βk iz algoritma.Pomagaj si z nalogo 16, v kateri nastopa matrika za primer n= 5.

18. Naj bo A simetricna pozitivno definitna matrika, katere lastne vrednosti ležijo na inter-valu [1,4], in x tocna rešitev sistema Ax = b.

a) Oceni, koliko najvec korakov k potrebuje metoda konjugiranih gradientov, da borazmerje ‖xk − x‖A/‖x0 − x‖A padlo pod 10−10.

b) Ali lahko dobiš natancnejšo oceno, ce veš, da razen dveh lastnih vrednosti, vse pre-ostale ležijo na intervalu [1, 1.5]?

19. Pokaži, da je za študij konvergence metode konjugiranih gradientov dovolj obravnavatiprimer, ko je matrika A diagonalna.

20. Naj bo A simetricna pozitivno definitna matrika. Izrazi diagonalne in obdiagonalne ele-mente matrike Tk, ki jo dobimo, ce na matriki A poženemo Lanczosevo metodo, s koefi-cienti αi in βi iz metode konjugiranih gradientov.

21. Iz predavanj vemo, da je v primeru, ko je A simetricna pozitivno definitna, reševanjesistema Ax = b ekvivalentno minimiziranju funkcije ϕ(x) = 1

2 x T Ax − bT x . Pokaži to šetako, da z odvajanjem pokažeš, kje ima funkcija ϕ ekstrem.

22. Ce je A simetricna pozitivno definitna, je reševanje sistema Ax = b ekvivalentno minimi-ziranju funkcije ϕ(x) = 1

2 x T Ax − x T b.

(a) Denimo, da imamo približek xk, sedaj pa bi radi dobili še boljši približek tako, dase iz xk premaknemo v dani smeri pk. Poišci vrednost skalarja ck, kjer ϕ(xk + ckpk)zavzame najmanjšo vrednost.

(b) Zapiši algoritem za gradientno metodo, kjer zacnemo v x0, potem pa se v vsakemkoraku premaknemo v smeri gradienta in poišcemo minimum v tej smeri.

23. Ce je A simetricna pozitivno definitna matrika, je reševanje sistema Ax = b ekvivalentnoiskanju minimuma funkcije

ϕ(x) =12

x T Ax − bT x .

Pri metodi ciklicnega koordinatnega spusta izberemo x0 in nato po vrsti delamo popravkex i = x i−1+αiei v smereh enotskih vektorjev e1, . . . , en, kjer vsakic v izbrani smeri minimi-ziramo ϕ(x i−1+αiei). Pokaži, da se xn ujema z vektorjem, ki ga dobimo, ce za reševanjesistema Ax = b izvedemo en korak Gauss–Seidelove metode z zacetnim približkom x0.

24. Pokaži: Ce kot približek za rešitev sistema Ax = b izberemo tak xk ∈ x0 +Kk(A, r0), kjerje r0 = b − Ax0, da je ostanek rk = b − Axk pravokoten na AKk(A, r0), potem dobimo istipribližek kot pri metodi GMRES.

25. Z Arnoldijevim algoritmom in metodama GMRES in FOM izracunaj približek za rešitevsistema Ax = b, kjer je

A=

1 −2 1 21 0 1 00 −1 −1 21 −1 0 0

, b =

1111

.

4

Uporabi x0 = 0 in podprostor Krilova dimenzije 2.

26. Denimo, da ima A obliko

A=

I YI

,

kjer je Y kvadratna matrika. Ce za reševanje sistema Ax = b uporabimo GMRES, kolikokorakov bomo najvec potrebovali?

27. Naj bo A simetricna pozitivno definitna matrika in x0 zacetni približek za rešitev sistemaAx = b. Zapiši zakljuceno formulo za x1, v kateri nastopajo le izrazi A, x0 in zacetniostanek r0 = b− Ax0, ce x1 dobiš tako, da

(a) uporabiš GMRES(1),

(b) uporabiš FOM(1),

(c) narediš en korak gradientne metode.

Opomba. Pri gradientni metodi išcemo minimum ϕ(x) := 12 x T Ax − bT x . V enem koraku

se iz približka xk premaknemo v smeri negativnega gradienta ϕ v tocki xk tako, da xk+1v tej smeri minimizira ϕ.

28. Naj bo A nesingularna matrika. Približek za rešitev sistema Ax = b bi radi dobili z metodoFOM z zacetnim približkom x0 = 0. Denimo, da se Arnoldijev algoritem za izracun bazezaKk(A, b) izvede brez težav (to pomeni h j+1, j 6= 0 za j = 1, . . . , k. Ali je rešitev po metodiFOM, ki jo dobimo izKk(A, b), vedno dobro definirana? Dokaži ali pa poišci protiprimer.Kaj pa, ce namesto metode FOM uporabimo GMRES?

29. Naj bo A taka nesingularna normalna matrika, da za vse njene lastne vrednosti velja|Re(λ)|> |Im(λ)|. Pokaži, da potem GMRES(2) konvergira za vsak zacetni približek.

30. Pokaži: Metoda GMRES(k) za Ax = b konvergira za poljuben zacetni vektor natankotedaj, ko za vsak z ∈ Cn, ‖z‖= 1, velja:

zHAzzHA2z

...zHAkz

6=

00...0

31. Naj bo A taka nesingularna normalna matrika, da za vse njene lastne vredosti velja|Re(λ)| > |Im(λ)|. Pokaži, da potem GMRES(2) konvergira za vsak zacetni približek. Pridokazu uporabi nalogo 30.

32. Za vsako nesingularno matriko A lahko reševanje Ax = b z uporabo normalnega sistemaprevedemo na reševanje sistema s simetricno pozitivno definitno matriko in uporabimometodo konjugiranih gradientov (CG). To lahko naredimo na dva nacina. Za vsakegapoišci, kaj minimiziramo in v katerem podprostoru. Za zacetni približek v obeh primerihvzamemo x0 = 0.

(a) Pri metodi CGNR z metodo CG rešujemo sistem AT Ax = AT b.

(b) Pri metodi CGNE z metodo CG rešujemo sistem AAT y = b, kjer je x = AT y.

5

33. Naj se da matriko A diagonalizirati in naj vse njene lastne vrednosti ležijo v krogu ssredišcem c ∈ C in radijem ρ < |c|. Pokaži, da v tem primeru za metodo GMRES veljaocena

‖rk‖2‖r0‖2

≤ αβ k,

kjer je β < 1. Kaj lahko vzamemo za α in β?

34. Denimo, da se da matriko A diagonalizirati kot A= V DV−1, kjer je κ2(V ) = 100. Vse njenelastne vrednosti so enostavne in ležijo na naslednjem obmocju.

(a) Poišci vrednosti za α > 0 in β < 1, da velja ocena

‖rk‖2‖r0‖2

≤ αβ k.

Pomagaj si z nalogo 33.

(b) Popravi oceno, ce ima matrika A poleg lastnih vrednosti na zgornji sliki še lastnivrednosti 1

2 ± i.

35. Rešiti moramo ogromen sistem linearnih enacb, kjer je matrika A simetricna pozitivnodefinitna. Množenje matrike z vektorjem traja eno uro, skalarni produkt dveh vektorjev20 minut, racunanje vsote linearne kombinacije dveh vektorjev pa 10 minut. Za konver-genco metode GMRES in metode konjugiranih gradientov vemo, da se napaka v vsakemkoraku zmanjša za faktor 10. Koliko casa bo potrebovala vsaka izmed metod, da bomopri racunanju v dvojni natancnosti dosegli polno natancnost?

3 Racunanje lastnih vrednosti

36. Za matriko

A=

−1 1 −21 1 11 0 1

izracunaj podprostor Krilova dimenzija 2, ki se zacne z vektorjem v1 =

0 1 0T

inizracunaj

6

(a) Ritzevi vrednosti,

(b) harmonicni Ritzevi vrednosti.

37. Naj se τ razlikuje od vseh lastnih vrednosti matrike A. Pokaži:

(a) (λ, x) je lastni par za matriko A natanko tedaj, ko je 1λ−τ , x

lastni par za (A−τI)−1.

(b) σ je približek za lastno vrednost (A− τI)−1 natanko tedaj, ko je 1σ + τ približek za

lastno vrednost A.

38. Naj se τ razlikuje od vseh lastnih vrednosti matrike A. Pokaži:

(a) Ce stolpci Vk tvorijo bazo za Vk, potem za vsak u ∈ U := (A−τI)Vk obstaja natankoen y ∈ Ck, da je u= (A−τI)Vk y.

(b) Ce je θ harmonicna Ritzeva vrednost za A s tarco τ za Vk, potem je

V Hk (A−τI)H(A−τI)Vk y = (θ −τ)V H

k (A−τI)H Vk y.

(c) Tocka (b) je ekvivalentna temu, da obstaja u ∈ U , u 6= 0, da je (A−τI)−1u−(θ−τ)−1upravokoten na U .

39. Za matriko A in isti podprostorKk(A, v1) bi radi izracunali harmonicne Ritzeve vrednostiza vec danih tarc τ1, . . . ,τm . Kako naj se tega lotimo, da bo dela cim manj?

40. Naj bo Ax = λx lastni par za matriko A in ‖x‖2 = 1. Denimo, da znotraj podprostoraKrilova Kk(A, v1) obstaja tak vektor z ∈Kk(A, v1), da je ‖x − z‖2 = ε 1.

(a) Denimo, da smo z Arnoldijevo metodo zgenerirali matriko Vk z ortonormiranimistolpci za bazo Kk(A, b) in matriko Hk, da je AVk = VkHk + hk+1,kvk+1eT

k . Pokaži, daobstaja enolicen vektor y ∈ Ck, da je z = Vk y in da zanj velja

‖Hk y −λy‖2‖y‖2

≤‖Az −λz‖2‖z‖2

.

(b) Pokaži, da je ‖Az −λz‖2 ≤ 2‖A‖2ε.(c) Kaj lahko zakljuciš iz zgornjih ocen?

41. Naj bo Ax = λx lastni par za matriko A in ‖x‖2 = 1. Denimo, da znotraj podprostoraKrilova Kk(A, v1) obstaja tak vektor z ∈ Kk(A, v1), da je ‖x − z‖2 = ε 1. Naj stolpcimatrike Vk, ki niso nujno ortonormirani, tvorijo bazo za Kk(A, b).

(a) Pokaži, da obstaja enolicen vektor y ∈ Ck, da je z = Vk y in poišci formulo zanj.

(b) Pokaži, da so Ritzeve vrednosti lastne vrednosti matrike ÒHk := (V Hk Vk)−1(V H

k AVk).

(c) Izpelji oceno

‖ÒHk y −λy‖2‖y‖2

≤ κ2(Vk)‖Az −λz‖2‖z‖2

≤ κ2(Vk)2‖A‖2‖z‖2

ε.

42. Na bo A normalna matrika z realnimi lastnimi vrednostmi λ1 > λ2 ≥ · · · ≥ λn, pri cemervelja tudi λ2 > λn.

7

(a) Pokaži, da transformacija

ω= 1− 2x −λ2

λn −λ2

preslika interval [λn,λ2] na [−1,1].

(b) Naj bo qk(x) = Tk(ω) = Tk

1− 2 x−λ2λn−λ2

. Pokaži, da je |qk(λi)| ≤ 1 za i = 2, . . . , n in

|qk(λ1)| ≥12ρ

k, kjer je ρ ≥ 1+ 2λ1−λ2λ2−λn

> 1.

(c) Naj bodo x1, . . . , xn linearno neodvisni lastni vektorji za λ1, . . . ,λn in naj za v1 veljav1 =

∑ni=1αi x i, kjer je α1 6= 0. Sedaj definiramo

eqk(x) =qk(x)α1qk(λ1)

in wk = eqk(A)v1 ∈ Kk(A, v1). Pokaži, da obstaja taka konstanta C , da je ‖wk − x1‖2 ≤Cρ−k, kjer je ρ isti kot v tocki (b).

S tem pokažemo, da za dovolj velik k podprostorKk(A, v1) vsebuje dovolj dober približekza lastni vektor x1.

43. Imamo ogromno razpršeno simetricno matriko, ki je tako velika, da v spominu nimamohkrati prostora za vec kot le nekaj vektorjev te velikosti. Pokaži, kako bi lahko v temprimeru z vec zagoni Lanczoseve metode prišli do dobrih približkov za lastne vrednostiin vektorje.

44. Naj se premik σ razlikuje od vseh lastnih vrednosti simetricne matrike A. Naj bodoµ1, . . . ,µk Ritzeve vrednosti A za podprostor Kk(A, v1) in θ1, . . . ,θk harmonicne Ritzevevrednosti A s premikom σ za Kk(A, v1). Lanczosev algoritem naj vrne AVk = VkTk +βkvk+1eT

k . Pokaži:

(a) Harmonicne Ritzeve vrednosti so rešitve posplošenega problema lastnih vrednosti

(Tk −σI)2 + β2k ekeT

k

y = (θ −σ)(Tk −σI)y.

(b) Lastne vrednosti (k+ 1)× (k+ 1) matrike

Mk :=

Tk −σI βkekβkeT

k β2k eT

k (Tk −σI)−1ek

so 0 in θ1 −σ, . . . ,θk −σ.

(c) Ce Ritzeve in harmonicne Ritzeve vrednosti preuredimo glede na σ, se za nek rprepletajo kot

θ−r < µ−r < θ−r+1 < · · ·< θ−1 < µ−1 < σ < µ1 < θ1 < · · ·< µk−r < θk−r .

45. Matrika A ima obliko A = CB, kjer je C simetricna in B simetricna pozitivno definitnamatrika, obe pa sta veliki in razpršeni. Kako lahko z Lanczosevo metodo izracunamopribližke za lastne vrednosti matrike A?

Nasvet: Spomni se na enostransko predpogojevanje metode konjugiranih gradientov.

8

46. Naj bo U unitarna matrika in τ ∈ C, |τ| = 1, taka tocka na enotski sferi, da se razlikujeod vseh lastnih vrednosti matrike U . Definiramo

A= i(U +τI)(U −τI)−1.

Pokaži:

(a) Vse lastne vrednosti matrike A so realne.

(b) Lastna vrednost matrike U , ki je najbližja τ, se preslika v dominantno lastno vre-dnost A.

(c) Matrika A je hermitska.

47. Za posplošen problem lastnih vrednosti Ax = λBx in tako tarco σ1, da je matrika A−σ1Bnesingularna, išcemo lastne vrednosti C = (A−σ1B)−1B z Arnoldijevo metodo. Denimo,da smo dobili Vk+1 in eHk, da velja

(A−σ1B)−1BVk = Vk+1 eHk. (1)

Sedaj izberemo premik σ2 6= σ1 in išcemo enostavno konstrukcijo matrike Wk+1 z orto-normiranimi stolpci in zgornje Hessenbergove matrike eGk, da velja

(A−σ2B)−1BWk =Wk+1 eGk.

(a) Pokaži, da iz (1) sledi

BVk+1(Ik+1,k + (σ1 −σ2) eHk) = (A−σ2B)BVk+1 eHk,

kjer je Ik+1,k matrika velikosti (k + 1)× k, ki ustreza identiteti velikosti k z dodanonicelno vrstico.

(b) Razvij algoritem, s katerim ucinkovito za matriko eSk velikosti (k+1)× k poišceš or-

togonalno matriko Qk velikosti k× k, da ima

Qk1

T

eSkQk zgornjo Hessenbergovo

obliko.

(c) Uporabi QR razcep matrike Ik+1,k + (σ1 − σ2) eHk in algoritem iz tocke (b) za kon-strukcijo Wk+1 in eGk.

9

4 Rešitve

1. Vemo, da je RJ (A) = −D−1(L+U), kjer je A= L+D+U , L spodnja trikotna matrika z ničlamina diagonali, D diagonalna matrika in U zgornja trikotna matrika z ničlami na diagonali.

Iteracijska matrika za AT je potem RJ (AT ) = −D−1(LT + U T ) = −D−1RJ (A)T D, kar pomeni,da je matrika RJ (AT ) podobna matriki RJ (A)T , ta pa ima iste lastne vrednosti kot matrikaRJ (A). Torej je ρ(RJ (AT )) = ρ(RJ (A)T ) = ρ(RJ (A))< 1.

2. Naj bo A= L+D+U , kjer je L spodnja trikotna matrika z ničlami na diagonali, D diagonalnamatrika in U zgornja trikotna matrika z ničlami na diagonali. Ustrezna iteracijska matrikaje potem ROGS(A) = −(U + D)−1 L.

V primeru, ko je A strogo diagonalno dominantna po vrsticah, dokažemo ρ(ROGS(A))< 1 nazelo podoben način, kot smo to pokazali za Gauss-Seidelovo metodo. Naj bo (λ, x) lastnipar za ROGS, torej ROGS x = λx in x 6= 0. Od tod sledi Lx = −λ(D+ U)x oziroma

−i−1∑

j=1

ai j x j = λn∑

j=i

ai j x j

in

−λaii x i =i−1∑

j=1

ai j x j +λn∑

j=i+1

ai j x j .

Vzemimo indeks k, pri katerem je |xk|= ‖x‖∞. Sedaj ocenimo

|λ||akk| ≤k−1∑

j=1

|ak j||x j||xk|

+ |λ|n∑

j=k+1

|ak j||x j||xk|

≤k−1∑

j=1

|ak j|+ |λ|n∑

j=k+1

|ak j|.

Sledi

|λ| ≤

∑k−1j=1 |ak j|

|akk| −∑n

j=k+1 |ak j|< 1,

saj je

|akk|>k−1∑

j=1

|ak j|+n∑

j=k+1

|ak j|.

3. Za Jacobijevo metodo bodisi pokažemo, da je ‖R j‖1 < 1 ali pa uporabimo nalogo 1 inupoštevamo, da je AT strogo diagonalno dominantna po vrsticah.

Pri Gauss-Seidelovi metodi si pomagamo z nalogo 2. Naj bo A = L + D + U , kjer je Lspodnja trikotna matrika z ničlami na diagonali, D diagonalna matrika in U zgornja triko-tna matrika z ničlami na diagonali. Ker je matrika AT strogo diagonalno dominantna povrsticah, obrnjena Gauss-Seidelova metoda za AT konvergira. Ustrezna iteracijska matrikaje ROGS(AT ) = −(LT +D)−1U T . Iz RGS(A) = −(L+D)−1U dobimo RGS(A) = U−1ROGS(AT )T U ,torej je

ρ(RGS(A)) = ρ

ROGS(AT )T

= ρ

ROGS(AT )

< 1.

10

4. (a) Od x (r+1) = Rx (r)+c odštejemo x (r) = Rx (r−1)+c, dobimo x (r+1)−x (r) = R(x (r)−x (r−1))in od tod oceno ‖x (r+1) − x (r)‖ ≤ ‖R‖‖x (r) − x (r−1)‖.

(b) Pomagamo si s točko (a) in ocenimo

‖x (r) − bx‖= ‖x (r) − x (r+1) + x (r+1) − x (r+2) + x (r+2) + · · · − bx‖

≤ ‖x (r) − x (r+1)‖+ ‖x (r+1) − x (r+2)‖+ · · ·

≤ (‖R‖+ ‖R‖2 + ‖R‖3 + · · · )‖x (r) − x (r+1)‖

=‖R‖

1− ‖R‖‖x (r) − x (r−1)‖.

(c) Sledi iz (b) in ‖x (r) − x (r−1)‖ ≤ ‖R‖r−1‖x (1) − x (0)‖.

5. Točna rešitev sistema je bx =

0.700980 0.911764 0.703431T

. Pri Jacobijevi metodidobimo naslednje približke

x (1) =

0.8 1 0.5T

x (2) =

0.8 0.975 0.72T

x (3) =

0.707 0.92 0.7125T

.

Iteracijska matrika je

RJ = −

108

10

−1

0 −2 4−1 0 21 −3 0

=

0 0.2 −0.40.125 0 0.25−0.1 0.3 0

in ‖RJ‖∞ = 0.6. Za oceno števila potrebnih korakov uporabimo oceno (c) iz naloge 4. Izrazlike ‖x (3) − x (2)‖∞ lahko ocenimo, da bo

‖RJ‖k−2∞ ‖x

(3) − x (2)‖∞1− ‖RJ‖∞

≤ 10−5

za k ≥ 21.68. V resnici zadošča že 9 iteracij.

Pri Gauss-Seidelovi metodi dobimo

x (1) =

0.8 1.1 0.75T

x (2) =

0.72 0.9025 0.69875T

x (3) =

0.701 0.9129375 0.70378125T

.

Iteracijska matrika je

RGS = −

10−1 81 −3 10

−1

0 −2 40 2

0

=

0 0.2 −0.40 0.025 −0.30 −0.125 −0.05

in ‖RGS‖∞ = 0.6. Iz razlike ‖x (3) − x (2)‖∞ lahko ocenimo, da bo

‖RJ‖k−2∞ ‖x

(3) − x (2)‖∞1− ‖RJ‖∞

≤ 10−5

za k ≥ 17.77. V resnici zadošča že 5 iteracij.

11

6. Iz xk+1 = xk+α(b−Axk) lahko razberemo, da ima iteracijska matrika obliko R= I −αA, karpomeni, da so lastne vrednosti R enake 1−αλi za i = 1, . . . , n.

(a) V primeru λn < 0 < λ1 bo za vsak α 6= 0 bodisi 1− αλn > 0 ali pa 1− αλ1 > 0, torejmetoda ne konvergira.

(b) Izbrati moramo tak α, da bo |1−αλi|< 1 za vse i = 1, . . . , n. Torej mora biti α > 0 innavzgor omejen z α < 2/λ1, metoda konvergira za vsak α ∈ (0,2/λ1).Pri optimalnem α bo ρ(R) =maxi=1,...,n |1−αλi| minimalen. Ugotovimo lahko, da stapomembni le lastni vrednosti λ1 in λn, saj je ρ(R) = max|1 − αλ1|, |1 − αλn|. Čepogledamo spodnji graf funkcij |1−αλ1| in |1−αλn|

vidimo, da bo optimalni α dosežen pri −1+αλ1 = 1−αλn, od koder dobimo

α=2

λ1 +λn, ρ(R(α)) =

λ1 −λn

λ1 +λn.

7. Za |x |> 1 velja Tm(x) = cosh(m arccoshx). Ker je arccoshx = ln

x +p

x2 − 1

, dobimo

Tm(x) =12

h

x +p

x2 − 1m+

x +p

x2 − 1−mi

.

Če vstavimo x = 1+ ε dobimo

x +p

x2 − 1= 1+ ε+p

1+ 2ε+ ε2 − 1= 1+ ε+p

2ε+ ε2.

Definiramo a = ε+p

2ε+ ε2 in lahko pišemo Tm(1+ ε) =12

(1+ a)m + (1+ a)−m

. Sedajuporabimo razvoj v vrsto in dobimo

Tm(1+ ε) =12

1+ma+m(m+ 1)

2a2 +O (a3) + 1−ma+

m(m− 1)2

a2 +O (a3)

= 1+m2

2a2 +O (a3).

Ker je a2 = ε2 + 2ε+ ε2 + 2εp

2ε+ ε2, je očitno a2 ≥ 2ε in imamo iskano oceno.

12

8. Upoštevamo, da za |x | ≤ 1 velja Tm(x) = cos(m arccos x). S susbstitucijo x = cosϕ seskalarni produkt spremeni v ⟨ f , g⟩=

∫ π

0 f (cosϕ)g(cosϕ)dϕ. Tako za n 6= m dobimo

⟨Tn, Tm⟩=∫ π

0

cos(nϕ) cos(mϕ)dϕ =12

∫ π

0

cos((n+m)ϕ) + cos((n−m)ϕ)

dϕ

=12

sin((n+m)ϕ)n+m

+sin((n−m)ϕ)

n−m

π

0

= 0.

Po drugi strani za n= m 6= 0 dobimo

⟨Tn, Tn⟩=∫ π

0

cos2(nϕ)dϕ =12

∫ π

0

(1+ cos(2nϕ))dϕ =π

2,

pri n= m= 0 pa ⟨T0, T0⟩=∫ ϕ

0 dϕ = π.

9. Rešitev je polinom Čebiševa Tn, ki ga z intervala [−1, 1] s substitucijo preslikamo na interval[α,β] in s skaliranjem poskrbimo, da ima v točki γ vrednost 1. Formula je

p(x) =Tn

2x − (a+ b)b− a

Tn

2γ− (a+ b)b− a

.

10. (a) Za k = 0 in k = 1 lahko hitro preverimo, da res velja T0(x) = 1 in T1(x) = x . Denimo,da formulo velja za indekse manjše ali enake k za k ≥ 1. Potem velja

2x Tk(x) = 2

z + z−1

2

zk + z−k

2

=12

zk+1 + z−k−1 + zk−1 + z−k+1

= Tk+1(x) + Tk−1(x)

in polinomi očitno zadoščajo rekurzivni formuli za polinome Čebiševa.(b) Uporabimo točko (a) in dobimo

Tk(x) =12

ek(α+iβ) + e−k(α+iβ)

= cosh(kα) cos(kβ) + i sinh(kα) sin(kβ).

11. Uporabimo zvezo Tk(x) = cosh(karccoshx). Če je α= arccoshx , potem je

cosh(kα) =ekα + e−kα

2.

Za ρ lahko vzamemo ρ = eα > 1. Sedaj velja

cosh(kα) =12(ρk +ρ−k)≥

12ρk.

13

12. Naj bo Ax = λx . Potem elemente lastnega vektorja x povezujejo naslednje enačbe

(a−λ)x1 + bx2 = 0

cxk−1 + (a−λ)xk + bxk+1 = 0, k = 2, . . . , n− 1,

cxn−1 + (a−λ)xn = 0.

Če dodamo še x0 = xn+1 = 0 imamo zvezo cxk−1+(a−λ)xk + bxk+1 = 0 za k = 1, . . . , n. Izrekurzivne enačbe sledi xk = βξk

1 + γξk2, kjer sta ξ1 in ξ2 rešitvi karakteristične enačbe

c + (a−λ)ξ+ bξ2 = 0.

Za rešitvi mora veljatiξ1ξ2 =

cb

. (2)

Iz x0 = xn+1 = 0 sledi β +γ= 0 in βξn+11 +γξn+1

2 = 0, od tod

ξ1ξ2

n+1= 1= e2πki in dobimo

ξ1

ξ2= e

2πkn+1 i , k = 1, . . . , n. (3)

Iz (2) in (3) sledi ξ21 =

cb e

2πkn+1 i in

ξ1 =s

cb

eπkn+1 i , ξ2 =

s

cb

e−πkn+1 i .

Ker mora za rešitvi karakteristične enačbe veljati tudi ξ1 + ξ2 =λ−a

b , tako dobimo

λk = a+ b(ξ1 + ξ2) = a+ 2p

bc coskπ

n+ 1, k = 1, . . . , n.

Lastni vektor ima obliko

x j =

pbc sin kπ

n+1pbc sin 2kπ

n+1...

pbc sin nkπ

n+1

.

13. Uporabimo indukcijo. Za k = 1 je očitno K1(αI + βA, b) =K1(A, b) = Lin(b). Denimo, datrditev velja za k in pokažimo, da potem velja tudi za k+ 1. Vemo, da je

Kk(αI + βA, b) = Lin(b, (αI + βA)b, . . . , (αI + βA)k−1 b),

Kk(A, b) = Lin(b, Ab, . . . , Ak−1 b).

Ker Kk(αI + βA, b) razširimo v Kk+1(αI + βA, b) z vektorjem

(αI + βA)k b =k∑

j=0

kj

α jβ k− jAk− j b ∈Kk+1(A, b),

je Kk+1(αI+βA, b) ⊂Kk+1(A, b). Za dokaz v drugo smer vzamemo eA= αI+βB in zapišemoA= 1

αeA− α

β I . Tako pokažemo še Kk+1(A, b) ⊂Kk+1(αI + βA, b), torej sta prostora enaka.

14

14. Spomnimo se, kako zgleda Arnoldijev algoritem:

v1 = r0/‖r0‖j = 1, . . . , k

z = Av ji = 1, . . . , j

hi j = vTi z

z = z − hi j vih j+1, j = ‖z‖če je h j+1, j = 0, potem prekini računanjev j+1 = z/h j+1, j

Za izračun elementa hi j velja

hi j = vTi z = vT

i Av j = vTj AT vi ,

pri čemer smo za zadnjo enakost upoštevali, da so vektorji vi in matrika A realni. Sedaj AT

izrazimo kot AT = p(A), kjer je p polinom stopnje m. To pomeni, da je AT vi = p(A)vi in,ker je p polinom stopnje m, je vektor p(A)vi linearna kombinacija vektorjev vi , vi+1, . . . , vi+m.Od tod v primeru j− i > m sledi hi j = vT

j p(A)vi = 0, saj so vektorji v1, . . . , v j ortonormirani.

Alternativna rešitev: Iz Hk = V Tk AVk sledi

HTk = V T

k AT Vk = V Tk p(A)Vk = V T

k

p(A)v1 p(A)v2 · · · p(A)vk

.

Če je p(A) stopnje m, je vTi p(A)v j = 0 za i − j > m, zato je matrika HT

k taka, da ima poddiagonalo le m diagonal, torej je Hk res pasovna matrika.

Tu moramo paziti, čeprav zgleda mamljiva, enakost V Tk p(A)Vk = p(Hk) ne velja, saj v primeru

k < n matrika Vk ni obrnljiva.

15. Najprej pokažimo, da za vsak vektor z velja ocenaÆ

λn‖z‖A ≤ ‖Az‖2 ≤Æ

λ1‖z‖A,

kjer so 0 < λn ≤ · · · ≤ λ1 lastne vrednosti matrike A. Matriko A diagonaliziramo kotA= U DU T , kjer je U ortogonalna matrika in D = diag(λ1, . . . ,λn) ter z razvijemo po lastnihvektorjih kot z =

∑ni=1αiui. Uporabimo zvezo

‖z‖2A = zT Az = (A1/2z)T (A1/2z) = ‖A1/2z‖22

in ocenimo

‖Az‖22 =n∑

i=1

α2i λ

2i ≤ λ1

n∑

i=1

λiα2i = λ1‖A1/2z‖22 = λ1‖z‖2A

oziroma

‖Az‖22 =n∑

i=1

α2i λ

2i ≥ λn

n∑

i=1

λiα2i = λn‖A1/2z‖22 = λn‖z‖2A.

Vemo, da je ‖b − Axk‖2 = ‖A(bx − xk)‖2 in podobno ‖b − Ax0‖2 = ‖A(bx − x0)‖2. Iz zgornjihocen sledi ‖b−Axk‖2 ≤

p

λ1‖bx− xk‖A in ‖b−Ax0‖2 ≤p

λn‖bx− x0‖A, kar združimo v oceno,ki jo je potrebno dokazati.

15

16. Z algoritmom za metodo konjugiranih gradientov

r0 = b− Ax0, p1 = r0j = 1,2, . . . , k

α j =‖r j−1‖2

pTj Ap j

x j = x j−1 +α j p jr j = r j−1 −α jAp j

β j =‖r j‖2

‖r j−1‖2p j+1 = r j + β j p j

po vrsti dobimo

p1 = r0 =

1 0 0 0 0 0T

α1 = 1/2

x1 =

1/2 0 0 0 0 0T

r1 =

0 1/2 0 0 0 0T

β1 = 1/4

p2 =

1/4 1/2 0 0 0 0T

α2 = 2/3

x2 =

2/3 1/3 0 0 0 0T

r2 =

0 0 1/3 0 0 0T

β2 = 4/9

p3 =

1/9 2/9 3/9 0 0 0T

.

17. Rešitev ima obliko αk =k

k+1 , βk = α2k =

k2

(k+1)2 , rk =1

k+1 ek,

xk =

kk+1

k−1k+1 · · · 1

k+1 0 · · · 0T

pk =

1k2

2k2 · · · k

k2 0 · · · 0T

.

Da so formule točne preverimo tako, da naredimo korak iz k v k+ 1 in preverimo račune.

18. Za točko a) uporabimo oceno

‖x − x j‖A ≤ 2pκ− 1pκ+ 1

j

‖x − x0‖A,

kjer je

κ=λ1

λn≤ 4

spektralna občutljivost matrike A. Sledi

‖x − x j‖A ≤ 2

13

j

‖x − x0‖A

16

in napaka bo padla za 10−10, ko bo 3− j ≤ 1210−10, kar se zgodi pri j = 22.

b) Ker vse lastne vrednosti razen λ1 in λ2 ležijo na [1, 1.5], lahko uporabimo oceno

‖x − x j‖A ≤ ‖x − x0‖A infpk∈Pk , pk(0)=1

maxλ∈σ(A)

|pk(λ)|.

Iščemo torej polinom stopnje k, ki zavzame na [1,1.5] čim manjše vrednosti, ima ničli v λ1in λ2, ter v točki 0 vrednost 1. Vzamemo

pk(x) =

1−xλ1

1−xλ2

qk−2(x),

kjer je qk−2 optimalni polinom, ki bi ga sicer dobili, če bi imeli vse lastne vrednosti na [1, 1.5].Zato je

maxλ∈σ(A)

|pk(λ)| ≤ maxλ∈[1,1.5]

|pk(λ)| ≤

34

2

2

pκ1 − 1pκ1 + 1

k−2

,

kjer je

κ1 =λ3

λn≤ 1.5.

Pri oceni je dovolj gledati le interval [1,1.5], saj za lastni vrednosti λ1 in λ2, ki sta izvenintervala, velja pk(λ1) = pk(λ2) = 0. Sedaj iščemo najmanjši k, da je

p1.5− 1p

1.5+ 1

k−2

≤

12

43

2

10−10,

kar je izpolnjeno že pri k = 12.

19. Ker je A s.p.d., je A= QDQT , kjer je Q ortogonalna in D diagonalna s.p.d. Sistem Ax = blahko potem pišemo kot QDQT x = b, torej DQT x = QT b. Če primerjamo, kaj vrne metodakonjugiranih gradientov za začetne podatke A, b, x0 ali za eA= D,eb =QT b, ex0 =QT x0, lahkohitro preverimo, da veljajo zveze er j = QT r j, ep j = QT p j, eα j = α j, eβ j = β j in ex j = QT x j, kjerso s tildo označene količine iz metode konjugiranih gradientov za eA,eb, ex0.

20. Čeprav elemente matrike Tk pri Lanczosevem algoritmu tudi standardno označujemo z αi inβi, se ne ujemajo z enako označenimi koeficienti pri metodi konjugiranih gradientov. Zatobomo pri Lanczosevi metodi označili

Tk =

γ1 δ1

δ1 γ2. . .. . . δk−1δk−1 γk

.

Algoritem za konjugirane gradiente je:r0 = b− Ax0, p1 = r0j = 1,2, . . . , k

α j =‖r j−1‖22pT

j Ap jx j = x j−1 +α j p jr j = r j−1 −α jAp j

17

β j =‖r j‖22‖r j−1‖22

p j+1 = r j + β j p j

Pri Lanczosu imamo AVk = VkTk +δkvk+1eTk , kjer je

γi = vTi Avi , δi = vT

i Avi+1 = vTi+1Avi , i = 1, . . . , k.

Vemo, da so vektorji vi in ri−1 kolinearni, torej je vi = ri−1/‖ri−1‖2 za i = 1, . . . , k. Tako izv1 = r0/‖r0‖2 dobimo

γ1 = vT1 Av1 =

rT0 Ar0

‖r0‖22=

pT1 Ap1

‖r0‖22=

1α1

.

Za višje indekse dobimo

γi+1 =rT

i Ari

‖ri‖22=(pi+1 − βi pi)T A(pi+1 − βi pi)

‖ri‖22

=1

‖ri‖22

pTi+1Api+1 + β

2i pT

i Api

=pT

i+1Api+1

‖ri‖22+‖ri‖22‖ri−1‖22

pTi Api

‖ri−1‖22=

1αi+1

+βi

αi.

Za δi dobimo (vemo, da je δi > 0)

δi = vTi Avi+1 =

|rTi−1Ari|

‖ri−1‖2‖ri‖2.

Pri tem je (upoštevamo Ap j =1α j(r j−1 − r j))

rTi−1Ari = (pi − βi−1pi−1)

T Ari = pTi Ari − βi−1pT

i−1Ari

=1αi(ri−1 − ri)

T ri −βi−1

αi−1(ri−2 − ri−1)

T ri =−‖ri‖22αi

.

Sledi

δi =‖ri‖2

αi‖ri−1‖2=

p

βi

αi.

21. Pogledati moramo, kako odvajamo vektorske funkcije. Najprej

∂ (x T b)∂ x i

=∂

∂ x i

n∑

j=1

x j b j

!

= bi ,

od tod sledi ∇(x T b) = b, kjer je ∇ f = grad f =

∂ f∂ x1

· · · ∂ f∂ xn

T. Podobno

∂ (x T Ax)∂ x i

=∂

∂ x i

n∑

j=1

x j(aTj x)

!

= aTi x +

n∑

j=1

x j∂

∂ x i(aT

j x)

= aTi x +

n∑

j=1

x ja ji = 2aTi x ,

18

torej ∇(x T Ax) = 2Ax . Skupaj dobimo ∇(ϕ(x)) = b− Ax , torej je minimum, (ki je dosežen,ko so vsi parcialni odvodi enaki 0), res dosežen pri Ax = b.

22. (a) Definirajmo g(ck) := ϕ(xk + ckpk). Izračunamo lahko

g(ck) =12(xk + ckpk)

T A(xk + ckpk)− (xk + ckpk)T b

= ϕ(xk) + ckpTk (Axk − b) +

12

c2k pT

k Apk.

Če odvajamo g in označimo rk = b− Axk vidimo, da je minimum dosežen pri

ck =pT

k rk

pTk Apk

.

(b) Vemo, da je gradϕ(x) = b− Ax (glej nalogo 21). Algoritem je:

r0 = b− Ax0

j = 1,2, . . .

α j =‖r j−1‖2

rTj−1Ar j−1

x j = x j−1 +α j r j−1

r j = r j−1 −α jAr j−1

23. Če iščemo popravek za x v smeri p, da bo vrednost ϕ(x + αp) minimalna, vemo, da jeminimum dosežen pri

α=pT r

pT Ap,

kjer je r = b− Ax . Sicer to lahko izpeljemo na več načinov, npr. tako, da izračunamo

φ(α) := ϕ(x +αp) =12

α2pT Ap+ 2αpT Ax + x T Ax − 2bT x − 2αpT b

in iz odvoda poiščemo α, da bo φ′(α) = αpT Ap− pT (b− Ax) = 0.

Zato vemo, da je optimalni premik iz vektorja x ( j−1) v smeri e j dosežen pri izbiri

α j =eT

j r j−1

eTj Ae j

,

kjer je r j−1 = b− Ax ( j−1). To se poračuna v

α j =1

a j j

b j −n∑

i=1

a ji x( j−1)i

.

Iz x ( j) = x ( j−1) +α je j sledi x ( j)i = x ( j−1)i za i 6= j in

x ( j)j =1

a j j

b j −j−1∑

i=1

a ji x( j−1)i −

n∑

i= j+1

a ji x( j−1)i

.

19

V j-tem koraku se spremeni le j-ta komponenta, njena posodobljena vrednost pa se potemv naslednjem koraku upošteva pri računanju ( j + 1)-ve komponente. Torej v n korakih, konaredimo en cikel metode koordinatnega spusta, naredimo ravno en korak Gauss–Seidelovemetode.

24. Z Arnoldijevim algoritmom dobimo AVk = Vk+1 eHk = VkHk + hk+1,kvk+1eTk . Vektor xk ima

obliko xk = x0 + Vk yk, ostanek pa je potem enak rk = b − Ax0 − AVk yk = r0 − Vk+1 eHk. Kermora biti rk pravokoten na AKk(A, r0), mora biti (AVk)T rk = 0. Od tod dobimo

(AVk)T (r0 − Vk+1 eHk yk) = 0

ineHT

k V Tk+1r0 − eHT

k V Tk+1Vk+1 eHk yk = 0.

Tako dobimo eHTkeHk yk = eHk‖r0‖2e1, to pa je ravno normalni sistem za predoločeni sistem

eHk yk yk = ‖r‖2e1, ki ga dobimo pri metodi GMRES.

25. Najprej izračunamo matriki eH2 in V2 z Arnoldijevo metodo. Po vrsti:

r0 = b− Ax0 =

1 1 1 1T

, v1 =r0

‖r0‖2=1

212

12

12

T,

z = Av1 =

1 1 0 0T

, h11 = vT1 z = 1,

ev2 = z − h11v1 =1

212 −1

2 −12

T, h21 = ‖ev2‖2 = 1, v2 = ev2,

z = Av2 =

−2 0 −1 0T

, h12 = vT1 z = −

32

, h22 = vT2 z = −

12

,

ev3 = z − h12v1 − h22v2 =

−1 1 −12

12

T, h32 = ‖ev3‖2 =

√

√52

.

Tako pridemo do

eH2 =

1 −32

1 −12

0q

52

, V2 =

12

12

12

12

12 −1

212 −1

2

.

(a) Pri metodi GMRES je rešitev x2 = x0 + V2 y2, kjer je y2 rešitev predoločenega sistemaeH2 y2 = ‖r0‖2e1. Ustrezni normalni sistem eHT

2eH2 y2 = eHT

2 ‖r0‖2e1 ima obliko

2 −2−2 5

y21y22

=

2−3

.

Rešitev je y21 =23 , y22 = −

13 in končno x2 = y21v1 + y22v2 =

16

16

12

12

T.

(b) Pri metodi FOM je rešitev x2 = x0 + V2 y2, kjer je y2 rešitev sistema H2 y2 = ‖r0‖2e1oziroma

1 −32

1 −12

y21

y22

=

2

0

.

Rešitev je y21 = −1, y22 = −2 in končno x2 = y21v1 + y22v2 =

−32 −3

212

12

T.

20

26. Denimo, da ima začetni vektor v podprostoru Krilova bločno obliko

v1 =

u1w1

.

Iz

Av1 =

u1 + Y w1w1

, A2v1 =

u1 + 2Y w1w1

vidimo, da je A2v1 = v1 + 2(Av1 − v1). Vektorji torej niso linearno neodvisni in dimenzijapodprostora Krilova je največ 2. Zaradi tega metoda GMRES vrne točno rešitev najkasnejev dveh korakih.

27. (a) Iščemo x1 ∈ x0 +K1(A, r0), torej ima x1 obliko x1 = x0 + αr0. Pri metodi GMRES jeparameter α določen tako, da je ostanek ‖b− Ax1‖2 minimalen. Iz

‖b− Ax1‖2 = ‖r0 −αAr0‖2

vidimo, da je ostanek minimalen pri (Ar0)T r0 = α(Ar0)T Ar0, torej

α=rT0 Ar0

rT0 A2r0

in x1 = x0 +rT0 Ar0

rT0 A2r0

r0.

(b) Tudi pri FOM ima x1 obliko x1 = x0+αr0, le da je sedaj α določen s pogojem, da morabiti ostanek b − Ax1 pravokoten na K1(A, r0), torej pravokoten na r0. Tako dobimorT0 r0 = αrT

0 Ar0, torej

α=rT0 r0

rT0 Ar0

in x1 = x0 +rT0 r0

rT0 Ar0

r0.

(c) Pri gradientni smeri se premaknemo v smeri negativnega gradienta ϕ(x0), ki je enakr0. Torej ima x1 obliko x1 = x0 + αr0, premik α pa je določen s pogojem, da v tejsmeri minimiziramo ϕ(x0 +αr0). Minimum je dosežen pri

α=rT0 r0

rT0 Ar0

, torej x1 = x0 +rT0 r0

rT0 Ar0

r0.

Dobimo isti vektor kot pri točki b), kar je razumljivo. Vemo, da se v primeru simetričnepozitivno definitne matrike metoda FOM ujema z metodo konjugiranih gradientov, vprvem koraku pa v metodi konjugiranih gradientov izberemo isto smer kot pri gradientnimetodi.

28. Pri metodi FOM iščemo vektor xk ∈Kk(A, b), ki zadošča Ritz-Galerkinovemu pogoju, da jeostanek Axk − b pravokoten na Kk(A, b). To je ekvivalentno temu, da je xk = Vk y, kjer jey rešitev sistema Hk y = ‖b‖2e1. Do težave lahko pride, če je matrika Hk singularna. To ninemogoče, zgled je npr. matrika

A=

1 1

1. . . . . .. . . . . . 1

1 1

.

21

Če vzamemo b = e1, dobimo po dveh korakih V2 = [e1 e2] in H2 =

1 11 1

, kar je singularna

matrika. Sistem H2 = e1 nima rešitve, torej znotraj K2(A, b) ne obstaja vektor, ki bi zadoščalRitz-Galerkinovemu pogoju.

Pri metodi GMRES se to ne more zgoditi. Matrika eHk je v primeru h j+1, j 6= 0 za j = 1, . . . , kvedno polnega ranga k, zato je rešitev predoločenega sistema eHk yk = ‖b‖2e1 vedno dobrodefinirana in enolična.

29. Ker pri GMRES(2) po vsakih dveh korakih naredimo ponovni zagon, moramo pokazati, daobstaja tak 0 ≤ m < 1, da po dveh korakih GMRES velja ‖r2‖2 ≤ m‖r0‖2 za vsak začetnipribližek x0.

Iz teorije vemo, da je

‖r2‖= minp2∈P2

p2(0)=1

‖p2(A)r0‖2 ≤ minp2∈P2

p2(0)=1

maxλ∈σ(A)

|p2(λ)|‖r0‖2,

kjer zadnja neenakost velja, ker je matrika A normalna in se da zato diagonalizirati v unitarnibazi. Nalogo lahko tako rešimo s tem, da pokažemo, da obstaja tak polinom p ∈ P2, da jep(0) = 1 in |p(λ)| ≤ m< 1 za vse λ ∈ σ(A).

Vemo, da obstajata konstanti 0 < c1 in c2 ≤ ‖A‖2, da vse lastne vrednosti A ležijo znotrajobmočja Ω= z ∈ C : c1 ≤ |z| ≤ c2 in |Re(z)|> |Im(z)|, ki je prikazano na naslednji sliki:

Ker mora veljati p(0) = 1, ima polinom obliko p(z) = 1+ az + bz2. Nadalje, ker je območjeΩ simetrično na y-os, naj bo tudi polinom simetričen, torej oblike p(z) = 1− αz2, kjer jeα > 0, saj hočemo, da bo |p(λ)| ≤ m< 1 za λ ∈ σ(A).

Naj bo λ= x + i y lastna vrednost matrike A. Potem je

p(λ) = 1−α(x + i y)2 = 1− a(x2 − y2)− 2ax yi

in

|p(λ)|2 = (1−α(x2 − y2))2 + 4a2 x2 y2

= 1+ a2(x2 + y2)2 − 2a(x2 − y2).

22

Vemo, da je x2 + y2 ≤ c2, po drugi strani pa lahko definiramo tudi

γ := minx+i y∈σ(A)

(x2 − y2)> 0.

Potem za vsako lastno vrednost matrike A velja |p(λ)|2 ≤ 1 + α2c2 − 2αγ =: q(α). Kerje q(0) = 1 in q′(0) = −2γ < 0, bo očitno za dovolj majhen α > 0 veljalo |q(α)| < 1 inGMRES(2) za to metodo konvergira.

Alternativno bi lahko nalogo rešili tako, da lastne vrednosti zapišemo v polarni obliki. Lastnevrednosti A so oblike λ = reiϕ, kjer je c1 ≤ r ≤ c2 in |ϕ| ≤ ϕ0 <

π4 . Dobili bi |p(λ)|2 =

1+α2r4 − 2αr2 cos(2ϕ), ocenili |p(λ)|2 ≤ 1+αc22 − 2αc2

1 cos(2ϕ0) =: s(α) in pokazali, da jes(0) = 1 in s′(0)< 1, torej obstaja α > 0, da je s(α)< 1.

30. Pogoj je ekvivalenten temu, da obstaja vsaj en j ∈ 1, . . . , k, kjer je zHAjz 6= 0. Denimo,da pogoj ni izpolnjen. Potem lahko x0 izberemo tako, da bo vH

1 Aj v1 = 0 za vse j = 1, . . . , k,kjer je v1 = r0/‖r0‖2 in r0 = b− Ax0.

Če pogledamo elemente matrike eHk, vidimo, da imajo elementi v prvi vrstici obliko h j1 =vH

1 Av j za j = 1, . . . , k. Ker lahko Av j zapišemo kot Ap j−1(A)v1, kjer je p j−1 polinom stopnjej − 1, je potem h j1 = 0 za vse j = 1, . . . , k. Na koncu moramo rešiti predoločen sistemeHk yk = ‖r0‖2e1, ki ima obliko (za k = 3):

0 0 0× × ×× ××

y3 =

‖r0‖2000

.

Minimum je očitno dosežen pri yk = 0, kar pomeni, da je xk = x0. Po k korakih se takoostanek ne zmanjša in GMRES(k) ne konvergira.

To si lahko predstavljamo tudi z Givensovimi rotacijami. Če ima prva vrstica eHk same ničle,bomo pri QR razcepu z Givensovimi rotacijami ves čas za rotacijo izbirali ck = 0 in |sk|= 1.Po k rotacijah bomo tako dobili (spet za k = 3):

RT34RT

23RT12

0 0 0× × ×× ××

=

× × ×× ××

, RT

34RT23RT

12

‖r0‖2000

=

000

s1s2s3‖r0‖2

.

Končni ostanek bo potem enak

‖rk‖2 = |s1s2 · · · sk|‖r0‖2 = ‖r0‖2

in ni konvergence.

Za konvergenco mora torej veljati, da je vsaj pri eni Givensovi rotaciji |s j| < 1, to pa jeekvivalentno temu, da prva vrstica eHk nima samih 0.

31. To nalogo smo že rešili (glej nalogo 29), a jo lahko zdaj s pomočjo naloge 30 rešimo šeenostavneje. Iz naloge 30 sledi, da GMRES(2) ne konvergira, če obstaja tak ‖y‖2 = 1, daje yHAy = yHA2 y = 0.

23

Ker je matrika A normalna, jo lahko diagonaliziramo v unitarni bazi kot A= U DUH , kjer jeAui = λiui za i = 1, . . . , n. Vektor y razvijemo po bazi lastnih vektorjev kot y =

∑ni=1αiui.

Potem velja

yH y =n∑

i=1

|αi|2, yHAy =n∑

i=1

|αi|2λi , yHA2 y =n∑

i=1

|αi|2λ2i .

Denimo, da torej velja

n∑

i=1

|αi|2 = 1,n∑

i=1

|αi|2λi = 0,n∑

i=1

|αi|2λ2i = 0.

Toda, λ2i = Re(λi)2−Im(λi)2+2iRe(λi)2Im(λi)2, in, ker je |Re(λi)|> |Im(λi)| za i = 1, . . . , n,

je Re

yHA2 y

> 0 in ni možno, da je yHA2 y = 0.

32. (a) Iz lastnosti metode CG vemo, da dobimo xk ∈Kk(AT A, AT b), ki minimizira ‖bx− xk‖AT A,kjer je bx točna rešitev sistema Ax = b. Ker je

‖bx − xk‖AT A = (bx − xk)T AT A(bx − xk) = ‖A(bx − xk)‖22 = ‖b− Axk‖= ‖rk‖22,

dobimo x ∈Kk(AT A, AT b), ki minimizira ‖rk‖2.(b) Iz lastnosti metode CG vemo, da dobimo yk ∈ Kk(AAT b, ), ki minimizira ‖by − yk‖AT A,

kjer je by točna rešitev sistema AAT y = b. Ker je

‖by − yk‖AAT = (by − yk)T AAT (by − yk) = ‖A(bx − xk)‖22 = ‖b− Axk‖22 = ‖rk‖22,

dobimo x ∈ AKk(AAT , b), ki minimizira ‖rk‖2.

33. Iz predavanj vemo, da v primeru, ko se da matriko A diagonalizirati kot A= VΛV−1, lahkoocenimo

‖rk‖2‖r0‖2

≤ κ2(V ) minpk∈Pk

pk(0)=1

maxλ∈σ(A)

|pk(λ)|.

V našem primeru lahko za polinom pk, iz katerega dobimo oceno, izberemo

pk(z) =

1−zx

k.

Zanj velja p(0) = 1 in |p(λ)| ≤ ρ/|c| za vsako lastno vrednost matrike A. Vzamemo lahkokar α= κ2(V ) in β = ρ/|c|< 1.

34. (a) Iz slike je razvidno, da vse lastne vrednosti A ležijo v uniji intervala med točkama 1 in 52

in intervala med točkama 2− 12 i in 2+ 1

2 i. Če obstaja krog K(c,ρ) = z ∈ C : |z−c|< ρ,ki vsebuje vse lastne vrednosti in ne vsebuje 0, lahko uporabimo oceno iz naloge 33.Tak krog je očitno K(2, 1), ki da oceno α= 100 in β = 1

2 . Najboljšo oceno pa dobimoiz kroga K(c,ρ), ki vsebuje vse točke, ne vsebuje 0 in ima najmanjše razmerje ρ/|c|.Tak krog je K(7

4 , 34), iz katerega dobimo β = 3

7 .(b) Upoštevamo, da velja

‖rk‖2‖r0‖2

≤ κ2(V ) minpk∈Pk

pk(0)=1

maxλ∈σ(A)

|pk(λ)|.

24

Označimo lastne vrednosti matrike A tako, da je λ1 =12 − i in λ2 =

12 + i. Za polinom

p(z) =

1−zλ1

1−zλ2

1−zx

k−2

stopnje k velja p(0) = 1. Poleg tega je p(λ1) = p(λ2) = 0. Če vzamemo z iz območja,na katerem ležijo preostale lastne vrednosti, lahko ocenimo

1−zλ1

1−zλ2

≤ 4 in

1−zx

k−2≤

37

k−2

.

To je vrednost, ki jo dobimo pri z = 52 . To skupaj pomeni, da za zgoraj definirani

polinom p za vsako lastno vrednost λ matrike A velja

|p(λ)| ≤ 4

37

k−2

= 4

37

−237

k

.

Ko to združimo s κ2(V ) vidimo, da lahko vzamemo α= 100 · 4(73)

2 ≈ 2178 in β = 37 .

35. Ker se napaka v vsakem koraku zmanjša za faktor 10, bomo za polno natančnost pri obehmetodah potrebovali 16 iteracij.

Pri konjugiranih gradientih potrebujemo v vsakem koraku eno množenje matrike z vektorjem,dva skalarna produkta in 3 linearne kombinacije vektorjev. Torej skupno 16 množenj matrikez vektorjem, 32 skalarnih produktov in 48 linearnih kombinacij, za kar porabimo 2080 minut(ostale operacije so zanemarljive).

Pri metodi GMRES potrebujemo v vsakem koraku eno množenje matrike z vektorjem. Vkoraku k moramo vektor ortogonalizirati na že izračunanih k−1 vektorjev, za kar potrebujemok − 1 skalarnih produktov in k − 1 linearnih kombinacij vektorjev. Za normiranje vektorjavk potrebujemo še en skalarni produkt in eno množenje vektorja s skalarjem, kar bomošteli kot linearno kombinacijo. Torej skupno 16 množenj matrike z vektorjem, 136 skalarnihproduktov in 136 linearnih kombinacij, za kar porabimo 5040 minut (ostale operacije sozanemarljive).

Torej je bolje uporabiti metodo konjugiranih gradientov, kar je na splošno vedno res, kadarje matrika simetrična pozitivno definitna.

36. Z Arnoldijevim algoritmom po vrsti dobimo dobimo z = Av1 =

1 1 0T , h11 = vT

1 z = 1,z = z−h11v1 =

1 0 0T , h21 = 1, v2 =

1 0 0T , z = Av2 =

−1 1 1

, h12 = vT1 z = 1,

h22 = vT2 z = −1, z = z − h12v1 − h22v2 =

0 0 1T , h32 = 1, v3 =

0 0 1T .

(a) Ritzevi vrednosti sta lastni vrednosti H2 =

1 11 −1

, torej σ1 =p

2 in σ2 = −p

2.

(b) Harmonične lastne vrednosti so enake lastnim vrednostim posplošenega problema la-stnih vrednosti eHT

2eH2 y = θH2 y. V našem primeru dobimo

23

y = θ

1 11 −1

y,

ustrezni lastni vrednosti sta θ1 = −2 in θ2 = 3/2.

25

37. (a) Ax = λx je ekvivalentno Ax − τx = λx − τx , kar je ekvivaletno (A− τI)x = (λ− τ)x ,to pa je ekvivalentno 1

λ−τ x = (A−τI)−1x.

(b) To je posledica točke (a). Če vstavimo λ= 1σ +τ, vidimo, da je to ekvivalentno temu,

da je σ lastna vrednost (A−τI)−1.

38. (a) Ker τ ni lastna vrednost A, je matrika A−τI nesingularna. Zaradi tega A−τI bijektivnopreslika Vk na U in za vsak u ∈ U res obstaja natanko en y ∈ Ck, da je u= (A−τI)Vk y.

(b),(c) Vemo, da je θ harmonična Ritzeva vrednost za A in Vk natanko tedaj, ko je θ−1 Ritzevavrednost za A−1 in podprostor AVk.Če je θ harmonična Ritzeva vrednosti za A s tarčo τ in podprostor Vk, to pomeni, daje θ = σ+τ, kjer je σ harmonična Ritzeva vrednost za A−τI in podprostor Vk.To je torej ekvivalentno temu, da je (θ − τ)−1 Ritzeva vrednost za (A − τI)−1 zapodprostor (A− τI)Vk =U in naprej ekvivalentno temu, da obstaja u ∈ U , u 6= 0, daje vektor (A−τI)−1u− (θ −τ)−1u pravokoten na U , kar je ravno točka (c).Po točki (a) obstaja y ∈ Ck, da je u = (A− τI)Vk y. Točka (c) je tako ekvivalentnatemu, da je

Vk(A−τI)H

(A−τI)−1(A−τI)Vk y − (θ −τ)−1(A−τI)Vk y

= 0.

Če preuredimo zgornji izraz, dobimo ravno enačbo v točki (b).

39. Z Arnoldijevo metodo dobimo AVk = VkHk+hk+1,kvk+1eTk za Kk(A, v1). Vemo (glej točko (b)

iz naloge 38), da je θ harmonična Ritzeva vrednost za A s tarčo τ za Kk(A, v1), če je

V Hk (A−τI)H(A−τI)Vk y = (θ −τ)V H

k (A−τI)H Vk y.

Če označimo Wk = AVk, dobimo iz zgornje enačbe

(Wk −τVk)H(Wk −τVk)y = (θ −τ)(Wk −τVk)

H Vk y

in

W Hk Wk −τW H

k Vk −τV Hk Wk + |τ|2 I

y = (θ −τ)(W Hk Vk −τI)y.

Zadošča, da izračunamo le dve matriki velikosti k×k. Označimo Fk =W Hk Wk in Gk =W H

k Vk.Potem moramo za harmonične Ritzeve vrednosti za tarčo τi rešiti posplošeni problem lastnihvrednosti oblike

Fk −τiGk −τiGHk + |τi|2 I

y = (θ −τi)(Gk −τi I)y.

Bistveno je, da potrebujemo le eno računanje baze podprostora Krilova in samo dve množenjimatrik velikosti k× n in n× k.

40. (a) Ker je Vk polnega ranga, obstaja enoličen y ∈ Ck, da je z = Vk y in velja y = V Hk z. Ker

so stolpci Vk ortonormirani, je ‖y‖2 = ‖z‖2 = 1. Ocenimo lahko

‖Hk y −λy‖2 = ‖V Hk AVk y −λy‖2 = ‖V H

k Az −λV Hk z‖2

= ‖V Hk (Az −λz)‖2 ≤ ‖V H

k ‖2‖Az −λz‖2 ≤ ‖Az −λz‖2.

(b) Ocenimo (vrinemo −Ax + Ax = −Ax +λx)

‖Az −λz‖2 = ‖Az − Ax +λx −λz‖2 = ‖A(z − x)−λ(z − x)‖2= ‖(A−λI)(z − x)‖2 ≤ ‖A−λI‖2‖z − x‖2 ≤ 2‖A‖2ε,

pri čemer smo uporabili oceno ‖A−λI‖2 ≤ ‖A‖2 + |λ| ≤ 2‖A‖2.

26

(c) Iz ocen (a) in (b) lahko ugotovimo, da je (λ, y) lastni par malo zmotene matrike Hk,saj je ‖Hk y −λy‖2 ≤ 2‖A‖2ε. Če se da matrika Hk diagonalizirati in je matrika lastnihvektorjev dobro pogojeni, potem obstaja lastna vrednost Hk blizu λ. Torej, če imamov podprostoru Krilova zelo dober približek za lastni vektor x , potem bo zelo verjetnotudi ena izmed Ritzevih vrednosti blizu lastne vrednosti λ.

41. (a) Ker stolpci Vk tvorijo bazo, obstaja enoličen y ∈ Ck, da je z = Vk y. Velja y = V+k z,kjer je V+k = (V

Hk Vk)−1V H

k psevdoinverz matrike Vk, za katerega velja V+k Vk = I .

(b) Ritz-Galerkinov pogoj je, da mora biti ostanek Az − θz pravokoten na Kk(A, v1). Čeupoštevamo z = Vk y, lahko ta pogoj zapišemo kot V H

k (AVk y − θVk y) = 0. DobimoV H

k AVk y = θV Hk Vk y, iz česar sledi (V H

k Vk)−1(V Hk AVk)y = θ y, kar je ravno ÒHk y = θ y.

(c) Ocenimo

‖ÒHk y −λy‖2 = ‖(V Hk Vk)

−1(V Hk AVk)y −λy‖2

= ‖V+k Az −λV+k z‖2 = ‖V+k (Az −λz)‖2 ≤ ‖V+k ‖2‖Az −λz‖2.

Velja pa tudi z = Vk y, torej ‖z‖2 ≤ ‖Vk‖2‖y‖2 in ‖y‖2 ≥ ‖z‖2/‖Vk‖2. Tako dobimo

‖ÒHk y −λy‖2‖y‖2

≤ ‖V+k ‖2‖Vk‖2‖Az −λz‖2‖z‖2

in (c) sledi iz κ2(Vk) = ‖V+k ‖2‖Vk‖2 ter točke (b) naloge 40.

42. (a) Če izraz preuredimo, dobimo ω= λn+λ2−2xλn−λ2

. Ker pri x = λn dobimo ω= −1, pri x = λ2

pa ω= 1, vmes pa je to premica, točka (a) očitno velja.

(b) Pomagamo si z nalogama 10 in 11. Vemo, da je qk(λ1) = Tk(β), kjer je β = 1+2λ1−λ2λ2−λn

>

1. Potem velja Tk(β) =12(ρ

k + ρ−k), kjer je ρ = β +p

β2 − 1 > β > 1, torej jeqk(λ1)> ρk/2.

(c) Če izračunamo wk, dobimo

wk =qk(A)v1

α1qk(λ1)=

1α1qk(λ1)

n∑

i=1

αiqk(λi)vi .

Od tod sledi

‖wk − v1‖22 =1

qk(λi)2|α1|2

n∑

i=2

|αi|2qk(λi)2 ≤

1qk(λ1)2

n∑

i=2

|αi|2

|α21|

in po točki (b) obstaja tak C , da velja ‖wk − v1‖2 ≤ Cρ−k.

43. Za približke za lastno vrednost potrebujemo le matriko Tk iz zveze AVk = VkTk + βkvk+1eTk .

To matriko lahko zgradimo tako, da sproti hranimo le zadnja vektorja iz V .

Denimo, da smo našli dober približek za lastni par, torej imamo Tk y = θ y, kjer je βk|eTk y|<

ε. Približek za lastni vektor je potem z = Vk y, a tega vektorja ne moremo izračunati,saj nimamo shranjenih stolpcev matrike Vk. To težavo lahko rešimo tako, da še enkratpoženemo Lanczosevo metodo za računanje ON baze za podprostor Krilova, začnemo zz = 0 in v vsakem koraku popravimo z = z + y j v j za j = 1, . . . , k. Tako imamo na koncu v zvektor z = Vk y.

27

44. (a) Vemo, da je θ harmonična Ritzeva vrednost za premik σ in Kk(A, v1) natanko takrat,ko je (θ −σ)−1 Ritzeva vrednost matrike (A−σI)−1 za (A−σI)Kk(A, v1). To pomeni,da za nek y ∈ Rk velja

V Tk (A−σI)

(A−σI)−1(A−σI)Vk y −1

θ −σ(A−σI)Vk y

= 0.

Dobimo(θ −σ)V T

k (A−σI)Vk y − V Tk (A−σI)2Vk y = 0.

Upoštevamo, da iz AVk = VkTk + βkvk+1eTk sledi (A−σI)Vk = Vk(Tk −σI) + βkvk+1eT

k ,to vstavimo v zgornjo enakost in dobimo

(θ −σ)(Tk −σI)y =

(Tk −σI)2 + βkekeTk

y.

(b) Denimo, da velja

Tk −σI βkekβkeT

k β2k eT

k (Tk −σI)−1ek

xξ

= λ

xξ

,

kjer x ∈ Rk in ξ ∈ R nista oba hkrati enaka 0. Od tod dobimo

(Tk −σI)x + βkekξ= λx (4)

βkeTk x + β2

k eTk (Tk −σI)−1ekξ= λξ. (5)

Če enakost (4) z leve pomnožimo z βkeTk (Tk −σI)−1, kjer dobimo

βkeTk x + β2

k eTk (Tk −σI)−1ekξ= λβkeT

k (Tk −σI)−1 x ,

in to odštejemo od enakosti (5), dobimo

λξ= λβkeTk (Tk −σI)−1 x .

Če predpostavimo λ 6= 0, sledi ξ= βkeTk (Tk −σI)−1 x , kar vstavimo v (4). Dobimo

(Tk −σI)x + β2k ekeT

k (Tk −σI)−1 x = λx .

Uporabimo substitucijo x = (Tk −σI)y in dobimo

(Tk −σI)2 + β2k ekeT

k

y = λ(Tk −σI)y.

Iz točke (a) sledi, da so θ1 −σ, . . . ,θk −σ res lastne vrednosti matrike iz točke (b).Obravnavati moramo še možnost λ= 0. Vidimo, da je tudi to lastna vrednost Mk, sajje

Tk −σI βkekβkeT

k β2k eT

k (Tk −σI)−1ek

βk(Tk −σI)−1ek−1

= 0.

(c) Prepletanje sledi iz Cauchyjevega izreka o prepletanju lastnih vrednosti, saj se lastnevrednosti Tk −σI , ki so µ1 −σ, . . . ,µk −σ, prepletajo z lastnimi vrednosti Mk, ki so 0in θ1 −σ, . . . ,θk −σ.

45. Matrika A ni simetrična, zato ne moremo direktno uporabiti Lanczoseve metode. Imamo paveč možnosti, kako lahko to vseeno naredimo.

28

(a) Če se da ekonomično izračunati razcep Choleskega B = V V T za matriko B (kar pomeni,da V v primerjavi z B nima bistveno več neničelnih elementov), potem je Ax = λxekvivalentno V T CV y = λy, kjer je V T x = y. Matrika V T CV je podobna matrikiA in ima iste lastne vrednosti, hkrati pa je simetrična, zato zanjo lahko uporabimoLanczosevo metodo.

(b) Če razcepa Choleskega ne moremo učinkovito izračunati, lahko kot pri konjugiranihgradientih s predpogojevanjem uporabimo drugačen skalarni produkt. Definiramo

⟨x , y⟩B := ⟨x , B y⟩,

kjer je ⟨x , y⟩= y T x standardni skalarni produkt. V skalarnem produktu ⟨., .⟩B je matrikaA sebiadjungirana, saj velja

⟨Ax , y⟩B = ⟨Ax , B y⟩= ⟨CBx , B y⟩= ⟨x , BCB y⟩= ⟨CBx , B y⟩= ⟨x , BAy⟩= ⟨x , Ay⟩B.

Torej se A v tem skalarnem produktu obnaša kot simetrična matrika in lahko uporabimostandardni Lanczosev algoritem, kjer vse skalarne produkte zamenjamo z ⟨., .⟩B. Stolpcimatrike Vk bodo tako B-ortonormirani, približke za lastne vrednosti pa dobimo iz lastnihvrednosti tridiagonalne matrike Tk. Algoritem je:

v1 = v1/‖v1‖B, kjer je ‖v1‖B = (vT1 Bv1)1/2

β = 0, v0 = 0j = 1, . . . , k

z = Av jα j = zT Bv jz = z −α j v j − β j−1v j−1β j = ‖z‖B

v j+1 =1β j

z j

46. (a) Če je λ lastna vrednost U , potem je |λ|= 1. Potem je θ = i λ+τλ−τ lastna vrednost A. Zaizraz λ+τ

λ−τ lahko pokažemo, da je strogo imaginaren. Velja namreč

λ+τλ−τ

=(λ+τ)(λ−τ)|λ−τ|2

=|λ|2 +τλ−λτ− |τ|2

|λ−τ|2=τλ−λτ|λ−τ|2

,

izraz v števcu pa je očitno imaginaren. Od tod sledi, da je θ ∈ R.(b) Pri tej točki lahko brez škode za splošnost predpostavimo, da je τ= 1. V nasprotnem

primeru bi matriko A in τ zarotirali za ustrezen kot, da se τ premakne v 1. Pri tem serazdalje med τ in lastnimi vrednostmi U ne spremenijo.Pišemo lahko λ= eiϕ. Potem je

θ = ieiϕ + 1eiϕ − 1

= icosϕ + 1+ i sinϕcosϕ − 1+ i sinϕ

= i(cosϕ + 1+ i sinϕ)(cosϕ − 1+ i sinϕ)

(cosϕ − 1)2 + sin2ϕ

= icos2ϕ − 1+ sin2ϕ − 2i sinϕ

2− 2cosϕ=

sinϕ1− cosϕ

.

Zgornji izraz ima očitno maksimalno absolutno vrednost pri tisti lastni vrednosti matrikeU , ki je najbližja 1. V limiti, ko gre ϕ proti 0, gre izraz po absolutni vrednosti protineskončno, tako da se res najbližja lastna vrednost matrike U preslika v dominantnolastno vrednost matrike A.

29

(c) Iz A= i(U +τI)(U −τI)−1 dobimo

AH = −i(U −τI)−H(U +τI)H = −i(UH −τI)−1(UH −τI).

Pokažimo sedaj, da je res A= AH . Očitno je A= AH natanko tedaj, ko je

i(U +τI)(U −τI)−1 = −i(UH −τI)−1(UH −τI).

To bo res natanko tedaj (z leve množimo z UH −τI , z desne pa z UH +τI), ko je

i(UH −τI)(U +τI) = −i(UH −τI)−1(U −τI).

To je res natanko tedaj, ko je (zmnožimo člene na levi in desni strani):

i(UH U +τUH −τU − I) = −i(UH U +τU −τUH − I),

kar pa je očitno vedno res.

47. (a) V (1) levo in desno stran pomnožimo z A−σ1B in dobimo

BVk = (A−σ1B)Vk+1 eHk = (A−σ2B)Vk+1 eHk − (σ1 −σ2)BVk+1 eHk.

Od tod slediBVk + (σ1 −σ2)BVk+1 eHk = (A−σ2B)Vk+1 eHk.

Izraz na levi strani lahko zapišemo kot

BVk + (σ1 −σ2)BVk+1 eHk = BVk+1

Ik+1,k + (σ1 −σ2) eHk

.

in tako dokažemo točko (a).

(b) Tak algoritem lahko sestavimo iz ustrezno izbranih Householderjevih zrcaljenj ali Gi-vensovih rotacij. Če bi npr. imeli matriko velikosti 4× 3, bi lahko z Givensovo rotacijo

R23 z desne najprej uničili element na mestu (4,2), pri množenju z

R231

z leve se

potem ta ničla ne pokvari. Nadaljevali bi na podoben način z rotacijo R13, s katero biuničili element na mestu (4,1) in na koncu še z rotacijo R12 uničili element (3,1). Zasplošno matriko bi uničevali element po vrsticah od spodnje navzgor.

(c) Naj bo eMk = Ik+1,k + (σ1 − σ2) eHk matrika iz točke (a). Zanjo izračunamo QR raz-

cep eMk = Qk+1

Rk0

, kjer je Rk zgornja trikotna matrika, Qk+1 pa ima ortonormirane

stolpce. Ko to vstavimo v izraz iz točke (a), dobimo

(A−σ2B)−1BVk+1Qk+1

Rk0

= Vk+1 eHk,

kar je ekvivalentno(A−σ2B)−1BVk+1Qk+1,kRk = Vk+1 eHk,

kjer je Qk+1,k prvih k vrstic matrike Qk+1. Sledi

(A−σ2B)−1BVk+1Qk+1,k = Vk+1 eHkR−1k .

30

Na desni strani vrinemo Qk+1QHk+1 in dobimo

(A−σ2B)−1BVk+1Qk+1,k = Vk+1Qk+1QHk+1

eHkR−1k .

Označimo eSk := QHk+1

eHkR−1k . To je matrika velikosti (k + 1)× k in po točki (b) lahko

poiščemo tako ortogonalno matriko Pk velikosti k× k, da je

eSk =

Pk1

eGkPHk ,

kjer je Gk zgornja Hessenbergova matrika velikosti (k+1)×k. Ko vse skupaj združimo,dobimo

(A−σ2B)−1BVk+1Qk+1,kPk = Vk+1Qk+1

Pk1

eGk.

Sedaj za matriko Wk+1 vzamemo Wk+1 = Vk+1Qk+1

Pk1

, kar ustreza Wk = Vk+1Qk+1,kPk

in imamo iskani razcep.

31