Fakulta elektrotechniky a informatikyVysoka skola banska — Technicka univerzita Ostrava, Ostrava-Poruba

Fakulta prırodovedne-humanitnı a pedagogickaTechnicka univerzita v Liberci, Liberec

Ustav informatiky AV CR, v. v. i.Akademie ved Ceske republiky, Praha

Autoreferat habilitacnı prace:

Maticove a tenzorove vypocty.

Analyza a aplikace

Martin Plesinger

Duben 2018

Autoreferat habilitacnı prace: Maticove a tenzorove vypocty. Analyza a aplikace

Autor: Martin Plesinger

(martin.plesinger@tul.cz, martin.plesinger@cs.cas.cz)

Obor: Aplikovana matematika

Habilitacnı rızenı: Fakulta elektrotechniky a informatiky,

Katedra aplikovane matematiky

Vysoka skola banska — Technicka univerzita Ostrava,

17. listopadu 15/2172, 708 33 Ostrava-Poruba

Pracoviste autora: Fakulta prırodovedne-humanitnı a pedagogicka,

Katedra matematiky a didaktiky matematiky,

Technicka univerzita v Liberci,

Studentska 2, 461 17 Liberec 1

a Ustav informatiky AV CR, v. v. i.,

Oddelenı vypocetnıch metod,

Akademie ved Ceske republiky,

Pod Vodarenskou vezı 2, 182 07 Praha 8

Copyright © Martin Plesinger, 2018.

Typeset by AMS—LATEX.

Uvod

Predkladana habilitacnı prace se zabyva maticovymi a tenzorovymi vypocty, resp.vypocetnımi metodami v numericke a aplikovana linearnı algebry. Prace je rozdelenado ctyr castı venovanych ctyrem tematickym celkum. Tyto celky vsak nejsou zcelasamostatne o oddelene, jednotliva temata se ruznou merou prekryvajı s souvisejıspolu.

Prvnı kapitola je venovana linearnım aproximacnım uloham, konkretne tzv.uplnemu problemu nejmensıch ctvercu (TLS), ktery je prirozenym zobecnenım kla-sicke metody nejmensıch ctvercu. Soustredıme se pritom pouze na linearnı apro-ximacnı problemy, ktere mohou byt formulovany jazykem vektoru, matic, prıpadnetenzoru. Zabyvame se jednak resitelnostı prıslusnych problemu a jednak tzv. teoriıcore problemu.

Druha kapitola se zabyva tzv. ill-posed problemy a regularizacnımi metodami,ktere se pouzıvajı k jejich resenı. Zabyvame se zejmena odhadem velikosti odstupusignalu od sumu v datech pomocı Golubovy–Kahanovy bidiagonalizace pro sumys ruznou charakteristikou (barvou) a velikostı, a pro ulohy ruzneho puvodu. Dale sezabyvame odhadovanım tzv. filtracnıch faktoru regularizacnıch metod postavenychna tzv. truncated-TLS.

Tretı kapitole je zamerena na tenzorove ulohy, zejmena na (hierarchicke) roz-klady tenzoru a jejich praktickemu uzitı v tzv. low-rank aritmetice. Ukazujeme,jak lze metodu sdruzenych gradientu (CG) preformulovat pro symetrikcy pozi-tivne definitnı operator zijıcı na prostoru tenzoru. Ukazujeme, ze jsou-li navıc ten-zory ulozeny ve tvaru napr. Tuckerova, nebo hierarchickeho Tuckerova rozkladu(formatu), muzeme v metode sdruzenych gradientu snadno uplatnit prave low-rankaritmetiku.

Poslednı kapitola je zamerena na analyzu krylovovskych metod. Strucne zmi-nujeme vysledky, z nichz vetsina byla obsazena jiz v predchozıch trech kapitolach:pouzitı krylovovskych metod na resenı ill-posed uloh, numericke vlastnosti krylo-vovskych metod s low-rank aritmetikou, vztahy mezi Golubovou–Kahanovou bidi-agonalizacı a Lanczosovou tridiagonalizacı. Navıc se zde podrobneji zabyvame blo-kovym, resp. pasovym zobecnenım dvou posledne jmenovanych algoritmu a jejichvztahu; presneji receno venujeme se tzv. wedge-shaped (klınovym) maticım.

1

Kapitola 1

Problem nejmensıch ctvercu

Rada realnych problemu v mnoha oblastech lidske cinnosti vede na ulohy, ktere lzeformulovat jazykem linearnı algebry. Zahrnujı-li tyto problemy data zatızena chy-bami, nemusı mıt prıslusna uloha resenı v klasickem slova smyslu. Pak zpravidlahledame priblizne resenı tak, ze nad linearnı ulohou zformulujeme jednoduchy opti-malizacnı problem; [7], [50], [29]. Nejjednodussı linearnı aproximacnı ulohu muzemezapsat ve tvaru

A(X) = AX ≈ B, (1.1)

kde A je linearnı zobrazenı reprezentovane maticı A, B jsou pozorovana a X hle-dana data (typicky vektory, matice, nebo tenzory vyssıch radu). Uplny problemnejmensıch ctvercu (TLS) pak definujeme nasledujıcım zpusobem.

Definice 1 (Uplny problem nejmensıch ctvercu). Necht’ AX ≈ B, kde A ∈ Fm×n,X ∈ Fn×d a B ∈ Fm×d, je linearnı aproximacnı uloha, pak optimalizacnı problem

minE∈Fm×n

G∈Fm×d

∥[G,E]∥F tak, ze R(B +G) ⊆ R(A +E), (1.2)

kde R(⋅) znacı obor hodnot dane matice, nazyvame uplnym problemem nejmensıchctvercu.

Libovolnou matici XTLS ∈ Fn×d, ktera splnuje (A+E)XTLS = B +G pro libovolnyminimalizujıcı par (E,G), nazyvame resenım ve smyslu TLS.

Analyza existence a jednoznacnosti minimalizujıcı korekce (E,G) a resenı XTLS

nenı zdaleka tak jednoducha, jako v prıpade klasicke metody nejmensıch ctvercu.TLS resenı obecne, tj. pro libovolne (A,B), nemusı (narozdıl klasicke metody) exis-tovat; viz [19], [6], [66, Example 1.1, str. 7], prıpadne [84, Example 2.2, str. 38].

1.1 Resitelnost TLS problemu

Analyza resitelnosti je postavena zejmena na singularnım rozkladu (SVD) matice[B,A]. Uvazujme pro jednoduchost m > n + d. Necht’

[B,A] = UΣV H, kde U−1= UH, V −1

= V H,

Σ = [diag(σ1, . . . , σn+d)

0] ∈ Rm×(n+d), σ1 ≥ σ2 ≥ ⋯ ≥ σn+d ≥ 0

(1.3)

je SVD rozsırene matice [B,A].

2

Resitelnost TLS problemu

Resitelnost byla poprve analyzovana v clanku [19] pro problem s jednou pravoustranou (d = 1). Analyza se zabyva zejmena situacı, kdy A ma linearne nezavislesloupce, a dava postacujıcı podmınku pro existenci TLS resenı. Analyza byla zupl-nena v knize [84] a doplnena zavedenım tzv. negenerickeho resenı pro ulohy, ktereTLS resenı nemajı. Dale v knize [84] a v clancıch [86], [87] nalezneme rozsırenı TLSproblemu pro d > 1. Analyza prezentovana v techto pracech sleduje postup pouzityv puvodnım clanku [19]. Postup je formulovany jako tzv. klasicky TLS algoritmus;viz [84, kap. 3.6, Algorithm 3.1, str. 87–88], viz take [38, Algorithm 1, str. 767].Ciste algoritmicky motivovane rozsırenı (viz [80], [81]) je velmi prakticke, snadnopochopitelne, snadno aplikovatelne a dava velmi dobre vysledky v rade aplikacı; vizsbornıky [82], [83] konferencı zamerenych na terorii a aplikace TLS problemu. Jeto dano mimo jine tım, ze v praktickych vypoctech je, napr. dıky zaokrouhlovacımchybam, velmi obtızne, ne-li zcena nemozne, urcit kuprıkladu nasobnost danehosingularnıho cısla. Klasicky TLS algoritmus navıc zcela prirozene prechazı k nege-nerickemu resenı u uloh, ktere TLS resenı nemajı. Snadno se tak stane, ze dojdek zamene optimalizacnı ulohy a na mısto puvodne zamysleneho TLS problemu se resıjeho regularizovana varianta truncated-TLS (T-TLS), viz [38, kap. 6] a [43]. Nasımcılem vsak bude striktne sledovat resitelnost TLS problemu, tj. optimalizacnıhoproblemu zformulovaneho v definici 1.

S. Van Huffel a J. Vandewalle v knize [84] dokazujı, ze TLS problem pro vıcepravych stran ma (za jistych predpokladu na hodnosti vybranych bloku matice V )resenı ve dvou specialnıch prıpadech charakterizovanych dvema specialnımi distri-bucemi singularnıch cısel matice [B,A]. Jsou to

σn > σn+1, (1.4)

kdy ma problem jednoznacne resenı, a

σp > σp+1 = ⋯ = σn+1 = ⋯ = σn+d, (1.5)

kdy ma problem nekonecne mnoho resenı, mezi kterymi lze snadno nalezt jed-noznacne dane resenı s minimalnı Frobeniovou a zaroven s minimalnı spektralnınormou. Da se ukazat (viz [38, kap. 3.1 a 3.2]), ze oba prıpady jsou prımocarymrozsırenım ulohy s jednou pravou stranou dvema ruznymi zpusoby a ze oba jsou jenspecialnı prıpady obecnejsı trıdy problemu.

Vlastnı prınos

V clanku [38] uvazujeme zcela obecnou distribuci singularnıch cısel rozsırene matice[B,A]. Uvazujme p (0 ≤ p ≤ n) a e (1 ≤ e ≤ d) takova, ze

σp > σp+1 = ⋯ = σn+1 = ⋯ = σn+e > σn+e+1. (1.6)

Uvazujme odpovıdajıcı delenı matice V , tj.

V = [V11 V12 V13V21 V22 V23

]}d}n

. (1.7)

´¹¹¹¹¹¹¹¹¹¹¹¹¸¹¹¹¹¹¹¹¹¹¹¹¹¶p

´¹¹¹¹¹¹¹¹¹¹¹¹¸¹¹¹¹¹¹¹¹¹¹¹¹¶(n + e) − p

´¹¹¹¹¹¹¹¹¹¹¹¹¸¹¹¹¹¹¹¹¹¹¹¹¹¶d − e

Vektory v prvnım, druhem a tretım blokovem sloupci tak odpovıdajı singularnımcıslum ostre vetsım nez, rovnym a ostre mensım nez σn+1. V zavislosti na tomtodelenı zavadıme nasledujıcı klasifikaci.

Definice 2 (Klasifikace TLS problemu). Necht’ AX ≈ B je linearnı aproximacnıuloha (1.1), kde rozsırena matice [B,A] ma SVD ve tvaru (1.3), (1.6), (1.7).Rekneme, ze TLS problem nad ulohou AX ≈ B patrı do trıdy:

3

Kapitola 1: Problem nejmensıch ctvercu

F (first class) pokud rank([V12, V13]) = d, specialne:

F1 pokud rank(V12) = d − e a tudız rank(V13) = e;

F2 pokud rank(V12) > d − e a zaroven rank(V13) = e;

F3 pokud rank(V13) < e a tudız rank(V12) > d − e;

S (second class) pokud rank([V12, V13]) < d.

Problemy patrıcı do prvnı (F = ∪3j=1Fj), resp. druhe (S ) trıdy odpovıdajı tzv.

generickym, resp. negenerickym problemum dle [84]. V tomto kontextu je nutne siuvedomit, ze genericke problemy, tj. problemy trıdy F v nası klasifikaci jsou obecne(v mnoha knihach a clancıch) povazovane za problemy majıcı TLS resenı; viz napr.schema v [84, str. 50]. V clanku [38] ale ukazujeme, ze toto tvrzenı nenı pravdive.Konkretne dokazujeme nasledujıcı tvrzenı:

F1: Genericke problemy charakterizovane distribucı singularnıch cısel (1.4) nebo(1.5), tj. oba prıpady analyzovane v knize [84] jsou specialnı prıpady problemutrıdy F1.

• Vsechny problemy trıdy F1 majı TLS resenı. Toto resenı je dano jednoznacnetehdy a jen tehdy, kdyz p = n. Nenı-li resenı jednoznacne, existuje nekonecnemnoho resenı, mezi kterymi lze vybrat jedno, ktere je minimalnı ve Frobeniovea zaroven ve spektralnı norme, je to resenı

XTLS = −[V22, V23][V12, V13]†, (1.8)

kde ⋅ † znacı tzv. Mooreovu–Penroseovu zobecnenou inverzi matice.

• Resenı minimalnı v obou normach z predchozıho kroku lze pro kazdy problemtrıdy F1 nalezt pomocı klasickeho TLS algoritmu.

F2 ∶ Vsechny problemy trıdy F2 majı TLS resenı. Toto resenı nikdy nenı jedno-znacne, vzdy jich existuje nekonecne mnoho. Mezi vsemi resenımi lze naleztresenı minimalnı ve Frobeniove norme i resenı minimalnı ve spektralnı norme.Tato dve minimalnı resenı nemusı byt identicka.

• TLS resenı zadneho problemu trıdy F2 nelze nalezt pomocı klasickeho TLSalgoritmu.

F3 ∪S : Zadny problem trıd F3 a S nema TLS resenı.

• Klasicky TLS algoritmus aplikovany na problem trıdy F2, F3, nebo S vracıresenı jineho optimalizacnıho problemu (s dodatecnym omezenım, viz [38,Lemma 6.1, str. 767]), prıpadne TLS resenı modifikovane (regularizovane)ulohy (viz [38, Lemma 6.2, str. 768]), tzv. T-TLS resenı. V klasicke literatureje toto resenı pouze v prıpade trıdy S nazyvano negenerickym.

Vsechny problemy s jednou pravou stranou patrı bud’ do trıdy F1 nebo do trıdyS , jina moznost nastat nemuze.

Klasifikace jistym zpusobem sleduje, jak se mnozstvı informace merene hodnostıbloku

”preleva“ z praveho hornıho rohu matice V do jejıho leveho hornıho rohu.

Pravy hornı ctvercovy blok radu d matice V pritom zprostredkovava vazbu mezisystemovou maticı A a pravou stranou B.

Puvodnı autorske clanky vztahujıcı se k tomuto tematu publikovane v impakto-vanych casopisech:

[38] (2011),

SIAM Journal on Matrix Analysis and Applications, IF 2.194 (2016),

● Q1 v kategorii ‘Mathematics, Applied’ (19 z 255).

4

Teorie core problemu

1.2 Teorie core problemu

TLS problem (1.2) na rozdıl klasickych nejmensıch ctvercu nema resenı pro obecne(A,B). V predchozı sekci jsme se zabyvali otazkou resitelnosti, tedy kdy resenıneexistuje, kdy existuje a zda je jednoznacne. Nynı se budeme ptat, co to znamena,ze resenı neexistuje, v kontextu vstupnıch dat. Na tuto otazku castecne odpovıdatzv. teorie core problemu.

Core problemu pro ulohy s jednou pravou stranou (tj. d = 1) zavedli C. C. Paigea Z. Strakos v serii clanku [62], [63] a zejmena [64]. Protoze norma, kterou jsmepouzili v TLS minimializaci (1.2), je unitarne invariantnı, mısto resenı (1.1)–(1.2),muzeme prejıt k uloze

AX ≡ (PHAQ)(QHX) ≈ (PHB) ≡ B, kde PH= P −1, QH

= Q−1 (1.9)

jsou unitarnı matice, a k optimalizacnımu problemu

minE∈Fm×n

G∈Fm×d

∥[G, E]∥F tak, ze R(B + G) ⊆ R(A + E). (1.10)

Nynı (E, G) je minimalizujıcı par problemu (1.10) prave tehdy, kdyz (PEQH, P G) jeminimalizujıcı par problemu (1.2). TLS resitelnost je invariantnı vzhledem k unitarnıtransformaci (1.9), tj. ke zmene souradnicoveho systemu. Mezi vsemi ulohami AX ≈

B existuje podmnozina (v clanku [64] jsou ukazany dva konkretnı prıklady), kdyuloha nabyva specialnı tvar:

[B, A] = PH[B,A] [

1 00 Q

] ≡ [B1 A11 00 0 A22

] , (1.11)

pricemz matice [B1,A11] ma minimalnı a matice A22 maximalnı rozmery. Puvodnıuloha se tak rozpadne na dve zcela nezavisle ulohy

A11X1 ≈ B1 a A22X2 ≈ 0, (1.12)

pricemz zrejme X2 = 0. Jedine, co zbyva vyresit, je prvnı uloha A11X1 ≈ B1, kte-rou nazyvame core problem. Core problem ma radu zajımavych a dulezitych teo-retickych vlastnostı. Zejmena se da ukazat, ze ma vzdy jednoznacne TLS resenıX1,TLS. Zpetnou transformacı tohoto resnı dostavame TLS resenı puvodnı ulohy(existuje-li) minimalnı v norme, respektive negenericke resenı (pokud TLS resenıneexistuje) minimalnı v norme. Core problem tak obsahuje informaci nutnou apostacujıcı k resenı puvodnı ulohy a navıc dava smysl negenerickemu resenı.

Vlastnı prınos

Prekvapive elegantnı vysvetlenı neexistence TLS resenı v prıpade uloh s jednoupravou stranou podnıtilo snahu rozsırit tento koncept i na ulohy s vıce pravymistranami. Prvnı pokusy v tomto smeru predstavujı zejmena nepublikovany rukopis[5] a dizertacnı pracie [71]. Nebylo vsak obecne jasne, jak core problem definovat,protoze nebylo jasne, v jake podobe minimalnı podproblem ocekavat. V clanku [41]core problem zavadıme nasledujıcım zpusobem. Transformaci (1.9) lze zobecnit na

AX ≡ (PHAQ)(QHXR) ≈ (PHBR) ≡ B,

kde PH= P −1, QH

= Q−1, RH= R−1 (1.13)

jsou unitarnı matice. TLS problemy nad puvodnı ulohou AX ≈ B a transformovanouulohou AX ≈ B jsou opet ekvivalentnı. V clanku [41] jsme ukazali, ze pro kazde

5

Kapitola 1: Problem nejmensıch ctvercu

(A,B) existuje P , Q a R tak, ze

[B, A] = PH[B,A] [

R 00 Q

] ≡ [B1 0 A11 00 0 0 A22

] , (1.14)

kde A11 ∈ Fm×n a B1 ∈ Fm×d, pricemz dimenze n, m, d jsou minimalnı, a tedy, zematice [B1,A11] ma minimalnı a matice A22 maximalnı. Transformaci lze povazovatza zobecnenı jednoho ze dvou postupu pouzitych v [64] pro jednu pravou stranu, jeale velmi komplikovana. Vyuzıva sekvenci nekolika singularnıch rozkladu. Puvodnıuloha se nynı rozpadne na ctyri zcela nezavisle ulohy

A11X11 ≈ B1 a A11X12 ≈ 0, A22X21 ≈ 0, A22X22 ≈ 0, (1.15)

pricemz poslednı tri majı trivialnı resenı.

Definice 3 (Core problem). Necht’ AX ≈ B je linearnı aproximacnı uloha (1.1) aP , Q, R unitarnı matice realizujıcı transformaci (1.13)–(1.14) takovou, ze [B1,A11]

ma minimalnı rozmery mezi vsemi transformacemi vedoucımi na stejnou blokovoustrukturu. Pak ulohu

A11X11 ≈ B1

nazyvame core problemem uvnitr puvodnı ulohy AX ≈ B.

V clancıch [41] a [42] pak dokazujeme radu vlastnostı takto zavedeneho coreproblemu. Konretne:

(CP1) matice A11 ∈ Fm×n ma linearne nezavisle sloupce;

(CP2) matice B11 ∈ Fm×d ma linearne nezavisle sloupce;

(CP3) necht’ A11 ma k ruznych nenulovych singularnıch cısel σj(A11) s nasobnostmirj a rk+1 ≡ dim(N (A));

necht’ dale Uj ∈ Fm×rj jsou matice, jejichz sloupce tvorı ortonormalnı bazelevych sigularnıch podprostoru matice A11 odpovıdajıcıch singularnım cıslumσj(A11), pro j = 1, . . . , k, a jadra N (AH

11), pro j = k + 1;

matice Φj ≡ UHj B1 ∈ Frj×d majı linearne nezavisle radky, pro j = 1, . . . , k + 1.

Tato trojice vlastnostı se ukazuje jako nejdulezitejsı, nebot’ (CP1)–(CP3) jsou nut-nou a postacujıcı podmınkou pro minimalitu rozmeru matice [B1,A11]. Tyto vlast-nosti take dale implikujı:

(CP4) matice [B1∣A11] ∈ Fm×(n+d) ma linearne nezavisle sloupce (dusledek vlastnostı(CP1) a (CP3); viz [42, kap. 2.1, str 420]);

(CP5) necht’ [B1∣A11] ma k ruznych nenulovych singularnıch cısel σj([B1∣A11]) s na-sobnostmi %j a %k+1 ≡ dim(N ([B1∣A11]));

necht’ dale Vj ∈ F(n+d)×%j jsou matice, jejichz sloupce tvorı ortonormalnı bazepravych singularnıch podprostoru matice [B1∣A11] odpovıdajıcıch singularnımcıslum σj([B1∣A11]), pro j = 1, . . . , k, a jadra N ([B1∣A11]), pro j = k + 1;

hlavnı vedoucı d× %j podmatice matic Vj majı linearne nezavisle sloupce, proj = 1, . . . , k + 1 (viz [42, Corollary 4.7 (b), str. 430–431]);

(CP6) necht’ σj(A11) jsou ruzna singularnı cısla matice A11 s nasobnostmi rj , pak

rj ≤ d; navıc ∑j rj = n (dusledek vlastnosti (CP3); resp. (CP1));

(CP7) necht’ σj([B1∣A11]) jsou ruzna singularnı cısla matice [B1∣A11] s nasobnostmi

%j , pak %j ≤ d; navıc ∑j %j =m (dusledek vlastnosti (CP5); resp. (CP4)).

6

Teorie core problemu

Puvodnı clanek [64] odvozuje core problem jednak pomocı singularnıho rozkladumatice A a take pomocı Golubovy–Kahanovy bidiagonalizace [17]. Zatımco nasclanek [41] rozsiruje prıstup pomocı singularnıho rozkladu, [42] pak prıstup po-mocı zobecnenı bidiagonalizace, cımz navazujeme na zejmena na praci A. Bjorcka[5]. Pouzity algoritmus nazyvame pasove zobecnenı Golubovy–Kahanovy bidiagonali-zace. Vyuzıvame zde vztahu mezi pasovym a blokovym zobecnenım bidiagonalizaceobecne matice a pasovym a blokovym zobecnenım tridiagonalizace hermitovske ma-tice.

Otazkou resitelnosti core problemu ve smyslu TLS se zabyva nas clanek [37].Ten obsahuje tri dulezite vysledky. Prvnı z nich zobecnuje fakt, ze core problems jednou pravou stranou ma vzdy jednoznacne dane TLS resenı. Vıme, ze kazdycore problem s jednou pravou stranou je problemem trıdy F1 (problemy s jednoupravou stranou patrı bud’ do trıdy F1, pokud majı, nebo do trıdy S , pokud nemajıTLS resenı). Dokazali jsme, ze obecny core problem je problemem trıdy F1 pravetehdy, kdyz ma jen jedine TLS resenı. Jinymi slovy, v prıpade core problemu se uznemuze stat, ze by byl trıdy F1 a zaroven mel vıce nez jedno resenı. Klıcovou castıdukazu je vlastnost (CP5).

Dale zavadıme pojem tzv. slozeneho core problemu, konretne ukazujeme nasle-dujıcı ekvivalenci. Dva aproximacnı problemy splnujı podmınky (CP1)–(CP3) pravetehdy, kdyz jejich direktnı soucet splnuje podmınky (CP1)–(CP3); schematicky

(A(1)11 ,B

(1)1 ), (A

(2)11 ,B

(2)1 ) ⇐⇒

⎛⎜⎝[A(1)11

A(2)11

]

´¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¸¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¶A11

, [B(1)1

B(2)1

]

´¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¸¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¶B1

⎞⎟⎠. (1.16)

Pokud ale nemame k dispozici vhodne baze (tj. vyjevujıcı direktnı soucet), nelze,dle naseho nazoru, obecny komponovany problem algoritmicky efektivne rozlozit najednotlive komponenty. Otazka rozlozitelnosti prıpadneho core problemu zustavaotevrena.

V clanku [37] take ukazujeme, ze pomocı skladanı core problemu lze z problemus jednou pravou stranou (tj. trıdy F1) slozit core problemy trıdy F1, F2, F3 i S .Vytvarenı obtızneji resitelnych core problemu pomocı skladanı by mohlo motivovatdomnenku, ze core problem bud’ patrı do trıdy F1 nebo je rozlozitleny. Tretımdulezitym vysledkem tykajıcım se resitelnosti je vyvracenı teto domnenky. V clanku[37] uvadım protiprıklad, ktery patrı do trıdy F2, splnuje podmınky (CP1)–(CP3)a je tedy core problemem, ale nenı rozlozitelny. Nerozlozitelnost je zde dokazanavypsanım vsech moznostı.

Na zaver ukazujeme nekolik dulezitych pozorovanı tykajıcıch se TLS algoritmu.Dokazujeme, ze klasicky TLS algoritmus je invariantnı vzhledem k redukci ulohyna core problem, nikoliv vsav zhledem ke skladanı core problemu. V zavislosti nadistribuci singularnıch cısel jednotlivych komponent mohou nastat situace, kdyje vystupem algoritmu aplikovaneho na slozeny problem direktnı soucet vystupuzıskanych pro jednotlive komponenty, muze vsak nastat i situace, kdy algoritmujednu ci vıce komponent v resenı zcela potlacı. Tento jev lze vysvetlit jako formuregularizace TLS algoritmu.

Puvodnı autorske clanky vztahujıcı se k tomuto tematu publikovane v impakto-vanych casopisech:

[41] (2013), [42] (2015), [37] (2016),

SIAM Journal on Matrix Analysis and Applications, IF 2.194 (2016),

● Q1 v kategorii ‘Mathematics, Applied’ (19 z 255).

7

Kapitola 2

Regularizacnı metody

Mnoho realnych aplikacı vede na tzv. diskretnı ill-posed, nekdy prekladame jakonekorektnı (viz [72]), nebo spatne postavene, ulohy. Dle [57, kap. IV.1, str. 85], [25]ulohu A(x) = b, nazyvame well-posed (korektnı, dobre postavenou), pokud ma jedno-znacne resenı pro kazde b ∈ B a pokud resenı zavisı na b spojite. V opacnem prıpadeji nazyvame ill-posed ulohou. To znamena, ze pro ill-posed ulohy operator A−1 bud’

neexistuje, nebo nenı definovan na celem B, nebo nenı spojity. Typicky se jedna otomograficke ulohy vedoucı na inverznı Radonovu transformaci (viz [67], [68], [57],[30]); ulohy rekonstrukce zdroju anomalniı napr. magnetickeho a gravitacnıho (napr.pri identifikaci zrudnenı v zemske kure, viz [13]); rekonstrukce struktury krystaluna zaklade Laueho difrakcnıch diagramu (viz [32]); v ulohach image deblurring (viz[33]); a mnoha dalsıch, viz napr. [27], [28].

V podobnych ulohach je A casto zhlazujıcım integralnım operatorem. Tedy ipro nespojity vstup x je vystup (pozorovany vektor) A(x) typicky velmi hladky.Ukolem tak typicky je z hladkeho vystupu A(x) zrekonstruovat nehladky, prıpadnenespojity vstup x. Z techto duvodu je resenı podobnych uloh obtızne. Je-li navıcpozorovanı poskozeno nejakym sumem napr. merenım, ulohy jsou jeste obtıznejsı.

V dalsım textu tedy budeme uvazovat jiz diskretizovanou linearnı ulohu,

Ax ≈ b ≡ bdata + bnoise, kde A ∈ Fm×n a ∥bdata∥2 ≫ ∥bnoise∥2 (2.1)

a ukolem je aproximovat vektor xdata ≡ A†bdata. Zhlazujıcı vlastnosti se typickyprojevı ve velke podmınenosti matice A, takze, navzdory zanedbatelne velikostisumu v pozorovanı, casto platı ∥xdata∥2 ≪ ∥A†bnoise∥2. Tedy uzitecna data xdata jsouv naivnım resenı A†b zcela prekryta invertovanym sumem.

2.1 Spektralnı vlastnosti ill-posed uloh

Matice A dedı radu vlastnostı puvodnıch zobrazenı a operatoru. Jiz zmınena velkapodmınenost souvisı s rapidnım poklesem singularnıch cısel matice A. Ta navıccasto klesajı bez snadno identifikovatelnych skoku (ktere by nam mohly pomoci priidentifikovat numerickou hodnost matice) a pri zjemnovanı diskretizace se nejmensısingularnı cısla rychle blızı nule.

Singularnı vektory u′j a v′j matice A navıc majı tendenci stale vıce oscilovats rostoucım indexem j (puvodnı operator je typicky integralnım operaterme, maticetypicky predstavuje diskretizovane integracnı jadro Fredholmovy integralnı rovniceprvnıho druhu). Tım mame na mysli, ze vektory odpovıdajıcı vetsım singularnımcıslum jsou dominovany nizsımi harmonickymi frekvencemi, zatımco vektory od-povıdajıcı mensım singularnım cıslum vyssımi frekvencemi; viz napr. obrazek 2.1.

8

Regularizace

v’1

135° 90° 45°

0°

u’1

0°180°

v’2

135° 90° 45°

0°

u’2

0°180°

v’3

135° 90° 45°

0°

u’3

0°180°

v’4

135° 90° 45°

0°

u’4

0°180°

v’5

135° 90° 45°

0°

u’5

0°180°

v’6

135° 90° 45°

0°

u’6

0°180°

v’7

135° 90° 45°

0°

u’7

0°180°

v’8

135° 90° 45°

0°

u’8

0°180°

v’9

135° 90° 45°

0°

u’9

0°180°

v’10

135° 90° 45°

0°

u’10

0°180°

v’11

135° 90° 45°

0°

u’11

0°180°

v’12

135° 90° 45°

0°

u’12

0°180°

v’13

135° 90° 45°

0°

u’13

0°180°

v’14

135° 90° 45°

0°

u’14

0°180°

v’15

135° 90° 45°

0°

u’15

0°180°

v’16

135° 90° 45°

0°

u’16

0°180°

Obrazek 2.1: Prvnıch sestnact levych a pravych singularnıch vektoru matice dvou-rozmerne tomograficke ulohy; viz program fanbeamtomo.m [30], [31].

2.2 Regularizace

Ill-posed ulohy se resı pomocı regularizacnıch metod, kdy se puvodnı uloha nahradıoptimalizacnım problemem, napr. tzv. tichonovskou regularizacı

xTichonov(λ,L) ≡ arg minx∈Fm

{∥b −Ax∥22 + λ2∥Lx∥22} , (2.2)

kde se zaroven vyvazene minimalizujı (semi)normy rezidua a resenı, viz [33], [72]. Re-gularizacnı metody obecne zavisı na parametrech (zde λ), jejichz vhodne nastavenıpredstavuje samostany problem. Existuje cela rada metod slouzıcıch k urcenı techtoparametru, napr. tzv. princip diskrepance (viz [55], [56]), generalized cross-validation(viz [16], [21]) a rada dalsıch, viz [33]. Jejich pouzitı ale typicky vyzaduje a-priornıznalost o puvodnı uloze, napr. princip diskrepance lze snadno vyuzıt, zname-li od-stup signalu od sumu (SNR) ve vektoru pozorovanı.

Je-li matice A velka, cela uloha se nejprve projektuje do prostoru nizsı dimenze.V techto tzv. hybridnıch metodach se casto jako projektor pouzıvajı Krylovovskemetody, ktere provadejı projekci optimalne a navıc predstavujı jistou formu vnejsıregularizace. Optimalizacnı problem reseny na projektovane uloze pak predstavujeregularizaci vnitrnı.

Vlastnı prınos

V nasem clanku [39] provadıme detailnı analyzu chovanı Golubovy–Kahanovy bi-diagonalizace, je-li aplikovana na matici A se startovacım vektorem s1 ≡ b/∥b∥.Konkretne analyzujeme, jak se algoritmem sırı sum vstupujıcı tam jako soucast

9

Kapitola 2: Regularizacnı metody

prave strany (bnoise/∥b∥2) a ukazujeme, ze jeho relativnı podıl se vzhledem k uzitecneinformaci (vstupujıcı algoritmu jako bdata/∥b∥2) zvetsuje. Analyzu provadıme v bazıchsingularnıch vektoru, ktere tvorı v jistem smyslu prirozenou fourierovskou bazi prodanou ulohu.

Rust podılu sumove slozky je dan tım, ze bidiagonalizace, jako kazda krylo-vovska metoda stavı ortonormalnı bazi s1, s2, . . . , sj jisteho krylovovskeho prostoruspojeneho s maticı A. Protoze A zdedila zhlazujıcı vlastnost z puvodnıho zobrazenı,tak se v prubehu ortogonalizace z vektoru s` postupne odprojektovava hladka in-formace, az je vektor zcela dominovan sumem. V clanku [39] jsme ukazali, ze jsme-lischopni identifikovat tuto noise-revealing iteraci ` (coz lze napr. pomocı Fourierovytransformace daneho vektoru s`), jsme schopni z normalizacnıch koeficientu, kterese pri bidiagonalizaci pocıtajı, dobre aproximovat SNR. Tım jsme ovsem zıskali onua-priornı znalost uzitecnou napr. pri pouzitı principu diskrepance pro nastavenıtichonovskeho parametru λ.

Navıc bidiagonalizace sama o sobe poslouzila jako projektor a vnejsı regularizacev hybridnı metode. Je totiz jadrem rady popularnıch krylovovskych metod, kterese pro sve regularizacnı vlastnosti pouzıvajı. Jedna se zejmena o napr. o Craigovumetoda (viz [9]) metody LSQR (viz [60], [61]), nebo nedavno publikovane LSMR(viz [14]) a rada dalsıch. V clanku [35] jsme rozebrali sırenı sumove informace vrezidujıch vyse zmınenych metod. Ukazali jsme, ze j-te reziduum Craigovy metodyje prımo skalarnı nasobek vektoru sj a proto teoreticky lze v teto metode prımosledovat vyjevovanı sumu, coz zpravidla funguje jen u malych uloh. U velkych ulohvlivem zaokrouhlovacıch chyb nedochazı k vyjevenı sumu v jedne, ale v nekolika posobe jdoucıch iteracıch. Tım, ze reziduum Craigovy metody nese informaci pouzez jedineho vektoru, nevede metoda u velkych uloh k uspokojivym vysledkum. Nadruhou stranu jsme ukazali, ze j-ta rezidua metod LSQR a LSMR obsahujı kom-binaci vsech vektoru s1, s2, . . . , sj a jsou pri vyjevenı sumu vıce robustnı, coz je vpraxi dlouhodobe pozorovany jev.

Jak jsme jiz zminovali v zaveru kapitoly 1, uplny problem nejmensıch ctvercu(TLS), presneji receno tzv. klasicky TLS algoritmus funguje take jako jista forma re-gularizace, ktera napr. u slozenych problemu umı potlacit vliv komponent s malymisingularnımi cısly. Regularizacnı vlastnosti TLS algoritmu jsme detailne popsaliv clanku [43]. Odvodili jsme, jak pro dany algoritmus pro ulohy s vıce pravymistranami vypadajı tzv. filtracnı faktory, ktere urcujı, jak je ktera frekvence (repre-zentovana singularnımi vektory matice A) potlacena pri rekonstrukci pribliznehoresenı.

Puvodnı autorske clanky vztahujıcı se k tomuto tematu publikovane v impakto-vanych casopisech:

[39] (2009),

BIT Numerical Mathematics, IF 1.67 (2016),

● Q1 v kategorii ‘Mathematics, Applied’ (40 z 255),

● Q2 v kategorii ‘Computer Science, Software Engineering’ (37 ze 106).

[35] (2017),

Linear Algebra and its Applications, IF 0.973 (2016),

● Q1 v kategorii ‘Mathematics’ (65 z 311),

● Q2 v kategorii ‘Mathematics, Applied’ (115 z 255).

[43] (2017),

Applications of Mathematics, IF 0.618 (2016),

● Q4 v kategorii ‘Mathematics, Applied’ (200 z 255).

10

Kapitola 3

Tenzorove vypocty

Vypocetnı nastroje numericke linearnı algebry, jejich popis i implementace priro-zenym historickym vyvojem prechazely od prace s jednotlivymi souradnicemi prespraci s celymi vektory az po praci s jednotlivymi bloky – de-facto (pod-)maticemi.Prıkladem druheho jmenovaneho prechodu je napr. zobecnovanı drıve zminovane-ho uplneho problemu nejmensıch ctvercu z uloh s jednou pravou stranou na ulohys vıce pravymi stranami – tj. s maticovou pravou stranou.

Nasledujıcım prirozenym krokem je prechod od blokovych resp. maticovych for-mulacı k formulacım tenzorovym. Protoze pojem tenzoru se v matematice vyskytujev rade ruznych disciplın jiz dlouho a jeho obsah je vnıman pri ruznych prılezitostechnepatrne odlisne, je dobre pojem jasne vymezit. My, v souladu s tım jak s pojmempracuje soucasna numericka linearnı algebra (viz prehledove clanky [44], [23] neboknihy [12] a [8]), budeme pod pojmem tenzor (k-teho radu) rozumet vıcerozmerne(k-rozmerne) pole cısel

A = (ai1,i2,...,ik) ∈ Fm1×m2×⋯×mk . (3.1)

Specialne skalary, vektory a matice, tak jak jsme s nimi pracovali doposud, pro nasbudou tenzory nulteho, prveho, respektive druheho radu.

Prıma prace s tenzory vyssıch radu (nejen a vyssıch rozmeru) muze byt vypocetnevelmi narocna ne-li nemozna; casto se hovorı o

”curse of dimensionality“. Stacı

si uvedomit, kolik slozek bude mıt napr. tenzor radu k = 100 s minimalistickymirozmery n1 = n2 = ⋯ = nk = 2; totiz 2100 ≈ 1.27 ⋅ 1030, pricemz pro ulozenı kazdeslozky ve standardnı dvojite presnosti (double) je potreba osm bytu.

Ustrednım nastrojem pro praci s takto velkymi daty je tedy komprese, zpravidlapostavena na rozkladu tenzoru (viz napr. [44]) a vyuzitı tzv. low-rank aritmetiky;viz napr. [47], [46], nebo [23].

3.1 Tuckeruv rozklad (HOSVD)

Tak jako v maticovych vypoctech casto povazujeme maticove rozklady za zakladnıstavebnı kameny analyzy i algoritmu, v tenzorovych vypoctech hrajı dulezitou rolitenzorove rozklady. Mezi nejsilnejsı maticove nastroje patrı bezesporu (ekonomicky)singularnı rozklad (SVD), jeho tenzorovou analogiı je tzv. (ekonomicky) Tuckeruvrozklad, nekdy tez nazyvany higher-order SVD (HOSVD); viz [75], [76], [77]; prıpadne[44, kap. 4.1], [74, kap. 3.1.2].

Definice 4 (Vektorova hodnost tenzoru, Tuckerovo jadro, Tuckeruv rozklad). Necht’

A ∈ Fm1×m2×⋯×mk je tenzor radu k a necht’ A(`) ∈ Fm`×M` , kde M` = (∏kj=1mj)/m`,

jsou rozvoje tohoto tenzoru do matic v jednotlivych modech ` = 1, . . . , k. Necht’

r` = rank(A(`)), A(`)

= U (`)Σ(`)(V (`))H, (3.2)

11

Kapitola 3: Tenzorove vypocty

jsou hodnosti techto rozvoju a jejich singularnı rozklady, kde

U (`) = [U(`)1 , U

(`)2 ] ∈ Fm`×m` , U

(`)1 ∈ Fm`×r` . (3.3)

Pak vektorovou hodnostı tenzoru nazyvame usporadanou k-tici

rank(A) ≡ (r1, r2, . . . , rk), (3.4)

Tuckerovym jadrem nazyvame tenzor

AT−core ≡ A ×1 (U(1)1 )

H×2 (U

(2)1 )

H×3 ⋯×k (U

(k)1 )

H∈ Fr1×r2×⋯×rk (3.5)

a rozklady

A = diagk(AT−core,0m1−r1,m2−r2,...,mk−rk) ×1 U(1)

×2 U(2)

×3 ⋯×k U(k) (3.6)

= AT−core ×1 U(1)1 ×2 U

(2)1 ×3 ⋯×k U

(k)1 , (3.7)

kde diagk( ⋅ , ⋅ ) ze svych argumentu sestavı blokove diagonalnı tenzor k-teho radu a×` provadı soucin tenzoru vlevo s maticı vpravo v `-tem modu, nazyvame uplnym,respektive ekonomickym Tuckerovym rozkladem.

Tuckeruv rozklad muze slouzit (podobne jako SVD v prıpade matic) jako zakladpro low-rank aritmetiku. Pokud je vsak puvodnı tenzor vysokeho radu, Tuckeruvrozklad nestacı, nebot’ Tuckerovo jadro je tenzorem stejneho radu. Pro dalsı kom-presi se pokousıme jadro strukturovat, tj. zapsat ho jako tenzorovy soucin tenzorunizsıch radu, zpravidla radu dva a tri. Dva zakladnı prıstupy jsou tzv. tenzorovyvlacek (tensor train), viz [58], a hierarchicky Tuckeruv rozklad viz [24] a [22]. De-tailneji se jejich popisem nebudeme zabyvat. Obrazek 3.1 ilustruje jak vypadajıjejich tzv. tenzorove sıte, viz [78].

(i) (ii)

Obrazek 3.1: Tenzorove sıte; jednotlive vrcholy grafu predstavujı tenzory, jejichzrady jsou dany pocty hran, s nimiz incidujı. Hrany mezi dvema vrcholy predstavujıtenzorovy soucin prıslusnych dvou tenzoru. Vnitrnı tmavy oval predstavuje soucintenzoru radu dva a tri tvorıcı Tuckerovo jadro. Vnejsı oval predstavuje cely tenzorradu sedm. Vlevo (i) je Tuckerovo jadro ve tvaru tenzoroveho vlacku, vpravo (ii) jehierarchicky Tuckeruv rozklad.

Zrejme, jsme-li schopni vsechny rozmery tenzoru radu dva, resp. tri v rozkladuomezit nejakym cıslem (hodnostı) r, pak potrebujeme k ulozenı Tuckerova jadra ten-zoru radu k zhruba kr3 cısel namısto puvodnıch rk. Klıcove je jsme-li schopni ten-zor aproximovat nejakou sıtı s malou hodnostı r, coz zavisı na konkretnıch datech auloze. Dalsım aspektem je take

”programatorska prıvetivost“ datovych struktur od-

povıdajıch rozkladum. Obojımu je v soucasnosti venovana velka pozornost, viz napr.[1], [2], [3], [74], [48], [49], prıpadne [85]. Oba formaty jsou de-facto binarnı stromy,extremne nevyvazeny a temer vyvazeny. Strom ale lze designovat dle potreby tak,aby aproximoval puvodnı data co nejlepe, napr. tım, ze reflektuje prirozenou struk-turu dat danou puvodnı aplikacı; viz napr. [45, kap. 4, zejm. Fig 4.1].

12

Tuckeruv rozklad (HOSVD)

Vlastnı prınos

Dulezitym aspektem tenzorovych vypoctu je nejen mıt moznost mnohorozmernapole cısel ulozit, ale take s nimi provadet operace. Aplikovat (linearnı) operator,provadet linearnı kombinace tenzoru, resit soustavu s danym tenzorem na pravestrane, atd.

V nasem clanku [46] a v jeho rozsırene verzi [45] se zabyvame resenım zobecneneljapunovske maticove rovnice

A(α)X(α)M(α)H +M(α)X(α)A(α)H = B(α)B(α)H, (3.8)

kde A(α), M(α) ∈ Fn×n jsou ctvercove matice a B(α) ∈ Fn×t zavisle na jednom (viz[46]), resp. p (viz [45]) parametrech. Parametr α pritom nabyva hodnot z nejakehozajmoveho intervalu, kde je navzorkovan a ve kterem lze zavislost matic na α ro-zumne aproximovat linearnı zavislostı. Maticova rovnice (3.8) predstavuje struktu-rovanou soustavu linearnıch rovnic a proto lze k jejımu resenı formalne pouzıt beznemetody pro resenı soustav.

V nasem clanku jsme uvazovali nejjednodussı prıpad, kdy byl ljapunovsky operatorL(α) ∶ Rn×n Ð→ Rn×n symetricky a pozitivne definitnı. K resenı tedy bylo moznepouzıt metodu sdruzenych gradientu (CG); viz [34]. V clanku [46] jsme ukazali, jakmetodu CG formulovat nejprve pro ljapunovskou rovnci, ktera nezavisı na zadnychparametrech a respektuje ljapunovskou strukturu ulohy. S vyhodou zde lze vyuzıtprave low-rank aritmetiky (viz [65], [51] a [52]) s vyuzitım ekonomickeho SVD; viz[46, Algorithm 1, str. 668]. Dulezitou soucastı algoritmu je vyber predpodminovace.Zde se jako klıcova ukazuje cena predpodmınene iterace. V low-rank aritmetice jecena zasadne zavisla na tom, jak nızka je hodnost jednotlitvych objektu (matic,tenzoru), se kterymi pracuji. Je-li predpodminovac aplikovan nevhodne, muze byturychlenı konvergence ve smyslu poctu iteracı CG vykoupeno prave k narusem hod-nostı, casto tak zasadnı, ze se metoda stane nepouzitelnou.

Cely koncept je nasledne v [46, kap. 3] rozsıren pro ulohy zavisle na jednomparametru, kde pracujeme s low-rank aritmetikou tenzoru tretıho radu implemen-tovanou pomocı ekonomickeho Tukerova rozkladu. Clanek obsahuje vetu s pomernetechickym dukazem (viz [46, Theorem 1, str. 676–678]) ukazujıcı, jak klesajı sin-gularnı cısla jednotlivych rozvoju tenzoru presneho resenı. Veta garantuje, ze resenı(nikoliv ovsem jeho CG aproximace) muze byt dobre aproximovano tenzorem nızkevektorove hodnosti. V clanku detailne studujeme strukturu tenzoru vznikajıcıch prijednotlivych operacıch v metode CG v low-rank aritmetice, vypocetnı narocnosttechto operacı i narocnost celeho algoritmu. V rozsırene verzi clanku (viz [45, kap.4]) pouzıvame stejny postup pro ulohu se ctyrmi parametry, tj. s tenzory sestehoradu. Zde je jiz z duvodu pamet’ovych naroku nutne pracovat s hierarchickym Tuc-kerovym rozkladem.

Puvodnı autorske clanky vztahujıcı se k tomuto tematu publikovane v impakto-vanych casopisech:

[46] (2014),

Numerical Linear Algebra with Applications, IF 1.303 (2016),

● Q1 v kategorii ‘Mathematics’ (33 z 311),

● Q2 v kategorii ‘Mathematics, Applied’ (70 z 255).

13

Kapitola 4

Krylovovske metody

Krylovovske metody jsou trıdou metod pro resenı rady uloh linearnı algebry, nej-casteji soustav linearnıch rovnic Ax = b se ctvercovou regularnı maticı, prıpadne proresenı (castecneho) problemu vlastnıch cısel Ax = xλ, x ≠ 0. Jadrem techto metodje budovanı ortonormalnı baze krylovovskeho prostoru pro ` = 1,2, . . .

K`(A,v) = span{v,Av, . . . ,A`−1v}, kde A ∈ Fm×m, v ∈ Fm, ∥v∥2 = 1. (4.1)

K tomu slouzı dva velmi uzce provazane algoritmy: Arnoldiho metoda (viz napr. [11,kap. 7.1]) prevadejıcı obecnou ctvercovou matici A na tzv. hornı Hessenberguv tvara Lanczosova tridiagonalizacnı metoda (viz napr. [11, kap. 7.2]) pouzitelne pouzev prıpade, ze matice A je ctvercova a hermitovska, tj. AH = A. Zjednodusene bychommohli rıci, ze Arnoldiho metoda aplikovana na hermitovskou matici v podstatesplyva s metodou Lanczosovou. V prıpade soustav casto volıme v = b/∥b∥2.

U uloh s maticı, ktera nenı ctvercova, napr. pri resenı preurcene aproximacnıulohy Ax ≈ b ve smyslu nejmensıch ctvercu (at’ uz mame na mysli klasicky LSproblem, nebo TLS problem; viz kap. 1), muzeme vyuzıt krylovovske metody, kterestavı ortonormalnı baze prostoru pro ` = 1,2, . . .

K`(AAH, s) = span{s, (AAH

)s, . . . , (AAH)`−1s}, (4.2)

K`(AHA,w) = span{w, (AHA)w, . . . , (AHA)

`−1w}, (4.3)

kde A ∈ Fm×n, s ∈ Fm, w ∈ Fn a ∥s∥2 = ∥w∥2 = 1.

K tomu slouzı algoritmus Golubovy–Kahanovy bidiagonalizace. Polozıme-li s ≡ s1 =b/β1, kde β1 = ∥b∥2, a w ≡ w1 = AHs1/α1, kde α1 = ∥AHs1∥2, pak bidiagonalizacepocıta pro ` = 1,2, . . . vektory s`+1 a w`+1 pomocı rekurencı

s`+1β`+1 = Aw` − s`α`, (4.4)

w`+1α`+1 = AHs`+1 −w`β`+1, (4.5)

kde β`+1 a α`+1 jsou normalizacnı koeficienty volene tak, aby ∥s`+1∥2 = ∥w`+1∥2 = 1.Generuje tak ortonormalnı baze obou prostoru. Vektory s1, s2, . . . , s` a w1,w2, . . . ,w`

tvorı baze K`(AAH, s), resp. K`(A

HA,w). Bidiagonalizace fakticky provadı simultanedve Lanczosovy tridiagonalizace se ctvercovymi hermitovskymi maticemi AAH aAHA se startovacımi vektory s, resp. AHs/∥AHs∥2; viz napr. [11, kap. 7.3].

4.1 Zakladnı metody

Mezi nejznamejsı krylovovske metody, slouzıcı k resenı soustav linearnıch rovnicse ctvercovou regularnı maticı patrı bezesporu metoda sdruzenych gradientu (CG;

14

Zakladnı metody

viz [34]), metoda minimalnıch reziduı (MinRes; viz [59]), nebo zobecnena me-toda minimalnıch reziduı (GMRes; viz [70]). Pri resenı aproximacnıch uloh, tj.uloh nejmensıch ctvercu, nebo napr. regularizacnıch uloh se pouzıvajı napr. metodyLSQR (viz [60] a [61]), Craigova metoda (viz [9]), nebo LSMR (viz [14]), o kterychjiz byla rec v kap. 2. Rodina krylovovskych metod je nicmene mnohem bohatsı aexistuje cela rada dalsıch algoritmu, viz napr. [11, kap. 8 a 9], [20, kap. 10 a 11].

V prubehu poslednıch desetiletı bylo investovano enormnı usilı do analyzy cho-vanı mnoha ruznych krylovovskych metod v presne aritmetice ale i jejich nume-rickemu chovanı v pocıtacum vlastnı aritmetice s plovoucı radovou carkou a ome-zenou presnostı. Byly analyzovany pamet’ove naroky techto metod, efektivita a sta-bilita implementacı, atd; viz napr. [54], [53], nebo [73]. V rade drıve zmınenychpracı jsme se jiz ruznych krylovovskych metod dotkli, pouzıvali je, prıpadne dosa-dili drobne strıpky vlastnı analyzy do mnohem rozsahlejsı mozaiky chovanı techtometod. Nynı velmi strucne tri jiz zmınene prıspevky pripomeneme a navıc zmınımejeden, o kterem dosud nebyla rec.

Vlastnı prınos

V prvnım velmi skromnem prıspevku [40] jsme ukazali, jak souvislost bidiagonali-zace a tridiagonalizace vyuzıt k vyjevenı core problemu v linearnı aproximacnı ulozes jednou pravou stranou. K tomu dojde pokud β`+1 = 0, nebo α`+1 = 0 v (4.4)–(4.5).Do te doby mame v rukou postupne se zlepsujıcı aproximaci core problemu (tedypodproblemu, ktery obsahuje nutnou a postacujıcı informaci k resenı cele ulohy).Toto je mechanizmus, ktery pomaha vysvetlit, proc jsou metody jako napr. LSQRstojıcı na bidiagonalizaci tak uspesne; viz kap. 1.2. Tuto souvislost je vsak moznetusit jiz v puvodnım clanku [64].

Druhym nasım prıspevkem byla analyza chovanı Golubovy–Kahanovy bidiago-nalizace v prıpade, ze matice A je spatne podmınena a prava strana b obsahuje kromuzitecnych dat navıc nejake chyby, resp. sum v clanku [39]. Ukazujeme, jak se chybypropagujı skrze algoritmus, jak se prenasejı mezi jednotlivymi iteracemi a, dıkyspatne podmınenosti matice, zesilujı na ukor puvodnıch dat, o nichz prepdokladame,ze jsou hladka a dominovana nızkymi frekvencemi. V clanku [35] pak detailne ana-lyzujeme sum v rezidujıch Craigovy metody a metod LSQR a LSMR; viz kap. 2.

Tretım prıspevkem, ktery byl jiz zmınen, je analyza chovanı metody sdruze-nych gradientu (CG), tedy algoritmu postavenem na tridiagonalizaci v prostredıs low-rank aritmetikou. V clanku [46] studujeme, jak se menı hodnosti low-rankobjektu v prubehu algoritmu CG, studujeme, jak agresivne lze nızkou hodnost ob-jektu vynucovat a jaky to ma vliv na velikost rezidua. Venujeme se zde take studiuvlivu predpodminovacu na hodnosti low-rank objektu, prıpustnou mıru agresivitypri mechanickem snizovanı hodnosti, i velikost rezidua; viz kap. 3.

Hlavnım prıspevkem teto casti je analyza vlastnostı tzv. wedge-shaped neboliklınovych matic. Ty vznikajı jako zobecnenı Jacobiho trıdiagonalnıch matic pripouzitı blokovych a pasovych variant Lanczosovy tridiagonalizace a Golubovy–Kahanovy bidiagonalizace. Formalne napr. v algoritmu (4.4)–(4.5) vektory w` as` nahradıme bloky navzajem ortonormalnıch vektoru a koeficienty α` a β` hornıtrojuhelnıkovou maticı vhodnych rozmeru. Mısto normalizacı vektoru tak v algo-ritmu musıme provadet QR, prıpadne rank-revealing QR rozklady. Mısto bidia-gonalnı matice tak dostavame blokove bidiagonalnı matici s hornımi, resp. dolnımitrojuhelnıkovymi bloky na diagonalach, v prıpade tridiagonalizace dostaneme sy-metrickou blokove trıdiagonalnı matic s trojuhelnıkovymi maticemi na blokove nad-a poddiagonale; viz napr. [10], [79], [18], [69], nebo [4, kap. 4.6 a 7.10 (R. W. Fre-und, Band Lanczos Method)]. Trojuhelnıkove matice vsak ve skutecnosti (v presne

15

Kapitola 4: Krylovovske metody

aritmetice) majı obecny schodovity tvar a cela klınova matice, presneji jejı profiltvoreny nenulovymi prvky, se postupne

”ztencuje“, jak se v blokovem krylovovskem

prostoru uzavırajı jednolive invariantnı podprostory; viz obrazek 4.1.

0 5 10 15 20 25 30 35

0

5

10

15

20

25

30

35

nz = 462

\tilde{A} 11

T \tilde{A}

11

Obrazek 4.1: Struktura nenulovych prvku klınove (wedge-shaped) matice.

Dokazali jsme, ze, je-li L maticı z blokoveho nebo pasoveho zobecnenı bidi-agonalizace, pak LLH, LHL majı prave strukturu klınovych matic (viz [42, kap.4, str. 425–431]). Klasicky vysledek, ze obalky pozitivne definitnı matice a jejıhoCholeskeho faktoru jsou identicke (viz [15, kap. 4.2]) zde pritom nelze pouzıt, ne-bot’ tento vysledek platı pouze pro regularnı matice a nase matice LLH, LHL jsouobecne semidefinitnı a mohou byt i singularnı. (Snadno lze najıt protiprıklady prvezminovaneho vysledku o obalkach; viz [42, Fig. 1, str. 429].)

V clancıch [42] a [36] jsme dokazali radu spektralnıch vlastnostı zobecnujıcızname vlastnosti Jacobiho trıdiagonalnıch matic. Ukazali jsme, ze klınove matices sırkou pasu % (tj. s 2% + 1 nenulovymi diagonalami) majı vlastnı cısla nasobnostinevyse %. Dale, vezmeme-li libovolnou bazi libovolneho vlastnıho prostoru a se-stavıme do matice, pak prvnıch % radku teto matice tvorı blok s linearne nezavislymisloupci. Nepatrne sloziteji lze zobecnit i to, ze vlastnı vektor trıdiagonalnı maticema poslednı slozku nenulovou a nemuze obsahovat dve po sobe jdoucı nulove slozky.

Puvodnı autorske clanky vztahujıcı se k tomuto tematu publikovane v impakto-vanych casopisech (clanky jiz zmınene v predchozıch kapitolach neopakujeme):

[36] (2015)

Linear Algebra and its Applications, IF 0.973 (2016),

● Q1 v kategorii ‘Mathematics’ (65 z 311),

● Q2 v kategorii ‘Mathematics, Applied’ (115 z 255).

16

Literatura

[1] B. W. Bader, T. G. Kolda: Algorithm 862: MATLAB tensor classes for fastalgorithm prototyping, ACM Transactions on Mathematical Software, 32(4) (2006),pp. 635–653. doi: 10.1145/1186785.1186794

[2] B. W. Bader, T. G. Kolda: Efficient MATLAB computations with sparse andfactored tensors, SIAM Journal on Scientific Computing, 30(1) (2007), pp. 205–231.doi: 10.1137/060676489

[3] B. W. Bader, T. G. Kolda: MATLAB Tensor Toolbox, version 2.6., 2015.Available on http://www.sandia.gov/˜tgkolda/TensorToolbox

[4] Z. Bai, J. Demmel, J. J. Dongarra, A. Ruhe, H. A. van der Vorst (eds.):Templates for the solution of Algebraic Eigenvalue Problems: A Practical Guide,SIAM Publications, Philadelphia, PA, 2000. doi: 10.1137/1.9780898719581

[5] A. Bjorck: Block bidiagonal decomposition and least squares problems with multipleright-hand sides, unpublished manuscript.

[6] A. Bjorck: Least Squares Methods, in Handbook of Numerical Analysis, Vol. I:Finite Difference Methods; Solution of Equations in Rn (P. G. Ciarlet, J. L. Li-ons eds.), North-Holland, Amsterdam, 1990.

[7] A. Bjorck: Numerical Methods for Least Squares Problem, SIAM Publications,Philadelphia, PA, 1996. doi: 10.1137/1.9781611971484

[8] A. Bjorck: Numerical Methods in Matrix Computations, Springer Verlag, Heidel-berg, 2015. doi: 10.1007/978-3-319-05089-8

[9] E. J. Craig: The N-step iteration procedures, Studies in Applied Mathematics,34(1–4) (1955), pp. 64–73. doi: 10.1002/sapm195534164

[10] J. K. Cullum, W. E. Donath: A Block Generalization of the Symmetric S-StepLanczos algorithm, Rep. No. RC 4845, IBM, Thomas J. Watson Res. Center,Yorktown Heights, New York (1974).

[11] J. Duintjer Tebbens, I. Hnetynkova, M. Plesinger, Z. Strakos, P. Tichy:Analyza metod pro maticove vypocty: zakladnı metody, Matfyzpress, Praha, 2012.

[12] L. Elden: Matrix methods in data mining and pattern recognition, SIAM Publi-cations, Philadelphia, 2007. doi: 10.1137/1.9780898718867

[13] M. Fedi, P. C. Hansen, V. Paoletti: Analysis of depth resolution in potentialfield inversion, Geophysics, 70(6) (2005), pp. A1–A11. doi: 10.1190/1.2122408

[14] D. C. L. Fong, M. A. Saunders: LSMR: An iterative algorithm for sparseleast-squares problems, SIAM Journal on Scientific Computing, 33(5) (2011), pp.2950–2971. doi: 10.1137/10079687X

[15] A. George, J. W. H. Liu: Computer Solution of Large Sparse Positive DefiniteSystems, Prentice-Hall, Englewood Cliffs, NJ, 1981.

[16] G. H. Golub, M. Heat, G. Wahba: Generalized cross-validation as a methodfor choosing a good ridge parameter, Technometrics 21(2) (1997), pp. 215–223. doi:10.2307/1268518

[17] G. H. Golub, W. Kahan: Calculating the singular values and pseudo-inverse ofa matrix, Journal of SIAM Series B Numerical Analysis, 2(2) (1965), pp. 205–224.doi: 10.1137/0702016

[18] G. H. Golub, R. R. Underwood: The block Lanczos method for computingeigenvalues, in Mathematical Software, Vol. 3 (J. R. Rice ed.), Academic Press,New York, 1977, pp. 364–377.

17

Literatura

[19] G. H. Golub, C. F. Van Loan: An analysis of the total least squares pro-blem, SIAM Journal on Numerical Analysis, 17(6) (1980), pp. 883–893. doi:10.1137/0717073

[20] G. H. Golub, C. F. Van Loan: Matrix Computations, 4th Edition, Johns HopkinsUniversity Press, Baltimore, MD, 2013.

[21] G. H. Golub, U. Von Matt: Generalized cross-validation for large scale problems,Journal of Computational and Graphical Statistics, 6(1) (1997), pp. 1–34. doi:10.2307/1390722

[22] L. Grasedyck: Hierarchical singular value decomposition of tensors, SIAMJournal on Matrix Analysis and Applications, 31(4) (2010), pp. 2029–2054. doi:10.1137/090764189

[23] L. Grasedyck, D. Kressner, C. Tobler: A literature survey of low-rank tensorapproximation techniques, GAMM Mitteilungen, 36(1) (2013), pp. 53–78. doi:10.1002/gamm.201310004

[24] W. Hackbusch, S. Kuhn: A new scheme for the tensor representation, Journal ofFourier Analysis and Applications, 15(5) (2009), pp. 706–722. doi: 10.1007/s00041-009-9094-9

[25] J. S. Hadamard: Le probleme de Cauchy et les equations aux derivees partielleslineaires hyperboliques, Lecons professees a l’Universite Yale, Herman et Cie

Editeurs, Paris, 1932.

[26] P. C. Hansen: Analysis of Discrete Ill-Posed Problems by Means of the L-Curve,SIAM Review 34(4) (1992), pp. 561–580. doi: 10.1137/1034115

[27] P. C. Hansen: Rank Deficient and Discrete Ill-Posed Problems: NumericalAspects of Linear Inversion, SIAM Publications, Philadelphia, PA, 1996. doi:10.1137/1.9780898719697

[28] P. C. Hansen: Discrete Inverse Problems: Insight and Algorithms, SIAM Publi-cations, Philadelphia, PA, 2010. doi: 10.1137/1.9780898718836

[29] P. C. Hansen, V. Pereyra, G. Scherer: Least Squares Data Fitting withApplications, SIAM Publications, Philadelphia, PA, 2013.

[30] P. C. Hansen, M. Saxild-Hansen: AIR Tools — A MATLAB package ofalgebraic iterative reconstruction methods, Journal of Computational and AppliedMathematics, 236 (2012), pp. 2167–2178. doi: 10.1016/j.cam.s011.09.039.

[31] P. C. Hansen, M. Saxild-Hansen, et al.: AIR Tools — A MATLAB package ofalgebraic iterative reconstruction methods, Version 1.3, revised version, 2015.Available on http://www.imm.dtu.dk/˜pcha/AIRtools

[32] P. C. Hansen, H. O. Sørensen, Z. Sukosd, H. F. Poulsen: Reconstructionof single-grain orientation distribution functions for crystalline materials, SIAMJournal on Imaging Sciences, 2(2) (2009), pp. 593–613. doi: 10.1137/080726021

[33] P. C. Hansen, J. Nagy, D. P. O’Leary: Deblurring Images: Matrices, Spectra, andFiltering, SIAM Publications, Philadelphia, PA, 2006. doi: 10.1137/1.9780898718874

[34] M. R. Hestenes, E. Stiefel: Methods of conjugate gradients for solving linearsystems, Journal of Research of the National Bureau of Standards, 49(6) (1952),pp. 409–435. doi: 10.6028/jres.049.044

[35] I. Hnetynkova, M. Kubınova, M. Plesinger: Noise representation in of LSQR,LSMR, and CRAIG regularization, Linear Algebra and its Applications, 533 (2017),pp. 357–379. doi: 10.1016/j.laa.2017.07.031

[36] I. Hnetynkova, M. Plesinger: Complex wedge-shaped matrices: A generalizationof Jacobi matrices, Linear Algebra and its Applications, 487 (2015), pp. 203–219.doi: 10.1016/j.laa.2015.09.017

[37] I. Hnetynkova, M. Plesinger, D. M. Sima: Solvability of the core problem withmultiple right-hand sides in the TLS sense, SIAM Journal on Matrix Analysis andApplications, 37(3) (2016), pp. 861–876. doi: 10.1137/15M1028339

[38] I. Hnetynkova, M. Plesinger, D. M. Sima, Z. Strakos, S. Van Huffel: Thetotal least squares problem in AX ≈ B: A new classification with the relationshipto the classical works, SIAM Journal on Matrix Analysis and Applications, 32(3)(2011), pp. 748–770. doi: 10.1137/100813348

[39] I. Hnetynkova, M. Plesinger, Z. Strakos: The regularizing effect of the Golub–Kahan iterative bidiagonalization and revealing the noise level in the data, BITNumerical Mathematics, 49(4) (2009), pp. 669–696. doi: 10.1007/s10543-009-0239-7

18

Literatura

[40] I. Hnetynkova, M. Plesinger, Z. Strakos: Lanczos tridiagonalization, Golub–Kahan bidiagonalization and core problem, Proceedings in Applied Mathematicsand Mechanics, 6(1) (2006), pp. 717–718. doi: 10.1002/pamm.200610339

[41] I. Hnetynkova, M. Plesinger, Z. Strakos: The core problem within li-near approximation problem AX ≈ B with multiple right-hand sides, SIAMJournal on Matrix Analysis and Applications, 34(3) (2013), pp. 917–931. doi:10.1137/120884237

[42] I. Hnetynkova, M. Plesinger, Z. Strakos: Band generalization of the Golub–Kahan bidiagonalization, generalized Jacobi matrices, and the core problem, SIAMJournal on Matrix Analysis and Applications, 36(2) (2015), pp. 417–434. doi:10.1137/140968914

[43] I. Hnetynkova, M. Plesinger, J. Zakova: Filter factors of truncated TLSregularization with multiple observations, Application of Mathematics, 62(2) (2017),pp. 105-120. doi: 10.21136/AM.2017.0228-16

[44] T. G. Kolda, B. W. Bader: Tensor decompositions and applications, SIAMReview, 51(3) (2009), pp. 455–500. doi: 10.1137/07070111X

[45] D. Kressner, M. Plesinger, C. Tobler: A preconditioned low-rank CG methodfor parameter-dependent Lyapunov matrix equations, EFPL Mathicse technicalreport № 18.2012 (preprint), 2012, 20 pages.Available on http://mathicse.epfl.ch/files/content [...]

/sites/mathicse/files/Mathicse reports 2012/18.2012 DK-MP-CT.pdf

[46] D. Kressner, M. Plesinger, C. Tobler: A preconditioned low-rank CG methodfor parameter-dependent Lyapunov matrix equations, Numerical Linear Algebrawith Applications, 21(5) (2014), pp. 666–684. doi: 10.1002/nla.1919

[47] D. Kressner, C. Tobler: Low-rank tensor Krylov subspace methods for parame-trized linear systems, SIAM Journal on Matrix Analysis and Applications, 32(4)(2011), pp. 1288–1316. doi: 10.1137/100799010

[48] D. Kressner, C. Tobler: Algorithm 941: htucker—A Matlab toolbox for tensorsin hierarchical Tucker format, ACM Transactions on Mathematical Software, 40(3)(2014), article 22, 22 pages. doi: 10.1145/2538688Available on http://anchp.epfl.ch/htucker

[49] D. Kressner, C. Tobler: htucker — A MATLAB toolbox for tensors in hierar-chical Tucker format, Technical Report 2012-02, Seminar for Applied Mathematics,ETH Zurich, 2012. Available on http://anchp.epfl.ch/htucker andhttp://sma.epfl.ch/˜anchpcommon/publications/htucker manual.pdf

[50] C. L. Lawson, R. J. Hanson: Solving Least Squares Problems SIAM Publications,Philadelphia, PA, 1995. doi: 10.1137/1.9781611971217

[51] J.-R. Li, J. White: Low rank solution of Lyapunov equations, SIAM Jour-nal on Matrix Analysis and Applications, 24(1) (2002), pp. 260–280. doi:10.1137/S0895479801384937

[52] J.-R. Li, J. White: Low-rank solution of Lyapunov equations, SIAM Review, 46(4)(2004), pp. 693–713. doi: 10.1137/S0036144504443389

[53] J. Liesen, Z. Strakos: Krylov Subspace Methods. Principles and Analysis,Numerical Mathematics and Scientific Computation, Oxford University Press,2013.

[54] G. Meurant: The Lanczos and Conjugate Gradient Algorithms. From Theory toFinite Precision Computations, SIAM Publications, Philadelphia, PA, 2006. doi:10.1137/1.9780898718140

[55] V. A. Morozov: On the solution of functional equations by the method ofregularization (in Russian), Soviet Mathematics – Doklady, 7 (1966), pp. 414–417.

[56] V. A. Morozov: Methods for Solving Incorrectly Posed Problems, Springer, NewYork, 1984. doi: 10.1007/978-1-4612-5280-1

[57] F. Natterer: The Mathematics of Computerized Tomography, B. G. Teubner,Stuttgart, 1986.

[58] I. V. Oseledets: Tensor-train decomposition, SIAM Journal on Scientific Compu-ting, 33(5) (2011), Number 5, pp. 2295–2317. doi: 10.1137/090752286

[59] C. C. Paige, M. A. Saunders: Solutions of sparse indefinite systems of linearequations, SIAM Journal on Numerical Analysis, 12(4) (1975), pp. 617–629. doi:10.1137/0712047

19

Literatura

[60] C. C. Paige, M. A. Saunders: LSQR: An algorithm for sparse linear equationsand sparse least squares, ACM Transactions on Mathematical Software, 8(1) (1982),pp. 43–71. doi: 10.1145/355984.355989

[61] C. C. Paige, M. A. Saunders: ALGORITHM 583 LSQR: Sparse Linear equationsand least squares problems, ACM Transactions on Mathematical Software, 8(2)(1982), pp. 195–209. doi: 10.1145/355993.356000

[62] C. C. Paige, Z. Strakos: Scaled total least squares fundamentals, NumerischeMathematik, 91(1) (2002), pp. 117–146. doi: 10.1007/s002110100314

[63] C. C. Paige, Z. Strakos: Unifying least squares, total least squares and data leastsquares, in Total Least Squares and Errors-in-Variables Modeling (S. Van Huffel,P. Lemmerling eds.), Kluwer Academic Publishers, Dordrecht, 2002, pp. 25–34.doi: 10.1007/978-94-017-3552-0 3

[64] C. C. Paige, Z. Strakos: Core problem in linear algebraic systems, SIAMJournal on Matrix Analysis and Applications, 27(3) (2006), pp. 861–875. doi:10.1137/040616991

[65] T. Penzl: A cyclic low-rank Smith method for large sparse Lyapunov equati-ons, SIAM Journal on Scientific Computing, 21(4) (1999), pp. 1401–1418. doi:10.1137/S1064827598347666

[66] M. Plesinger: The Total Least Squares Problem and Reduction of Data inAX ≈ B, Ph.D. thesis, Technicka univerzita v Liberci, Liberec, 2008.

[67] J. K. G. Radon: Uber die Bestimmung von Funktionen durch ihre Integralwertelangs gewisser Mannigfaltigkeiten, Berichte uber die Verhandlungen der Koniglich-Sachsischen Akademie der Wissenschaften zu Leipzig, Mathematisch-PhysischeKlasse 69 (1917), pp. 262–277.

[68] J. K. G. Radon, (P. C. Parks translator): On the determination of functionsfrom their integral values along certain manifolds, IEEE Transactions on MedicalImaging, 5(4) (1986), pp. 170–176. doi: 10.1109/TMI.1986.4307775

[69] A. Ruhe: Implementation aspects of band Lanczos algorithms for cmputation ofeigenvalues of large sparse matrices, Mathematics of Computation, 33 (1979), pp.680–687. doi: 10.1090/S0025-5718-1979-0521282-9

[70] Y. Saad, M. H. Schultz: GMRES: a generalized minimal residual algorithm forsolving nonsymmetric linear systems, SIAM Journal on Scientific and StatisticalComputing, 7(3) (1986), pp. 856–869. doi: 10.1137/0907058

[71] D. M. Sima: Regularization Techniques in Model Fitting and Parameter Estimation,Ph.D. thesis, Katholieke Universiteit Leuven, Leuven, Belgium, 2006.

[72] A. N. Tichonov, A. V. Goncarskij, V. V. Stepanov, A. G. Jagola, (J. Busatranslator): Numericke metody riesenia nekorektnych uloh, Technicka univerzitav Kosiciach, Kosice, 2000.

[73] P. Tichy: Analysis of Krylov Subspace Methods, habilitation thesis, UniverzitaKarlova v Praze, Praha, 2015.

[74] C. Tobler: Low-rank tensor methods for linear systems and eigenvalue problems,Ph.D. thesis, ETH Zurich, Zurich, 2012.Available on http://sma.epfl.ch/˜ctobler/diss.pdf

[75] L. R. Tucker: Implications of factor analysis of three-way matrices for measure-ment of change, in Problems in Measuring Change (C. W. Harris ed.), Universityof Wisconsin Press, 1963, pp. 122–137.

[76] L. R. Tucker: The extension of factor analysis to three-dimensional matrices,in Contributions to Mathematical Psychology (H. Gulliksen, N. Frederikseneds.), Holt, Rinehardt & Winston, New York, 1964, pp. 110–127.

[77] L. R. Tucker: Some mathematical notes on three-mode factor analysis, Psycho-metrika 31(3) (1966), pp. 279–311. doi: 10.1007/BF02289464

[78] E. Tyrtyshnikov: Numerical methods with tensor representations of data, lectureof Summer Supercomputing Academy, 2012. Available onhttp://academy2012.hpc-russia.ru/files/lectures/algebra/0703 1 tyrtyshnikov.pdf

[79] R. R. Underwood: An Iterative Block Lanczos Method for the Solution of LargeSparse Symmetric Eigenproblems, Ph.D. thesis, Stanford University, CA, 1975.

20

Literatura

[80] S. Van Huffel: Documented Fortran 77 Programs of the Extended Classical TotalLeast Squares Algorithm, the Partial Singular Value Decomposition Algorithmand the Partial Total Least Squares Algorithm, Internal report ESAT-KUL 88/1,Katholieke Universiteit Leuven, Leuven, Belgium 1988.

[81] S. Van Huffel: The extended classical total least squares algorithm, Journalof Computational and Applied Mathematics, 25(1) (1989), pp. 111–119. doi:10.1016/0377-0427(89)90080-0

[82] S. Van Huffel (ed.): Recent Advances in Total Least Squares Techniques andError-in-Variables Modeling, Proceedings of the Second Int. Workshop on TLS andEIV, SIAM Publications, Philadelphia, PA, 1997.

[83] S. Van Huffel, P. Lemmerling (eds.): Total Least Squares and Error-in-VariablesModeling. Analysis, Algorithms and Applications, Kluwer Academic Publishers,Dordrecht, The Netherlands, 2002.

[84] S. Van Huffel, J. Vandewalle: The Total Least Squares Problem: Compu-tational Aspects and Analysis, SIAM Publications, Philadelphia, PA, 1991. doi:10.1137/1.9781611971002

[85] N. Vervliet, O. Debals, L. Sorber, M. Van Barel, L. De Lathauwer:Tensorlab 3.0, 2016. Available on http://www.tensorlab.net

[86] M. Wei: The analysis for the total least squares problem with more than onesolution, SIAM Journal on Matrix Analysis and Applications, 13(3) (1992), pp.746–763. doi: 10.1137/0613047

[87] M. Wei: Algebraic relations between the total least squares and least squaresproblems with more than one solution, Numerische Mathematik, 62(1) (1992), pp.123–148. doi: 10.1007/BF01396223

21