vorlesung 1: einführung · m. giese: computeranimation und lernmethoden in computergrafik 23...
TRANSCRIPT
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
Vorlesung 1:Einführung
Martin Giese
Computeranimation und Lernmethoden in der Computergrafik
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
Parent, R. (2002). Computer Animation. Morgan Kaufmann Publishers, New York.
Watt, A. (1999). 3D-Computergrafik. Pearson Studium, München.
Watt, A. & Watt, M. (1992). Advanced Animation and Rendering Techniques. Addison-Wesley, New York.
Hastie, T., Tibshirani, R. & Friedman, J. (2001). The Elements of Statistical Learning. Springer, Berlin.
Empfehlenswerte Bücher
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
Vorlesungs-Ankündigung …
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
Vorlesungs-Ankündigung …
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
Vorlesungs-Webseite
http://www.uni-tuebingen.de/uni/knv/arl/courses/Course-CAL.htm
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
Übersicht
Übersicht über Computer AnimationSpezielle Themen dieser VorlesungGrundkonzepte des MaschinenlernensThemen + Termine der folgendenVorlesungenBeispiele aus den folgenden Vorlesungen
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
I. Übersicht: Computeranimation
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
Definition: Computer Animation
Hohe Relevanz: Filme, Werbung, VR
Meilenstein: Walt Disney Zeichentrickfilme
Früher Kinderfilme und Spezialeffekte; heute z.T. ganze
Filme oder Teile von Filmszenen durch Animationen
ersetzt (z.B. Gollum, Polar Express, …)
Jurassic Park Wendepunkt: Animation breit in der
Filmindustrie etabliert
Kernproblem: Simulation realistischer Bewegungen
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
Teilgebiete der Computer AnimationAnimation starrer Körper (“fliegendes Logo”, Simulation von Kamerabewegungen, usw.)
Animation gegliederter (artikulierter) Strukturen
Animation von deformierbaren Objekten und Gesichtern
Dynamische Simulation (physikalische Animation)
Partikelanimation (große Zahlen bewegter Körper, Feuerwerk, Wasser, usw.)
Verhaltensanimation / Verhaltensskripte (reaktivekontextabhängige von Bewegung; Game Engines)
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
Teilgebiete der Computer AnimationAnimation starrer Körper (“fliegendes Logo”, Simulation von Kamerabewegungen, usw.)
Animation gegliederter (artikulierter) Strukturen
Animation von deformierbaren Objekten und Gesichtern
Dynamische Simulation (physikalische Animation)
Partikelanimation (große Zahlen bewegter Körper, Feuerwerk, Wasser, usw.)
Verhaltensanimation / Verhaltensskripte (reaktivekontextabhängige von Bewegung; Game Engines)
= behandelt in dieser Vorlesung
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
Geschichte der Computer AnimationAb 1880 erste Demos mit bewegten Bildern
1880 Muybridge analysiert Bewegungen
1893 Edison entwickelt Kinematoskop (nur ein Zuschauer)
1894 L. Lumier entwickelt Kinematograph (mit Schirm)
1900 Blackton: ‘Enchanted Drawing’ (erste Animation)
1914 ‘Gertie der Dinosaurier’ (sehr bekannte frühe Animation)
1927 Walt Disney: Oswald, der glückliche Hase (erste kommerziellerfolgreiche Animation)
1927 Walt Disney kreiert Mikey Mouse
1927 Skeleton Dance (Disney): erste Synchronisation von Animation mit Musik
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
Geschichte der Computer Animation
Edison (1917) Gertie the Dinosour (1921)
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
Geschichte der Computer Animation1963 I. Sutherland (MIT) erste interaktive Animation
1969 Begründung der SIGGRAPH
1974 F. Parke endtwickelt Talking Face
1975 N. Badler entwickelt Jack: Software für Bewegung animierterKörper von Pose zu pose mit Randbedingungen
1980 Gründung des M.I.T. Media-labs
1986 Luxo Jr (Pixar) nominiert für Oscar
1986 Young Sherlock Holmes (ILM) erste Mischung von Animation und echten Szenen
1988 Willow (Lucas) erste Anwendung von Morphing
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
Geschichte der Computer Animation1991 M. Jackson’s Video Black or White macht Morphing als Technik
Populär
1993 Jurassic Park (ILM) integration von Dinosauriern in echte Szenen
1994 Forrest Gump (ILM) mixt altes Fimmaterial mit neuen Szenen
1996 Star Wars Episode I: Kombination von 66 anmierten Figuren mit echten Schauspielern; erster synthetischer Schauspieler
1999 Toy Story 2 (Pixar)
2001 Neue Oscar-Kategorie: Best Animated Feature Film Award.
2003 Oscar für Herr der Ringe
2004 Oscar für Findet Nemo
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
II. Grundkonzepte des Maschinenlernens
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
Maschinenlernen
Definition:
Klasse von Algorithmen zur Extraktion von Parametern, Zusammenhängen oder
Strukturen aus Datensätzen.
xx
xx
x
x xx x
x
xx
x
x x
x
Trainingsdatensatz Testdatensatz
Generalisierung
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
Maschinenlernen
Typische LernproblemeÜberwachtes Lernen (supervised learning)
Daten: Input-Output-Paare
Ziel: Lernen der Beziehung
zwischen x und y
Unüberwachtes Lernen (unsupervised learning)Daten: Nur InputsZiel: Modell für x lernen
(z.B. zur Vorhersage)x
x y“Lerner”
“Lerner”
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
Maschinenlernen
Typische Lernprobleme (Forts.)Verstärkungslernen (reinforcement learning)
Daten: Inputs xn, Belohnungen rn
Ziel: Lernen des optimalen
Verhaltens an bei gegebenen xn
xn an“Lerner”
rn
Belohnung / Bestrafung
Aktion
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
Maschinenlernen
Anwendungen: Überwachtes LernenZusamenhänge modellieren
Klassifizierung (y diskret) und Regression
(y kontinuierlich)
Prädiktion
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
Maschinenlernen
Anwendungen: Unüberwachtes LernenDimensionalitätsreduktion
Clustering
Unbeobachtete Quellenvariablen oder Ursachen
modellieren
Ausreisserelimination
Modellierung der Wahrscheinlichkeits-
dichtefunktion von Daten
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
Maschinenlernen
Beziehung mit Prädiktion und Modellierung:Überwachtes Lernen
Vorhersage von y
Gegebenen: x
Gesucht: Modell für Zusammenhang
Unüberwachtes LernenOptimale Vorhersagevon x durch “internes”generatives Modell
x y
x
)(ˆ xfy =
.Zufallsvar ˆˆ
2,1
2211
ξξξ aax +=
xaaxf 10 ˆˆ)(ˆ +=
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
Maschinenlernen
Inferenz:
Schätzen von unbeobachtbaren Variablen oderParametern aus Beispieldaten.
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
Maschinenlernen
Variablentypen
Binär (z.B. Detektion: “da” vs. “nicht da”)kategorial (z.B. Gesichtserkennung: “Bush”, “Monroe”, …)Kontinuierlich (z.B. Objektorientierung)Univariat (z.B. Helligkeit) vs. multivariat(z.B. RGB, oder alle Pixel eines Bildfensters)
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
Maschinenlernen
Beispiele
Klassische SignaldetektionZweiklassen-KlassifikationMultiklassen-KlassifikationRegressionClusteranalyseHauptkomponentenanalyse
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
Maschinenlernen
Beispiele
Klassische SignaldetektionZweiklassen-KlassifikationMultiklassen-KlassifikationRegressionClusteranalyseHauptkomponentenanalyse
Radar
t
?
Überwachtes Lernenx,y univariatx: kontinuierlich; y: binär
y
x
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
Maschinenlernen
Beispiele
Klassische SignaldetektionZweiklassen-KlassifikationMultiklassen-KlassifikationRegressionClusteranalyseHauptkomponentenanalyse
Geschlechtserkennung
Überwachtes Lernenx: multivariat, kontinuierlichy: binär
x: (R,G,B) pixely: Geschlecht: m / w
Moghaddam & Yang (1998)
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
Maschinenlernen
Beispiele
Klassische SignaldetektionZweiklassen-KlassifikationMultiklassen-KlassifikationRegressionClusteranalyseHauptkomponentenanalyse
Gesichtererkennung
“H. Bogart”
Überwachtes Lernenx: multivariat, kontinuierl.(Pixel-Maps)y: diskret
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
Maschinenlernen
Beispiele
Klassische SignaldetektionZweiklassen-KlassifikationMultiklassen-KlassifikationRegressionClusteranalyseHauptkomponentenanalyse
Regression
Überwachtes Lernenx: kontinuierlichy: kontinuierlich
xx
xx
x
x x
x
x
y
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
Maschinenlernen
Beispiele
Klassische SignaldetektionZweiklassen-KlassifikationMultiklassen-KlassifikationRegressionClusteranalyseHauptkomponentenanalyse
Bildsegmentierung
Unüberwachtes Lernenx: multivariat, kontinuierl.(Pixel-Map)
xx
xx
xx xx
x1=R
x2=G x3=Bx
xx
x
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
Maschinenlernen
Beispiele
Klassische SignaldetektionZweiklassen-KlassifikationMultiklassen-KlassifikationRegressionClusteranalyseHauptkomponentenanalyse
“Eigen faces”
Unüberwachtes Lernenx: multivariat, kontinuierl.(Pixel-Maps)“Eigengesichter”orthogonal
Linear-kombination
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
Warum Lernen in der Computergrafik?
Komplexe visuelle Objekteschwer modellierbarHoher Aufwand für ModellierungFlexibiliätDatenkompressionExtraktion / Modellierung von intrinsischen Dimensionen(z.B. männlich / weiblich)
T. Vetter (Freiburg)
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
Geschichte von Lernansätzen
Spracherkennung:1960…1980: zahlreiche Ansätze1980: Lernansätze (HMMs) werden populär>1990: HMMs sind Standardmethode
Computervision:vor 1990: einfache Lermethoden für MustererkennungAb 1990: Systematische Übertragung von Lernansätzenauf Visionprobleme (Klassifikatoren, Kalman-Filter, HMMs, Neuronale Netze)
Computergrafik:Ende der 90er: Lernmethoden werden zunehmend populärAb 2001: Literatur in Computeranimation dominiert durchAnsätze die auf MOCAP-Daten (Lernen) beruhen
(s.a. Freeman, 2001)
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
Computeranimation und Computergrafik
Lernansätze relevant z.B. für:
Textursynthese, Simulation von MaterialienModellierung von komplexen Formen + GesichternModellierung von Bewegungstexturen (Wasser, Rauch, usw.) Modellierung von KörperbewegungenModellierung nichtrigider Bewegung (z.B. Gesicht)Unterstützung von BewegungstrackingVideo-Sprach-Systeme
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
III. Übersicht der Vorlesung
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
3. Animation mit dynamischen Modellen(Kinematik, inverse Kinematik, Differentialgleichungen, Simulation einfacher Bewegungen, Simulation von Laufen, Anwendungen)
4. Bewegungsprimitive und Beziehungen zur Robotik(Biologische Motivation, heuristische Ansätze, Anwendungenin der Animation, Anwendungen in der Robotik)
09.12.05
1. Einführung (Übersicht, Termine, Prüfungen)
2. Klassische Keyframe-Animation (Klassische Ansätze, Interpolationsmethoden, Splines, Quaternionen)
02.12.05
Zeitplan (vorläufig …)
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
5. Interpolations- und Morphing-Modelle(Korrespondenzberechnung, Morphing, Morphing-Modelle, Anwendungen)
6. Grundlagen von Motion Capture (Basis-Techniken, Hardware, Lösung von Korrespondenzproblemen, Datenfilterung)
Weihnachtsferien ------------
16.12.05
Zeitplan (vorläufig …)
7. Einfache Interpolationsmethoden und Retargetting(Motion-Morphing, Editiermethoden, Methoden imFrequenzraum, Spline-Interpolation, Retargetting)
8. Raumzeitliche Morphingmodelle (Raumzeit-Korrespondenz, Linearkombinationsmodelle, Segementierung von Bewegungsprimitiven, Analyseanwendungen, Anwedungen in der Animation)
13.01.06
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
11. Kombination von Motion-Capture mit physikali-schen Animationsmethoden (Kombination von Dynmiksimulation mit MOCAP, dynamische Stabilitäts-kriterien, ZMP)
12. Lernen von Bewegungskomponenten und FacialAction Units (Unüberwachte Lernmethoden, ICA, Animation basierend auf gelernten Komponenten, Synergien)
27.11.06
9. Dictionary-Methoden und Suchealgorithmen fürMocap-Datenbasen (Identifikation von Bewegungs-primitiven, Indizierung von Datenbasen, Synchronisation mit externen Rhythmen)
10. Hidden-Markov-Modelle und stochastischeAnimationsmethoden (Theoretische Grundlagen, Raumzeit-Texturen, ‘Style-machines’)
20.01.06
Zeitplan (vorläufig …)
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
13. Psychophysische Evaluation von Animations-methoden (Einfache Psychophysische Messmethoden, Signaldetektionstheorie, Anwendungsbeispiele)
14. Diskussion / Klärung von Fragen
03.02.06
Zeitplan (vorläufig …)
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
Einige Beispielanwendungenaus der Vorlesung …
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
Beispiel 1: Imitationslernen von komplexen Bewegungen
Schaal, Ijspeert& Billard (2003)
Lernen von Bewegungen durch Imitation eines VormachersZerlegung in einfachere Einheiten(Bewegungsprimitive)Problem: Parametrisierung dieser EinheitenDemo: Lernen komplexer Bewegungen, z.B. Tennisaufschläge
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
Beispiel 2: Lernen von Mannigfaltigkeiten
Originaldaten
Geschätzte Mannigfaltigkeitenniedrigdimensionalhochdimensional
AnwendungenModellierung: AbbildungRN → Rd N >> dApproximation durch LC der Nachbarn
Gewichte übernommenLokale ≠ globale Ählichkeit
Abbildung
Basisbewegungen von Händekreisen”
“Mundformraum”
Roweis & Saul (2000) Jenkins & Mataric(2003)
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
Beispiel 3: Synthese von Gesichtern3D Laserscans von ca. 200 Gesichtern3D KorrespondenzberechnungMorphable model:
Linearkombination derKorrespondenzfelder3D-Warping mit kombinierten 3D-Shifts
Korrespondenz
Beymer (1995)
Blanz & Vetter (1999)
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
Beispiel 4: Synthese von BewegungsstilenSynthese + Analyse von BewegungsstilenLinearkombination von BeispielbewegungenRauzeitliche Korrespondenz
Synthese verschiedener Skill-Level
Gangstile
Giese & Poggio (2000) Ilg & Giese (2002)
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
Beispiel 5: Synthese von BewegungsstilenSynthese + Analyse von BewegungsstilenLinearkombination von BeispielbewegungenRauzeitliche KorrespondenzÜbertreibungen von Bewegungsstilen
Übertreibung: Gesichtsbewegungen
Übertreibung: Gangstile
ÜbertreibungOriginal
Giese, Knappmeyer & Bülthoff (2002)Giese & Poggio (2000)
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
Beispiel 6: 3D-Struktur aus Video
Nichtrigide 3D-Struktur extrahiertaus 2D VideosequenzFaktorisierung von Struktur und BewegungOptischer Fluss in niedrigdimensionalem Unterraum→ 3D-Position von Oberflächenelementen kannbestimmt werdenLösung durch SVD
Brand (2001)
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
Beispiel 7: Photorealistische AvatareExtrem realistisch (“Touringtest”)Automatische Übersetzung von Phonemen (Sprache) in Viseme(Computeranimation)5-8 s Video reichen für TrainingNur Mundregion animiertAlgorithmus: 2D Morphing Modelle für Bilder und opt. FlussAutomatische Extraktion von ~50 informativen KeyframesOptischer Fluss berechnet durchAddition der Flusses zwischenFramepaaren
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
Beispiel 7: Photorealistische Avatare
Ezzatt, Geiger & Poggio (2003)
M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005
Wichtige Punkte (bitte behalten !)
Themen der ComputeranimationKlassifizierung verschiedenerLernmethodenGründe für Relevanz von Lernen inComputergrafikTraue keinem Video ………