(multimedia systems) - tams.informatik.uni-hamburg.de · [email protected] fax:...
TRANSCRIPT
![Page 1: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/1.jpg)
(Multimedia Systems)
Norman Hendrich
Medientechnik
Universität Hamburg, Fachbereich Informatik, TAMS
http://tams-www.informatik.uni-hamburg.de/lehre/ss2004/vorlesungen/medientechnik/
Medientechnik | SS 2004
![Page 2: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/2.jpg)
[email protected]: 040 42883 2397Telefon: 040 42883 2399
Haus F, Raum F314(oder einfach vorbeikommen)Sprechstunde: nach Vereinbarung
D 22527 HamburgVogt-Kölln-Str. 30Fachbereich InformatikUniversität HamburgDr. Norman Hendrich
Kontakt
Medientechnik | SS 2004
![Page 3: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/3.jpg)
Datenkompression und -kodierung
---
08.07
---
01.07
24.06
17.06
10.06
27.05
13.05
06.05
29.04
22.04
15.04
08.04
01.04
Termine:
Rechnerarchitekturen, Medienbefehlssätze
Datenspeicherung, CD/DVD/DVR
mobile Geräte und Miniaturisierung
I/O-Geräte: Displays, Haptik, ...
Audio: Musik, Sprache, MIDI
Einführung, Begriffe, Aktuelles
Medienorganisation und -suche, MPEG-4/-7/-21
jeweils Do, 12 - 14, Raum F334
Bilder: Datenformate, GIF, JPEG, Vektorgraphik
Video: analog, MPEG-1/-2, H.26x
Datenübertragung, Streaming, P2P-Netzwerke
Medien-Frameworks, DirectX, JMF
Themen und Termine
Medientechnik | SS 2004
![Page 4: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/4.jpg)
(Editorial, c't 12/91)
Welche Vorteile haben "digitale" Medien?
beliebig gute Qualität, keine Alterung, perfekt kopierbar
Flexibilität, jederzeit editierbar
Kombination aller Modalitäten: Auge, Ohr, Tastsinn, ...
digitale Medien . . .
Medientechnik | SS 2004
![Page 5: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/5.jpg)
usw. ...
Rechnerarchitektur
Welche Anforderungen ergeben sich daraus:
Chancen und Grenzen der Miniaturisierung
Kennenlernen wichtiger Konzepte und Algorithmen
Fähigkeit zum Einschätzen zukünftiger Entwicklungen
Welche Medien gibt es?
I/O-Geräte, neue Konzepte dafür
Performance, Speicherbedarf
Datenkompression und Datenformate
Wie werden Mediendaten verarbeitet?
Physiologische Grundlagen?
Medientechnik | SS 2004
Inhalt und Lernziel
![Page 6: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/6.jpg)
Medientechnik | SS 2004
[... Ergänzungsfächer, Grundlagenfächer, Schwerpunkte, usw.]
Studienprofil: interaktive Medien
... Studienprofile dienen der Orientierung der Studierenden.Das Curricularteam sieht daher die Notwendigkeit zur Etablierung eines
zu konzipieren.vorrangig Lehrveranstaltungen mit großer fachlicher Breite, aber geringer Tiefein den bestehenden Schwerpunkten, sind für die Zwecke des neuen StudienprofilsFaches angemessen widerspiegelt. Gegenüber den derzeitigen Angebotenüberschaubaren Studienangebots, das dennoch die fachliche Breite des
erreicht wurde.Ausdifferenzierung kann erfolgen, wenn eine gewisse Konsolidierung des Angebotsim Profil vor, um die Anlaufschwierigkeiten zu minimieren. Eine fachliche... schlägt das Curricularteam die Einrichtung vorerst nur eines Schwerpunkts
Der Rahmenstudienplan wird erweitert um ein fünftes Studienprofil"interaktive Medien" mit folgenden Angaben:
(Uni HH, FB Informatik, 9/2000)
![Page 7: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/7.jpg)
Medientechnik | SS 2004
angewandte InformatikCGB, 1 aus GBI, DOS
STE, 1 aus DIS, SNN, VSS, WBS
DKR
LOS, PNL, 1 aus AUK, STH
praktische Informatik
technische Informatik
theoretische Informatik
Studienprofil: interaktive Medien
D.-Fischer, Neumann, Stiehl
Interaktionsdesign
Entwurf von Hypermediasystemen
Computergestützte kooperative Arbeit
Bildverarbeitung
Audioverarbeitung
Textanalyse
Virtuelle Realität
Verteilte Systeme für interaktive Medien
Netzsicherheit, Kryptologie
Multimedia-Datenbanken
Oberquelle
Oberquelle, Floyd
Lamersdorf
Menzel, Habel
Beckhaus, Möller
Menzel, v.d.Heide, Wolfinger
Medientechnik
NN, Schefe
Brunnstein, Mück, Posegga
Lehmann, NN
Ritter
![Page 8: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/8.jpg)
Applikationen
große Breite, geringe Tiefe :-)
Themen mit einiger Tiefe:
oberflächlich:
Medientechnik | SS 2004
Audiokodierung, MPEG-4 structured audio
Videokodierung, MPEG bzw. H.26x
physiologische Grundlagen
Signalverarbeitung
Datenformate, -kompression
Rechnerarchitektur für Medienverarbeitung
Geräte, Miniaturisierung, Ausblick auf Mikrosysteme
Netzwerke / QoS / ...
Graphik- / Bild- / Sprachverarbeitung / ...
![Page 9: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/9.jpg)
Feedback ist erwünscht:
Material zur Vorlesung:
kein ausformuliertes Skript
aber vollständige Folienkopien
dort auch Links und Medienbeispiele
Hinweise, Vorschläge, Korrekturen
selbst ausdrucken (evtl. Druck via ZVV - wenn fertig)
aktueller Stand jeweils auf dem TAMS Webserver
tams-www.informatik.uni-hamburg.de/lehre/ss2004/vorlesungen/medientechnik/
Hinweise auf Literatur / Software / News / gute Medienbeispiele
Medientechnik | SS 2004
Literatur: Skript
![Page 10: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/10.jpg)
3-932645-12-X
3-933180-62-7, Lexika Verlag
Martina und Wolfgang Jäger, Studienführer Neue Medien,
3-446-21751-7, Fachbuchverlag Leipzig, 2001
Peter A. Henning, Taschenbuch Multimedia
3-540-67332-6, Springer Verlag, 2000
Ralf Steinmetz, Multimedia-Technologie,
Medien-Handbuch Hamburg, über 9000 Adressen für Film, Funk, ...
H. Edienberger, R. Divotkey, Medienverarbeitung in Java
3-89864-184-4, dpunkt Verlag, 2004
(gilt als 'Klassiker', aber schlecht strukturiert)
(www.kom.e-technik.tu-darmstadt.de)
Medientechnik | SS 2004
Literatur: Bücher
![Page 11: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/11.jpg)
R.Sedgewick, Algorithms in C++, Addison Wesley, 1998
B.Bargen,Peter Donnelly, Inside DirectX, Microsoft Press, 1998
Bob Hughes, Dust or Magic, Secrets of Multimedia Design, Addison Wesley, 2000
Steve Furber: ARM System-on-Chip Architecture, Addison Wesley, 2001
Udo Zoelzer, Digitale Audiosignalverarbeitung, Teubner, 2000
D.A.Patterson, J.L.Hennessy, Computer Architecture, Morgan Kaufmann, 1996
J.L.Hennessy, D.A.Patterson, Computer Organization & Design, Morgan Kaufmann, 1998
D.Salomon, Data compression, Springer 2000
Literatur: weitere Bücher
Medientechnik | SS 2004
![Page 12: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/12.jpg)
www.javasoft.com/products/java-media/jmf/
msdn.microsoft.com/library/default.asp
www.altavista.com, www.google.comMediensuche (experimentell):
www.google.comSuchmaschinen:
www.media.mit.edu MIT Media Lab:
spezielle Links zu den einzelnen Themen später
MPEG-Infos: www.cselt.it/mpeg/
Berkeley Smart Dust: robotics.eecs.berkeley.edu/~pister/SmartDust/
Microsoft MSDN Library
Java Media Framework
Literatur: WWW
Medientechnik | SS 2004
![Page 13: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/13.jpg)
(Microsoft Encarta'99)
"anything that you can use to give somebody else
an experience of some kind, in your absence" (Bob Hughes)
"Ding in der Mitte"
also im weiteren Sinne: das "Design" für jedes Produkt
Medientechnik | SS 2004
Medium: Definition(en)
![Page 14: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/14.jpg)
(Microsoft Encarta'99)
Medientechnik | SS 2004
"Multimedia"
![Page 15: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/15.jpg)
vgl. Philips/Sony CD-I Desaster...
vgl. "Multimedia CD-ROMs" mit guten Büchern...
und benutzerfreundlicher (!)
traditionelle Medien oft effizienter
oft als Selbstzweck
"Multimedia":
und nicht automatisch gut
das "M-Wort"
"Vom Fotopapier zum Videoclip" (Springer, 2000)
Demo (zum Abschrecken):
"Multimediocricity"
Medientechnik | SS 2004
![Page 16: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/16.jpg)
(R.Steinmetz, MM systems)
Medientechnik | SS 2004
"Multimedia": Informatik-Themen
![Page 17: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/17.jpg)
Medientechnik :=
Multimedia systems
Multimedia-Technologie
im Sinne dieser Vorlesung:
Studienprofil "Interaktive Medien":
Studienprofil "Technikorientierte Informatiksysteme"
Medientechnik | SS 2004
"Medientechnik": bessere Titel?
![Page 18: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/18.jpg)
Medientechnik | SS 2004
Medientechnik: an der FHH
![Page 19: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/19.jpg)
Medientechnik FHH: Curriculum . . .
Medientechnik | SS 2004
![Page 20: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/20.jpg)
Medientechnik | SS 2004
MIT Media Lab
![Page 21: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/21.jpg)
Grundlagen TechnologienProtokolle / NetzwerkeApplikationenInteraktion, GUIs, ...
Medientechnik | SS 2004
MIT Media Lab: Projects
![Page 22: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/22.jpg)
virtuelle Instrumente, ...
(Cubase: www.steinberg.de, Logic: www.emagic.de)
CPU und Festplatten - limitiert nur durch dievon Kanälen und Effekten z.B. Mischpult, bel. Anzahl
in Software, flexible GUI,vollwertiges Tonstudio
"Virtual Studio Technology"
Medientechnik | SS 2004
Applikationsbeispiel: Cubase VST
![Page 23: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/23.jpg)
[Echtzeitkorrektur von Gesang / Instrumenten: seit Q1/1999]
Sie sehen gut aus, aber Ihr Gesang ist lausig?
Medientechnik | SS 2004
![Page 24: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/24.jpg)
Medientechnik | SS 2004
Applikationsbeispiel: VIPER
Inhaltsbasierte Bilder-Suche
vgl. images.google.de
![Page 25: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/25.jpg)
Algorithmen zur Medienverarbeitung? in allen Bereichen:
kooperatives Arbeiten, Design, ...
Sprach- / Gestenerkennung, neue Benutzerschnittstellen, ...
Datenübertragung, Netzwerke, Streaming, ...
Text, Graphik (2D/3D), Audio, Video
und natürlich die einzelnen Teilthemen:
(MPEG-7, ...)Medien-Indizierung, -Suche
(VRML, ...)Beschreibungssprachen
effiziente Datenkompression
Multimedia-Datenformate
(MP3, JPEG)Ausnutzen physiologischer Grenzen
(MPEG, H.26x, GSM)
(AVI, QT, ...)
Informatikbezug: Algorithmen
Medientechnik | SS 2004
![Page 26: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/26.jpg)
(Sample einmal benutzt)
(z.B. MPEG-Encoder)
(MMX, SSE, ...)
=>
Signalprozessoren, Spezialchips
Medienbefehlssätze, Streaming
erfordert angepasste Rechnerarchitektur
(Sättigung, Rundung)oft besondere Arithmetiken notwendig
"normale" Rechner und Workstations nicht optimal
oft hohe Parallelität
=>
Signalverarbeitung, MAC-Operationen
kaum Lokalität, Caches nutzlos
(MB/s .. GB/s)
(8 bit, 16 bit)einzelne Samples klein
sehr hohe Datenmengen
besondere Merkmale von Medienverarbeitung:
Medientechnik | SS 2004
Informatikbezug: Rechnerarchitektur
![Page 27: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/27.jpg)
Co-Design, Co-Simulation, Software für eingebettete Systeme
exponentiell steigende Hochintegration (Moore's Gesetz):
erlaubt Miniaturisierung (Mobilgeräte)
erlaubt ganze Systeme auf einzelnen Chips
CPU + ASICs + Speicher + I/O
extrem kurze Marktzyklen, Time-to-Market Problem
erfordert entsprechend kurze Entwurfszeiten
für Hardware, Systemsoftware, Applikationen, Systemintegration
und zwar fehlerfrei, weil nicht korrigierbar...
Entwurf wird zunehmend zum Engpaß
Softwareanteil (=Informatik) solcher Systeme nimmt extrem zu
Informatikbezug: Systementwurf
Medientechnik | SS 2004
![Page 28: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/28.jpg)
Medientechnik | SS 2004
Bluetooth-IP (Ericsson)
32-bit µP (ARM7) + 384 KB FLASH + 64 KB SRAM + I/O
(S.Furber: ARM SoC architecture, 2000 / Philips PCF87750 docs)
SoC Beispiel: Philips Bluetooth IC
![Page 29: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/29.jpg)
keine allgemeine Theorie für die menschliche Wahrnehmung
Frequenzgang und Hörschwelle des Gehörs
Medientechnik | SS 2004
Physiologische Grundlagen
Multimedia wendet sich an Menschen
Berücksichtigen der physiologischen Gegebenheiten
von Gehör, Auge, Tastsinn, ...
Beispiele:
=>
Ausnutzen der "Maskierung" für MP3-Datenkompression
Ausnutzen von Helligkeits- vs. Farbwahrnehmung für JPEG/MPEG
3D-Sound durch Berechnung der Kopf-Übertragungsfunktion
usw.
nur Indizien; etwa optische Täuschungen:
![Page 30: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/30.jpg)
Medientechnik | SS 2004
Physiologie: Größentäuschung
![Page 31: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/31.jpg)
aber Gesamtbild nicht
lokale Details ok
Physiologie: Raumwahrnehmung
Medientechnik | SS 2004
![Page 32: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/32.jpg)
Physiologie: "rotsnake"
Medientechnik | SS 2004 http://www.ritsumei.ac.jp/~akitaoka/rotsnake.gif
![Page 33: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/33.jpg)
Physiologie: Grundanforderungen
Details und Begründungen später
1000 Updates/sec.
Kräfte bis ca 1 Kg, 8-bit AuflösungHaptik:
24 .. 50 Frames/sec. Video / Spiele:
24-bit Farbe pro Pixel (RGB)
Auflösungen 640x480 .. 3000x2000
Bildformate 4:3 / 3:2 / 16:9Bilder:
16-bit linear, 44.1 KHzMusik:
8-bit Samples (logarithmisch), 8 KHz
Medientechnik | SS 2004
Sprache:
![Page 34: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/34.jpg)
Medientechnik | SS 2004
möglichst geringes Gewicht
insbesondere für Mobilgeräte
möglichst geringer Stromverbrauch
typische Anforderungen der Medienverarbeitung:
große Datenmengen
erfordern entsprechende Speicherkapazität
Echtzeitverarbeitung / Synchronisierung
und entsprechende Rechenleistung
leistungsfähige I/O-Geräte: Sensoren, Aktoren, Speicher
weiterhin einer der Technologie-"Treiber"
Systemanforderungen für Multimedia:
Beispiele:
![Page 35: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/35.jpg)
= 8.82 MOPS
= 882 MOPS
44100 * 2 * 10 * 1000 Op/sec
Hall-Berechnung, 1000 Reflexionen a 10 MACs:
44100 * 2 * 100 MAC-Operationen/sec
Equalizer-Filter für CD-Audio: 100 Koeffizienten (FIR):
96000 * 16 * 3 Bytes/sec = 4.6 MB/sec
Tonstudio, 16-Spuren, 24-bit, 96 KHz:
= 635 MB/h
44100 * 2 * 2 Bytes/sec = 176 KB/sec
16-bit Samples, Stereo, 44.1 KHz AbtastungCD-Wiedergabe:
Anforderungen: Audio
Medientechnik | SS 2004
= 16 GB/h
![Page 36: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/36.jpg)
720 * 576 * 24 * 100 OPS = 1 GOPS
Annahme: 100 Operationen/Pixel:
720 * 576 * 3 * 24 Bytes/sec = 30 MB/sec
24 Frames/sec., 24-bit Farbe
Einzelbilder mit 720x576 PixelDVD-Wiedergabe:
Anforderungen: Video
Medientechnik | SS 2004
"Bewegungskompensation" durch Suche nach
Übereinstimmung zwischen zwei Bildern
> 10 GOPS
DVD-Enkodierung:
![Page 37: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/37.jpg)
Koordinatentransformation: 300.000 Ecken, je 16 MAC pro Vertex:
300.000 * 16 * 2 * 50 FLOPS = 480 MFLOPS
Beispiel: 100.000 Polygone pro Szene, 50 fps
"Overdraw" 5:
Texturberechnung: 1024x768 Pixel, 50 fps, 30 Operationen / Texel
1024 * 768 * 50 * 30 * 5 OPS = 5.9 GOPS
entsprechend höhere Anforderungen bei höherer Bildauflösung,
höherer Anzahl der Polygone, Antialiasing, etc.
zunehmende Verlagerung der Berechnung in die Graphikkarten
Anforderungen: 3D-Graphik
Medientechnik | SS 2004
![Page 38: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/38.jpg)
Zuse Z1
Instr./sec.
Speicher/Bytes
1K
1M
1G
1K 1M 1G 1T
Atari STApple2
Athlon/P4
Verbmobil Spracherkennung
DVD-Video
JPEG
MIDI-Synth
MP3
MPEG1 VCD
1 Seite ASCII
Audio-CD
Pentium/90
HDTV/DVR-Video
MIPS
MBytes (RAM, Platte)
Mbps
jede Rechnergeneration
Kriterien:
erlaubt neue Anwendungen
MPixel
Medien: Anforderungen
Medientechnik | SS 2004
![Page 39: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/39.jpg)
. . .
Medientechnik | SS 2004
Multimedia-Systeme:
![Page 40: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/40.jpg)
Sensoren/Aktoren: Tasten, Displays, Druck, Temperatur, Antennen, CCD, ...
Echtzeit-, Sicherheits-, Zuverlssigkeitsanforderungen
riesiges Spektrum: 4 bit .. 64 bit CPUs, DSPs, digitale/analoge ASICs, ...
32 bit
CAN,...
..32 bit16 .. 32 bit
I2C,...
< 128 M
ASIP
V.90
Safety
cardIO MIDIGSMdiverseRS232-Netzwerk
hard hardhardsofthardsoftsoftneinneinEchtzeit
keine mittel keine gering gering gering gering hoch hoch
1K .. 1M < 8K 1 K .. 10 M8 .. 64M
ASIP
uP,
< 64 M
uP, DSP
~ 100 uC,1 uP,1 uP,
8 .. 64 bit32 bit32 bit
1 ASIC 1 uP DSPs1 uC1 uCASICs
1 .. 64M< 1K ?Speicher
-8 bitProzessor
3 DSP DSP
4 .. 32 bit
Medientechnik | SS 2004
Systeme: Eigenschaften
![Page 41: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/41.jpg)
1996 2000
Hardware
HW
SW
Szenengraph in SW
Objektphysik in SW
zunehmend in
1998
hugo
(www.3dconcept.ch)
"low-level" Funktionen
Medientechnik | SS 2004
Hardware vs. Software: 3D-Graphik
![Page 42: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/42.jpg)
Medientechnik | SS 2004
Trends: Miniaturisierung
Digitalkameras: derzeit 5 .. 8 MPixel
Kamera-Handys, UMTS, PDAs
MP3-Player
"ePaper" Beispiel für vollkommen neue Technologien
"Smart Dust" wie klein kann man Computer überhaupt bauen?
"Wearables" Computer in der Kleidung
. . .
bzw. neue, leistungsfähigere UND kleinere Geräte:
ständig neue, leistungsfähigere Geräte:
Tintenstrahldrucker: Fotoqualität
Graphikkarten, Displays, Projektoren, ...
![Page 43: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/43.jpg)
(IEEE Micro 06/2001, www.media.mit.edu/wearables/mithril)
Wearable Computers: MIThril
Medientechnik | SS 2004
![Page 44: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/44.jpg)
oder separat
(IEEE Micro 06/2001, www.media.mit.edu/wearables/mithril)
Schnittstellen:
"MicroOptical" Displaybrille
Mikrophon, Lautsprecher
IrDA, Netzwerk, Modem, I2C
Tastatur in die Weste integriert
128 MByte DRAM
2 MB Flash, 1 GB Microdrive
CPU StrongARM, 206 MHz
2 Kameras 256x256 Pixel
zusätzlicher Signalprozessor
für Audio/Bildverarbeitung
Medientechnik | SS 2004
MIThril: Komponenten
![Page 45: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/45.jpg)
liefert beim Gehen ca. 1 Watt
(IEEE Micro, 6/2001)Entwicklung noch in den "Kinderschuhen"
Medientechnik | SS 2004
Wearables: Generator im Schuh . . .
![Page 46: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/46.jpg)
(IEEE Micro, 06/2001)
Beispielschaltung des Generators:
aufwendige Schaltung wegen der ungünstigen Spannungsspitzen
Gesamtsystem erfordert immer auch "analoge" Komponenten
über den "digitalen" Tellerrand herausschauen
Medientechnik | SS 2004
Wearables: System-Know-How ...
![Page 47: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/47.jpg)
Ansteuerung wie LCD über Pixeladressierung
schwarz/weiß gefüllte/gefärbte Kugeln auf Trägermaterial
(Philips/eInk Prototyp, 80 dpi, Juni 2001)
aber metastabil: daher stromsparend(www.gyriconmedia.com, www.eink.com)
Medientechnik | SS 2004
Neue Technologien: eInk / ePaper:
![Page 48: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/48.jpg)
(www.parc.xerox.com/dhl/projects/gyricon/)
oder einfach ausdrucken...
Papier mehrfach benutzbar
Medientechnik | SS 2004
Neue Technologien: ePaper
![Page 49: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/49.jpg)
(www.e-ink.com/news/releases/pr70.html)
Gewicht: 500 gr
800x600 Pixel, 170 dpi
Batterielaufzeit: "10.000 Seiten"
angekündigt 24.03.2004
e-Book Reader:
Medientechnik | SS 2004
Aktuell: Sony "Librie"
![Page 50: (Multimedia Systems) - tams.informatik.uni-hamburg.de · hendrich@informatik.uni-hamburg.de Fax: 040 42883 2397 Telefon: 040 42883 2399 Haus F, Raum F314 (oder einfach vorbeikommen)](https://reader030.vdocuments.net/reader030/viewer/2022040623/5d4eb4b688c9935f268bcc22/html5/thumbnails/50.jpg)
automone Vernetzung - via Funk oder Laser
ReflektorLaser-
CPU, Photozelle, 0.3 mm²
Knopfzelle
integrierte Sensoren
Berkeley "Smart Dust" Projekt:
Grenzen der Miniaturisierung ?!
(robotics.eecs.berkeley.edu/~pister/SmartDust/)
autonome Rechensysteme in 1mm³ !!
Miniaturisierung: Smart Dust
Medientechnik | SS 2004