Download - Telewizja trójwymiarowa - wyzwania
1
Telewizja trójwymiarowa - wyzwania
mgr inż. Olgierd Stankiewiczmgr inż. Krzysztof Wegner
Katedra Telekomunikacji Multimedialnej i Mikroelektroniki
Politechnika Poznańska
Seminarium katedralne, styczeń 2010
Telewizja 3D
2
Telewizja 3D
Telewizja stereoskopowa Telewizja swobodnego punktu widzenia
Synteza widoku oparta o obrazyImage-based rendering (IBR)
Synteza widoku oparta o modeleModel-based rendering (MBR)
np. IMAX
np. MPEG np. BBC
Pierwsza transmisja 3D-HDTV
Transmitowano mecz rugby miedzy Szkocją a Anglią 8 marca 2008
BBC Resource i 3DFirm 3 pary kamer Sony 950 o rozdzielczości fullHD
na statywiach Calcutta 3D firmy 3DFirm 19MB/s na każdy strumień,
planowane 40MB/s 6/7 s opóźnienia Prezentowane na dwóch rzutnikach Christie 8K
HD projectors z liniową polaryzacją
3
Telewizja Stereoskopowa
4
Telewizja Stereoskopowa BBC
5
Multiview capturing for sport applications BBC
Sport Applications BBC
7
Obrazy z kamer Trójwymiarowy model sceny
Z pracy: View-dependent reconstruction and free-viewpoint video rendering3D Processing workshop, BBC R&D, Kingswood Warren, June 22—23, 2009
JeanYves Guillemaut, Joe Kilner and Adrian HiltonUniversity of Surrey, UK
Ustawienie kamer
8
Przetwarzanie
9
Filmowanie sceny
Kalibracja Segmentacja Rekonstrukcja Synteza widoku
10
Segmentacja Segmentacja w
oparciu o kluczowanie
chrominancji odejmowanie tła
11
Modelowanie sceny Problem znalezienia dopasowania
Obiekt z każdej kamery wygląda inaczej
12
Modelowanie sceny
13
Modelowanie sceny Gracze przydzielani do
drużyn na podstawie koloru koszulek modelowanych za pomocą Gaussian Mixture Model
14
Modelowanie sceny Każdy gracz modelowany jest jako
oteksturowana bryła 3d Visual Hull
15
Modelowanie sceny Każdy gracz modelowany jest jako
oteksturowana bryła 3d
16
ggg
17
Synteza widoku wirtualnego w oparciu o model sceny (boisko i piłkarzy)
Swobodna nawigacja w scenie
18
Schemat systemu telewizji 3D
System akwizycji Konfiguracja kamer – obraz/głębia Synchronizacja kamer Równoległe przetwarzanie dużych
strumieni danych 19MB/s na każdy strumień,
planowane 40MB/s
Przetwarzanie wstępne Rektyfikacja Korekcja kolorów
Plansze kalibrujące dla stałych parametrów kamer
Zmienne parametry? Ogniskowa Rozstaw kamer Kierunki kamer
Model 3D Image Based Rendering Estymacja mapy głębi + synteza Wyzwania doraźne
Jakość map głębi Nieoznaczalność głębi (brak tekstury) Przysłonięcia Rozstaw kamer
Estymacja w czasie rzeczywistym 1000 x RT
Synteza w czasie rzeczywistym Duże ilości danych (3,1 MB na obraz)
Model 3D Wyzwania na przyszłość
Niewystarczający model punktów sceny Przeźroczystość Odbicia (lustra, refleksy) Niewielkie obiekty (płatki śniegu, deszcz)
Ułożenie liniowe kamer daje zbyt płaskie odwzorowanie sceny
Kompresja Kodowanie modeli 3D – MPEG 4 (mesh) Kodowanie map głębi, map
przeźroczystości Inny charakter treści Mniejszy udział średnich częstotliwości
(powierzchnie płaskie + krawędzie) Inny charakter zniekształceń Mały udział w strumieniu <30%
Przentacja Technologie Stereoskopia
Monitory polaryzacyjne... Tylko dwa obrazy (Akomodacja Oka)
Autostereoskopia Możliwość poruszania widzów Ogniskowa niezmienna
Holografia Wyświetlacze Przetwarzanie modelu
Z-Cam IR = 20MHz Pomiar różnicy fazy Rozdzielczość 176x144
około 80 pikseli koloru na piksel głębi wrapping głębi
depth alignment to color boundary by bilateral filtering
Procesy standaryzacyjne 3D @ home Przyspieszenie komercjalizacji i
wdrożenia technologii 3D Materiał Sprzęt Oprogramowanie
HDMI 1.4 – mechanizmy dla 3DTV W USA: 3D ready TV
Zagadnienia kinematograficzne
1000 EUR/dzień - nagrywanie Film „Coraline Coraline”
Rejestracja poklatkowa Jedna kamera na suwaku
NIKON D70, D80 Canon 1D MARK2N RED - 2K Digital Hi-Speed (dym, inne ruchome
elementy) Koszt oprogramowania - +20%50% 53 sceny kręcone jednocześnie
Przewidywania na przyszłość
Przewidywania na przyszłość
Telewizja 3D rozwija się Powolny postęp algorytmów (MPEG) Silny nacisk przemysłu Silny nacisk Holywood
Dobiega końca kilkanaście projektów ramowych UE FP7