Введение в стереозрение

Введение в стереозрение

Дмитрий Ватолин

Video Group

CS MSU Graphics & Media Lab

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus

План лекции

Восприятие трехмерного пространства человеком. Источники информации о глубине сцены

Стереоизображения. Параллакс. Запас глубины. Комфортное восприятие стерео

2

http://www.compression.ru/video/


Only for Maxus Восприятие

пространства Монокулярный стереоэффект

Информация о глубине из вторичных факторов пространственного зрения

Последовательно-временной стереоэффект Информация о глубине из перемещения

объектов сцены Бинокулярный стереоэффект

Информация о глубине из разности изображения с двух точек зрения

3



Only for Maxus Монокулярный

стереоэффект Наложение объектов

Линейнаяперспектива:относительныеразмеры объектов

4Источники: i86.servimg.com, www.cs.cmu.edu/~dccrow




стереоэффект Расположение объектов

относительно горизонта

Воздушнаяперспектива:рассеяние светапо мере удаленияот наблюдателя

5Источники: www.3dtv.fr, Wikipedia




стереоэффект Текстурные

градиенты

Тени, бликии отражения

6Источники: cs.ru.nl/~ths, Wikipedia



Only for Maxus

Последовательно-временной стереоэффект

Смещение точкизрения / камеры

Относительнаяскорость объектов

Источники: www.3dtv.fr, Wikipedia 7



Only for Maxus Бинокулярный

стереоэффект Раскрытие наложения

объектов с однойиз точек зрения

Стереоскопическийпараллакс Расположение объектов

на сетчатке глаза Различие формы объекта

с разных точек зрения8Источник: www.3dtv.fr



Only for Maxus

Бинокулярное зрение Человек видит разные

картинки каждым из глаз Их объединение дает

информацию о глубине

9Источник: i.cmpnet.com



Only for Maxus

Стереоизображения Стереоизображение

делают из двухобычных картинок Разные изображения

для каждого глаза

10



Only for Maxus Конвергенция и

дивергенция

При слежении за сопряженными точками зрительные оси глаз могут сходиться или расходиться в зависимости от удаленности объекта

11



Only for Maxus

Параллакс

Параллакс — величина взаимного смещения сопряженных точек на сетчатках глаз или в изображениях стереопары

12Источник: www.3dtv.fr



Only for Maxus

Параллакс в стерео

Параллакс — расстояние между картинками для разных глаз на экране




Only for Maxus

Параллакс в стерео

Параллакс — расстояние между картинками для разных глаз на экране

14

положительный:объект далеко

отрицательный:объект рядом

Источник: lightillusion.com



Only for Maxus Положительный

параллакс Зрительные оси

пересекаютсяза плоскостьюизображениястереопары

Восприятие почтине зависит от расстояниязрителя до экрана

15




параллакс

Максимальный параллакс: Расстояние между

картинками равнорасстоянию между глазами

Зрительные осипараллельны

Объекты находятсяна стереоскопическойбесконечности (воспринимаютсяна расстоянии 10 метров)

16




параллакс

Параллакс большемаксимального: Расстояние до объектов

еще больше Глаза смотрят в разные

стороны — дискомфорт

17



Only for Maxus Отрицательный

параллакс Зрительные оси

пересекаются передплоскостью изображениястереопары

Глубина задаетсяотносительно расстояниядо экрана

18




параллакс

Серединный отрицательныйпараллакс(MDP — Mid-Point Parallax): Расстояние между

картинками равнорасстоянию между глазами

Расстояние до объектаравно половине расстояниядо экрана

19




параллакс

Максимальныйотрицательный параллакс: зависит от времени статичные объекты:

1-2x MDP движущиеся объекты:

3-5x MDP

20



Only for Maxus

Запас глубины Доступная глубина =

(максимальный положительныйпараллакс) + (максимальныйотрицательный параллакс)

В пикселях: ±30px для разрешения 2000px, 30” –45—100 для сильного эффекта 3D




Only for Maxus Зоны комфортного

восприятия стерео Серый: невидимая зона Красный: опасная зона

Большая нагрузка на глаза Оранжевый: быстрая зона

Объект виден только одномуглазу — нагрузка

Зеленый: зона отдыха глаз Рядом с плоскостью экрана Комфортная для восприятия



Современные стандарты 3D

Video Group



Only for Maxus

Содержание Форматы 3D кино

Полосно-пропускные Затворные Поляризационные

24



Only for Maxus Форматы 3D кино

Полосно-пропускные

Разделение изображенийдля разных ракурсовпо длинам волн

Основные форматы: Анаглиф

(греч. Anaglyph, выпуклая резьба «барельеф»,ἀνά «над», γλύϕ-ειν «вырезать»)

Dolby 3D25Рисунок - http://dtcinema.ru


http://dtcinema.ru/


Only for Maxus Полосно-пропускные

Dolby 3D

Разработка технологии компанией Infitec (Interference filter technologie)

Объединение Infitec с Dolby Laboratories Inc.

Создание стандарта Dolby 3D

26



Only for Maxus Dolby 3D

Принцип работы

Развитие идеи анаглифного стерео, более сложное разделение изображений по длине волны света

Применение интерференционных полосно-пропускающих фильтров

Получение изображения смешиванием цветов из полос пропускания

Left eye: Red 629nm, Green 532nm, Blue 446nm Right eye: Red 615nm, Green 518nm, Blue 432nm

27http://hdsofa.ru/Stati/Tehnologii-3D-kino-IMAX-RealD-SuperD-Dolby-3D-XpanD-MasterImage.html


http://hdsofa.ru/Stati/Tehnologii-3D-kino-IMAX-RealD-SuperD-Dolby-3D-XpanD-MasterImage.html




Принцип работы

28http://litvinovs.net/reflection/3d/


http://litvinovs.net/reflection/3d/



Оборудование

Обычный матовый экран Один проектор +

вращающийся диск-светофильтр

4320 оборотов в минуту Частота обновления – 72Гц

для каждого глаза Очки со спектральными

светофильтрами

29http://hdsofa.ru/Stati/Tehnologii-3D-kino-IMAX-RealD-SuperD-Dolby-3D-XpanD-MasterImage.html





Only for Maxus



30




Затворные

Поочередное перекрывание каждого глаза В каждый момент времени

вывод на экран только одного ракурса

Основные форматы: NVIDIA 3D Vision XpanD 3D

31



Only for Maxus NVIDIA 3D Vision


32

Мощная видеокарта Качественный дисплей Специализированный набор IR-синхронизатор +

активные очки

http://www.nvidia.com


http://www.nvidia.com/


33http://www.nvidia.com




Only for Maxus XpanD 3D


Затворные очки

Полноцветное изображение Частота развертки не ниже 100Гц (50Гц для

каждого глаза) Необходимость синхронизации и элементов

питания Техническая сложность и высокая стоимость (60 -

100 €)34http://www.xpand.me/technology/xpand-3d/


http://www.xpand.me/technology/xpand-3d/


Only for Maxus XpanD 3D


IR-эмиттеры синхронизации 280 инфракрасных диодов Большой радиус действия Устанавливается рядом

с проектором Направляется на экран Сигнал отражается от экрана в

кинозал

35http://www.xpand.me/technology/xpand-3d/



36http://www.xpand.me/technology/xpand-3d/



Only for Maxus



37



Only for Maxus

Поляризация

38http://en.wikipedia.org

Нарушение симметрии в распределении волн

Неполяризованный свет

Частично поляризованный

свет

Поляризованный свет


http://en.wikipedia.org/


Only for Maxus Поляризация

Виды поляризации


Линейная поляризация,применение: Ранние модели IMAX 3D

Круговая поляризация,применение: Современный IMAX 3D RealD 3D MasterImage




Only for Maxus

Линейная поляризацияТеория


Колебания э/м возмущений в одной плоскости

Принцип работы фильтров – анизотропные свойства кристалла




Only for Maxus


Циркуляция вектора амплитуды э/м возмущений

Круговая поляризацияТеория

Правая (по часовой стрелке) поляризация волны




Only for Maxus


Линейная поляризатор под углом 45° Четвертьволновая пластина

Круговая поляризацияУстройство фильтра




Only for Maxus


Вертикально-ориентированная часть волны проходитбез изменений

Горизонтально-ориентированная часть задерживаетсяна четверть волны

Круговая поляризацияЧетвертьволновая пластина

Δ = λ / 4




Only for Maxus

Экран с особым покрытием, неизменяющим поляризацию падающего света

Фильтры для проекторов и очков Зависимость качества 3D эффекта от

наклона головы зрителя(в меньшей степени для круговой поляризации)

Существенное уменьшение яркости изображения из-за поляризации 44

ПоляризационныеОбщие характеристики






Only for Maxus RealD 3D

Версии формата

RealD – стандартная с максимальной шириной экрана – 13.7 м

RealD XL (в России – SuperD) – для больших экранов до 24 м

RealD XLS – решение проблемы уменьшения яркости изображения,экран – до 15 м

RealD LP – переносная версиядля конференций и выставок,экран до 5 м 45




RealD, RealD XL

Один проектор с частотой 140Гц

Попеременное отображение кадров

Система переключаемых фильтров RealD Z screen, синхронизируемая с проектором

Экран с серебряным покрытием

Пассивные поляризующие очки

46

СистемаRealD Z Screen

http://www.brunogilbert.com/reald.htm




Only for Maxus

47http://www.edcf.net/edcf_docs/real-d.pdf

RealD 3DRealD, RealD XL


http://www.edcf.net/edcf_docs/real-d.pdf



RealD XLS

Использование в два раза большего проектора Одновременный показ двух ракурсов на одном

кадре RealD Z Screen разделяет кадр на ракурсы и

поляризует

48

2160

4096

2048

858




RealD LP

Переносной вариант Ориентирован

для конфренций 2D - 120Гц / 3D - 60Гц

режимы работы Совместим с уже

существующими моделямипроекторов

49http://www.brunogilbert.com/reald.htm

RealD Z Screenдля RealD LP




Only for Maxus

MasterImageБолее дешевая система с вращающимися фильтрами

50



Only for Maxus

IMAX Не является только

форматом 3D Специфицирует все

элементы кинопоказа Формат

фильмов и кинотеатровс большим размером экрана и эффектом погружения

51



Only for Maxus IMAX

Версии

IMAX GT – «Большой кинотеатр»,без 3D

IMAX GT 3D – Два «GT» проектора IMAX SR – мультиплексовый

вариант с меньшим экраном, поддержкой 3D

IMAX MPX – технология оборудования существующих мультиплексов под формат IMAX

IMAX Dome – куполообразный экран

52http://www.ieee.ca/millennium/imax/imax_technical.html


http://www.ieee.ca/millennium/imax/imax_technical.html



Only for Maxus IMAX


Специализированная конструкция кинозала: Большой экран

(стандарт – 20х16 м) Высокий угол

наклона сиденийзрителей (до 23°)

Небольшое расстояние от экрана до зрителя

53Рисунок - http://media.popularmechanics.comhttp://www.ieee.ca/millennium/imax/imax_technical.html


http://media.popularmechanics.com/




Only for Maxus IMAX


Больший размер пленки и специальные камеры





Only for Maxus IMAX


Мощные ксеноновые проекционные лампы (7-15кВт)для увеличения яркости картинки





Only for Maxus IMAX

Технологии

IMAX HD – увеличение качества картинки засчет записи 48 кадров в секунду

IMAX DMR (Digital Media Remastering) – перевод 35мм фильмов в 70мм

IMAX Digital Theatre System – цифровой хранения видео(введен в 2008 году)

56

IMAX DMR(1995 Apollo 13)







Заключение

Dolby 3D NVIDIA 3D Vision RealD 3D IMAX

Спектральный Затворный поляризационный поляризационн

ый

1 проектор Дисплей с высокой частотой

развертки

1 проектор 2 мощных проектора

Обычный экран

Экран с покрытием Большой экран

Пассивные очки

Низкая стоимость

Активные дорогостоящие

очкиПассивные очки

Низкая стоимостьПассивные очки

Низкая стоимость

Самый дешевый вариант

Нацелен на персональное использование

Очень распространен,

возможность оснащения старых

залов

Считается лучшим

форматом, эффект

погружения57


ПриложенияS3D-видео и связанные технологии

Video Group



Only for Maxus Что подразумевается

под «S3D-видео»

Рассматриваются форматы видео, которыепозволяют зрителям воспринимать глубинусцены по принципу бинокулярного стереозренияПримеры форматов: Стереоскопический Многоракурсный Видео с произвольной точкой наблюдения

(ПТН, Free Viewpoint) «2D+глубина»

(становится более доступным на данный момент)

59M.-T. Sun, “Applications and Processing of 3D Video,” 2011

Левый + правый канал

2D + глубина



Only for Maxus

Приложения S3D-видео


Применение 3D технологий

Кино и телевидение

Виртуальная реальность

Медицина

Искусство, дизайн, проектирование

Стерео камерыи дисплеи



Only for Maxus

Связанные технологии


Область S3D-видео охватывает следующие технологии: Съемка 3D: стерео камеры, камеры глубины,

многоракурсные системы, калибровка камер, сопоставление ракурсов Отображение 3D: очковые системы с поляризацией, затворные,

автостереоскопические лентикулярные, параллакс-барьерные системы Конвертация из 2D в 3D:

Вычисление и обработка карт глубины и диспаритета Depth image-based rendering (DIBR) – задачи генерации ракурсов:

3D warping, hole filling, blending Сжатие и кодирование: H.264/Multi-view video coding, depth coding Задачи распознавания на основе видео в различных 3D-форматах …



Only for Maxus

Тенденции развития видеоинформационных систем

63В. Дворкович, М. Чобану, «Проблемы и

перспективы развития систем кодирования динамических изображений», 2011.

ТСПТН — Телевидение с произвольной точкой наблюдения

ТВЧ — телевидение высокой четкости

ТУВЧ — телевидение ультравысокой четкости



Only for Maxus Тенденции развития

систем отображения 3D

64C. Camaroto, “3D Display Technology and Market Forecast Report”, DisplaySearch, 2010

На данный момент предполагается активный рост востребованности 3D-технологий

Коли

чест

во

устр

ойст

вс

подд

ерж

кой

3D

(млн

)

Объе

мы п

рода

ж

(млн

)


КОНЕЦ ЛЕКЦИИ 1.

Введение в стереозрение

Documents

maxus mdp midpoint parallax

dolby 3d25 http

nmright eye

blue 432nm27http

left eye