chương 1: các khái niệm cơ bảnis.hust.edu.vn/~oanhnt/it6310/ch1_tongquan.pdf3 nội dung 1....

1

Nguyễn Thị Oanh

Bộ môn HTTT – Viện CNTT & TT

oanhnt@soict.hust.edu.vn

Chương 1: Các khái niệm cơ bản

2

Giới thiệu chung DL

lớn

Khả năng tính

toán/lưu trữ

lớn

Nhu cầu

chia sẻ/khai

thác

3

Nội dung

1. Khái niệm cơ bản

2. Dữ liệu đa phương tiện

3. MIRS & MM - DBMS

4. Một ví dụ về ứng dụng đa phương tiện

5. Ứng dụng đa phương tiện

6. MIRS – Các vấn đề chính

4

1. Khái niệm cơ bản

5

Kiểu Media

Các kiểu thông tin và biểu diễn thông tin: văn bản,

hình ảnh, đồ họa, vidéo, … và tất cả các thông tin có

thể biểu diễn, lưu trữ, truyền, xử lý dưới dạng số

Text Still image Audio

Animation Video footage Interactivity

6

Kiểu Media

Phân loại:

– Theo định dạng vật lý

– Theo mối liên hệ với thời gian:

Media tĩnh (static media): nội dung và ý nghĩa không phụ thuộc

vào biểu diễn thời gian: văn bản, ảnh tĩnh, đồ họa

Media động (dynamic media, continuous media ou isochronous

media): các dữ liệu có chiều thời gian: hoạt hình, âm thanh, video)

7

Multimedia

Multimedia:

– tập hợp các kiểu media được sử dụng cùng nhau, và

trong đó có ít nhất một kiểu dữ liệu không phải là DL

dạng văn bản: hoạt hình, âm thanh, video

– Có thể coi là tổ hợp của văn bản, âm thanh, ảnh tĩnh,

ảnh động, video và các hình thức tương tác nội dung

8

Multimedia

Digital

environment

USER

Elements of Multimedia

9

Multimedia

Multimedia Data:

– biểu diễn của các kiểu dữ liệu media khác nhau mà máy

tính có thể đọc được

Multimedia Database (CSDL đa phương tiện):

– là tập có cấu trúc nhất định các dữ liệu đa phương tiện

Multimedia System:

– một hệ đa phương tiện là hệ thống có khả năng xử lý dữ

liệu đa phương tiện và các ứng dụng

10

2. Dữ liệu đa phương tiện

11

Multimedia Data

DL dạng văn bản (text):

– Chứa thông tin chủ đạo

– Input: bàn phím, các chương trình nhận dạng âm thanh và ký tự,

dữ liệu lưu trên đĩa, phụ đề phim, …

12

Multimedia Data

DL dạng văn bản (text):

– Định dạng: đa dạng:

text thường (file ASCII) hoặc text đã được định dạng (màu sắc, độ

bóng, ...) (html, xml, RTF, Word, mã nguồn của chương trình C,

Pascal, ... )

– Kích thước lưu trữ: không đáng kể so với các dữ liệu

đa phương tiện khác

13

Multimedia Data (..)

DL đồ họa:

– Gồm các cấu trúc đặc biệt được xây dựng bởi các đối

tượng cơ bản (primitive):

đường cong, đường thẳng, đa giác, đường tròn, …để tạo ra các đối

tượng 2D, 3D

– Dễ sửa đổi (khác với ảnh)

– Input : trình soạn thảo đồ họa (Adobe Illustrator, Autocad,

..) hoặc bởi các chương trình khác (Postscript)

– Chuẩn đồ họa : OpenGL, PHIGS, GKS

– Lưu trữ: file lưu trữ tập các đối tượng cơ bản (primitive),

kích thước không quá lớn

14

Multimedia Data (..)

DL ảnh:

-Thông tin, định dạng, mức độ chi tiết đa dạng

-Loại ảnh : tự nhiên, nhân tạo, từ các thiết bị đặc biệt

15

Multimedia Data (..)

DL ảnh:

– Ảnh số là một chuỗi các điểm ảnh để biểu diễn 1 vùng sẽ

được hiển thị trên màn hình của người sử dụng

– Input : caméra, scan, sinh ra từ các chương trình mô

phỏng hay các phần mềm tạo và xử lý ảnh

– Định dạng : jpg, png, bmp, tiff, …

– Kích thước lưu trữ : phụ thuộc vào kích thước ảnh, độ

phân giải, kỹ thuật nén (nếu có).

1 bit / 1 pixel (ảnh nhị phân)

8 bits/ 1pixel (ảnh đa mức xám)

24 bits / 1pixel (ảnh màu)

– Ảnh thường được nén để giảm không gian lưu trữ

16

Multimedia Data (..)

DL âm thanh:

Tiếng động, tiếng nói (văn bản đi kèm), nhạc,

phim, các chương trình dịch tự động từ văn bản,

…

17

Multimedia Data (..)

DL âm thanh:

– Tín hiệu âm thanh là tín hiệu tương tự và liên tục

– Input : microphone số hóa và lưu trữ

– Không gian lưu trữ lớn :

CD Quality Audio : 16-bit sampling at 44.1 KHz

1 phút của 1 Mono CD (chưa nén): 5Mb

1 phút của Stereo CD (chưa nén) : 10Mb

– Thường được nén lại để giảm kích thước (mp3, aac,

Flac, Ogg Vorbis, …)

18

Multimedia Data (..)

Vidéo:

+ =

Âm thanh Chuỗi ảnh Video

19

Multimedia Data (..)

Vidéo/Animation:

– Video số gồm một chuỗi các khung hình (frames) (25, 30,

50 frames /giây)

– Input : video camera số hóa

– Định dạng: đa dạng (mp4, avi, …)

– Không gian lưu trữ : tốn nhất

Tùy thuộc và độ phân giải và kích thước, 1 khung hình có thể cần

1MB

Video 512 x 512 đơn sắc : 25 x 0.25 = 6.25 Mb/1giây (chưa nén)

PAL video (720x 576 pixel / khung màu) : 1.2 x 25 = 30Mb/giây

(chưa nén)

High Definition DVD (1440 x1080 = 1.5 Megapixels/frame) : 4.5 x

25 = 112.5Mb /giây (chưa nén)

– Dữ liệu phải được nén

20

Đặc điểm của DL đa phương tiện

Kích thước DL lớn cấu trúc DL đặc biệt: lưu trữ và đánh chỉ mục

Có chiều thời gian (audio, vidéo)

DL được biểu diễn thông qua chuỗi các giá trị riêng lẻ,

thiếu cấu trúc ngữ nghĩa rõ ràng để máy tính có thể

« hiểu » nội dung

Nhiều ứng dụng yêu cầu biểu diễn nhiều kiểu DL đồng

thời có thông số thời gian và không gian

Ngữ nghĩa: mờ và chủ quan: cùng 1 bức ảnh, 2 người

có thể hiểu theo 2 cách khác nhau

Giàu thông tin: cần nhiều tham số để có thể biểu diễn

được nội dung

21

Challenges from MM Data

Biểu diễn nội dung:

– Độ tin cậy, ngữ nghĩa phương pháp: tự động hoặc/và

thủ công

Biểu diễn câu hỏi/ câu trả lời: biểu diễn DL phức hợp

DL lớn => vấn đề lưu trữ, truy nhập và truyền

Thời gian truy vấn (audio, video)

Trích chọn thuộc tính tự động và đánh chỉ mục

22

3. MIRS & MM-DBMS

23

Phương pháp truy vấn dữ liệu

Conventional Database system : quản lý, tìm kiếm

DL có cấu trúc

Information Retrieval (IR) system:

– tìm kiếm dữ liệu trong tập văn bản lớn

– biểu diễn nội dung: từ khóa, tóm tắt

– truy vấn: từ khóa, ngôn ngữ tự nhiên

Content-Based Retrieval (CBR) system:

– dựa trên đặc trưng của DL (ảnh, video, ..): màu sắc, hình

dạng, kết cấu, …

– Hiệu năng IR >> CBR do từ khóa có thể diễn tả ngữ

nghĩa

Graph or tree pattern matching

24

Ví dụ K

eyw

ord

-based I

mage R

etr

ieval

Content-based Image Retrieval

25

Need for MIRS

DL đa phương tiện:

– ngày càng được thu thập và lưu trữ nhiều

Máy tính cá nhân

Internet: flickr, picassa, youtube, facebook, …

– có các đặc điểm đặc biệt so với dữ liệu số truyền thống

DBMS truyền thống không phù hợp để xử lý

Các kỹ thuật IR có thể hỗ trợ nhưng không đủ để xử lý

DL ĐPT hiệu quả

MIRS: Multimedia Information Retrieval System

MIRS = DBMS + IR + Content-based retrieval

techniques

26

MIRS

MIRS = DBMS + IR + Content-based retrieval techniques

DBMS:

– Cho DL có cấu trúc liên quan đến DL ĐPT (ngày, tác giả, ...)

– Object-Relational DBMS: hỗ trợ cho DL ĐPT

IR: text-based retrieval

– DL văn bản chiếm phần lớn

– Chú thích cho DL ĐPT

Một trong những điểm quan trọng nhất trong MIRS:

trích chọn đặc trưng/biểu diễn nội dung

MIRS hoàn chỉnh == MM-DBMS

27

MIRS – Mô hình

28

5. Ứng dụng đa phương tiện

29

Ứng dụng

– Hệ thống hỗ trợ nghiệp vụ cho cảnh sát

– Xem tin tức/ video theo yêu cầu

Các cú ghi bàn tại World Cup 1998

F1: “Give video sequences showing Michael Schumacher passing

another car”

…

30

Ứng dụng

– World Wide Web

– Digital Library

– News-On-Demand Demo: http://67.214.99.203/MediaLibraryKCVideo/

– Video-On-Demand

– Music Database

– Telemedicine

– Geographic Information System

– Interactive TV

– Computer Games

– Virtual reality

– Digital video editing and production systems

– …

31

Ứng dụng

– IBM’s MARVEL (Multimedia Analysis and Retrieval)

(automatic and semi-automatic description generation)

? IBM Multimedia Analysis and Retrieval System

(IMARS) : a novel visual feature-based machine-learning

framework for large-scale semantic modeling and classification of

image and video content

– Discovir: Distributed Content-based Visual Information

Retrieval System

http://appsrv.cse.cuhk.edu.hk/~miplab/discovir/

32

6. MIRS – Các vấn đề chính

MIRS – các vấn đề chính

33

34