an image clustering method using image content and metadata

Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng nghiên cứu tiếp theo Tài liệu tham khảo

NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT

HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ

VĂN BẢN ĐI KÈM TRONG PHÂN CỤM

ẢNH

Sinh viên thực hiệnNguyễn Thị Hương Nguyễn Minh Hoàng

Nguyễn Phước Thảo

Cán bộ hướng dẫnThS Nguyễn Cẩm Tú CN Nguyễn Thanh Sơn

KT–SIS LAB, Đại học Công Nghệ, Đại học Quốc Gia Hà NộiBáo cáo hội nghị sinh viên nghiên cứu khoa học 2011

Ngày 27 tháng 3 năm 2011

Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU

NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM ẢNH1/ 31


Nội dung

1 Giới thiệu bài toán phân cụm ảnh

2 Một số nghiên cứu liên quan

3 Mô hình giải quyết bài toánCơ sở lý thuyếtMô hình giải quyết bài toán

4 Thực nghiệm

5 Kết luận và định hướng nghiên cứu tiếp theoKết luậnĐịnh hướng nghiên cứu tiếp theo




Nội dung




4 Thực nghiệm





Giới thiệu bài toán phân cụm ảnh

• Lượng dữ liệu ảnh trao đổi và lưu trữ trên Internet phát triển rấtnhanh.

• Nhu cầu tìm kiếm hình ảnh, thông tin liên quan tới hình ảnh trởnên cần thiết.

I Tìm kiếm thông tin điểm du lịch dựa vào ảnh (tên, vị trí ...)I Tìm kiếm thông tin cá nhân dựa vào ảnh,...

• Một số Search Engine ảnh (Google Image Search, Flickr,..) chophép nhập truy vấn dạng văn bản hoặc dạng ảnh

→ đáp ứng một phần nhu cầu của người sử dụng.





Một kết quả trả về từ máy tìm kiếm ảnh Google





Một kết quả trả về từ máy tìm kiếm ảnh Flickr





• Vấn đề đặt raI Với những truy vấn nhập nhằng, Search Engine sẽ xử lý

ra sao?

• Giải pháp đề xuấtI Phân cụm lại các ảnh kết quả trả về từ một máy tìm kiếm

ảnh theo câu truy vấn của người dùng

→ đưa ra kết quả tốt hơn cho người dùng.




Nội dung




4 Thực nghiệm





Một số nghiên cứu liên quan

• Guangqing Liu, Byungwook Lee 2009 [LL09] phân cụmcác ảnh bằng cách tính toán độ tương tự sử dụng đặc trưng màuHSV.

• Haoyang Ding, Jing Liu, Hanqing Lu 2008 [DLL08] phâncụm lại các kết quả trả về từ máy tìm kiếm bằng cách trích xuấtcác cụm từ khóa trong các văn bản đi kèm với ảnh.

• Feng Jing và cộng sự [JWY06] sử dụng phương pháp họctên cụm ảnh(Learning Image Cluster Names) nhằm tổ chức lại kếtquả tìm kiếm dưới dạng các nhóm ảnh tương tự nhau.





Sử dụng kết quả tìm kiếm của google, phân cụm top kết quả trảvề dựa trên độ tương đồng




Nội dung




4 Thực nghiệm





Cơ sở lý thuyết


• Trích xuất đặc trưng của ảnhI Đặc trưng màu sắc (Color Feature)I Đặc trưng kết cấu (Texture Feature)I Đặc trưng văn bản (Textual Feature)I Sự kết hợp các đặc trưng ảnh

• Thuật toán K-means

• Lý thuyết đồ thị trong xếp hạng ảnh





Trích xuất đặc trưng của ảnh

• Đặc trưng màu sắc (Color Feature)I Không gian màu RGBI Sử dụng các độ đo tương đồng dựa vào khoảng cách Euclid

• Đặc trưng kết cấu (Texture Feature)I Cung cấp thông tin trong sự sắp xếp về mặt không gian củamàu sắc và cường độ trong ảnh

I Sử dụng độ đo Euclid






• Đặc trưng văn bản (Textual Feature)

I Tên ảnh: “White Flower”I Tags : [whiteflower,

hongkongflowershow, 2009,bokeh, causewaybay, hongkong, jonnoj,jonbinalay, nikond80, interestingness50]

I Bình luận: “ ..very interesting title isn’tit? Hong Kong Flower Show 2009Causeway bay Hong Kong”






• Sự kết hợp các đặc trưng ảnhI Kết hợp hai vector đặc trưng theo công thức :

F = [ α × L1L2× F1 F2 ]

F là vector đặc trưng kết hợpα là hệ số nhân thu được từ quá trình thực nghiệmL1 là số chiều của vector đặc trưng thứ nhấtL2 là số chiều của vector đặc trưng thứ haiF1 là vector đặc trưng thứ nhấtF2 là vector đặc trưng thứ hai





Thuật toán K-means





Lý thuyết đồ thị trong xếp hạng ảnh

• Xây dựng đồ thị ảnh

• Đưa đồ thị về dạng nhịphân

• Xếp hạng lại các ảnh




Mô hình giải quyết bài toán


• Mô hình đề xuất gồm 4 giai đoạn:

IGiai đoạn 1: Trích xuất tập dữ liệu

IGiai đoạn 2: Tính toán vector đặc trưng

IGiai đoạn 3: Phân cụm ảnh

IGiai đoạn 4: Xếp hạng lại ảnh trong mỗi cụm






Mô hình đề xuất hệ thống phân cụm




Nội dung




4 Thực nghiệm





Thực nghiệm

• Các phương án thực nghiệmI Phân cụm dựa trên vector đặc trưng màu sắc ảnhI Phân cụm dựa trên vector đặc trưng kết cấu ảnhI Phân cụm dựa trên vector đặc trưng văn bản đi kèm ảnhI Phân cụm sau khi kết hợp các đặc trưng

• Đánh giá hệ thống dựa vào độ chính xác (Precision), độ hồitưởng (recall) và độ đo f-store (F1)




Thực nghiệm

• Kết quả

Kết quả phân cụm của truy vấn "leopard" sau khi kết hợp cácđặc trưng




Thực nghiệm

• Kết quả

Đánh giá kết quả phân cụm của hệ thống




Nội dung




4 Thực nghiệm





Kết luận

Kết luận

• Đối với đặc trưng nội dung ảnh, sử dụng đặc trưng màu sắc chokết quả chính xác hơn và thời gian phân cụm nhanh hơn so vớiđặc trưng kết cấu.

• Thực nghiệm chứng tỏ sự kết hợp đặc trưng màu sắc và văn bảncho kết quả tốt hơn việc chỉ dùng riêng rẽ các đặc trưng.




Kết luận

Kết luận

• Mỗi vector đặc trưng có độ quan trọng khác nhau với mỗi loạitruy vấn:

I Đặc trưng màu sắc: Hữu ích khi các ảnh có sự phân biệt vềmàu nền.

I Đặc trưng kết cấu: Hữu ích với các ảnh có sự phân bố cấutrúc không gian.

I Đặc trưng văn bản: Hữu ích với các ảnh có sự phân biệt tênđối tượng theo ngữ cảnh.




Định hướng nghiên cứu tiếp theo

Định hướng nghiên cứu tiếp theo

•Cải thiện thuật toán phân cụm

• Tự động nhận biết số cụm

•Nghiên cứu và thực nghiệm với một số đặc trưng nội dung kháccủa ảnh (đặc trưng SIFT – SIFT feature, đặc trưng hình dạng– Shape feature)




Tài liệu tham khảo

[CHL04] Deng Cai, Xiaofei He2, Zhiwei Li, Wei-Ying Ma andJi-Rong Wen,Hierarchical Clustering of WWW Image Search ResultsUsing Visual, Textual and Link Information, MM’04,October 10–16, 2004..

[DAM00] Dengsheng Zhang, Aylwin Wong, Maria Indrawan,Guojun Lu,Content-based Image Retrieval Using Gabor TextureFeatures, IEEE Transactions PAMI, 2000.

[JWY06] Feng Jing, Changhu Wang, Yuhuan Yao, Kefeng Deng,Lei Zhang, Wei-Ying Ma,IGroup: Web Image Search Results Clustering ,SantaBarbara, California, USA : s.n., 2006.




Tài liệu tham khảo

[LL09] Guangqing Liu, Byungwook Lee,A Color-based Clustering Approach for Web Image SearchResults.Conference on Convergence and HybridInformation Technology 2009.

[ZSO08] Hilal Zitouni, Sare Sevil, Derya Ozkan, Pınar Duygulu,Re-ranking of Image Search Results using a GraphAlgorithm, Preprint submitted to 19th InternationalConference on Pattern Recognition, 2008.

[DLL08] Haoyang Ding, Jing Liu, Hanqing Lui,Hierarchical Clustering-Based Navigation of Image SearchResults , MM’08, October 26–31, 2008




Cảm ơn các thầy, cácanh chị và các bạn đãquan tâm theo dõi!



an image clustering method using image content and metadata

Technology

nh mt s nghin cu lin

hnh gii quyt bi ton

nh mt kt qu tr v t

trong phn

nh vn t ra

gii php xut phn

li cc nh kt qu tr v

nhu cu tm kim hnh nh