hỌc viỆn kỸ thuẬt quÂn sỰfit.mta.edu.vn/files/filemonhoc/dcct_bg_thigiacmay.doc · web...
TRANSCRIPT
BỘ MÔN DUYỆTChủ nhiệm Bộ môn
Ngô Thành Long
ĐỀ CƯƠNG CHI TIẾT BÀI GIẢNG(Dùng cho 3 tiết giảng)
Học phần: THỊ GIÁC MÁYNhóm MH: Hệ thống thông minhBộ môn: Hệ thống thông tinKhoa: Công nghệ thông tin
Thay mặt nhómmôn học
Hà Đại Dương
Thông tin về nhóm môn học
TT Họ tên giáo viên Học hàm Học vị
1 Đào Thanh Tĩnh PGS TS
2 Hà Đại Dương ThS GVC
3 Nguyễn Mậu Uyên ThS GVC
Địa điểm làm việc: Phòng 1313 Nhà S4, Khu A – HVKTQS, 236 Hoàng
Quốc Việt, Cầu Giấy, Hà Nội
Điện thoại: 069515333
Emai: tinhdt @ mta . edu . vn ;
duonghd @ mta . edu . vn ;
uyennm @ mta . edu . vn
Bài 1: Giới thiệu chung về xử lý ảnh và thị giác máy
Chương 1: Mục 1.1 + 1.2 + 1.3
Tuần thứ: 1
- Mục đích yêu cầu:
Giúp sinh viên nắn được những vấn đề cơ bản được đề cập trong nội
dung môn học;
Trang bị kiến thức cơ bản về các phép biến đổi mức xám và lược đồ
xám.
- Hình thức tổ chức dạy học: Lý thuyết, thảo luận, tự học, tự nghiên cứu
- Thời gian: Lý thuyết, thảo luận: 3t; Tự học, tự nghiên cứu: 3t
- Địa điểm: Giảng đường do P2 phân công.
- Nội dung chính:
Khái quát chung về nội dung môn học
o Mục đích, nội dung chính được giới thiệu trong môn học
o Giới thiệu về tài liệu giảng dạy và học tập, hình thức thi và tính điểm
o Xử lý ảnh và thị giác máy
o Lịch sử phát triển
o Những lĩnh vực ứng dụng của xử lý ảnh và thị giác máy
o Các bước xử lý chính cho một bài toán thị giác máy
o Các thành phần chính cho một hệ thống thị giác máy
o Thu nhận và Biểu diễn ảnh số
o Những khái niệm cơ bản về quan hệ giữa các điểm ảnh
Các phép biến đổi mức xám
o Một số vấn đề cơ sở
o Biến đổi ảnh màu thành ảnh xám
o Biến đổi âm bản
o Biến đổi dạng hàm Log
o Biến đổi dạng hàm mũ
o Biến đổi tuyến tính
o Biến đổi cắt theo mức
Lược đồ xám và biến đổi lược đồ xám
o Khái niệm về lược đồ xám
o Cân bằng lược đồ xám
o Khớp lược đồ xám
o Xử lý lược đồ xám cục bộ
2
Bài 2: Giới thiệu chung về xử lý ảnh và thị giác máy (tiếp)
Chương 1: Mục 1.4 + 1.5 + 1.6
Tuần thứ: 2
- Mục đích yêu cầu:
Giúp sinh viên nắn được những vấn đề cơ bản được đề cập trong nội
dung môn học;
Trang bị kiến thức cơ bản về các phép biến đổi logic, lọc không gian và
biến đổi hình thái.
- Hình thức tổ chức dạy học: Lý thuyết, thảo luận, tự học, tự nghiên cứu
- Thời gian: Lý thuyết, thảo luận: 3t; Tự học, tự nghiên cứu: 3t
- Địa điểm: Giảng đường do P2 phân công.
- Nội dung chính:
Các phép logic và số học
o Các phép logic trên ảnh nhị phân
o Phép trừ ảnh
o Phép cộng ảnh
Các phép lọc không gian
o Cơ bản về phép lọc không gian
o Biểu diễn vector của lọc tuyến tính
o Lọc tuyến tính làm trơn ảnh
o Lọc phi tuyến
o Lọc sắc nét sử dụng toán tử Laplace
o Lọc sắc nét sử dụng toán tử Gradient
Các phép biến đổi hình thái
o Một số vấn đề cơ sở
o Biến đổi Erosion và Dilation
o Biến đổi Opening và Closing
o Biến đổi Hit-or-Miss
3
o Thuật toán biến đổi hình thái cơ bản
4
Bài 3: Thực hành 1 - Thử nghiệm lập trình thị giác máy trên môi trường
Windows kết hợp bộ thư viện mã nguồn mở OpenCV
Chương 1: Mục 1.8
Tuần thứ: 3
- Mục đích yêu cầu:
Giúp sinh viên nắn được những vấn đề cơ bản được đề cập trong nội
dung môn học;
Trang bị kiến thức, kỹ năng về việc sử dụng công cụ lập trình và bộ thư
viện mã nguồn mở OpenCV trong việc thử nghiệm các phép biến
đổi/thuật toán xử lý ảnh.
- Hình thức tổ chức dạy học: Thực hành, thảo luận, tự học, tự nghiên cứu
- Thời gian: Thực hành: 3t;
- Địa điểm: Phòng thí nghiệm
- Nội dung chính:
Môi trường lập trình Visual Studio C++
o Tạo lập Project
o Tạo lập lớp xử lý ảnh
o Tạo lập giao diện
o Tìm hiểu về lớp Bitmap và việc truy cập dữ liệu ảnh
o Công thức biến đổi ảnh màu->xám
Khai báo và sử dụng thư viện OpenCV
o Khai báo sử dụng OpenCV trong môi trường Visual Studio
Thử nghiệm việc chuyển đổi ảnh màu thành ảnh xám
o Biến đổi ảnh màu thành ảnh xám và hiển thị trên giao diện
5
Bài 4: Phân đoạn ảnh (Image Segmentation)
Chương 2: Mục 2.1+2.2+2.3+2.4+2.5
Tuần thứ: 4
- Mục đích yêu cầu:
Giúp sinh viên nắm được kiến thức về kỹ thuật phân đoạn ảnh.
- Hình thức tổ chức dạy học: Lý thuyết, thảo luận, tự học, tự nghiên cứu
- Thời gian: Lý thuyết, thảo luận: 3t; Tự học, tự nghiên cứu: 3t
- Địa điểm: Giảng đường do P2 phân công
- Nội dung chính:
Giới thiệu
o Bài toán
o Những vấn đề cơ sở
Phân đoạn dựa trên sự biến đổi của mức xám
o Những vấn đề cơ sở
o Phát hiện điểm
o Phát hiện đường
o Mô hình cạnh (edge)
o Phát hiện cạnh
o Nối cạnh và phát hiện biên
Phân đoạn dựa trên sự liên tục của mức xám
o Những vấn đề cơ sở
o Phân đoạn dùng ngưỡng cố định
o Phân đoạn theo thuật toán tìm ngưỡng lặp
o Thuật toán tìm ngưỡng Otsu
o Nhiều ngưỡng
Bài tập
o Tìm ngưỡng theo thuật toán lặp
o Tìm ngưỡng theo thuật toán Otsu
6
Bài 5: Thực hành 2 - Phân đoạn ảnh
Chương 2: Mục 2.6+2.7
Tuần thứ: 5
- Mục đích yêu cầu:
Thử nghiệm kỹ thuật phân đoạn ảnh
- Hình thức tổ chức dạy học: Thực hành, thảo luận, tự học, tự nghiên cứu
- Thời gian: Thực hành+thảo luận: 3t;
- Địa điểm: Phòng thí nghiệm
- Nội dung chính:
Thảo luận bài toán phân đoạn ảnh: biển số xe:
o Bài toán
o Phân đoạn vùng biển số
o Hạn chế các điều kiện bài toán
Ánh sáng,
Khuôn hình,
o Phân đoạn các ký tự, chữ số trong vùng biển số
Thực hành các phép phân đoạn ảnh:
o Triển khai thuật toán trên công cụ lập trình
7
Bài 6: Biểu diễn và mô tả đối tượng
Chương 3: Mục 3.1+3.2
Tuần thứ: 6
- Mục đích yêu cầu:
Giúp sinh viên nắm được kiến thức về biểu diễn và mô tả đối tượng
- Hình thức tổ chức dạy học: Lý thuyết, thảo luận, tự học, tự nghiên cứu
- Thời gian: Lý thuyết, thảo luận: 3t; Tự học, tự nghiên cứu: 3t
- Địa điểm: Giảng đường do P2 phân công
- Nội dung chính:
Giới thiệu
Biểu diễn đối tượng:
o Duyệt các điểm trên biên
o Biểu diễn biên dạng chain code
o Biểu diễn biên dạng Signatures
o Biểu diễn đoạn biên
Xấp xỉ đa giác:
o Thuật toán ghép
o Thuật toán chia
Biểu diễn dạng xương:
o Thuật toán đường trung vị
o Thuật toán tìm khung xương
Bài tập:
o Biểu diễn dạng chain code của một đường biên
o Thực hiện thuật toán tìm khung xương trên ảnh nhị phân
8
Bài 7: Biểu diễn và mô tả đối tượng (tiếp)
Chương 3: Mục 3.3+3.4+3.5+3.6
Tuần thứ: 7
- Mục đích yêu cầu:
Giúp sinh viên nắm được kiến thức về biểu diễn và mô tả đối tượng
- Hình thức tổ chức dạy học: Lý thuyết, thảo luận, tự học, tự nghiên cứu
- Thời gian: Lý thuyết, thảo luận: 3t; Tự học, tự nghiên cứu: 3t
- Địa điểm: Giảng đường do P2 phân công
- Nội dung chính:
Mô tả biên:
o Mô tả sử dụng các đặc trưng đơn giản
o Mô tả dạng Shape Number
o Mô tả sử dụng các đặc trưng Fourier
o Mô tả sử dụng các đặc trưng thống kê
Mô tả vùng:
o Mô tả sử dụng các đặc trưng đơn giản
o Mô tả sử dụng các đặc trưng Topo
o Mô tả sử dụng các đặc trưng Texture
o Mô tả dựa trên các bất biến moment
Mô tả sử dụng thành phần chính và quan hệ:
o Mô tả sử dụng phân tích thành phần chính
o Mô tả dựa trên các đặc trưng quan hệ
Bài tập:
o Mô tả biên sử dụng các đặc trưng đơn giản với biên được cho qua ví
dụ.
o Mô tả vùng sử dụng các đặc trưng đơn giản với vùng ược cho qua
ví dụ.
9
Bài 8: Thực hành 3 - Mô tả và biểu diễn đối tượng
Chương 3: Mục 3.7
Tuần thứ: 8
- Mục đích yêu cầu:
Thử nghiệm kỹ thuật mô tả và biểu diễn đối tượng
- Hình thức tổ chức dạy học: Thực hành, thảo luận, tự học, tự nghiên cứu
- Thời gian: Thực hành+thảo luận: 3t;
- Địa điểm: Phòng thí nghiệm
- Nội dung chính:
Thảo luận bài toán phân đoạn ảnh:
o Mô tả vùng biển số như thế nào, sử dụng các tham số gì?
o Mô tả các đối tượng chữ cái, chữ số như thế nào, sử dụng các tham
số gì?
Thực hành các phép biểu diễn và mô tả đối tượng:
o Viết chương trình thử nghiệm việc mô tả và biểu diễn đối tượng
vùng biển số.
o Viết chương trình thử nghiệm việc mô tả và biểu diễn đối tượng các
chữ cái, chữ số.
10
Bài 9: Nhận dạng đối tượng
Chương 4: Mục 4.1+4.2
Tuần thứ: 9
- Mục đích yêu cầu:
Cung cấp kiến thức về việc hình thức hóa một đối tượng, mẫu và các lớp
đối tượng
Giúp sinh viên nắm được kiến thức về nhận dạng đối tượng
- Hình thức tổ chức dạy học: Lý thuyết, thảo luận, tự học, tự nghiên cứu
- Thời gian: Lý thuyết, thảo luận: 3t; Tự học, tự nghiên cứu: 3t
- Địa điểm: Giảng đường do P2 phân công
- Nội dung chính:
Mẫu và lớp các mẫu
o Mẫu và biểu diễn mẫu
o Lớp các mẫu
o Ví dụ minh họa
Biểu diễn mẫu
o Biểu diễn mẫu dạng Vector
o Biểu diễn mẫu dạng xâu ký tự
o Biểu diễn mẫu dạng đồ thị
Lớp
o Mô tả đặc trưng lớp
o Ví dụ
Nhận dạng dựa trên lý thuyết quyết định
o Khớp mẫu
o Phân lớp dựa trên thống kê
o Mạng neural
Bài tập
11
Bài 10: Nhận dạng đối tượng (tiếp)
Chương 4: Mục 4.3+4.4
Tuần thứ: 10
- Mục đích yêu cầu:
Cung cấp kiến thức về việc hình thức hóa một đối tượng, mẫu và các lớp
đối tượng
Giúp sinh viên nắm được kiến thức về nhận dạng đối tượng
- Hình thức tổ chức dạy học: Lý thuyết, thảo luận, tự học, tự nghiên cứu
- Thời gian: Lý thuyết, thảo luận: 3t; Tự học, tự nghiên cứu: 3t
- Địa điểm: Giảng đường do P2 phân công
- Nội dung chính:
Khớp theo Shape Number
o Mô tả Shape number
o Khớp theo Shape number
Khớp chuỗi
o Mô tả thuật toán
o Ví dụ minh họa
Đặc trưng Haar-Like
o Mô tả các đặc trưng Haar-Like
o Thử nghiệm
Phương pháp AdaBoost
Đặc trưng HOG
o Mô tả các đặc trưng HOG
o Thử nghiệm
Phương pháp cascaded
12
Bài 11: Thực hành 4 - Nhận dạng đối tượng
Chương 4: Mục 4.5
Tuần thứ: 11
- Mục đích yêu cầu:
Thử nghiệm kỹ thuật mô tả và biểu diễn đối tượng
- Hình thức tổ chức dạy học: Thực hành, thảo luận, tự học, tự nghiên cứu
- Thời gian: Thực hành+thảo luận: 3t;
- Địa điểm: Phòng thí nghiệm
- Nội dung chính:
Sử dụng công cụ huấn luyện của OpenCV tạo mẫu và huấn luyện bộ
phân lớp cho bài toán:
o Nhận dạng khuôn mặt
o Nhận dạng bàn tay
Sử dụng kết quả huấn luyện ở bước trên, sử dụng công cụ hỗ trợ của
OpenCV xây dựng chương trình phát hiện:
o Khuôn mặt
o Bàn tay.
13
Bài 12: Một số chủ đề nâng cao
Chương 5: Mục 5.1+5.2
Tuần thứ: 12
- Mục đích yêu cầu:
Giới thiệu một số chủ đề nâng cao
Giúp sinh viên nắm bắt được một số bài toán và cách tiếp cận thực tế.
- Hình thức tổ chức dạy học: Lý thuyết, thảo luận, tự học, tự nghiên cứu
- Thời gian: Lý thuyết, thảo luận: 3t; Tự học, tự nghiên cứu: 3t
- Địa điểm: Giảng đường do P2 phân công
- Nội dung chính:
Giới thiệu chung
Phát hiện khuôn mặt
Trích chọn đặc trưng
Tạo mẫu và huấn luyện
Thử nghiệm bộ nhận dạng
Phát hiện người
Trích chọn đặc trưng
Tạo mẫu và huấn luyện
14
Bài 13: Một số chủ đề nâng cao (tiếp)
Chương 5: Mục 5.3+5.4
Tuần thứ: 13
- Mục đích yêu cầu:
Giới thiệu một số chủ đề nâng cao
Giúp sinh viên nắm bắt được một số bài toán và cách tiếp cận thực tế.
- Hình thức tổ chức dạy học: Lý thuyết, thảo luận, tự học, tự nghiên cứu
- Thời gian: Lý thuyết, thảo luận: 3t; Tự học, tự nghiên cứu: 3t
- Địa điểm: Giảng đường do P2 phân công
- Nội dung chính:
Xử lý video và phát hiện đối tượng chuyển động
o Giới thiệu chung
o Một số bài toán thực tế
o Phát hiện đối tượng chuyển động dựa trên kỹ thuật trừ ảnh
o Phát hiện dựa trên kỹ thuật trừ nền
Giới thiệu về xử lý video
Một số lĩnh vực ứng dụng
Phát hiện thay đổi
Tracking
15
Bài 14: Một số chủ đề nâng cao (tiếp)
Chương 5: Mục 5.5+5.7
Tuần thứ: 14
- Mục đích yêu cầu:
Giới thiệu một số chủ đề nâng cao
Giúp sinh viên nắm bắt được một số bài toán và cách tiếp cận thực tế.
- Hình thức tổ chức dạy học: Lý thuyết, thảo luận, tự học, tự nghiên cứu
- Thời gian: Lý thuyết, thảo luận: 3t; Tự học, tự nghiên cứu: 3t
- Địa điểm: Giảng đường do P2 phân công
- Nội dung chính:
Xử lý ảnh video độ sâu
o Giới thiệu chung
o Một số bài toán thực tế
Giới thiệu về xử lý ảnh video độ sâu
Phát hiện cử động con người
Thảo luận
16
Bài 15: Thực hành 5 - Nhận dạng và phát hiện nhanh đối tượng
Chương 5: Mục 5.6
Tuần thứ: 15
- Mục đích yêu cầu:
Thử nghiệm kỹ thuật nhận dạng và phát hiện nhanh đối tượng
- Hình thức tổ chức dạy học: Thực hành, thảo luận, tự học, tự nghiên cứu
- Thời gian: Thực hành+thảo luận: 3t;
- Địa điểm: Phòng thí nghiệm
- Nội dung chính:
Nhận dạng khuôn mặt:
o Tạo bộ mẫu dùng cho huấn luyện
o Lập trình sử dụng kết quả huấn luyện nhận dạng khuôn mặt
Nhận dạng người:
o Tạo bộ mẫu dùng cho huấn luyện
o Lập trình sử dụng kết quả huấn luyện nhận dạng người
17