Nhận dạng mẫu hình ảnh sử dụng mô-men HU

 pháp này, mỗi điểm ảnh được biểu diễn bằng một 
 S4 = (h30 +h12 )(h30 +h12 )+ (h03 +h21 )(h03 +h21)
tổng có trọng số các phân bố Gauss và được cập nhật qua 
 S5 = (h30 - 3h12 )(h30 +h12 )[(h30 +h12 )(h30 +h12 )- 3(h03 +h21)(h03 +h21]
từng khung với các phân bố Gauss mới. 
 + (3h21 -h03 )(h03 +h21)[3(h30 +h12 )(h30 +h12 )- (h03 +h21)(h03 +h21]
 Sau khi trừ nền, ảnh trích đối tượng được xử lý qua một 
 S6 = (h20 -h02 )[(h30 +h12 )(h30 +h12 )- (h03 +h21)(h03 +h21 )
số phép hình thái toán học [2] để được chất lượng tốt hơn. 
 + 4h11(h30 +h12 )(h03 +h21)]
Cuối cùng, để giảm kích thước ảnh, ta chỉ trích lấy vùng 
 S7 = (3h21 -h03 )(h30 +h12 )[(h30 +h12 )(h30 +h12 )- 3(h21 +h03 )(h21 +h03 )
quan sát ROI (Region Of Interest) - là vùng hình chữ nhật - (h - 3h )(h +h )[3(h +h )(h +h )- (h +h )(h +h )]
có tâm trùng với trọng tâm của đối tượng và bao quanh đối 30 12 21 02 30 12 30 12 21 03 21 03
 (4) 
tượng. Hình 5 là một ví dụ về trích đối tượng con người và 
ROI tương ứng. Khi tính toán các mô-men Hu, ta nhận thấy giá trị của 
 các mô-men này rất nhỏ đến nỗi gần như bằng 0 (một số 
 còn mang giá trị âm). Do đó cần phải ánh xạ các điểm vec-
 tơ đặc trưng gốc là tập gồm 7 mô-men rất gần nhau sang 
 một không gian mới, ở đó chúng cách nhau đủ xa để xử lý 
 ở bước tiếp theo. Điều này được thực hiện đơn giản thông 
 qua tính logarit của trị tuyệt đối của các mô-men. Bằng 
 thực nghiệm, chúng tôi cũng đã chứng minh được việc 
 Hình 5. Kết quả trích đối tượng con người trong đoạn video chuyển đổi mô-men Hu sang không gian mới nhờ phép 
3.2. Trích đặc trưng hình dạng logarit, giúp tăng tỷ lệ nhận dạng của toàn hệ thống lên 
 Trích đặc trưng chính là chuyển đổi đối tượng trích đáng kể. Bảng 1 đưa ra kết quả tính mô-men Hu của ảnh 
được thành một vec-tơ đặc trưng đa chiều sao cho vec-tơ hoa cúc thứ 25 trong cơ sở dữ liệu hoa. 
này chứa đựng các đặc điểm hữu hiệu và riêng biệt, giúp Bảng 1. Tập đặc trưng mô-men Hu của một mẫu dữ liệu ảnh 
phân biệt đối tượng này với đối tượng khác mà không cần tĩnh trước và sau khi tính logarit 
phải dùng toàn bộ khung hình. 
 Mô-men Trước logarit Sau logarit 
 Như đã trình bày ở mục 2.2, cả đối tượng bông hoa và 
con người đều có thể được mô tả bằng đặc trưng hình dạng S1 0,273778883916765 -1,2954 
dùng mô-men Hu. S2 0,003420124059901 -5,6781 
 Quá trình tính toán các giá trị mô-men Hu làm đặc trưng 
 S3 0,001017048934577 -6,8909 
hình dạng được tóm tắt trong 4 bước sau đây [4]: 
 • Bước 1: Tính các mô-men 2 chiều: S4 0,000025592197673 -10,5732 
 p q (1) S5 0,000000004114001 -19,3089 
 mpq = ååx y r(x, y)
 x y S6 -0,000000312461600 -14,9788 
ở đây: (x,y) là tọa độ điểm ảnh, ρ(x,y) là hàm ảnh nhị phân, S7 -0,000000102712582 -16,0913 
là 1 hoặc là 0 tùy theo điểm ảnh (x,y) thuộc vùng đối tượng 
hoặc vùng nền tương ứng. 3.3. Nhận dạng 
 • Bước 2: Tính các mô-men trung tâm nhằm làm Nhiệm vụ cuối cùng của hệ thống chính là xác định vec-
 cho các mô-men 2 chiều ở (1) trở nên bất biến đối tơ đặc trưng trích từ bức ảnh (hoặc chuỗi vec-tơ đặc trưng 
 với sự dịch chuyển của ảnh nhị phân trong khung trích từ chuỗi khung video) thuộc vào loại mẫu nào trong 
 hình: các loại mẫu quan tâm đã huấn luyện cho hệ thống. 
 _ _ 3.3.1. Nhận dạng hoa 
 m = (x - x)p (y - y)q r(x, y) (2) 
 pq åå Nhận dạng hoa được thực hiện nhờ mạng nơ-ron nhân 
 x y tạo ANN [7]. Trong số các loại mạng ANN thì loại 
 _ _
 _ m perceptron nhiều lớp MLP (Multi Layer Perceptron) là nổi 
ở đây điểm (x, y)là trọng tâm của ảnh nhị phân: x = 10 và 
 tiếng và phổ biến nhất [7]. Do đó MLP được chọn dùng 
 m00
 _ m trong hệ thống đề xuất. MLP là mạng ANN được tổ chức 
 y = 01 . 
 m theo kiểu phân lớp với 3 lớp chính là lớp vào, lớp ra và các 
 00 lớp ẩn. Trong hệ thống, số nơ-ron lớp vào là 7, số lớp ẩn là 
 • Bước 3: Chuẩn hóa các mô-men trung tâm ở (2) để 1, số nơ-ron lớp ẩn là 15, hàm kích hoạt là hàm sigmoid, số 
 chúng bất biến đối với sự co giãn của ảnh nhị phân: nơ-ron lớp ra là 1 như trên Hình 6. 
 m
 pq (3) Hình 6 cho thấy cấu trúc của mạng nơ-ron MLP dùng 
 hpq = p+q
 +1
 2 trong hệ thống đề xuất. 
 m00
ISSN 1859-1531 - TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ ĐẠI HỌC ĐÀ NẴNG, SỐ 05(114).2017-Quyển 2 65 
 tra, bằng cách lập 2 ma trận: ma trận thứ nhất kích thước 
 120x7 để chứa 120 vec-tơ đặc trưng của 120 bức ảnh, 
 với 7 mô-men Hu trong mỗi vec-tơ, ma trận thứ hai có 
 kích thước 120x1 biểu diễn 120 đầu ra mong muốn, mỗi 
 đầu ra có giá trị là 0 (ứng với hoa cúc) hoặc 1 (ứng với 
 hoa hồng). 
 Hình 6. Mô hình mạng nơ-ron dùng trong hệ thống • Bước 4: thiết lập mạng ANN MLP như Hình 6. 
 (w: trọng số, b: ngưỡng kích thích của nơ-ron) • Bước 5: chia 120 bức ảnh ra làm 3 phần: 84 bức ảnh 
3.3.2. Nhận dạng dáng đi bệnh lý (70%) dành cho huấn luyện, 18 bức ảnh (15%) cho 
 thẩm định (validation) và 18 bức ảnh còn lại (15%) cho 
 Nhận dạng dáng đi là một trường hợp riêng của nhận 
 kiểm tra. Thông thường thì càng kéo dài thời gian huấn 
dạng hành động nên có thể áp dụng mô hình nhận dạng 
 luyện thì lỗi huấn luyện càng thấp, tuy nhiên nếu huấn 
hành động phổ biến nhất là mô hình Markov ẩn HMM vào 
 luyện quá lâu thì mô hình sẽ rơi vào tình trạng “học 
bài toán. Một mô hình HMM được xác định bởi các tham 
 thuộc mẫu” (overtraining) và sẽ cho lỗi rất lớn đối với 
số: số trạng thái ẩn N, số ký hiệu quan sát phân biệt M, ma 
trận chuyển đổi trạng thái A, ma trận quan sát B và phân bố các mẫu kiểm tra. Để tránh tình trạng này, ta dành 15% 
 ảnh cho thẩm định và tiến hành huấn luyện và thẩm 
trạng thái khởi đầu π [8]. 
 định cùng lúc và dừng ngay quá trình huấn luyện khi 
 Trong ứng dụng phát hiện dáng đi bệnh lý, đối tượng thấy lỗi thẩm định bắt đầu đảo chiều đi lên. 
cần được mô hình hóa bởi HMM chính là dáng đi của con 
 4.1.2. Kết quả thí nghiệm nhận dạng hoa 
người. Dáng đi có đặc điểm là lặp đi lặp lại theo chu kỳ với 
số lần lặp tùy ý và sự chuyển động của cơ thể bên trong Để đánh giá hệ thống, tất cả các mẫu hoa có trong dữ 
mỗi chu kỳ không hoàn toàn giống hệt nhau. Để mô hình liệu đều được lần lượt kiểm tra. Ở đây có tổng cộng 10 đợt 
hóa loại tín hiệu như thế này, hệ thống đề xuất sử dụng mô huấn luyện - kiểm tra, với một đợt huấn luyện - kiểm tra 
hình HMM tuần hoàn CHMM (Cyclic HMM). Đây là loại được thực hiện trên một tập mẫu kiểm tra khác nhau và 
mô hình HMM trái-phải có một chuyển tiếp từ trạng thái được thực hiện nhiều lần (5 lần). Thực tế cho thấy, đôi khi 
cuối cùng về trạng thái đầu tiên [13]. Bằng thực nghiệm đã có sự chênh lệch khá lớn về tỷ lệ nhận dạng đúng giữa các 
chọn được số trạng thái ẩn là N = 7 và số ký hiệu quan sát lần kiểm tra trong một đợt, ví dụ ở lần kiểm tra đầu trong 
là M = 64 như trên Hình 7. đợt thứ 6 thì tỷ lệ nhận dạng đúng là 83,3% nhưng ở lần 
 kiểm tra sau đó thì tỷ lệ đó chỉ còn có 77,8%. Theo phân 
 tích thì có 2 nguyên nhân chính gây ra hiện tượng này là do 
 thay đổi tập huấn luyện và thẩm định và do lỗi MSE (Mean 
 Square Error) huấn luyện bị phụ thuộc vào giá trị trọng số 
 khởi đầu. 
 Kết quả cuối cùng để đánh giá hệ thống là trung bình 
 cộng của các kết quả tốt nhất của 10 đợt kiểm tra nói trên 
 Hình 7. Mô hình CHMM dùng trong hệ thống và được biểu diễn dưới dạng ma trận nhầm lẫn (confusion 
 matrix) như trên Bảng 2. Từ đây ta tính được tỷ lệ nhận 
4. Thực nghiệm kiểm tra đánh giá hệ thống đề xuất dạng đúng trung bình là 87,88%. Đây là một kết quả chấp 
 Phần này trình bày quá trình thí nghiệm và các kết quả nhận được nếu so với chi phí thời gian (mỗi lần huấn luyện 
thí nghiệm đối với hai bài toán đã nêu. chỉ mất chưa đầy 0,5s). 
4.1. Đánh giá hệ thống nhận dạng cây trong ảnh tĩnh Bảng 2. Ma trận nhầm lẫn (%) của hệ thống nhận dạng cây 
 Để đánh giá hệ thống, trước hết ta xây dựng cơ sở dữ Mẫu hoa 
liệu ảnh hoa hồng và hoa cúc. Các mẫu hoa được sưu tầm Kết quả nhận dạng 
từ internet, mỗi bức ảnh có trọn vẹn một bông hoa, với Hoa cúc Hoa hồng 
nhiều loài hoa khác nhau trong cùng họ, góc chụp khác Hoa cúc 87,95 12,19 
nhau, kích thước, vị trí và màu sắc hoa khác nhau nhằm 
đảm bảo tính đa dạng cho cơ sở dữ liệu. Tổng cộng có 120 Hoa hồng 12,05 87,81 
bức ảnh hoa gồm 60 ảnh hoa hồng và 60 ảnh hoa cúc được 4.2. Đánh giá hệ thống phát hiện dáng đi bệnh lý trong 
thu thập trong cơ sở dữ liệu. Các ảnh được cắt thủ công sao đoạn video 
cho có cùng kích thước là 100x100. 
 Để đánh giá hệ thống, trước tiên ta xây dựng cơ sở dữ 
4.1.1. Quá trình thí nghiệm nhận dạng hoa liệu dáng đi gồm dáng đi bộ bình thường và dáng đi bệnh 
 Quá trình thí nghiệm gồm hai pha là huấn luyện và kiểm Parkinson. Môi trường quay là trong nhà, dọc theo hành lang 
tra, được tiến hành theo các bước sau: vào ban ngày. Camera thuộc loại 2D thông dụng và được đặt 
 • Bước 1: trích bông hoa trong ảnh theo các bước như ở vị trí sao cho có thể ghi hình được trọn vẹn cơ thể người đi 
 trình bày ở mục 3.1.1. bộ với góc quay ngang. Tất cả 10 tình nguyện viên tham gia 
 đều được huấn luyện kỹ và được tham khảo tài liệu y khoa 
 • Bước 2: chuyển mỗi bức ảnh nhị phân thành một [11] trước khi thực hiện ghi hình, nhằm đảm bảo dáng đi 
 vec-tơ 7 chiều, theo các công thức từ (1) đến (4). bệnh Parkinson được mô phỏng giống thực nhất có thể. Mỗi 
 • Bước 3: tạo dữ liệu chuẩn bị cho huấn luyện và kiểm tình nguyện viên thực hiện một kiểu dáng đi 10 lần với các 
66 Hoàng Lê Uyên Thục, Phạm Văn Tuấn 
tốc độ khác nhau. Như vậy tổng cộng có 200 đoạn video dạng mẫu hình ảnh với hai ứng dụng là nhận dạng hoa trong 
trong cơ sở dữ liệu, tất cả được định dạng .avi, kích thước ảnh tĩnh và phát hiện dáng đi bệnh lý trong đoạn video. Các 
khung hình 180x144, tốc độ 25 khung hình/giây. giá trị của mô-men Hu đã được sử dụng để miêu tả đặc 
4.2.1. Quá trình thí nghiệm phát hiện dáng đi bệnh lý trưng hình dạng của các đối tượng và cho kết quả rất khả 
 quan. Cụ thể là hai mẫu hoa hồng và hoa cúc đã được nhận 
 Tương tự như ở mục 4.1.1, quá trình thí nghiệm gồm 
 dạng đúng với tỷ lệ 87,88% và dáng đi bệnh lý Parkinson 
hai pha là huấn luyện và kiểm tra, được tiến hành theo các 
 đã được phát hiện với độ chính xác 99,5%. Kết quả này là 
bước sau: 
 nhờ sự đóng góp của tất cả các khâu xử lý trong hệ thống, 
 • Bước 1: trích đối tượng là người đi bộ theo các bước từ trích đối tượng, trích đặc trưng cho đến nhận dạng, đặc 
 đã trình bày ở 3.1.2. biệt là mô-men Hu đã mô tả tốt đối tượng trong ảnh nhị 
 • Bước 2: chuyển chuỗi khung hình nhị phân thành phân với khả năng bất biến đối với sự co giãn, vị trí đối 
 chuỗi vec-tơ đặc trưng mô-men Hu 7 chiều tính theo tượng và sự xoay ảnh. 
 các công thức từ (1) đến (4). 
 Lời cảm ơn 
 • Bước 3: chia các vec-tơ đặc trưng ra thành tập huấn 
 Các tác giả chân thành cảm ơn các em sinh viên chương 
 luyện trích từ các đoạn video huấn luyện và tập kiểm 
 trình tiên tiến AP-ECE, Trung tâm Xuất sắc và sinh viên 
 tra trích từ các đoạn video kiểm tra. 
 khoa Điện tử - Viễn thông, Trường Đại học Bách khoa, Đại 
 • Bước 4: rời rạc hóa chuỗi vec-tơ huấn luyện bằng học Đà Nẵng đã nhiệt tình tham gia xây dựng cơ sở dữ liệu 
 cách lượng tử hóa vec-tơ dựa vào phương pháp K- dáng đi bệnh lý. 
 means, với số nhóm K = 64 (hay cũng chính là số ký 
 hiệu quan sát M), rồi huấn luyện mô hình CHMM ứng TÀI LIỆU THAM KHẢO 
 với dáng đi bình thường và CHMM ứng với dáng đi 
 bệnh Parkinson. Kết quả lượng tử hóa vec-tơ còn là một [1] Shian-Ru Ke, Hoang Le Uyen Thuc, Yong-Jin Lee, Jenq-Neng 
 Hwang, Jang-Hee Yoo, and Kyoung-Ho Choi, “A Review on Video-
 bảng mã có 64 từ mã là trọng tâm của 64 nhóm. Based Human Activity Recognition”, MDPI Computers, vol. 2(2), 
 • Bước 5: rời rạc hóa chuỗi vec-tơ kiểm tra bằng cách 2013, pp. 88-131. 
 tính khoảng cách của từng vec-tơ đến tất cả các từ mã [2] Rafael C. Gonzalez and Richard E. Woods, “Digital Image 
 Processsing,”, 3rd edition, Prentice-Hall, USA, 2006. 
 rồi gán cho mỗi vec-tơ bằng một số nguyên là chỉ số 
 [3] C. Stauffer and W. E. L. Grimson, “Adaptive Background Mixture 
 của từ mã gần nó nhất. Sau đó tính xác suất mà mỗi mô Models for Real-time Tracking”, IEEE ICCV 1999, Jun 1999, pp. 
 hình CHMM có thể tạo ra chuỗi vec-tơ kiểm tra, so sánh 246-252. 
 với nhau rồi quyết định chuỗi vec-tơ kiểm tra sẽ ứng [4] Zhihu Huang and Jinsong Leng, “Analysis of Hu's Moment 
 với mô hình nào cho xác suất cao nhất. Invariants on Image Scaling and Rotation”, 2nd Int. Conf. on 
 Computer Engineering and Technology (ICCET), 2010, pp. 476-
4.2.2. Kết quả thí nghiệm phát hiện dáng đi bệnh lý 480. 
 Để đánh giá hệ thống, tất cả các đoạn video có trong dữ [5] Aaron F. Bobick and James W. Davis, “The Recognition of Human 
liệu đều được lần lượt kiểm tra. Ở đây thực hiện 10 đợt Movement Using Temporal Templates”, IEEE Transaction on 
 Pattern Analysis and Machine Intelligence, vol. 23(3), 2001, pp. 
huấn luyện - kiểm tra với mỗi đợt là để kiểm tra 10 đoạn 257-267. 
video ghi hình từ cùng một người. [6] Abdunnaser Diaf and Rachid Benlamri, “An Effective View-based 
 Kết quả cuối cùng để đánh giá hệ thống được tổng hợp Motion Representation for Human Motion Recognition”, Int. 
từ tất cả 10 đợt kiểm tra nói trên và được biểu diễn dưới Symposium on Modeling and Implementation of Complex Systems, 2010. 
dạng ma trận nhầm lẫn như trên Bảng 3. Từ đây ta tính [7] Yu Hen Hu and Jenq-Neng Hwang, “Handbook of Neural Network 
 Signal Processing”, CRC Press, 2002. 
được tỷ lệ phát hiện đúng dáng đi bệnh Parkinson là 99%, 
 [8] Lawrence R. Rabiner, “A tutorial on hidden Markov models and 
tỷ lệ bỏ sót bệnh là 1%, tỷ lệ phát hiện nhầm là 0%, tỷ lệ selected applications in speech recognition”, Proc. IEEE, vol. 77(2), 
nhận dạng trung bình (còn gọi là độ chính xác) là 99,5%. 1989, pp. 257-286. 
Đây là một tỷ lệ khá thành công trong bối cảnh kích thước [9] James S. Cope, David Corney, Jonathan Y. Clark, Paolo Remagnino, 
tập dữ liệu huấn luyện không quá lớn. and Paul Wilkin, “Plant species identification using digital 
 morphometrics: A review”, Expert Systems with Applications, vol. 
 Bảng 3. Ma trận nhầm lẫn của hệ thống phát hiện dáng đi bệnh lý 39, 2012, pp. 7562-7573. 
 [10] E. Auvinet, F. Multon and J. Meunier, “New lower-limb gait 
 Mẫu dáng đi asymmetry indices based on a depth camera”, Mdpi Sensors, vol. 
 15(3), pp. 4506-4623, 2015. 
 Kết quả nhận dạng Bình 
 Bệnh Parkinson 
 thường [11] Joseph H. Friedman, “Gait Disorders in the Elderly”, Medicine & 
 Health, vol. 95(3), 2012, pp. 84-85. 
 Bệnh Parkinson 99 0 [12] T. Graepel, “Statistical Physics of Clustering Algorithms”, 
 Technical Report 171822, FB Physic, Institute for Theoretical 
 Bình thường 1 100 Physics, 1998. 
 [13] Hoang Le Uyen Thuc, Shian-Ru Ke, Jenq-Neng Hwang, Pham Van 
5. Kết luận Tuan, and Truong Ngoc Chau, “Quasi-periodic Action Recognition 
 from Monocular Videos via 3D Human Models and Cyclic HMMs”, 
 Trong bài báo này, chúng tôi đã xây dựng hệ thống nhận Int. Conf. on ATC, 2012, pp. 110-113. 
 (BBT nhận bài: 14/02/2017, hoàn tất thủ tục phản biện: 31/03/2017)