Nghiên cứu ứng dụng mạng neural network cho hệ thống kiểm tra linh kiện điện tử thời gian thực

 độ sáng, kích thước ảnh và nền được nghiên 
 cứu tính toán dựa trên thực nghiệm để tìm ra vùng môi 
 trường phù hợp nhất cho quá trình xử lý ảnh. Kết quả 
 nghiên cứu được kiểm nghiệm dựa trên thực nghiệm cho Hình 2. Hai vật thể bị trùng tâm [19] 
 thấy kết quả chính xác lên tới 96% cho các bản mạch in. Để tối ưu giá trị dữ liệu đầu vào, nhận diện và dự đoán 
 2. MÔ HÌNH GIẢI THUẬT HỌC SÂU tên vật thể, CNN sử dụng hàm mất mát loss. Theo tài liệu 
 [17], hàm mất mát được chia làm hai phần: hàm tính toán 
 Theo tài liệu [19], kiến trúc mạng nơ-ron tích chập CNN 
 sai số kích thước và hàm tính toán phân phối xác suất phân 
 (Darknet-53) được sử dụng trong bài báo được mô tả như 
 nhóm. Trong đó, hàm tính toán sai số kích thước L tính 
 hình 1, bao gồm: mạng cơ bản và các lớp trích xuất thông coord
 toán độ sai lệch nhỏ nhất giữa giá trị ban đầu và giá trị dự 
 tin dự đoán vật thể (extra layers). Trong đó, mạng cơ bản 
 đoán. Hàm tính toán phân phối xác suất phân nhóm L 
 là các mạng convolution làm nhiệm vụ trích xuất đặc class
 tính toán sai lệch giữa các nhóm dữ liệu trong khi huấn 
 trưng. Extra layers được áp dụng để phát hiện vật thể dựa 
 luyện mô hình thuật toán. Mục đích là trả về phân nhóm dự 
 trên các liên kết đặc trưng của vật thể (feature map). 
 đoán đúng cho vùng chứa vật thể. 
 Mạng Darknet-53 có kích thước ảnh đầu vào chủ yếu là 
 s2 B
 2 2
 418x418, 608x608. Mỗi một đầu vào sẽ có một thiết kế lớp loss  1obj x xˆ y y ˆ 
 coord ij i i i i 
 riêng phù hợp với hình dạng của ảnh đầu vào. Sau khi qua i 0 j 0
 các lớp CNN, hình dạng của vật thể giảm dần và cuối cùng 2
 s B 2 2 
 thu được một feature map có kích thước tương đối nhỏ 1obj w wˆ h hˆ
 coord ij i i i i 
 i 0 j 0 
 được dùng để dự đoán. (1) 
 2 2
 s B2 s B 2
 objˆ obj ˆ
 1ij C i C i  noobj  1 ij C i C i 
 i 0 j 0 i 0 j 0
 s2
 obj ˆ 2
 1i  p i c p i c 
 i 0 c classes
 s2 B
 2 2
 L  1obj x xˆ y y ˆ 
 coord coord ij i i i i 
 i 0 j 0
 2 (2) 
 s B 2 2 
 1obj w wˆ h hˆ
 Hình 1. Sơ đồ kiến trúc mạng Darknet-53 và extra layers [19] coord ij i i i i 
 i 0 j 0 
 Trong mô hình mạng nơ-ron tích chập CNN, để tìm các 2
 s B 2
 vùng bao quanh vật thể trong ảnh (bounding box), thuật obj ˆ
 Lclass  1 ij C i C i 
 toán cần các anchor boxes để làm cơ sở cho việc ước lượng i 0 j 0
 2
 tính toán độ sai lệch. Những anchor boxes này được xác s B 2
 obj ˆ
 định trước và bao quanh vật thể tương đối chính xác. Trong noobj1 ij C i C i (3) 
 mạng CNN, mỗi vật thể trong hình ảnh huấn luyện được i 0 j 0
 s2
 phân bổ về một cell trong feature map, có chứa điểm trung obj ˆ 2
 1i  p i c p i c 
 tâm của vật thể. Từ đó các anchor boxes bao quanh vật thể i 0 c classes
 đó được xác định. Mỗi một vật thể trong hình ảnh huấn 
 Trong đó: 
 luyện được phân bổ về anchor boxes. Trong trường hợp có 
 hai anchor boxes trở lên, anchor box được xác định khi có x, y , w, h : Kích thước của ô mốc; 
58 Tạp chí KHOA HỌC VÀ CÔNG NGHỆ ● Tập 56 - Số 6 (12/2020) Website: https://tapchikhcn.haui.edu.vn 
P-ISSN 1859-3585 E-ISSN 2615-9619 SCIENCE - TECHNOLOGY 
 xˆ,y ˆ , wˆ , hˆ : Kích thước của ô dự đoán; Kỹ thuật chọn lựa do thuật toán CNN dự báo cho ra rất 
 i i i i nhiều bounding box bao quanh vật thể trong một bức ảnh 
 1obj : Hàm chỉ định có giá trị [0, 1], xét xem ô đó có vật nên đối với những cell có vị trí gần nhau, khả năng các vùng 
 i giao nhau là rất cao. Trong trường hợp đó, giải thuật non-
hay không; 
 max suppression (NMS) được sử dụng để giảm bớt số lượng 
 obj
 1ij : Cho biết tạo vùng thứ j của ô thứ i có chứa vật thể các vùng bao được sinh ra. Theo hình 4, từ ba bounding box 
hay không; ban đầu cùng bao quanh chiếc xe đã giảm xuống còn một 
 bounding box sau khi sử dụng phương pháp NMS. Giải thuật 
 C : Điểm tin cậy của ô thứ i; 
 ij NMS được trình bày ngắn gọn như sau: 
 ˆ
 Cij : Điểm dự đoán; - Bước 1: Lọc bỏ toàn bộ những bounding box có xác 
 suất chứa vật thể lớn hơn một ngưỡng, thường là 0,5. 
 c: Tập hợp tất cả các nhóm; 
 - Bước 2: Đối với các bouding box giao nhau, NMS lựa 
 p (c): Hàm xác suất có điều kiện để xác định ô chứa đối 
 i chọn ra một bounding box có xác xuất chứa vật thể là lớn 
tượng thuộc nhóm c; 
 nhất. Sau đó tính toán chỉ số giao thoa IoU với các 
 ˆ
 pi c : Hàm xác suất có điều kiện dự đoán. bounding box còn lại. Nếu có bất kỳ box nào có giá trị IOU 
 lớn hơn giá trị ngưỡng thì loại box đó. 
 coord,  noobj : Hằng số điểu chỉnh có nhiệm vụ làm giảm 
giá trị của hàm mất mát. 
 Để dự báo vùng bao quanh của một vật thể dựa trên 
một phép biến đổi từ anchor box và cell. Thuật toán dự 
đoán các bounding boxes sẽ tính toán sao cho không lệch 
khỏi vị trí trung tâm quá nhiều. Ví dụ: một anchor box như 
hình 7 có kích thước (pw, ph), với (cx, cy) là kích thước của 
một ô (cell). Mỗi bounding box dự đoán chứa các thông số: 
(tx, ty, tw, th) và độ chính xác. Các thông số này giúp xác định 
bounding box dự đoán có tâm b(bx, by) thông qua hàm 
sigmoid [12] và hàm exponential như sau: Hình 4. Non-max suppression [18] 
 3. THIẾT KẾ HỆ THỐNG KIỂM TRA LINH KIỆN ĐIỆN TỬ 
 bx  t x c x (4) 
 3.1. Tính toán vị trí đặt camera 
 by  t y c y (5) 
 Khi camera chụp hình đối tượng để xử lý thì có những 
 tw
 bw p w e (6) vùng của hình ảnh nằm ngoài vùng mà camera có thể xử 
 lý. Điều này làm ảnh hưởng đến độ chính xác của thuật 
 th
 bh p h e (7) toán. Vì vậy, cần phải xác định chính xác vị trí đặt camera 
 sao cho toàn bộ hình ảnh nằm trong vùng mà camera có 
 thể xử lý được. 
 Hình 3. Ước lượng bounding box từ anchor box [19] 
 Ngoài ra, do các tọa độ đã được hiệu chỉnh theo chiều 
rộng và chiều cao của bức ảnh nên luôn có giá trị trong Hình 5. Vị trí đặt camera 
ngưỡng [0, 1]. Do đó khi áp dụng hàm sigmoid giúp giới Khoảng cách từ ống kính đến chip cảm biến là tiêu cự của 
hạn được tọa độ không vượt quá xa các ngưỡng này. Theo thấu kính. Tiêu cự càng ngắn thì góc quét của camera càng 
hình 3, hình chữ nhật nét đứt bên ngoài là anchor box có lớn. Với mỗi giá trị tiêu cự cần đặt camera ở các vị trí khác 
kích thước là (pw, ph). Tọa độ của một bounding box được nhau để ảnh thu được nằm trọn trong vùng mà camera có 
xác định dựa trên đồng thời cả anchor box và cell mà nó thể xử lý. Giả sử với camera có tiêu cự 4mm, góc quét α, ta 
thuộc về. Điều này giúp kiểm soát vị trí của bounding box cần xác định khoảng cách Y là khoảng cách từ vị trí đặt 
dự đoán quanh vị trí của cell và bounding box mà không camera đến vật. Như vậy, cần đặt camera tại vị trí cách vật 
vượt quá xa ra bên ngoài giới hạn này. một khoảng Y và vuông góc với mặt phẳng chứa vật. 
 Website: https://tapchikhcn.haui.edu.vn Vol. 56 - No. 6 (Dec 2020) ● Journal of SCIENCE & TECHNOLOGY 59
 KHOA H ỌC CÔNG NGHỆ P - ISSN 1859 - 3585 E - ISSN 2615 - 961 9 
 1
 Y a.cot (8) 
 2
 3.2. Hệ thống kiểm tra linh kiện điện tử 
 Để kiểm chứng kết quả nghiên cứu từ việc phân tích xử 
 lý ảnh trong kiểm tra linh kiện điện tử thời gian thực, nhóm 
 tác giả đề xuất mô hình hệ thống kiểm tra linh kiện điện tử 
 được thiết kế như hình 6. Trong đó, hệ thống truyền động 
 (hình 7) gồm hai động cơ điện một chiều có giảm tốc cùng 
 với hệ thống dây đai răng, pulli truyền chuyển động đến hệ 
 thống băng tải làm nhiệm vụ di chuyển bản mạch. Cụm hệ 
 thống tay hút bản mạch được thiết kế như hình 8. Hệ thống 
 điều khiển sử dụng mạch Arduino Mega 2560R3 được trình 
 bày như hình 9 bao gồm module nguồn 24V-3A, module Hình 9. Hệ thống các thiết bị trong tủ điện 
 điều khiển tốc độ động cơ giảm tốc, module điều khiển tốc Hệ thống camera và điều chỉnh chiếu sáng được trình 
 độ động cơ bước, module relay 4 kênh 24V. 
 bày như hình 10. Trong đó khoảng cách và các lắp đặt 
 camera được trình bày như trong mục 3.1. Hệ thống kiểm 
 tra linh kiện điện tử được chế tạo như hình 11. Hệ thống có 
 khối lượng 20kg, năng suất 120 mạch/h, độ chính xác lên 
 đến 96%. 
 Hình 6. Mô hình hệ thống kiểm tra linh kiện điện tử 
 Hình 10. Hệ thống Camera và chiếu sáng 
 Hình 7. Hệ thống truyền động 
 Hình 11. Hệ thống kiểm tra linh kiện điện tử hoàn chỉnh 
 4. ĐÁNH GIÁ KẾT QUẢ THỰC NGHIỆM 
 Quá trình xử lý ảnh được thực hiện trên CPU máy tính có 
 có vi xử lý Core i7-3250M bộ nhớ RAM 4GB; sử dụng camera 
 Aoni độ phân giải 1080P; cùng với chip ATmega2560 có bộ 
 nhớ 256KB, SRAM 8KB, EEPROM 4KB có nhiệm vụ điều 
 Hình 8. Tay máy hút bản mạch khiển trạm phân loại bảng mạch (kích thước 12x16cm) và 
60 Tạp chí KHOA HỌC VÀ CÔNG NGHỆ ● Tập 56 - Số 6 (12/2020) Website: https://tapchikhcn.haui.edu.vn 
P-ISSN 1859-3585 E-ISSN 2615-9619 SCIENCE - TECHNOLOGY 
giao tiếp với máy tính. Quá trình huấn luyện trong khoảng 
thời gian 9 đến 10 tiếng, sử dụng GPU của Google Colab 
làm môi trường huấn luyện. Trong đó, thông số của GPU 
của Google là Tesla 80k, với bộ nhớ RAM 12GB. 
 Trong quá trình thực nghiệm, thời gian xử lý ảnh sử 
dụng ngôn ngữ Python trong môi trường Windown 10 cho 
kết quả xử lý trên mỗi ảnh 0,4s, thời gian thực hiện khoảng 
2 khung hình/giây (2FPS). Để tìm ra vùng làm việc hiệu quả 
do ảnh hưởng của môi trường, các kết quả thực nghiệm 
được trình bày trong các điều kiện khác nhau như chế độ 
sáng, nền và kích cỡ của ảnh đầu vào. 
 Số lượng ảnh sử dụng cho bộ thử là 100 ảnh được chụp Hình 15. Biểu đồ ảnh hưởng của nền đến khả năng nhận diện 
ngẫu nhiên. Kết quả thử nghiệm được trình bày như hình 
12-17. Trong đó, hình 12, 13 trình bày kết quả đạt được khi 
xét đến ảnh hưởng của chế độ sáng. Hình 14, 15 là kết quả 
trong điều kiện nền khác nhau. Hình 16, 17 là kết quả khi 
xét đến ảnh hưởng của kích thước ảnh. Như vậy, trong điều 
kiện đủ sáng, nền màu trắng và kích thước ảnh là 
960x1280, độ chính xác xử lý lên tới 96%. Có thể kết luận 
rằng, hệ thống có khả năng ứng dụng thực tiễn vào quá 
trình sản xuất công nghiệp. 
 Hình 12. Ảnh hưởng của ánh sáng đến khả năng nhận diện: thiếu sáng, 
đủ sáng 
 Hình 16. Ảnh hưởng của kích thước ảnh đến khả năng nhận diện: 
 1512x2016, 960x1280, 480x640 
 Hình 13. Biểu đồ ảnh hưởng của chế độ sáng đến khả năng nhận diện 
 Hình 17. Biểu đồ ảnh hưởng của kích thước ảnh đến khả năng nhận diện 
 5. KẾT LUẬN 
 Bài báo ứng dụng mô hình mạng nơ-ron tích chập CNN 
 53 lớp để trích xuất đặc trưng trong kiểm tra linh kiện điện 
 Hình 14. Ảnh hưởng của nền: nền đen, nền trắng, nền ngẫu nhiên tử trên mạch in PCB. Hệ thống cho phép xử lý đồng thời 
 Website: https://tapchikhcn.haui.edu.vn Vol. 56 - No. 6 (Dec 2020) ● Journal of SCIENCE & TECHNOLOGY 61
 KHOA H ỌC CÔNG NGHỆ P - ISSN 1859 - 3585 E - ISSN 2615 - 961 9 
 nhiều loại lịnh kiện điện tử khác nhau và trên các loại mạch [14]. Y. Hara, H. Doi, K. Karasaki, T. Iida, 1988. A system for PCB automated 
 in PCB khác nhau. Kết quả thử nghiệm cho thấy, hệ thống inspection using fluorescent light. IEEE Transactions on Pattern Analysis and 
 làm việc với độ chính xác ổn định 96% trong điều kiện đủ Machine Intelligence, vol. 10, no. 1, pp. 69-78. 
 sáng, nền màu trắng và kích thước ảnh là 960x1280. Có thể [15]. X. Farhodov, O. Kwon, K. W. Kang, S. Lee, K. Kwon, 2019. Faster RCNN 
 kết luận rằng, hệ thống có khả năng ứng dụng thực tiễn detection based opencv csrt tracker using drone data. International Conference on 
 vào quá trình sản xuất công nghiệp. Information Science and Communications Technologies (ICISCT), Tashkent, 
 LỜI CẢM ƠN Uzbekistan, pp. 1-3. 
 Nghiên cứu này được tài trợ bởi Quỹ Phát triển khoa học [16]. A. Kumar, S. P. Panda, 2019. A survey: How Python pitches in IT-World. 
 và công nghệ Quốc gia (NAFOSTED) trong đề tài mã số International Conference on Machine Learning, Big Data, Cloud and Parallel 
 107.01-2019.311. Computing (COMITCon), Faridabad, India, pp. 248-251. 
 [17]. Joseph Redmon, Santosh Divvala, Ross Girshick, Ali Farhadi, 2016. You 
 Only Look Once: Unified, Real-Time Object. Computer Vision and Pattern 
 Recognition, pp. 1-10. 
 TÀI LIỆU THAM KHẢO 
 [18]. Jan Hosang, Rodrigo Benenson, Bernt Schiele, 2017. Learning non-
 [1]. Clyde F. Coombs, 2007. Printed circuits handbook. McGraw-Hill maximum suppression. Computer Vision and Pattern Recognition, pp. 1-16. 
 Professional. 
 [19]. Joseph Redmon, Ali Farhadi, 2018. YOLOv3: An Incremental 
 [2]. X. Luo, H. Hu, 2020. Selected and refined local attention module for object Improvement. Computer Vision and Pattern Recognition, pp. 1-6. 
 detection. electronics letters, vol. 56, no. 14, pp. 712-714. 
 [3]. S. K. G. Manikonda, D. N. Gaonkar, 2020. Islanding detection method 
 based on image classification technique using histogram of oriented gradient 
 features. IET Generation, Transmission & Distribution, vol. 14, no. 14, pp. 2790- AUTHORS INFORMATION 
 2799. Nguyen Van Truong, Nguyen Duc Linh 
 [4]. G. A. Tahir, C. K. Loo, 2020. An Open-Ended Continual Learning for Food Faculty of Mechanical Engineering, Hanoi University of Industry 
 Recognition Using Class Incremental Extreme Learning Machines. IEEE Access, vol. 
 8, pp. 82328-82346. 
 [5]. K. Huang, H. Yang, I. King, M. R. Lyu, 2008. Maxi-Min margin machine: 
 Learning large margin classifiers locally and globally. IEEE Transactions on Neural 
 Networks, vol. 19, no. 2, pp. 260-272. 
 [6]. D. Martens, B. B. Baesens, T. Van Gestel, 2009. Decompositional rule 
 extraction from support vector machines by active learning. IEEE Transactions on 
 Knowledge and Data Engineering, vol. 21, no. 2, pp. 178-191. 
 [7]. E. Pasolli, F. Melgani, Y. Bazi, 2011. Support vector machine active 
 learning through significance space construction. IEEE Geoscience and Remote 
 Sensing Letters, vol. 8, no. 3, pp. 431-435. 
 [8]. G. Krummenacher, C. S. Ong, S. Koller, S. Kobayashi, J. M. Buhmann, 
 2018. Wheel defect detection with machine learning. IEEE Transactions on 
 Intelligent Transportation Systems, vol. 19, no. 4, pp. 1176-1187. 
 [9]. P. Kumar Shukla et al., 2020. Efficient prediction of drug–drug interaction 
 using deep learning models. IET Systems Biology, vol. 14, no. 4, pp. 211-216. 
 [10]. J. S. Shemona, A. K. Chellappan, 2020. Segmentation techniques for 
 early cancer detection in red blood cells with deep learning-based classifier - a 
 comparative approach. IET Image Processing, vol. 14, no. 9, pp. 1726-1732. 
 [11]. A. Alamri, et al., 2020. An effective bio-signal-based driver behavior 
 monitoring system using a generalized deep learning approach. IEEE Access, vol. 8, 
 pp. 135037-135049. 
 [12]. M. Zhu, Q. Chen, 2020. Big data image classification based on 
 distributed deep representation learning model. IEEE Access, vol. 8, pp. 133890- 
 133904. 
 [13]. J. Jiang, J. Cheng, D. Tao, 2012. Color biological features-based solder 
 paste defects detection and classification on printed circuit boards. IEEE 
 Transactions on Components, Packaging and Manufacturing Technology, vol. 2, 
 no. 9, pp. 1536-1544. 
62 Tạp chí KHOA HỌC VÀ CÔNG NGHỆ ● Tập 56 - Số 6 (12/2020) Website: https://tapchikhcn.haui.edu.vn