[Face Recog 2.0] Nhận diện khuôn mặt trong video bằng MTCNN và Facenet

Hello xin chào các anh em Mì AI Blog, sau bài đầu tiên về nhận diện khuôn mặt tại đây https://miai.vn/2019/08/13/face-recognize-thu-lam-he-thong-cham-cong-bang-nhan-dang-khuon-mat/, rất nhiều anh em có comment là phương pháp triển khai, thuật toán trong bài đó có độ chính xác chưa cao.

Mình xác nhận điều đó, nhưng khi mới học thì nên bắt đâu từ những model đơn giản và dễ hiểu để nắm được khái niệm, sau đó sẽ nâng dần lên.

Hôm nay mình sẽ giới thiệu cùng các bạn một bài toán nhận diện khuôn mặt nữa nhưng sẽ áp dụng những công nghệ mới hơn như: phát hiện khuôn mặt bằng MTCNN, trích xuất đặc trưng băng Facenet và dùng SVM để classifier và nhận diện mặt. Nhờ đó, giải pháp lần này có nhiều ưu điểm so với lần trước như: nhận diện được mặt ở nhiều góc khác nhau, ko cần nhìn thẳng, nhận diện chính xác hơn, trích xuất được nhiều đặc trưng khuôn mặt hơn.

Công nghệ này áp dụng nhiều trong thực tế hơn các công nghệ sử dụng trong bài trước. Rồi bây giờ chúng ta sẽ đi tiếp nào.

Phần 1. Tìm hiểu khái niệm

Haiza, cứ nói đến khái niệm trên Mì AI là lại thấy sao sao. Nhưng thôi, vẫn phải định nghĩa qua để các bạn biết.

• MTCNN là viết tắt của Multi-task Cascaded Convolutional Networks. Nó là bao gồm 3 mạng CNN xếp chồng và đồng thời hoạt động khi detect khuôn mặt. Mỗi mạng có cấu trúc khác nhau và đảm nhiệm vai trò khác nhau trong task. Đầu ra của MTCNN là vị trí khuôn mặt và các điểm trên mặt như: mắt, mũi, miệng…
• Facenet là của ông Google giới thiệu năm 2015, và thằng model này thì mình cứ nhét ảnh vào (đúng size của nó) thì nó trả ra 1 vector 128 features cho 1 khuôn mặt. Sau đó dùng SVM để phân nhóm các vector đó vào các nhóm để biết vector đó là mặt của ai.

Thôi chắc đại khái thế nhỉ, anh em cần thêm tin chi tiết thì search google để tìm hiểu thêm hoặc comment trên group Mì AI để cùng trao đổi nhé.

Phần 2. Chuẩn bị nguyên vật liệu

Tạo thư mục và clone git:

Như thường lệ, anh em tạo 1 thư muc MiAI_FaceRecog_2 để lưu tất cả các món của bài này nhé. Sau khi tạo xong, anh em gõ lệnh sau để lấy mã nguồn về:

git clone https://github.com/thangnch/MiAI_FaceRecog_3 .
Mình edit lại thành MiAI_FaceRecog_3 để chạy tốt trên TF 2.x

Chú ý có dấu chấm cuối dòng nhé.

Bây giờ các bạn tạo các thư mục như sau:

• Tạo thư mục Dataset trong MìAI_FaceReg_2, trong đó tạo tiếp thư mục FaceData và dưới FaceData là tạo tiếp 2 thư mục raw và processed.
• Tạo thư mục Models trong MìAI_FaceReg_2 để chờ sẵn tẹo lưu model sau.

Chuẩn bị ảnh khuôn mặt để train

Bây giờ các bạn sưu tầm ảnh của 2 người trở lên, mỗi người 10 tấm hình rõ mặt (tạm chấp nhận yêu cầu hiện tại của bài này là at least 2 người nhé, mình sẽ tìm hiểu thêm sau). Mình ví dụ 2 người tên là NguyenVanA và LeThiB nhé. Các bạn tạo 02 thư mục NguyenVanA và LeThiB trong thư mục raw và copy ảnh của 2 người vào riêng 2 thư mục đó, ảnh của ai vào thư mục của người đó nhé.

Chú ý: Trong các ảnh bạn sưu tầm, chỉ có đúng 1 khuôn mặt của người đó, ko được có quá 1 khuôn mặt/ảnh nhé.

Ví dụ cây thư mục của mình để các bạn tham khảo:

|-FaceData
   |---processed
   |-----Hacd
   |-----ThangnC
   |---raw
   |-----Hacd
   |-----ThangnC

Cài đặt các thư viện cần thiết

Các bạn đứng ở thư mục MiAI_FaceRecog_2 chạy lệnh sau để cài tất cả các thư viện cần thiết:

pip install -r requirements.txt

Tiền xử lý dữ liệu để cắt khuôn mặt từ ảnh gốc

Với chỗ ảnh mà bạn đã sưu tầm bên trên, có thể là ảnh cả người, bây giờ chúng ta sẽ cắt riêng khuôn mặt ra để train nhé. Các bạn chuyển về thư mục MiAI_FaceRecog_2 và chạy lệnh :

python src/align_dataset_mtcnn.py  Dataset/FaceData/raw Dataset/FaceData/processed --image_size 160 --margin 32  --random_order --gpu_memory_fraction 0.25

Chạy xong thấy nó hiển thị dạng “Total number of images: …” là thành công rồi đó. Các bạn để ý sẽ thấy có thêm thư mục processed có cấu trúc tương tự thư mục raw nhưng chỉ chứa dữ liệu khuôn mặt dã được xử lý. Ví dụ như ảnh dưới:

Tải dữ liệu pretrain của Facenet về máy:

Các bạn tải weights pretrain về tại link này : Tại đây (nếu có khó khăn khi tải, các bạn bấm vào đây để xem hướng dẫn nhé). Sau khi tải xong về, các bạn copy toàn bộ file tải về vào thư mục Models, chú ý chỉ lấy file, bỏ hết các thư mục như hình bên dưới của mình (không có file facemodel.pkl như bên dưới đâu nhé, mình chụp nhầm chút).

Okie rồi, vậy là các công cuộc chuẩn bị nguyên liệu và sơ chế đã xong. Bây giờ sang bước Train thôi nào. Nứng quá rồi!

Phần 3. Tiến hành train model để nhận diện khuôn mặt

Bây giờ các bạn chuyển về thư mục MiAI_FaceRecog_2 nếu đang đứng ở thư mục khác nhé. Sau đó chạy lệnh train:

python src/classifier.py TRAIN Dataset/FaceData/processed Models/20180402-114759.pb Models/facemodel.pkl --batch_size 1000

Bây giờ các bạn đi lấy một tách trà và ngồi đợi nhé, khi nào màn hình hiện lên chữ “Saved classifier model to file “Models/facemodel.pkl” là done! Chúng ta đã train xong rồi, tận hưởng thành quả thôi.

Phần 4. Tận hưởng thành quả

Hôm nay chúng ta sẽ kiểm thử model đã train với 2 nguồn video: một là từ webcam và 2 là nhận diện trong một file video có sẵn. Bắt đầu nhé

Kiểm thử với webcam:

Các bạn chạy file face_rec_cam.py bằng lệnh sau:

python src/face_rec_cam.py 

Bạn đợi model load 1 chút và màn hình webcam sẽ hiện lên như sau, nhận chuẩn ra phết 😀

Rồi bây giờ chúng ta thử nhận diện qua video xem sao nhé. Các bạn chạy lệnh:

python src/face_rec.py --path video/camtest.mp4 

Chú ý ở đây mình ví dụ với file camtest.mp4 của mình, các bạn có thể thử với bất kì file video nào của các bạn. Chú ý là giảm độ phân giải xuống tầm 320×200 hoặc 640×480 nếu máy bạn không có GPU hoặc cấu hình thấp nhé, ko là giật tung lên đấy 😀

Và đây là thành quả của chúng ta, các bạn hãy xem video bên dưới nhé:

Rồi như vậy các bạn đã sở hữu cộng cụ “gần như mạnh nhất” hiện nay để phát hiện khuôn mặt, các hệ thống chấm công đơn giản đã có thể chạy được rồi. Mình rất mong có nhiều hệ thống thực được các bạn triển khai từ sample này. Nếu có thành quả hoặc có khó khăn gì, các bạn cứ chia sẻ cùng Mì AI trên group nhé: Group trao đổi, chia sẻ: https://www.facebook.com/groups/miaigroup .

Còn bây giờ, xin tạm biệt. Trong bài sau mình sẽ viết về 1 vấn đề là chống giả mạo bằng hình ảnh/video trong nhận diện khuôn mặt nhé.

Chúc các bạn vui vẻ và thành công!

Fanpage: http://facebook.com/miaiblog
Group trao đổi, chia sẻ: https://www.facebook.com/groups/miaigroup
Website: https://miai.vn/
Youtube: http://bit.ly/miaiyoutube