Face Detection using Multi-view HOGs
0 likes421 views
Face Detection using Multi-view HOGs
![Introduzione
Dataset
Implementazione
Risultati
Conclusioni
HOG
Structural SVM
Training
Classi鍖cazione
SVM: Genera una predizione binaria {0, 1}
Structural SVM: Genera una predizione strutturata, nel nostro caso una
quadrupla y = {t, l, b, r}, che rappresenta le coordinate del bounding box
del volto.
Il problema che risolve DLIB:
min1
2 w 2
+ C両
tale che
1
n w 揃
n
i=1 jVi
[率(xi , yij ) 率(xi , yij )] 1
n
jVi
(yij , yij ) 両
Andrea Barillari, Federico DAmato Face Detection con Multi-View HOG 16/31](https://image.slidesharecdn.com/hogfacedetection-160610171214/85/Face-Detection-using-Multi-view-HOGs-16-320.jpg)
Face Detection using Multi-view HOGs
- 1. Introduzione Dataset Implementazione Risultati Conclusioni Face Detection con Multi-View HOG Andrea Barillari, Federico DAmato Andrea Barillari, Federico DAmato Face Detection con Multi-View HOG 1/31
- 2. Introduzione Dataset Implementazione Risultati Conclusioni Face Detection Tecniche usate Face Detection Insieme di tecnologie atte alla localizzazione di volti umani in immagini digitali. Tale problema pu`o essere visto come uno speci鍖co caso di object-class detection. Andrea Barillari, Federico DAmato Face Detection con Multi-View HOG 2/31
- 3. Introduzione Dataset Implementazione Risultati Conclusioni Face Detection Tecniche usate Raccolta delle feature Histogram of Oriented Gradient (HOG) Classi鍖catore Structural SVM Immagine di input Calcolo del Gradiente Costruzione dei descrittori Raccolta degli HOG Structural SVM Predizione Faccia/Non-faccia Figura: Processo di classi鍖cazione Andrea Barillari, Federico DAmato Face Detection con Multi-View HOG 3/31
- 4. Introduzione Dataset Implementazione Risultati Conclusioni Face Detection Tecniche usate Libreria DLIB is a general purpose cross-platform C++ library designed using contract programming and modern C++ techniques. Figura: Struttura di DLIB Andrea Barillari, Federico DAmato Face Detection con Multi-View HOG 4/31
- 5. Introduzione Dataset Implementazione Risultati Conclusioni Face Detection Tecniche usate DLIB Face Detection Obiettivo : Migliorare DLIB addestrandolo su pi`u pose Figura: Yaw, Pitch e Roll di una faccia Andrea Barillari, Federico DAmato Face Detection con Multi-View HOG 5/31
- 6. Introduzione Dataset Implementazione Risultati Conclusioni Datasets AFLW AFW GLAIVE Pose Training Annotated Facial Landmarks in the Wild (AFLW) Testing Annotated Faces in the Wild (AFW) GLAIVE Andrea Barillari, Federico DAmato Face Detection con Multi-View HOG 6/31
- 7. Introduzione Dataset Implementazione Risultati Conclusioni Datasets AFLW AFW GLAIVE Pose AFLW: 25,993 immagini The motivation for the AFLW database is the need for a large-scale, multi-view, real-world face database with annotated facial features. facial feature localization multi-view face detection coarse head pose estimation. Andrea Barillari, Federico DAmato Face Detection con Multi-View HOG 7/31
- 8. Introduzione Dataset Implementazione Risultati Conclusioni Datasets AFLW AFW GLAIVE Pose Annotazioni: Bounding Box quadrati dei volti 21 Landmark per volto Posa (Yaw, Pitch e Roll) Altro (Sesso, Occhiali, Occluso) Andrea Barillari, Federico DAmato Face Detection con Multi-View HOG 8/31
- 9. Introduzione Dataset Implementazione Risultati Conclusioni Datasets AFLW AFW GLAIVE Pose AFW: 205 immagini Largamente usato per testing di Face Detector Annotazioni: Bounding Box rettangolari dei volti Posa (Yaw, Pitch e Roll) 6 Landmark Andrea Barillari, Federico DAmato Face Detection con Multi-View HOG 9/31
- 10. Introduzione Dataset Implementazione Risultati Conclusioni Datasets AFLW AFW GLAIVE Pose GLAIVE: 9546 immagini Fornito dal MICC. Pensato per task di Face Recognition Annotazioni: Bounding Box rettangolari dei volti 3 Landmark Andrea Barillari, Federico DAmato Face Detection con Multi-View HOG 10/31
- 11. Introduzione Dataset Implementazione Risultati Conclusioni Datasets AFLW AFW GLAIVE Pose Problemi: Annotazioni mancanti Singolo volto annotato per immagine (Face Recognition) Variabilit`a nelle dimensioni delle immagini Andrea Barillari, Federico DAmato Face Detection con Multi-View HOG 11/31
- 12. Introduzione Dataset Implementazione Risultati Conclusioni Datasets AFLW AFW GLAIVE Pose Il detector fornito da DLIB `e addestrato su LFW e utilizza 5 pose: Frontale Left-Looking Right-Looking Left-Rotated Right-Rotated Andrea Barillari, Federico DAmato Face Detection con Multi-View HOG 12/31
- 13. Introduzione Dataset Implementazione Risultati Conclusioni Datasets AFLW AFW GLAIVE Pose I detector da noi implementati usano un numero variabile di pose, 鍖no ad un massimo di 11 Figura: Pose utilizzate Andrea Barillari, Federico DAmato Face Detection con Multi-View HOG 13/31
- 14. Introduzione Dataset Implementazione Risultati Conclusioni HOG Structural SVM Training Classi鍖cazione L Histogram of Oriented Gradients `e un descrittore utilizzato in image processing. Idea: la forma e laspetto di un oggetto pu`o essere ben descritto dalla distribuzione del gradiente locale. Figura: HOG ottenuto da dataset di volti frontali Andrea Barillari, Federico DAmato Face Detection con Multi-View HOG 14/31
- 15. Introduzione Dataset Implementazione Risultati Conclusioni HOG Structural SVM Training Classi鍖cazione HOG utilizzato da DLIB F-HOG: Pixel Level Feature-Maps Aggregazione Spaziale Normalizzazione Andrea Barillari, Federico DAmato Face Detection con Multi-View HOG 15/31
- 16. Introduzione Dataset Implementazione Risultati Conclusioni HOG Structural SVM Training Classi鍖cazione SVM: Genera una predizione binaria {0, 1} Structural SVM: Genera una predizione strutturata, nel nostro caso una quadrupla y = {t, l, b, r}, che rappresenta le coordinate del bounding box del volto. Il problema che risolve DLIB: min1 2 w 2 + C両 tale che 1 n w 揃 n i=1 jVi [率(xi , yij ) 率(xi , yij )] 1 n jVi (yij , yij ) 両 Andrea Barillari, Federico DAmato Face Detection con Multi-View HOG 16/31
- 17. Introduzione Dataset Implementazione Risultati Conclusioni HOG Structural SVM Training Classi鍖cazione Parametri: Grandezza della 鍖nestra di scorrimento Numero di celle allinterno di un blocco HOG Posa Livelli della piramide Andrea Barillari, Federico DAmato Face Detection con Multi-View HOG 17/31
- 18. Introduzione Dataset Implementazione Risultati Conclusioni HOG Structural SVM Training Classi鍖cazione Valutazione detection: Intersection over Union (IoU) tra i box rilevati e quelli di groundtruth IoU = area(BpBgt ) area(BpBgt ) Se IoU < threshold false positive Se IoU threshold true positive Andrea Barillari, Federico DAmato Face Detection con Multi-View HOG 18/31
- 19. Introduzione Dataset Implementazione Risultati Conclusioni HOG Structural SVM Training Classi鍖cazione Non-Max Suppression: Intra-Detector Inter-Detector Criterio utilizzato: IoU Andrea Barillari, Federico DAmato Face Detection con Multi-View HOG 19/31
- 20. Introduzione Dataset Implementazione Risultati Conclusioni Criteri AFW GLAIVE Criteri di valutazione: Precision Recall Velocit`a di detection Andrea Barillari, Federico DAmato Face Detection con Multi-View HOG 20/31
- 21. Introduzione Dataset Implementazione Risultati Conclusioni Criteri AFW GLAIVE Dimensione celle Figura: Precision-Recall su AFW al variare della dimensione delle celle usate nel calcolo degli HOG relativo al detector addestrato su 7 pose Andrea Barillari, Federico DAmato Face Detection con Multi-View HOG 21/31
- 22. Introduzione Dataset Implementazione Risultati Conclusioni Criteri AFW GLAIVE Dimensione 鍖nestra scorrimento Figura: Precision-Recall su AFW al variare della grandezza della 鍖nestra di scorrimento relativo al detector addestrato su 7 pose Andrea Barillari, Federico DAmato Face Detection con Multi-View HOG 22/31
- 23. Introduzione Dataset Implementazione Risultati Conclusioni Criteri AFW GLAIVE Miglior con鍖gurazione dei parametri su AFW: Dimensione celle: 8 8 pixel Dimensione 鍖nestre: 80 80 pixel Andrea Barillari, Federico DAmato Face Detection con Multi-View HOG 23/31
- 24. Introduzione Dataset Implementazione Risultati Conclusioni Criteri AFW GLAIVE Numero di pose Figura: Precision-Recall su AFW al variare del numero di pose Andrea Barillari, Federico DAmato Face Detection con Multi-View HOG 24/31
- 25. Introduzione Dataset Implementazione Risultati Conclusioni Criteri AFW GLAIVE Confronto con DPM Figura: Confronto di detections di DPM (blu) e del detector addestrato con 11 pose (rosso) Andrea Barillari, Federico DAmato Face Detection con Multi-View HOG 25/31
- 26. Introduzione Dataset Implementazione Risultati Conclusioni Criteri AFW GLAIVE DEMO Andrea Barillari, Federico DAmato Face Detection con Multi-View HOG 26/31
- 27. Introduzione Dataset Implementazione Risultati Conclusioni Criteri AFW GLAIVE Velocit`a Figura: Velocit`a dei vari detector Andrea Barillari, Federico DAmato Face Detection con Multi-View HOG 27/31
- 28. Introduzione Dataset Implementazione Risultati Conclusioni Criteri AFW GLAIVE Dimensione celle Figura: Precision-Recall su GLAIVE al variare della dimensione delle celle usate nel calcolo degli HOG Andrea Barillari, Federico DAmato Face Detection con Multi-View HOG 28/31
- 29. Introduzione Dataset Implementazione Risultati Conclusioni Criteri AFW GLAIVE Dimensione 鍖nestra scorrimento Figura: Precision-Recall su GLAIVE al variare della dimensione delle celle usate nel calcolo degli HOG Andrea Barillari, Federico DAmato Face Detection con Multi-View HOG 29/31
- 30. Introduzione Dataset Implementazione Risultati Conclusioni Criteri AFW GLAIVE Bassa Precision: molte detection legittime sono considerate falsi positivi a causa della mancanza di annotazioni di groundtruth Valutazione della Recall Numero Pose Recall k=8,w=60 3 0.48 k=8,w=80 3 0.51 k=8,w=100 3 0.46 k=10,w=80 3 0.49 k=12,w=80 3 0.47 k=8,w=60 5 0.61 k=8,w=80 5 0.61 k=8,w=100 5 0.59 k=10,w=80 5 0.63 k=12,w=80 5 0.59 k=8,w=60 7 0.65 k=8,w=80 7 0.66 k=8,w=100 7 0.64 k=10,w=80 7 0.68 k=12,w=80 7 0.65 Tabella: Recall su GLAIVE al variare delle dimensioni di cella, 鍖nestra e del numero di pose Andrea Barillari, Federico DAmato Face Detection con Multi-View HOG 30/31
- 31. Introduzione Dataset Implementazione Risultati Conclusioni Conclusioni: Aumento pose aumento e鍖cacia, diminuzione e鍖cienza Migliore e鍖cacia rispetto al detector pre-addestrato di DLIB Migliore e鍖cienza rispetto a DPM Andrea Barillari, Federico DAmato Face Detection con Multi-View HOG 31/31