Feature Extraction for High Resolution Remote Sensing Image Classification using Histograms of Oriented Gradients
1 like268 views
The thesis explores the application of a advanced feature extraction technique, called "histogram of oriented gradients" (HOG), applied to multispectral VHR images. The algorithm, widely used in the human detection area, but new in this context of remote sensing, has been thoroughly analyzed in each phase, highlighting the correspondance between different parameter sets and different accuracy variations.
![Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni
Histograms of oriented gradients (HOG)
Costruzione degli istogrammi
Si costruiscono gli istogrammi (k = 1, . . . , n):
H0(c, k) =
X
i
X
j
f [G(i, j)] ( k 1 < (i, j) 錚 k) (1)
quantizzazione su n angle bin spaziati uniformemente
voto pesato rispetto allintensit`a del gradiente tramite la
funzione f (G)
Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 7 / 22](https://image.slidesharecdn.com/presentazionelaurea-160906202832/85/Feature-Extraction-for-High-Resolution-Remote-Sensing-Image-Classification-using-Histograms-of-Oriented-Gradients-12-320.jpg)
![Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni
Setup sperimentale
Setup sperimentale
Algoritmo HOG:
Riduzione del rumore: 鍖ltro gaussiano passabasso 15 15
Maschera derivativa [ 1, 0, 1]
Numero di bin: 4
Grandezze delle celle: 2 2 pixel per dimensione del pixel
di 2.5 m e 4 4 pixel per 5 m
Grandezze dei blocchi: 16 16 pixel
Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 16 / 22](https://image.slidesharecdn.com/presentazionelaurea-160906202832/85/Feature-Extraction-for-High-Resolution-Remote-Sensing-Image-Classification-using-Histograms-of-Oriented-Gradients-29-320.jpg)
![Tracking di prodotto di colata basato su immagini [Presentazione]](https://cdn.slidesharecdn.com/ss_thumbnails/presentazione-trackingdiprodottodicolatabasatosuimmagini-160309093201-thumbnail.jpg?width=560&fit=bounds){kind=tracking}
More Related Content
Similar to Feature Extraction for High Resolution Remote Sensing Image Classification using Histograms of Oriented Gradients (17)
Feature Extraction for High Resolution Remote Sensing Image Classification using Histograms of Oriented Gradients
- 1. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Estrazione di parametri per classi鍖cazione di immagini telerilevate ad alta risoluzione mediante istogrammi di gradienti orientati Margherita Piccini, Simone Rossi, Eugenio Zuccarelli Universit`a degli Studi di Genova - Scuola Politecnica Relatore: Prof. Gabriele Moser Correlatore: Dott. Vladimir Krylov Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 1 / 22
- 2. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Struttura della presentazione 1 Introduzione e obiettivi 2 Approccio sviluppato Histograms of oriented gradients (HOG) Support Vector Machine (SVM) 3 Risultati sperimentali Dataset Setup sperimentale Discussione dei risultati 4 Conclusioni Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 2 / 22
- 3. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Estrazione di parametri per classi鍖cazione di immagini telerilevate ad alta risoluzione mediante istogrammi di gradienti orientati Telerilevamento: estrazione remota di informazioni EO - Earth Observation Sensori di acquisizione passivi ottici Alta risoluzione spaziale (ordine di qualche metro) Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 3 / 22
- 4. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Estrazione di parametri per classi鍖cazione di immagini telerilevate ad alta risoluzione mediante istogrammi di gradienti orientati ) Costruzione automatica di mappe tematiche necessarie in svariati ambiti tra cui: analisi di sviluppo urbano mappatura di aree agricole gestione e salvaguardia ambientale Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 3 / 22
- 5. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Estrazione di parametri per classi鍖cazione di immagini telerilevate ad alta risoluzione mediante istogrammi di gradienti orientati Feature: parametri calcolati per ogni pixel utili per discriminare classi Feature di tessitura ) Obiettivo: estrarre informazioni sulla distribuzione spaziale delle intensit`a dei pixel + Informazione aggiuntiva e complementare ai canali (feature) spettrali dellimmagine telerilevata Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 3 / 22
- 6. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Estrazione di parametri per classi鍖cazione di immagini telerilevate ad alta risoluzione mediante istogrammi di gradienti orientati Obiettivo della tesi: esplorare lapplicabilit`a degli HOG nellambito della mappatura di copertura del suolo in area urbana Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 3 / 22
- 7. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Histograms of oriented gradients (HOG) Schema generale dellalgoritmo Immagine in ingresso Riduzione rumore Calcolo gradiente Costruzione istogrammi Normalizz. contrasto Costruzione vettore feature Classi鍖catore Idea chiave: descrivere il comportamento locale del gradiente di unimmagine per enfatizzare strutture geometriche Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 4 / 22
- 8. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Histograms of oriented gradients (HOG) Riduzione del rumore (a) Immagine originale con rumore (b) Risultato di 鍖ltraggio gaussiano Figura: Riduzione del rumore con 鍖ltraggio gaussiano 2D . Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 5 / 22
- 9. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Histograms of oriented gradients (HOG) Calcolo del gradiente Operativamente: I(j, k) hx Gx = I hx hy Gy = I hy G = q G2 x + G2 y = atan( Gy Gx ) G(j, k) Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 6 / 22
- 10. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Histograms of oriented gradients (HOG) Calcolo del gradiente Figura: Calcolo delle componenti del gradiente Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 6 / 22
- 11. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Histograms of oriented gradients (HOG) Costruzione degli istogrammi Immagine Matrice di celle Istogrammi Figura: Schema esempli鍖cativo della distribuzione spaziale di istogrammi e celle Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 7 / 22
- 12. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Histograms of oriented gradients (HOG) Costruzione degli istogrammi Si costruiscono gli istogrammi (k = 1, . . . , n): H0(c, k) = X i X j f [G(i, j)] ( k 1 < (i, j) 錚 k) (1) quantizzazione su n angle bin spaziati uniformemente voto pesato rispetto allintensit`a del gradiente tramite la funzione f (G) Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 7 / 22
- 13. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Histograms of oriented gradients (HOG) Normalizzazione Matrice di celle Matrice di blocchi Istogrammi Motivazione: riduzione artefatti dovuti a illuminazione e contrasto. Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 8 / 22
- 14. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Histograms of oriented gradients (HOG) Normalizzazione Schema di normalizzazione: H(c, k) = H0(c, k) P ci 2Nc p kH0(ci )k2 2 + "2 (2) dove Nc `e linsieme delle celle del blocco considerato. Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 8 / 22
- 15. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Histograms of oriented gradients (HOG) Costruzione del descrittore vettoriale 1 Feature HOG estratte separatamente su ogni canale spettrale tra i B presenti 2 Immagine 鍖nale derivata dalla concatenazione di canali spettrali e feature HOG Red Green Blue HOG over Red HOG over Green HOG over Blue Dimensione complessiva: B + B 揃 n Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 9 / 22
- 16. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Support Vector Machine (SVM) Cos`e un classi鍖catore {xi , yi } Training set Addestramento Regola di decisione PredizioneX(m, n) Immagine Mappa di classi鍖cazione Y (m, n) Figura: Schema funzionale di un classi鍖catore Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 10 / 22
- 17. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Support Vector Machine (SVM) Training set linearmente separabile x2 x1 Figura: Training set linearmente separabile Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 11 / 22
- 18. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Support Vector Machine (SVM) Training set linearmente separabile x2 x1 w 揃x + b = 0 w 揃x+ + b = 1w 揃x + b = 1 2 kw k b kw k w Figura: Margine tra i campioni di training di due classi linearmente separabili Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 11 / 22
- 19. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Support Vector Machine (SVM) SVM lineare binaria Addestramento: max L() = X i i 1 2 X i X j i j yi yj xi 揃 xj (3) Predizione: f (u) = X i i yi xi 揃 u + b (4) Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 12 / 22
- 20. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Support Vector Machine (SVM) SVM non lineare x1 x2 x1 x2 x3 Figura: Situazione esempli鍖cativa della funzione di trasformazione : Rd ! H (5) Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 13 / 22
- 21. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Support Vector Machine (SVM) SVM non lineare Giusti鍖cazione Un problema di classi鍖cazione complesso, formulato attraverso una trasformazione non-lineare dei dati in uno spazio ad alta dimensionalit`a, ha maggiore probabilit`a di essere linearmente separabile che in uno spazio a bassa dimensionalit`a. Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 13 / 22
- 22. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Support Vector Machine (SVM) SVM non lineare Addestramento: max L() = X i i 1 2 X i X j i j yi yj K(xi , xj ) (5) Predizione: f (u) = X i i yi K(xi , u) + b (6) con K : Rd Rd ! R tale che K(x1, x2) = (x1) 揃 (x2) Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 13 / 22
- 23. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Support Vector Machine (SVM) SVM non lineare Kernel usato per la fase di classi鍖cazione: radiale gaussiano (RBF) K(x1, x2) = exp ||x1 x2||2 2 2 (5) Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 13 / 22
- 24. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Dataset Descrizione dei dataset Progetto europeo dedicato allidenti鍖cazione di aree urbane attualmente non usate e potenzialmente riquali鍖cabili. Tre casi analizzati tutti acquisiti da SPOT 5 HRG a 3 bande (NIR, R, G): Amiens 2006 - 5 m - 10 classi Amiens 2012 - 2.5 m - 7 classi Amiens 2006 - 2.5 m - 7 classi Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 14 / 22
- 25. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Dataset Descrizione dei dataset Figura: Amiens 2006 5 m a 10 classi Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 14 / 22
- 26. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Dataset Descrizione dei dataset Figura: Amiens 2012 2.5 m a 7 classi Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 14 / 22
- 27. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Dataset Descrizione dei dataset Figura: Amiens 2006 2.5 m a 7 classi Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 14 / 22
- 28. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Dataset Di colt`a del dataset Problema di classi鍖cazione complesso a causa di eetto sfocatura causato da processi di pre-elaborazione presenza di ombre nellarea urbana classi spettralmente sovrapposte classi di uso del suolo e non di copertura del suolo numero di canali spettrali limitato (solo 3) Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 15 / 22
- 29. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Setup sperimentale Setup sperimentale Algoritmo HOG: Riduzione del rumore: 鍖ltro gaussiano passabasso 15 15 Maschera derivativa [ 1, 0, 1] Numero di bin: 4 Grandezze delle celle: 2 2 pixel per dimensione del pixel di 2.5 m e 4 4 pixel per 5 m Grandezze dei blocchi: 16 16 pixel Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 16 / 22
- 30. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Setup sperimentale Setup sperimentale SVM: Soft Margin SVM Kernel RBF (Radial Basis Function) I parametri C e della SVM sono ottenuti tramite un processo di ottimizzazione automatica che minimizza un maggiorante sullerrore di generalizzazione del classi鍖catore Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 16 / 22
- 31. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Discussione dei risultati Amiens 2006 - 5 m Mappa di classi鍖cazione con feaure HOG a 4 bin, celle 4 4 pixel, blocchi a 16 16 Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 17 / 22
- 32. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Discussione dei risultati Amiens 2006 - 5 m Accuratezze di classi鍖cazione sui campioni di test Area urbana ad alta densit`a Area urbana a bassa densit`a Strade Area urbana verde Suolo nudo 80.39% 72.91% 11.82% 0% 86.33% Terreno coltivabile Aree vegetate Alberi Corsi dacqua Specchi dacqua 90.96% 60.41% 73.62% 0% 67.15% Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 17 / 22
- 33. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Discussione dei risultati Amiens 2006 - 5 m Confronto di classi鍖cazione con e senza HOG per casi signi鍖cativi Area urbana ad alta densit`a Area urbana a bassa densit`a Acc +10.87% +18.15% Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 17 / 22
- 34. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Discussione dei risultati Amiens 2006 - 5 m (a) Mappa con HOG (b) Mappa senza HOG Figura: Confronto su una porzione dellarea urbana di 250 250 pixel della mappa di classi鍖cazione con e senza estrazione di feature Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 17 / 22
- 35. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Discussione dei risultati Amiens 2012 - 2.5 m Mappa di classi鍖cazione con feaure HOG a 4 bin, celle 2 2 pixel, blocchi a 16 16 Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 18 / 22
- 36. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Discussione dei risultati Amiens 2012 - 2.5 m Accuratezze di classi鍖cazione sui campioni di test Edi鍖ci Strade Area vegetata Suolo nudo 52.78% 10.65% 26.48% 81.24% Terreno coltivabile Alberi Acqua 91.78% 68.30% 70.10% Per questo dataset nessuna classe ha registrato un calo o un aumento di accuratezza signi鍖cativo nel confronto con e senza HOG Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 18 / 22
- 37. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Discussione dei risultati Amiens 2012 - 2.5 m (a) Mappa senza HOG (b) Mappa con HOG (c) Mappa con HOG e cartogra鍖a Figura: Confronto su una porzione della periferia di Amiens di 250 250 pixel della mappa di classi鍖cazione con e senza HOG e con laggiunta di una feature ulteriore estratta dalla cartogra鍖a a 2.5 m. Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 18 / 22
- 38. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Discussione dei risultati Amiens 2006 - 2.5 m Mappa di classi鍖cazione con feaure HOG a 4 bin, celle 2 2 pixel, blocchi a 16 16 Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 19 / 22
- 39. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Discussione dei risultati Amiens 2006 - 2.5 m Accuratezze di classi鍖cazione sui campioni di test Edi鍖ci Strade Area vegetata Suolo nudo 61.18% 65.77% 59.75% 89.32% Terreno coltivabile Alberi Acqua 87.30% 58.81% 72.14% Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 19 / 22
- 40. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Discussione dei risultati Amiens 2006 - 2.5 m Confronto di classi鍖cazione con e senza HOG per casi signi鍖cativi Strade Suolo nudo Alberi Acc +22.10% 5.34% 13.47% Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 19 / 22
- 41. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Conclusioni Punti di forza Miglioramento di accuratezza per alcune classi caratterizzate da contorni ben marcati Algoritmo computazionalmente poco oneroso Punti di debolezza Peggioramento di accuratezza per alcune classi caratterizzate da texture omogenee o regioni non geometriche Necessit`a di una fase di ottimizzazione dei parametri dellalgoritmo HOG Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 20 / 22
- 42. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Conclusioni Sviluppi futuri Sperimentazione congiunta con altri estrattori di feature sensibili a informazioni non di contorno Sperimentazione con altri classi鍖catori Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 20 / 22
- 43. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Bibliogra鍖a I Chang, C.-C., and Lin, C.-J. Working set selection using second order information for training svm. Journal of Machine Learning Research 6 (May 2005), 18891918. Dalal, N., and Triggs, B. Histograms of oriented gradientes for human detection. In Computer Vision and Pattern Recognition (June 2005), vol. 1, pp. 886893. Moser, G. Analisi di immagini telerilevate per osservazione della terra. Ecig Universitas, 2007. Moser, G., Serpico, S., and Benediktsson, J. A. Land-cover mapping by markov modeling of spatial-contextual information in very-high-resolution remote sensing images. Proceedings of the IEEE 101, 3 (March 2013), 631651. Vapnik, V. The Nature of Statistical Learning Theory, 2 ed. Springer-Verlag New York, 2000. Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 21 / 22