ݺߣ

ݺߣShare a Scribd company logo
Computer vision for bird strike prevention
Juliol 2023
Doble grau Enginyeria
de Sistemes
Aeroespacials i Sistemes
de Telecomunicacions
Directors: Alberto Burgos
Francisco Javier Mora
Autor: Adrià Ibáñez
1
MOTIVACIÓ
● El 90% dels impactes es produeixen en l’entorn
aeroportuari
● En el 57% dels impactes amb aus el pilot no fou
advertit de la seva presència (FAA 1990-2023)
Computer vision for bird strike prevention
[1] Federal Aviation Administration. Wildlife Hazard
Mitigation. [Online] Available: https://wildlife.faa.gov/home.
2
MOTIVACIÓ
● Solament el 30% de grans aus solitàries vistes pels
observadors de camp en un radi de 4 km del radar van
ser detectats.
● Entre el 40 i el 80% dels estols d’ocells van ser
detectats.
Computer vision for bird strike prevention
[2] Skybrary. Detection of Bird Activity Using Radar. [Online] Available:
https://skybrary.aero/articles/detection-bird-activity-using-radar
3
Millorar la capacitat de detecció d’aus en l’entorn aeroportuari
OBJECTIU I HIPÒTESI
Computer vision for bird strike prevention
Es pot donar una solució basada en l’ús d’IA
ÍNDEX
4
Computer vision for bird strike prevention
01 METODOLOGIA DE TREBALL
02
RECERCA
Estratègia
Model
03
DESENVOLUPAMENT
Entrenament
Hardware
Prototip
04
TEST/VALIDACIÓ
Mètriques
Grad-Cam
Món real
05 MILLORES I APLICACIONS
06 CONCLUSIONS
5
Recerca Desenvolupament
Quina estratègia a
emprar?
Com crear i
entrenar el model?
Creació d’un
dataset propi
Paràmetres
d’avaluació
Estudi
d’explicabilitat
Entrenament
d’un model
METODOLOGIA DE TREBALL
Test al món
real
Computer vision for bird strike prevention
Test/Validació
ESTRATÈGIA
6
Recerca Computer vision for bird strike prevention
7
MODEL
Recerca Computer vision for bird strike prevention
Strategy Model Parameters Size Execution Time
(ms)
Classification MobileNetV1 3.23M 13.2MB 83
Classification MobileNetV2 2.26M 9.5MB 83
Classification InceptionV3 21.81M 88.1MB 150
Detection SSD-MobileNetV1 5.51M 22.7MB 230
Detection SSD-MobileNetV2 3.87M 16.4MB 225
Detection SSD-InceptionV2 13.3M 54.0MB 700
[3] Kolosov, D., &
Kelefouras, V. (2022).
Anatomy of Deep
Learning Image
Classification and Object
Detection on Commercial
Edge Devices: A Case
Study on Face Mask
Detection. University of
Patras.
8
MODEL
Recerca Computer vision for bird strike prevention
9
MODEL
Recerca Computer vision for bird strike prevention
10
DATASET
● 1538 imatges
d’aus
● 1902 imatges de
no-aus
● Imatges mirant al
zenit
Desenvolupament Computer vision for bird strike prevention
12
Desenvolupament Computer vision for bird strike prevention
AUGMENTACIÓ
11
FLIP ROTATION
CONTRAST
13
Desenvolupament Computer vision for bird strike prevention
FUNCIÓ DE PÈRDUES
12
Binary Cross-Entropy Loss
14
Desenvolupament Computer vision for bird strike prevention
TRANSFER LEARNING I FINE-TUNING
13
15
Desenvolupament Computer vision for bird strike prevention
TRANSFER LEARNING I FINE-TUNING
14
16
Desenvolupament Computer vision for bird strike prevention
QUANTITZACIÓ
15
● Obtenció arxiu .tflite
● Guardar pesos en valor enter 8 bits
16
● Raspberry Pi 4B
○ Ports DSI
○ USB càrrega
○ GPIO
○ Procesador 8 GB RAM
○ Accés inalàmbric
HARDWARE: PLACA COMPUTADORA
Desenvolupament Computer vision for bird strike prevention
Familia Model RAM Wireless
Raspberry Pi A+/B+ 512MB No
Raspberry Pi 2 B 1GB No
Raspberry Pi 3
B+ 1GB
Sí
A+ 512MB
Raspberry Pi 4 B 1/2/4/8 GB Sí
Raspberry Pi Zero
Zero
512MB
No
W/WH/2W Sí
16
● Càmera Raspberry Pi
○ Resolució 8MP
● LCD screen
○ Aspect ratio 800x480 pixels
HARDWARE: DISPOSITIUS PERIFÈRICS
Desenvolupament Computer vision for bird strike prevention
17
PROTOTIP
Desenvolupament Computer vision for bird strike prevention
Bird
18
MÈTRIQUES
TRUE
POSITIVE
TRUE
NEGATIVE
FALSE
POSITIVE
FALSE
NEGATIVE
CLASSIFICA AUS NO AUS AUS NO AUS
REALMENT
ÉS
AUS NO AUS NO AUS AUS
VEU
CONFUSION MATRIX
Test/Validació Computer vision for bird strike prevention
NO SON AUS SON AUS
PREDIU
NO AUS 366 13
PREDIU
AUS 13 280
19
GRAD-CAM
AMB AUS
Test/Validació Computer vision for bird strike prevention
20
GRAD-CAM
SENSE AUS
Test/Validació Computer vision for bird strike prevention
21
MÓN REAL
Test/Validació Computer vision for bird strike prevention
22
MÓN REAL: AUS
Test/Validació Computer vision for bird strike prevention
23
MÓN REAL: OBJECTES DESCONEGUTS
Test/Validació Computer vision for bird strike prevention
24
MÓN REAL: CONTRAILS
Test/Validació Computer vision for bird strike prevention
25
MÓN REAL: NÚVOLS
Test/Validació Computer vision for bird strike prevention
26
MÓN REAL: FALSOS NEGATIUS
Test/Validació Computer vision for bird strike prevention
27
APLICACIONS
Computer vision for bird strike prevention
28
PROPOSTES DE MILLORA
Computer vision for bird strike prevention
MODEL
● Ampliar el dataset d’imatges
● Assajar amb un model pre-entrenat que contempli més paràmetres
HARDWARE
● Provar una càmera amb major resolució i/o major rang de visió
PROTOTIP
● Millorar el disseny i acabat
29
CONCLUSIONS
● Es pot desenvolupar un sistema
de detecció d’aus mitjançant
intel·ligència artificial amb
limitacions.
○ Depenent de la òptica
○ Requereix un dataset
més complet
○ Gestió dels falsos positius
i negatius
● Caldria realitzar un test A/B
Computer vision for bird strike prevention
30
PREGUNTES I QÜESTIONS
Computer vision for bird strike prevention

More Related Content

Adrià Ibáñez (2023) Computer vision for bird strike prevention-12.07.2023.pdf