�ݺ�ߣ

Intro to Computer
Vision
Indonesia AI
Proprietary document of Indonesia AI 2023

Indonesia AI
OBJECTIVE & OUTLINE
Intro to Computer Vision
Karakteristik gambar
Image Processing Dasar
Ekstraksi Fitur Gambar
Pahami konsep dasar melalui materi dan sesi
langsung Intro to Computer Vision
Outline:
1.
2.
3.
4.

Indonesia AI

Indonesia AI
DEFINISI
"Merupakan cabang bidang AI yang terkait dengan bagaimana
membuat komputer memiliki high-level understanding dari data-data
berupa gambar digital ataupun video yang dipelajarinya. Bidang ini
menjadikan kemampuan sistem visual yang ada pada manusia sebagai
acuan kecerdasan visual."
- Computer Vision, Dana H. Ballard, Christopher M. Brown -

SEJARAH COMPUTER
VISION
Indonesia AI
Computer Vision merupakan topik kajian
yang paling matang di bidang AI. Bahkan
dikatakan: the story of computer vision is a
story about Artificial Intelligence (1950s).
Semakin matangnya ilmu pengetahuan
manusia tentang bagaimana mata melihat:
Pantulan cahaya dari suatu benda akan
masuk ke mata melalui kornea, lalu menuju
pupil dan diteruskan ke lensa mata. Cahaya
terbiaskan dan jatuh tepat di retina.

COMPUTER VISION HARI
INI
Indonesia AI
Mesin yang sudah terlatih atau belajar dengan baik, memiliki
kecerdasan visual yang sama bahkan melampaui manusia...

Indonesia AI
INI
Boy
Chair
Chair
Cake
Mug
Objek Utama

INI
Indonesia AI
Mesin dengan computer vision
pada hari ini mampu merangkai
kata menjelaskan beragam objek
yang dilihatnya.
Berlaku serupa untuk video...

Indonesia AI
DAFTAR APLIKASI
COMPUTER VISION
Face Recognition
Emotion Recognition
Image Segmentation
Object Tracking
Video Analysis
Activity Recognition
Pose and Motion Detection
Many others
1.
2.
3.
4.
5.
6.
7.
8.
Pada praktinya, bisa dipasang di PC, Kamera,
CCTV, Drone hingga Robot (jadi matanya) ~

Karakteristik Sebuah
Gambar
Indonesia AI

Indonesia AI
KARAKTERISTIK
Susunan array ndimensi dari piksel-piksel yang
merepresentasikan nilai intensitas cahaya pada
setiap titik dalam gambar.
Setiap piksel biasanya direpresentasikan oleh
bilangan bulat yang merepresentasikan tingkat
kecerahan atau warna pada titik tersebut.
Ukuran gambar ditentukan oleh jumlah piksel
dalam gambar tersebut.

Indonesia AI
KARAKTERISTIK
Gambar yang lebih besar memiliki lebih banyak
piksel dan biasanya memiliki resolusi yang lebih
tinggi.
Dalam komputer vision, gambar sering kali
diproses menggunakan teknik-teknik
pengolahan citra seperti filtering, edge
detection, dan feature extraction untuk
memperoleh informasi penting tentang
gambar dan objek yang direpresentasikannya.

Indonesia AI
UNSIGNED INTEGER VS
INTEGER
Dalam pemrograman komputer, integer
dan unsigned integer adalah dua tipe data
dasar yang digunakan untuk
merepresentasikan bilangan bulat (integer)
dalam suatu program.
Integer (sering disebut juga signed integer)
adalah tipe data yang digunakan untuk
merepresentasikan bilangan bulat dengan
tanda (positif atau negatif).

Indonesia AI
UNSIGNED INTEGER VS
INTEGER
Integer biasanya diimplementasikan dengan
menggunakan bit pertama sebagai bit
tanda, dan sisanya digunakan untuk
merepresentasikan nilai integer sebenarnya.
Contohnya, tipe data integer 32-bit dapat
merepresentasikan bilangan bulat dalam
rentang -2.147.483.648 hingga 2.147.483.647.

Indonesia AI
UINT8
uint8 adalah tipe data unsigned integer 8-
bit dalam pemrograman komputer. Tipe
data ini digunakan untuk
merepresentasikan bilangan bulat non-
negatif dalam rentang 0 hingga 255.
"uint" adalah singkatan dari "unsigned
integer", yang menandakan bahwa tipe
data ini tidak memiliki bit tanda seperti
halnya dengan tipe data integer (atau
signed integer).

Indonesia AI
IMPORTANT FACT
"Semakin besar gambar yang diproses sebanyak n kali maka
resource yang dibutuhkan untuk memproses gambar itu
menjadi n^2 kali"

Any question guys ~
Indonesia AI

Image Processing Dasar
Indonesia AI

Indonesia AI
DEFINISI
Image processing adalah proses pengolahan digital dari
gambar atau citra untuk meningkatkan kualitas,
mengekstraksi informasi, atau mengubahnya untuk
keperluan tertentu. Pengolahan citra melibatkan manipulasi
gambar dengan algoritma-algoritma komputasi.

Indonesia AI
ALGORITMA IMAGE
PROCESSING
Ada beberapa algoritma
image processing populer:
1. Cropping
2. Normalisasi
3. Resize
4. Image Transformation

Indonesia AI
CROPPING
Cropping adalah proses memotong sebagian dari
gambar asli untuk menghasilkan gambar baru
dengan ukuran dan komposisi yang berbeda.
Proses ini dilakukan dengan memilih bagian tertentu
dari gambar asli dan membuang bagian lainnya. Crop
umumnya digunakan untuk memfokuskan perhatian
pada bagian tertentu dari gambar, menghilangkan
bagian yang tidak relevan, atau menghasilkan
gambar dengan aspek rasio yang berbeda.

Indonesia AI
NORMALISASI
Normalisasi adalah proses transformasi
gambar yang bertujuan untuk mengubah
intensitas piksel pada gambar agar sesuai
dengan rentang yang diinginkan. Normalisasi
umumnya dilakukan untuk memudahkan
proses pengolahan citra berikutnya.
0-255
0-1

Indonesia AI
RESIZE
Resize adalah proses mengubah ukuran
gambar secara proporsional dengan
mengurangi atau menambah jumlah piksel
pada gambar asli.
Resize dilakukan untuk mengubah resolusi
gambar, memperkecil ukuran gambar, atau
memperbesar gambar. Proses ini dilakukan
dengan teknik interpolasi untuk mengisi piksel
yang hilang atau menambah piksel baru pada
gambar yang diubah ukurannya.

Indonesia AI
RESIZE
Nearest Neighbor
Bilinear Interpolation
Bicubic Interpolation
Lanczos Interpolation
Seam Carving
Superresolution
Deep Learning-based Methods.
Berikut beberapa metode dalam Resize Image:
1.
2.
3.
4.
5.
6.
7.

Indonesia AI
GRAYSCALE IMAGE
Grayscale adalah teknik merepresentasikan
sebuah gambar dengan hanya menggunakan
nilai kecerahan pada tiap piksel, tanpa
menggunakan informasi warna.
Setiap piksel diwakili dengan sebuah bilangan
bulat tunggal yang mengindikasikan tingkat
kecerahan dari piksel tersebut. Teknik grayscale
umum digunakan dalam pengolahan citra
untuk menyederhanakan data gambar dan
mempercepat proses pengolahan.

Indonesia AI
RGB TO GRAYSCALE
Formula untuk mengubah gambar RGB (Red,
Green, Blue) ke dalam gambar grayscale adalah
dengan melakukan rata-rata dari nilai R, G, dan
B pada setiap piksel.
Salah satu formula yang umum digunakan
adalah sebagai berikut:
Grayscale = (0.2989 * R) + (0.5870 * G) + (0.1140 * B)

Ekstraksi Fitur Gambar
Indonesia AI

Indonesia AI
DEFINISI
Ekstraksi fitur gambar pada proses image processing
adalah proses untuk mengidentifikasi dan
mengekstraksi informasi penting dari sebuah gambar,
seperti pola, tekstur, warna, atau bentuk.

Indonesia AI
DEFINISI
Apa sih tujuannya? 🤔
Mengubah representasi data gambar dari bentuk
piksel-piksel yang rumit menjadi fitur-fitur yang lebih
sederhana dan mudah diproses.
Ekstraksi fitur gambar memainkan peran penting
dalam berbagai aplikasi seperti pengenalan citra,
deteksi objek, klasifikasi gambar, dan pengolahan
citra medis.

Indonesia AI
METODE
Berikut beberapa metode untuk mengekstraksi fitur gambar:
1, Menghitung Mean dan Standar deviasi (STD) dari gambar
2. Menggunakan filter khusus untuk mengekstraksi fitur textur
3. SIFT (Scale-Invariant Feature Transform)
4. SURF (Speeded-Up Robust Features)

Indonesia AI
1. MENGHITUNG MEAN &
STD
mean adalah rata-rata nilai piksel pada gambar
N adalah jumlah piksel pada gambar
x_i adalah nilai piksel pada piksel ke-i pada gambar
Σ adalah simbol penjumlahan
Salah satu contoh penggunaan metode statistik adalah menghitung rata-rata nilai piksel
pada gambar grayscale. Formulanya sebagai berikut:
mean = (1/N) * Σ i=1 to N (x_i)
Di mana:

Indonesia AI
1. MENGHITUNG MEAN &
STD
std adalah deviasi standar nilai piksel pada gambar
mean adalah rata-rata nilai piksel pada gambar
N adalah jumlah piksel pada gambar
x_i adalah nilai piksel pada piksel ke-i pada gambar
Σ adalah simbol penjumlahan
sqrt adalah fungsi akar kuadrat
Kita bisa juga menghitung standard deviasi pada gambar. Formulanya sebagai berikut:
std = sqrt( Σ i=1 to N [(x_i - mean)^2] / (N - 1) )
Di mana:

Indonesia AI
Image Source: www.researchgate.net
2. MENGGUNAKAN FILTER
(GABOR FILTER)
Gabor filter adalah salah satu jenis filter spasial yang
digunakan dalam pengolahan citra dan computer vision.
Filter ini menggunakan kernel yang dirancang untuk
mengekstraksi fitur tekstur atau pola dari gambar, seperti
garis-garis, sudut, atau frekuensi.
Gabor filter didasarkan pada transformasi Gabor, yang
merupakan hasil kombinasi dari filter Gaussian dengan
sinusoidal. Kernel Gabor filter memiliki dua parameter
utama, yaitu skala dan orientasi, yang mengontrol ukuran
dan orientasi dari kernel filter.

Indonesia AI
(GABOR FILTER)
x dan y adalah koordinat piksel pada gambar
λ adalah panjang gelombang sinusoidal (wavelength)
θ adalah orientasi kernel filter (rotation angle)
ψ adalah fase kernel filter (phase offset)
Berikut adalah rumus umum untuk kernel Gabor filter 2D:
G(x,y;λ,θ,ψ,σ,γ) = exp(-(x'^2 + γ^2 * y'^2) / (2 * σ^2)) * cos(2 * pi * x' / λ + ψ)
Di mana:

Indonesia AI
(GABOR FILTER)
σ adalah standar deviasi dari filter Gaussian
γ adalah aspek rasio (aspect ratio) yang mengontrol proporsi kernel filter Gaussian
x' dan y' adalah koordinat piksel yang diputar dan dilipat sebelum diterapkan pada
kernel Gabor
Berikut adalah rumus umum untuk kernel Gabor filter 2D:
G(x,y;λ,θ,ψ,σ,γ) = exp(-(x'^2 + γ^2 * y'^2) / (2 * σ^2)) * cos(2 * pi * x' / λ + ψ)
Di mana:

Indonesia AI
3. SIFT
SIFT (Scale-Invariant Feature Transform) adalah
suatu teknik untuk ekstraksi fitur lokal pada
gambar, yang dikembangkan oleh David Lowe
pada tahun 1999.
Teknik SIFT dirancang untuk mengekstraksi fitur-
fitur yang tahan terhadap perubahan skala, rotasi,
dan pergeseran pada gambar.

Indonesia AI
3. SIFT
Teknik SIFT bekerja dengan melakukan deteksi
titik-titik kunci (keypoints) pada gambar dan
mengekstraksi deskriptor pada setiap titik kunci.
Deskriptor tersebut merepresentasikan informasi
lokal pada gambar, seperti bentuk, tekstur, atau
distribusi intensitas cahaya pada sekitar titik kunci.

Indonesia AI
3. TAHAPAN SIFT
Algoritma SIFT terdiri dari beberapa tahap, yaitu:
1, Space-scale extreme: Menggunakan Gaussian pyramid untuk menemukan lokasi dan
skala titik-titik kunci pada gambar.
2. Over-importance: Menghilangkan titik-titik kunci yang tidak stabil dan mengurangi
jumlah titik kunci yang sama pada gambar yang berbeda.
3. Edge localization: Menghilangkan titik kunci yang berada di tepi gambar.
4. Orientation: Menentukan orientasi utama pada setiap titik kunci.
5. Deskriptor: Mengekstraksi deskriptor yang merepresentasikan fitur lokal pada gambar.

Indonesia AI
3. TAHAPAN SIFT

Indonesia AI
3. TAHAPAN SIFT
Penjelasan kode program di atas:
1. `get_gaussian_kernel`: Fungsi untuk membuat kernel Gaussian dengan ukuran `size` dan sigma
yang diberikan. Kernel Gaussian ini digunakan untuk memfilter citra.
2. `convolve`: Fungsi untuk melakukan operasi konvolusi pada citra dan kernel yang diberikan.
3. `get_difference_of_gaussian`: Fungsi untuk membuat piramida DoG (Difference of Gaussian) dari
citra. Fungsi ini melakukan filtering citra dengan kernel Gaussian pada setiap level dan menghitung
selisih antara citra pada level sekarang dan level sebelumnya.
4. `get_extrema`: Fungsi untuk mencari titik ekstremum pada piramida DoG. Fungsi ini
membandingkan piksel pada level sekarang dengan piksel pada level sebelum dan sesudahnya
untuk menentukan apakah piksel tersebut merupakan titik ekstremum.
5. `get_keypoints`: Fungsi untuk menentukan orientasi dan desk

Indonesia AI
4. SURF
SURF (Speeded-Up Robust Features) adalah
teknik ekstraksi fitur dalam pengolahan citra dan
computer vision yang digunakan untuk
mendeteksi dan mengenali objek pada gambar.
SURF merupakan pengembangan dari teknik
ekstraksi fitur SIFT (Scale-Invariant Feature
Transform) yang lebih cepat dan tahan terhadap
gangguan atau noise pada gambar.

Indonesia AI
4. SURF
Teknik SURF bekerja dengan mengekstraksi fitur-
fitur lokal dari gambar dengan skala dan orientasi
yang berbeda-beda.
Fitur-fitur ini direpresentasikan dengan deskriptor
yang merupakan kombinasi dari informasi
kecerahan, orientasi, dan ukuran dari fitur tersebut.

Indonesia AI
4. SURF
Teknik SURF menggunakan beberapa teknik untuk mempercepat proses ekstraksi fitur
dan mempertahankan kestabilan terhadap perubahan dalam orientasi atau skala, di
antaranya adalah:
1. Integral Image: SURF menggunakan integral image untuk mempercepat proses deteksi
fitur pada gambar.
2. Fast Hessian: SURF menggunakan teknik Fast Hessian untuk mendeteksi titik-titik
kepentingan pada gambar dengan skala dan orientasi yang berbeda-beda.
3. Approximate Gaussian Filtering: SURF menggunakan filter Gaussian yang diaproksimasi
untuk mengurangi jumlah komputasi dan mempercepat proses ekstraksi fitur.

Terimakasih!
Indonesia AI

�ݺ�ߣ

Sesi 9 Intro to Computer Vision (Deep Learning)

Recommended

More Related Content

Similar to Sesi 9 Intro to Computer Vision (Deep Learning) (20)

Recently uploaded (7)

Sesi 9 Intro to Computer Vision (Deep Learning)