際際滷

際際滷Share a Scribd company logo
Eye Tracking przy u甜yciu kamery
internetowej

Szymon Deja
prof. dr hab. in甜. Ewa Dudek-Dyduch
dr Adrian Horzyk
Okulografia (Eye Tracking)


Eye tracking (po polsku zwany r坦wnie甜 okulograf臓) jest zbiorem
technik badawczych pozwalajcych na uzyskanie informacji
odnonie ruchu oka, jego poo甜enia w danym przedziale
czasowym oraz (ewentualnym) punkcie fiksacji wzroku

 Eyetraking jest technik stosowan od ponad 100 lat w
takich dziedzinach jak psychologia, medycyna, interakcja
czowiek-komputer, marketing i wielu innych.
 Istnieje wiele rozwiza stosowanych do eyetrakingu.
Przeznaczenie danego systemu okrela wymagan
dokadno, rozdzielczo, czstotliwo pomiar坦w,
atwo i wygod u甜ywania, a tak甜e cen.
Eye Tracking
Rodzaj uzyskiwanych danych:
Bezwzgldny punk odniesienia (orbital eye tracking
polski wynalazek JAZZ-Novo powsta
przy wsp坦pracy Instytutu Biocybernetyki i In甜ynierii Biomedycznej PAN oraz firmy
Ober
Poo甜enie oka w odniesieniu do punktu startowego
Eye Tracking



Wzgldny punkt odniesienia ( fiksacja na monitorze, generacja
map ciepa
Konieczno kalibracji
Eye Tracking



Tr坦jwymiarowy kierunek wzroku okulografia 3D
Wyznaczanie odchylenia oka : horyzontalnego , wertykalnego
oraz stopie rotacji (skrtu) gaki ocznej
Metody pomiaru pozycji oka
 Elektro-okulografia(EOG)
Technika polega na pomiarze r坦甜nicy potencjau sk坦ry, za pomoc
elektrod zamocowanych wok坦 oczu.
Metody pomiaru pozycji oka




Technik wykorzystujce soczewki kontaktowe
Soczewki zawieraj cewki indukcyjne
Rejestrowanie zmiany pola elektro-magnetycznego wywoanego
ruchem soczewki
Techniki optyczne bazujce na rejestracji obrazu video

 Z wykorzystaniem wiata podczerwonego
Metoda polega na okreleniu poo甜enia midzy rodkiem 添renicy a
odbiciem 添r坦da wiata podczerwonego od rog坦wki
Najczciej stosowana w komercyjnych systemach (Tobii, SMI)

Bez wykorzystania wiata poczerwonego
Obraz rejestrowany za pomoc standardowej kamery.
Pomiar ksztatu oraz pozycji rog坦wki oka wzgldem wybranej czci twarzy
Cel pracy
 Stworzenie systemu umo甜liwiajcego estymacje
punktu aktualniej koncentracji u甜ytkownika
komputera.
 Dziaanie w czasie rzeczywistym.
 Wykorzystanie wycznie standardowej kamery
internetowej o niskiej rozdzielczoci
Schemat systemu
ledzenie pozycji gowy
 Pozycja 3D gowy wyznaczana za pomoc
algorytmu POSIT (wymagana jest znajomo
modelu obiektu oraz zmian poo甜enia punkt坦w
le甜cych na jego powierzchni)
Wyznaczanie rodka 添renicy

Metoda podw坦jnej binaryzacji obrazu
Adaptacyjny dob坦r wartoci progu
binaryzacji
Zastosowanie erozji obrazu w celu likwidacji
refleks坦w wietlnych
rodek 添renicy jest estymowany przy u甜yciu
elipsy wyznaczonej na podstawie moment坦w
centralnych z segmentowanego obrazu
Kalibracja
 Proces kalibracji wzorowany na
komercyjnych systemach
 Podczas kalibracji wyznaczana jest
macierz homograficznego
mapowania midzy wektorem
wzroku a pozycj na monitorze
 Kalibracja trwa zaledwie 30 sekund
 U甜ytkownik ledzi wzrokiem
przemieszczajcy si po monitorze
czerwony punkt
Wyniki
 Dokadno opracowanego rozwizania zostaa
zbadana wyliczajc uredniony bd midzy
aktualnie wywietlanym punktem na monitorze a
wyznaczonym przez program.
 redni bd oceny wzroku podczas przeprowadzania
test坦w wyni坦s 1,5 stopnia.
Por坦wnanie z istniejcymi rozwizaniami
 Na rynku istnieje wiele komercyjnych system坦w
umo甜liwiajcych ledzenie wzroku jednak wszystkie
wymagaj stosowanie dedykowanego sprztu (np. kamery
dziaajce na podczerwie, specjalne soczewki kontaktowe,
czujniki pola elektrycznego).
 Prezentowane rozwizanie opiera dziaanie wycznie na
standardowej kamerze internetowej.
 Jedynym dostpnym systemem umo甜liwiajcym ledzenie
wzroku przy u甜yciu kamery internetowej jest projekt
OpenGazer, kt坦ry restrykcyjnie zakada, 甜e gowa
u甜ytkownika jest zupenie nieruchoma. Ponadto dokadno
tego systemu jest znacznie mniejsza od przedstawionego
rozwizania.
 Eyetrackshop maa dokadno , nie dziaa Real-Time
Koniec

Dzikuj za uwag!

More Related Content

Eyetracking

  • 1. Eye Tracking przy u甜yciu kamery internetowej Szymon Deja prof. dr hab. in甜. Ewa Dudek-Dyduch dr Adrian Horzyk
  • 2. Okulografia (Eye Tracking) Eye tracking (po polsku zwany r坦wnie甜 okulograf臓) jest zbiorem technik badawczych pozwalajcych na uzyskanie informacji odnonie ruchu oka, jego poo甜enia w danym przedziale czasowym oraz (ewentualnym) punkcie fiksacji wzroku Eyetraking jest technik stosowan od ponad 100 lat w takich dziedzinach jak psychologia, medycyna, interakcja czowiek-komputer, marketing i wielu innych. Istnieje wiele rozwiza stosowanych do eyetrakingu. Przeznaczenie danego systemu okrela wymagan dokadno, rozdzielczo, czstotliwo pomiar坦w, atwo i wygod u甜ywania, a tak甜e cen.
  • 3. Eye Tracking Rodzaj uzyskiwanych danych: Bezwzgldny punk odniesienia (orbital eye tracking polski wynalazek JAZZ-Novo powsta przy wsp坦pracy Instytutu Biocybernetyki i In甜ynierii Biomedycznej PAN oraz firmy Ober Poo甜enie oka w odniesieniu do punktu startowego
  • 4. Eye Tracking Wzgldny punkt odniesienia ( fiksacja na monitorze, generacja map ciepa Konieczno kalibracji
  • 5. Eye Tracking Tr坦jwymiarowy kierunek wzroku okulografia 3D Wyznaczanie odchylenia oka : horyzontalnego , wertykalnego oraz stopie rotacji (skrtu) gaki ocznej
  • 6. Metody pomiaru pozycji oka Elektro-okulografia(EOG) Technika polega na pomiarze r坦甜nicy potencjau sk坦ry, za pomoc elektrod zamocowanych wok坦 oczu.
  • 7. Metody pomiaru pozycji oka Technik wykorzystujce soczewki kontaktowe Soczewki zawieraj cewki indukcyjne Rejestrowanie zmiany pola elektro-magnetycznego wywoanego ruchem soczewki
  • 8. Techniki optyczne bazujce na rejestracji obrazu video Z wykorzystaniem wiata podczerwonego Metoda polega na okreleniu poo甜enia midzy rodkiem 添renicy a odbiciem 添r坦da wiata podczerwonego od rog坦wki Najczciej stosowana w komercyjnych systemach (Tobii, SMI) Bez wykorzystania wiata poczerwonego Obraz rejestrowany za pomoc standardowej kamery. Pomiar ksztatu oraz pozycji rog坦wki oka wzgldem wybranej czci twarzy
  • 9. Cel pracy Stworzenie systemu umo甜liwiajcego estymacje punktu aktualniej koncentracji u甜ytkownika komputera. Dziaanie w czasie rzeczywistym. Wykorzystanie wycznie standardowej kamery internetowej o niskiej rozdzielczoci
  • 11. ledzenie pozycji gowy Pozycja 3D gowy wyznaczana za pomoc algorytmu POSIT (wymagana jest znajomo modelu obiektu oraz zmian poo甜enia punkt坦w le甜cych na jego powierzchni)
  • 12. Wyznaczanie rodka 添renicy Metoda podw坦jnej binaryzacji obrazu Adaptacyjny dob坦r wartoci progu binaryzacji Zastosowanie erozji obrazu w celu likwidacji refleks坦w wietlnych rodek 添renicy jest estymowany przy u甜yciu elipsy wyznaczonej na podstawie moment坦w centralnych z segmentowanego obrazu
  • 13. Kalibracja Proces kalibracji wzorowany na komercyjnych systemach Podczas kalibracji wyznaczana jest macierz homograficznego mapowania midzy wektorem wzroku a pozycj na monitorze Kalibracja trwa zaledwie 30 sekund U甜ytkownik ledzi wzrokiem przemieszczajcy si po monitorze czerwony punkt
  • 14. Wyniki Dokadno opracowanego rozwizania zostaa zbadana wyliczajc uredniony bd midzy aktualnie wywietlanym punktem na monitorze a wyznaczonym przez program. redni bd oceny wzroku podczas przeprowadzania test坦w wyni坦s 1,5 stopnia.
  • 15. Por坦wnanie z istniejcymi rozwizaniami Na rynku istnieje wiele komercyjnych system坦w umo甜liwiajcych ledzenie wzroku jednak wszystkie wymagaj stosowanie dedykowanego sprztu (np. kamery dziaajce na podczerwie, specjalne soczewki kontaktowe, czujniki pola elektrycznego). Prezentowane rozwizanie opiera dziaanie wycznie na standardowej kamerze internetowej. Jedynym dostpnym systemem umo甜liwiajcym ledzenie wzroku przy u甜yciu kamery internetowej jest projekt OpenGazer, kt坦ry restrykcyjnie zakada, 甜e gowa u甜ytkownika jest zupenie nieruchoma. Ponadto dokadno tego systemu jest znacznie mniejsza od przedstawionego rozwizania. Eyetrackshop maa dokadno , nie dziaa Real-Time