ºÝºÝߣ

ºÝºÝߣShare a Scribd company logo

Fn multimodal research

•
•
í¬
í¬ë¯¼ 지
1 of 16
Download to read offline
n F A652040 유ìƒê·  A646099 ì´ìƒì§„ A752043 윤승림 A846018 김민정 A852064 지í¬ë¯¼
Multimodal 리서치1 Daily Multimodal?
Multimodal ì‚¬ìš©ìž ê²½í—˜ì„ ë°”íƒ•ìœ¼ë¡œ 사람과 ê¸°ê³„ì˜ ë‹¤ì–‘í•œ 커뮤니케ì´ì…˜ ë°©ì‹
ì¸í„°íŽ˜ì´ìŠ¤ í‰ê°€ìš”소 ì§ê°ì„± : 사용 정보를 ì§ê°ì ìœ¼ë¡œ 아는 ì •ë„ ì œì•½ì„± : 물리, 문화, ê°œë…ì ì¸ ì œì•½ì„ ë‚˜íƒ€ë‚´ì–´ 유저가 주저 ì—†ì´ ì‚¬ìš©í•  수 있는 ì •ë„ ê°œë… ì˜ˆì¸¡ì„± : í–‰ìœ„ì˜ ê²°ê³¼ë¥¼ 예측하여 ê·¸ê²ƒì„ ì„¤ëª…í•  수 있는 ì •ë„ ì‚¬ìƒ(mapping)성 : 제어(control)와 ê·¸ íš¨ê³¼ì˜ ê´€ë ¨ì„± ì‹œê°í™” 능력 : ìœ ì €ì— ëŒ€í•´ ì‹œìŠ¤í…œì˜ ê°œë…ê³¼ ë™ìž‘ì„ ì´ë¯¸ì§€í™” 시켜주는 능력 제시능력 : 행위(action)ì˜ ê²°ê³¼ë¥¼ 유저ì—게 제공하여 주는 ì •ë„
뇌파 ì¸ì‹ 안구 ì¸ì‹ ìŒì„± ì¸ì‹ ë™ìž‘ ì¸ì‹ ì´‰ê° ì¸ì‹
뇌파 ì¸ì‹ ìƒì²´ 신호 ì¤‘ì˜ í•˜ë‚˜ì¸ ë‡ŒíŒŒëŠ” 안구 ì¸ì‹ 졸ìŒì´ë‚˜ 긴장 ë“±ì˜ ì‹¬ë¦¬ì ì¸ ìƒíƒœ ë° ìŒì„± ì¸ì‹ 눈ì´ë‚˜ ì†, ë°œì˜ ì›€ì§ìž„ 등 물리ì ì¸ ì‹ ì²´ ë°˜ì‘ì— ëŒ€í•œ 정보를 ë‚´í¬í•˜ê³  있으므로, ì‚¬ëžŒì´ ëŠë¼ëŠ” 피로ê°ì„ 정량ì ìœ¼ë¡œ 분ì„하는 방법으로 ì‚¬ìš©ë  ìˆ˜ 있다(Cavallaroet al., 2010). ë™ìž‘ ì¸ì‹ ì´‰ê° ì¸ì‹
Multimodal 리서치1 뇌파 ì¸ì‹ 1. 뇌파 ì‘ìš© 기술 - 침습형(Invasive) : 머릿ì†ì— ì„¼ì„œì¹©ì„ ìž¥ì°© - 비침습형(Non-invasive) : 외부ì—ì„œ 뇌파 ë“±ì„ ì¸¡ì • 2. 관련 회사 호주, Emotive Systems사 : 헤드셋 í˜•íƒœì˜ ì¸í„°íŽ˜ì´ìŠ¤ë¡œ ‘Emotive EPOCâ€™ì„ ê°œë°œí•˜ê³  게임 ì¸í„°íŽ˜ì´ìŠ¤, 뇌파를 분ì„하는 16ê°œì˜ ì„¼ì„œë¥¼ 통해 30ì—¬ ê°€ì§€ì˜ ì˜ë„ ë° ê°ì • ì¸ì‹ 미국, 사ì´ë²„키네틱스사 :전신마비 환ìžì˜ ë¨¸ë¦¬ì— ì„¼ì„œì¹©ì„ ìž¥ì°©í•˜ì—¬ TV나 컴퓨터를 ì¡°ìž‘, 100ê°œì˜ ë¯¸ì„¸ 전극으로 êµ¬ì„±ëœ ì„¼ì„œì¹©ì´ ë‡Œí™œë™ì˜ 변화를 í¬ì°©í•´ ì»´í“¨í„°ì— ì „ 송하면, ì´ë¥¼ 분ì„하여 환ìžì˜ ì˜ë„ íŒë³„ 뇌파를 ì´ìš©í•œ ì˜¤ì¼€ìŠ¤íŠ¸ë¼ ì—°ì£¼ ì†ê³¼ ë°œ ë™ìž‘ì„ ìƒê°í•  ë•Œ 다르게 나타나는 ë‡Œì˜ ì „ë¥˜ 변화, ë‡ŒíŒŒì˜ ì§„ë™ í­ì„ 측정하고 ìž‘ë™í•˜ëŠ” 휠체어ì´ë‹¤.
뇌파 ì¸ì‹ 안구 ì¸ì‹ ìŒì„± ì¸ì‹ 컴퓨터가 ìŒí–¥í•™ì  신호 (acoustic speech signal) 를 í…스트로 mapping 시키는 과정ì´ë‹¤. 즉 ì¼ë°˜ì ìœ¼ë¡œ 마ì´í¬ë‚˜ 전화를 통하여 얻어진 ìŒí–¥í•™ì  신호를 단어나 단어 집합 ë˜ëŠ” 문장으로 변환하는 ê³¼ì •ì„ ë™ìž‘ ì¸ì‹ ë§í•œë‹¤. ì¸ì‹ëœ 결과는 명령ì´ë‚˜ 제어, ë°ì´í„° ìž…ë ¥, 문서 준비 ë“±ì˜ ì‘ìš© 분야ì—ì„œ 최종 결과로 ì‚¬ìš©ë  ìˆ˜ 있으며, ìŒì„±ì´í•´ì™€ ê°™ì€ ë¶„ì•¼ì—는 언어 ì²˜ë¦¬ê³¼ì •ì˜ ìž…ë ¥ìœ¼ë¡œ ì‚¬ìš©ë  ìˆ˜ 있다 ì´‰ê° ì¸ì‹
Multimodal 리서치1 ìŒì„± ì¸ì‹ ìŒì„±ì¸ì‹ì„ 위해서 불특정 ë‹¤ìˆ˜ì˜ í™”ìžë¡œë¶€í„°ì˜ 다양한 ë°œìŒíŠ¹ì„±ì„ 모ë¸ë§í•˜ëŠ” ìž‘ì—…ì´ í•„ìš”í•˜ë‹¤. 2000년부터 2006ë…„ ì‚¬ì´ ëŒ€í™”ì²´ ìŒì„±ì¸ì‹ 기술과 오디오와 ì˜ìƒì´ ê²°í•©ëœ ë©€í‹°ëª¨ë‹¬ ë°©ì‹ì´ ì ìš©ë˜ê¸° 시작하였다. 중요한 정보를 검출, 추출, 요약하는 ê¸°ìˆ ì´ ê°œë°œë˜ì—ˆìœ¼ë©° 2007ë…„ ì´í›„, 유비쿼터스 환경ì—ì„œ 방송뉴스, 미팅, ê°•ì˜, 발표, íšŒì˜ ê¸°ë¡, ìž¬íŒ ê¸°ë¡, ìŒì„± ë©”ì¼ë“±ì— ì ìš©í•˜ê¸° 위해 ìŒì„±ìœ¼ë¡œ ì •ë³´ 전사, ì´í•´, ìš”ì•½ì´ ê°€ëŠ¥í•œ 연구가 ì´ë£¨ì–´ì¡Œë‹¤. 즉, 정보서비스를 액세스하기 위한 ëŒ€í™”ì‹œìŠ¤í…œìœ¼ë¡œì¨ ìŒì„±ì¸ì§€ ì¸í„°íŽ˜ì´ìŠ¤ë¥¼ 사용한다. ìŒì„±ì„ ì´ìš©í•œ 페ì¸íŒ…
뇌파 ì¸ì‹ 안구 ì¸ì‹ ìŒì„± ì¸ì‹ ë™ìž‘ ì¸ì‹ ì´‰ê° ì¸ì‹ 멀티터치는 터치스í¬ë¦°, 터치패드, 터치테ì´ë¸” 등ì—ì„œ 여러 ê°œì˜ í„°ì¹˜ í¬ì¸íŠ¸ë¥¼ ë™ì‹œì— ì¸ì‹, 처리하는 기술ì´ë‹¤. 단 í•˜ë‚˜ì˜ í„°ì¹˜ í¬ì¸íŠ¸ë§Œ ì¸ì‹ë˜ë˜ ê¸°ì¡´ì˜ í„°ì¹˜ì„¼ì„œë³´ë‹¤ ë” ì§ê´€ì ì´ê³  ìžì—°ìŠ¤ëŸ¬ìš´ ì¡°ìž‘ì´ ê°€ëŠ¥í•´ì§„ë‹¤. 멀티 터치를 구현하는 ë°©ì‹ì€ capacitive, resistive, optical, optical array, FTIR 5가지 ë°©ì‹ì´ë‹¤.
Multimodal 리서치1 ì´‰ê° ì¸ì‹ 1. capacitive(커패시티브)ë°©ì‹ 2. resistive(저항ì‹)ë°©ì‹ 3. OmniTouchë°©ì‹ capacitiveì€ ì´ë¯¸ ì•„ì´í°, 갤럭시s를 비롯한 ë§Žì€ resistive는 초기 터치í°ì— ë§Žì´ ì‚¬ìš©ë˜ì—ˆìœ¼ë©°, 옴 니터치(OmniTouch)는 ì–´ê¹¨ì— ì°©ìš© 가능한 스마트í°ì—ì„œ 사용ë˜ê³  있는 대표ì ì¸ 멀티터치 터치스í¬ë¦°ì„ ëˆŒë €ì„ ë•Œ í‰ì†Œì—는 분리ë˜ì–´ ìžˆë˜ ìœ„, 웨어러블 프로ì í„° ì‹œìŠ¤í…œìœ¼ë¡œì¨ ë‹¨ê±°ë¦¬ì—ì„œ ì–´ë–¤ ë°©ì‹ì´ë‹¤. 터치스í¬ë¦°ì˜ 표면 ì•„ëž˜ì— ì½˜ë´ì„œì˜ 아래 ì €í•­ë§‰ì´ ì„œë¡œ 접촉하여 저항 ê°’ì´ ë³€í•˜ê²Œë˜ì–´ 표면ì´ë“  터치스í¬ë¦°ì„ 만들 수 있다. 시스템 양극으로 ì‚¬ìš©ë  ITOê·¹ì˜ íŒ¨í„´ì„ ë§Œë“¤ê³  êµë¥˜ì „ì••ì„ ì „ë¥˜ì˜ íë¦„ì´ ë³€í•˜ê²Œë˜ê³ , ë”°ë¼ì„œ ì ‘ì´‰ì´ êµ¬ì„±ì€ ì‹¬ë„ê°ì§€ ì¹´ë©”ë¼ì™€ ë ˆì´ì €ê¸°ë°˜ 피코 (Pico) 넣어서 지ì†ì ìœ¼ë¡œ 콘ë´ì„œì˜ 전류를 í르게 하는ë°, ê°ì§€ë˜ì–´ì§€ëŠ” ë°©ì‹ì´ë‹¤. 장ì ì€ 다른 ë°©ì‹ë“¤ì— 비해 ì¹´ë©”ë¼ë¡œ ì´ë£¨ì–´ì ¸ìžˆë‹¤. 심ë„ê°ì§€ ì¹´ë©”ë¼ëŠ” ì´ë•Œ ì‚¬ëžŒì˜ ì†ê°€ë½ì´ 터치스í¬ë¦°ì— 닿으면 근처 저렴하며, ì–´ë–¤ ë¬¼ì²´ì˜ ì ‘ì´‰ë„ ê°ì§€ í•  수 있다는 마ì´í¬ë¡œí¬ìŠ¤í”„ì‚¬ì˜ í‚¤ë„¥(Kinect)ê³¼ 비슷한 콘ë´ì„œì˜ 정전용량 ê°’ì´ ë³€í•˜ì—¬ 콘ë´ì„œì— í르는 ì ì´ë‹¤. 단ì ì€ ê°ë„ê°€ 80-85%ë¡œ 다른 ë°©ì‹ì— 비해 시스템으로 사용ìžì˜ ì†ê°€ë½ì„ 깊ì´ë¥¼ 측정하는 전류가 변하게 ë˜ê³ , ì´ì™€ ê°™ì€ ì „ë¥˜ 변화를 통해 낮으며, ê°ì§€í•  수 있는 ì  ë˜í•œ 2ì ìœ¼ë¡œ 제한ëœë‹¤ëŠ” ë°©ì‹ìœ¼ë¡œ ì†ê°€ë½ 움ì§ìž„ì„ íŠ¸ëž˜í‚¹í•˜ê³ , 피코카메ë¼ë¥¼ ì ‘ì´‰ì„ ê°ì§€í•˜ê²Œ ëœë‹¤. 장ì ì€ í‘œë©´ì— ì‚¬ìš©ê°€ëŠ¥í•œ ì ì´ë‹¤. 통해 ì–´ë–¤ 표면ì—서든 ë ˆì´ì € 기반 ëª¨ë°”ì¼ ìœ ë¦¬ì˜ ì œí•œì´ ì—†ìœ¼ë©°, ê°ë„ê°€ 85-90%ë¡œ 뛰어나다. 프로ì í„°ë¥¼ ì  ìˆ˜ 있게 한다. 단ì ì€ 다른 ë°©ì‹ë“¤ì— 비해 ë” ë³µìž¡í•œ ë°©ì‹ì´ë©°, ì†ê°€ë½ê°™ì´ ì „ë„ì„±ì´ ë†’ì€ ë¬¼ì²´ì˜ ì ‘ì´‰ë§Œì„ ê°ì§€í•  수 있는 ë°©ì‹ì´ë¼ëŠ” ì ì´ë‹¤. Microsoftì‚¬ì˜ í”„ë¡œì í„°ë¥¼ ì´ìš©í•œ 멀티터치
뇌파 ì¸ì‹ í™ì±„ì¸ì‹ ì‹œìŠ¤í…œì€ ì‚¬ëžŒì˜ ëˆˆì—ì„œ 안구 ì¸ì‹ ì¤‘ì•™ì˜ ê²€ì€ ë™ê³µê³¼ 공막(í°ìžìœ„) ìŒì„± ì¸ì‹ 사ì´ì— 존재하는 ë„ë„›ëª¨ì–‘ì˜ í™ì±„ 무늬 íŒ¨í„´ì„ ì´ìš©í•˜ì—¬ 사용ìžë¥¼ ì¸ì¦í•˜ëŠ” 기술로서 태어난지 3ë…„ ì´ë‚´ì— ìžì‹ ë§Œì˜ 고유한 í™ì±„를 가지게 ëœë‹¤. 다른 ì–´ë–¤ ìƒì²´ íŠ¹ì§•ë³´ë‹¤ë„ ê°œì¸ê°„ì˜ ë³€ë³„ë ¥ì´ ë§¤ìš° 높다고 알려져 ë™ìž‘ ì¸ì‹ 있는 í™ì±„를 ìƒì²´ì¸ì‹ 수단으로 ë„리 사용하기 위해서는 ìƒì²´ì˜ íŠ¹ì§•ì„ íš¨ê³¼ì ìœ¼ë¡œ 표현하는 방법과 ë”불어 사용ìžì—게 보다 ë” íŽ¸ë¦¬í•œ í™˜ê²½ì„ ì œê³µí•˜ëŠ” ê¸°ìˆ ì´ ìš”êµ¬ë˜ê³  있다. ì´‰ê° ì¸ì‹
Multimodal 리서치1 안구 ì¸ì‹ í™ì±„를 ì´ìš©í•œ ê°œì¸ ì‹ë³„ì€ í™ì±„ ì˜ìƒíšë“ 부분과 í™ì±„ì¸ì‹ 부분으로 ì´ë£¨ì–´ì ¸ 있다. ì˜ìƒíšë“ ë¶€ë¶„ì€ í™ì±„ì¸ì‹ì— ì í•©í•œ í’ˆì§ˆì˜ ëˆˆ ì˜ìƒì„ íšë“하는 기능ì´ê³ , í™ì±„ì¸ì‹ ë¶€ë¶„ì€ íšë“ëœ ëˆˆ ì˜ìƒìœ¼ë¡œ í™ì±„ ì˜ì—­ 추출, í™ì±„ 특징 추출, í™ì±„ 코드 ìƒì„±, 특징 ì •í•© (Matching)ë“±ì˜ ê¸°ëŠ¥ì„ ìˆ˜í–‰í•œë‹¤. í™ì±„ ì˜ìƒíšë“ì— ìžˆì–´ 필요한 입력장치로는 CCD ì¹´ë©”ë¼, 비디오 ì¹´ë©”ë¼, 선명한 í™ì±„ 무늬 íŒ¨í„´ì„ ì–»ê¸° 위한 조명, 아날로그 ì˜ìƒì„ 디지털 ì˜ìƒìœ¼ë¡œ 변환하기 위한 ì˜ìƒíšë“ 장치(Capture Board or Frame Grabber)ë“±ì´ ìžˆë‹¤. Mick Ebeling: 갇힌 예술가를 ìžìœ ë¡­ê²Œí•œ 발명 ìŠ¤ì›¨ë´ íšŒì‚¬ Tobiiì˜ Eye-Tracking Technology
뇌파 ì¸ì‹ 안구 ì¸ì‹ ìŒì„± ì¸ì‹ ì œìŠ¤ì³ ì¸ì‹ì€ ì¼ë¶€ ì‹ ì²´ ë™ìž‘ì´ë‚˜ ë™ìž‘ ì¸ì‹ ìƒíƒœì—ì„œë„ ë°œìƒí•˜ê¸°ë„ 하지만, ì¼ë°˜ì ìœ¼ë¡œ 얼굴ì´ë‚˜ ì†ì—ì„œ ì´ë¤„ì ¸ 왔다. 현재 ì œìŠ¤ì³ ì¸ì‹ ì˜ì—­ì˜ ì´ˆì ì€ 얼굴과 ì†ì§“ì„ ì¸ì‹í•˜ê³  나아가 ê°ì • ì¸ì‹ì„ í¬í•¨í•˜ëŠ” ê²ƒì— ë§žì¶°ì ¸ê°€ê³  ì´‰ê° ì¸ì‹ 있으며, ìžì„¸ì™€ 걸ìŒê±¸ì´ 등 다양한 ì¸ê°„ í–‰ë™ì„ ì¸ì§€í•˜ê³  ì‹ë³„하는 것 ë˜í•œ ì œìŠ¤ì³ ì¸ì‹ ê¸°ìˆ ì˜ ëŒ€ìƒì´ê¸°ë„ 하다.
Multimodal 리서치1 ë™ìž‘ ì¸ì‹ 팔 ê·¼ìœ¡ì„ ì´ìš©í•œ 제스처 ìž…ë ¥ í˜€ì˜ ì›€ì§ìž„ì„ ì»´í“¨í„° ìž…ë ¥ì— í™œìš©í•˜ê¸° ë°©í–¥ê°ì§€ê°€ 가능한 ëª¨ë°”ì¼ ê¸°ê¸°ë¥¼ 활용한 ê°€ìƒ ì±…ìž¥ 시스템 íŒ”ì— ê·¼ìœ¡ì˜ ë³€í™”ë¥¼ ê°ì§€í•  수 있는 EMG (Electromyogra- 전신마비 장애ì¸ë“¤ì˜ 입력장치로는 기존 eye-tracking ì´ë‚˜ ëª¨ë°”ì¼ ê¸°ê¸°ì—ì„œ 좀 ë” ë¹ ë¥´ê³  ì†ì‰¬ìš´ ìž…ë ¥ì„ ìœ„í•´ 몸 ì£¼ë³€ì˜ phy, ê·¼ìœ¡ì´ ì›€ì§ˆì¼ ë•Œ ë°œìƒí•˜ëŠ” 미세한 전기신호를 ê°ì§€í•˜ëŠ” ìŒì„±ì¸ì‹ìª½ 연구가 ë§Žì•˜ì—ˆëŠ”ë° ì´ ì—°êµ¬ì—서는 í˜€ì˜ ì›€ì§ìž„ ë˜ ê°€ìƒì±…장 ê°œë…ì„ ë„ìž…í•œ 연구ì´ë‹¤. ìž‘ì€ ë””ìŠ¤í”Œë ˆì´ë¥¼ ë³´ë©° 버 기술 í•œ ì¢‹ì€ ëŒ€ì•ˆì´ ë  ìˆ˜ 있다. íŠ¼ì„ ëˆ„ë¥´ëŠ” ì‹ì˜ 전형ì ì¸ 입력방ì‹ì—ì„œ 벗어나 몸 ì£¼ë³€ì— ê°€ ìƒì˜ 책장 (í˜¹ì€ ì•„ì´ì½˜) ì´ ìžˆë‹¤ 가정하고, ê·¸ê²ƒì„ ëª¨ë°”ì¼ ê¸° 기로 가리키는 것으로 ìž…ë ¥ì„ ê°€ëŠ¥í•˜ê²Œ 하고 있다.
참고 ìžë£Œ http://blog.naver.com/jkhan012?Redirect=Log&logNo=150117757554 http://misofruit.co.kr/seojewoo/programming/ubiquitous/ http://interaction.tistory.com/ http://uxfactory.com/ http://www.ted.com/ http://story.pxd.co.kr/ http://www.osc.kr/ http://www.tmaa.com/home.html http://www.tobii.com/

More Related Content

Fn multimodal research

  • 1. n F A652040 유ìƒê·  A646099 ì´ìƒì§„ A752043 윤승림 A846018 김민정 A852064 지í¬ë¯¼
  • 3. Multimodal ì‚¬ìš©ìž ê²½í—˜ì„ ë°”íƒ•ìœ¼ë¡œ 사람과 ê¸°ê³„ì˜ ë‹¤ì–‘í•œ 커뮤니케ì´ì…˜ ë°©ì‹
  • 4. ì¸í„°íŽ˜ì´ìŠ¤ í‰ê°€ìš”소 ì§ê°ì„± : 사용 정보를 ì§ê°ì ìœ¼ë¡œ 아는 ì •ë„ ì œì•½ì„± : 물리, 문화, ê°œë…ì ì¸ ì œì•½ì„ ë‚˜íƒ€ë‚´ì–´ 유저가 주저 ì—†ì´ ì‚¬ìš©í•  수 있는 ì •ë„ ê°œë… ì˜ˆì¸¡ì„± : í–‰ìœ„ì˜ ê²°ê³¼ë¥¼ 예측하여 ê·¸ê²ƒì„ ì„¤ëª…í•  수 있는 ì •ë„ ì‚¬ìƒ(mapping)성 : 제어(control)와 ê·¸ íš¨ê³¼ì˜ ê´€ë ¨ì„± ì‹œê°í™” 능력 : ìœ ì €ì— ëŒ€í•´ ì‹œìŠ¤í…œì˜ ê°œë…ê³¼ ë™ìž‘ì„ ì´ë¯¸ì§€í™” 시켜주는 능력 제시능력 : 행위(action)ì˜ ê²°ê³¼ë¥¼ 유저ì—게 제공하여 주는 ì •ë„
  • 5. 뇌파 ì¸ì‹ 안구 ì¸ì‹ ìŒì„± ì¸ì‹ ë™ìž‘ ì¸ì‹ ì´‰ê° ì¸ì‹
  • 6. 뇌파 ì¸ì‹ ìƒì²´ 신호 ì¤‘ì˜ í•˜ë‚˜ì¸ ë‡ŒíŒŒëŠ” 안구 ì¸ì‹ 졸ìŒì´ë‚˜ 긴장 ë“±ì˜ ì‹¬ë¦¬ì ì¸ ìƒíƒœ ë° ìŒì„± ì¸ì‹ 눈ì´ë‚˜ ì†, ë°œì˜ ì›€ì§ìž„ 등 물리ì ì¸ ì‹ ì²´ ë°˜ì‘ì— ëŒ€í•œ 정보를 ë‚´í¬í•˜ê³  있으므로, ì‚¬ëžŒì´ ëŠë¼ëŠ” 피로ê°ì„ 정량ì ìœ¼ë¡œ 분ì„하는 방법으로 ì‚¬ìš©ë  ìˆ˜ 있다(Cavallaroet al., 2010). ë™ìž‘ ì¸ì‹ ì´‰ê° ì¸ì‹
  • 7. Multimodal 리서치1 뇌파 ì¸ì‹ 1. 뇌파 ì‘ìš© 기술 - 침습형(Invasive) : 머릿ì†ì— ì„¼ì„œì¹©ì„ ìž¥ì°© - 비침습형(Non-invasive) : 외부ì—ì„œ 뇌파 ë“±ì„ ì¸¡ì • 2. 관련 회사 호주, Emotive Systems사 : 헤드셋 í˜•íƒœì˜ ì¸í„°íŽ˜ì´ìŠ¤ë¡œ ‘Emotive EPOCâ€™ì„ ê°œë°œí•˜ê³  게임 ì¸í„°íŽ˜ì´ìŠ¤, 뇌파를 분ì„하는 16ê°œì˜ ì„¼ì„œë¥¼ 통해 30ì—¬ ê°€ì§€ì˜ ì˜ë„ ë° ê°ì • ì¸ì‹ 미국, 사ì´ë²„키네틱스사 :전신마비 환ìžì˜ ë¨¸ë¦¬ì— ì„¼ì„œì¹©ì„ ìž¥ì°©í•˜ì—¬ TV나 컴퓨터를 ì¡°ìž‘, 100ê°œì˜ ë¯¸ì„¸ 전극으로 êµ¬ì„±ëœ ì„¼ì„œì¹©ì´ ë‡Œí™œë™ì˜ 변화를 í¬ì°©í•´ ì»´í“¨í„°ì— ì „ 송하면, ì´ë¥¼ 분ì„하여 환ìžì˜ ì˜ë„ íŒë³„ 뇌파를 ì´ìš©í•œ ì˜¤ì¼€ìŠ¤íŠ¸ë¼ ì—°ì£¼ ì†ê³¼ ë°œ ë™ìž‘ì„ ìƒê°í•  ë•Œ 다르게 나타나는 ë‡Œì˜ ì „ë¥˜ 변화, ë‡ŒíŒŒì˜ ì§„ë™ í­ì„ 측정하고 ìž‘ë™í•˜ëŠ” 휠체어ì´ë‹¤.
  • 8. 뇌파 ì¸ì‹ 안구 ì¸ì‹ ìŒì„± ì¸ì‹ 컴퓨터가 ìŒí–¥í•™ì  신호 (acoustic speech signal) 를 í…스트로 mapping 시키는 과정ì´ë‹¤. 즉 ì¼ë°˜ì ìœ¼ë¡œ 마ì´í¬ë‚˜ 전화를 통하여 얻어진 ìŒí–¥í•™ì  신호를 단어나 단어 집합 ë˜ëŠ” 문장으로 변환하는 ê³¼ì •ì„ ë™ìž‘ ì¸ì‹ ë§í•œë‹¤. ì¸ì‹ëœ 결과는 명령ì´ë‚˜ 제어, ë°ì´í„° ìž…ë ¥, 문서 준비 ë“±ì˜ ì‘ìš© 분야ì—ì„œ 최종 결과로 ì‚¬ìš©ë  ìˆ˜ 있으며, ìŒì„±ì´í•´ì™€ ê°™ì€ ë¶„ì•¼ì—는 언어 ì²˜ë¦¬ê³¼ì •ì˜ ìž…ë ¥ìœ¼ë¡œ ì‚¬ìš©ë  ìˆ˜ 있다 ì´‰ê° ì¸ì‹
  • 9. Multimodal 리서치1 ìŒì„± ì¸ì‹ ìŒì„±ì¸ì‹ì„ 위해서 불특정 ë‹¤ìˆ˜ì˜ í™”ìžë¡œë¶€í„°ì˜ 다양한 ë°œìŒíŠ¹ì„±ì„ 모ë¸ë§í•˜ëŠ” ìž‘ì—…ì´ í•„ìš”í•˜ë‹¤. 2000년부터 2006ë…„ ì‚¬ì´ ëŒ€í™”ì²´ ìŒì„±ì¸ì‹ 기술과 오디오와 ì˜ìƒì´ ê²°í•©ëœ ë©€í‹°ëª¨ë‹¬ ë°©ì‹ì´ ì ìš©ë˜ê¸° 시작하였다. 중요한 정보를 검출, 추출, 요약하는 ê¸°ìˆ ì´ ê°œë°œë˜ì—ˆìœ¼ë©° 2007ë…„ ì´í›„, 유비쿼터스 환경ì—ì„œ 방송뉴스, 미팅, ê°•ì˜, 발표, íšŒì˜ ê¸°ë¡, ìž¬íŒ ê¸°ë¡, ìŒì„± ë©”ì¼ë“±ì— ì ìš©í•˜ê¸° 위해 ìŒì„±ìœ¼ë¡œ ì •ë³´ 전사, ì´í•´, ìš”ì•½ì´ ê°€ëŠ¥í•œ 연구가 ì´ë£¨ì–´ì¡Œë‹¤. 즉, 정보서비스를 액세스하기 위한 ëŒ€í™”ì‹œìŠ¤í…œìœ¼ë¡œì¨ ìŒì„±ì¸ì§€ ì¸í„°íŽ˜ì´ìŠ¤ë¥¼ 사용한다. ìŒì„±ì„ ì´ìš©í•œ 페ì¸íŒ…
  • 10. 뇌파 ì¸ì‹ 안구 ì¸ì‹ ìŒì„± ì¸ì‹ ë™ìž‘ ì¸ì‹ ì´‰ê° ì¸ì‹ 멀티터치는 터치스í¬ë¦°, 터치패드, 터치테ì´ë¸” 등ì—ì„œ 여러 ê°œì˜ í„°ì¹˜ í¬ì¸íŠ¸ë¥¼ ë™ì‹œì— ì¸ì‹, 처리하는 기술ì´ë‹¤. 단 í•˜ë‚˜ì˜ í„°ì¹˜ í¬ì¸íŠ¸ë§Œ ì¸ì‹ë˜ë˜ ê¸°ì¡´ì˜ í„°ì¹˜ì„¼ì„œë³´ë‹¤ ë” ì§ê´€ì ì´ê³  ìžì—°ìŠ¤ëŸ¬ìš´ ì¡°ìž‘ì´ ê°€ëŠ¥í•´ì§„ë‹¤. 멀티 터치를 구현하는 ë°©ì‹ì€ capacitive, resistive, optical, optical array, FTIR 5가지 ë°©ì‹ì´ë‹¤.
  • 11. Multimodal 리서치1 ì´‰ê° ì¸ì‹ 1. capacitive(커패시티브)ë°©ì‹ 2. resistive(저항ì‹)ë°©ì‹ 3. OmniTouchë°©ì‹ capacitiveì€ ì´ë¯¸ ì•„ì´í°, 갤럭시s를 비롯한 ë§Žì€ resistive는 초기 터치í°ì— ë§Žì´ ì‚¬ìš©ë˜ì—ˆìœ¼ë©°, 옴 니터치(OmniTouch)는 ì–´ê¹¨ì— ì°©ìš© 가능한 스마트í°ì—ì„œ 사용ë˜ê³  있는 대표ì ì¸ 멀티터치 터치스í¬ë¦°ì„ ëˆŒë €ì„ ë•Œ í‰ì†Œì—는 분리ë˜ì–´ ìžˆë˜ ìœ„, 웨어러블 프로ì í„° ì‹œìŠ¤í…œìœ¼ë¡œì¨ ë‹¨ê±°ë¦¬ì—ì„œ ì–´ë–¤ ë°©ì‹ì´ë‹¤. 터치스í¬ë¦°ì˜ 표면 ì•„ëž˜ì— ì½˜ë´ì„œì˜ 아래 ì €í•­ë§‰ì´ ì„œë¡œ 접촉하여 저항 ê°’ì´ ë³€í•˜ê²Œë˜ì–´ 표면ì´ë“  터치스í¬ë¦°ì„ 만들 수 있다. 시스템 양극으로 ì‚¬ìš©ë  ITOê·¹ì˜ íŒ¨í„´ì„ ë§Œë“¤ê³  êµë¥˜ì „ì••ì„ ì „ë¥˜ì˜ íë¦„ì´ ë³€í•˜ê²Œë˜ê³ , ë”°ë¼ì„œ ì ‘ì´‰ì´ êµ¬ì„±ì€ ì‹¬ë„ê°ì§€ ì¹´ë©”ë¼ì™€ ë ˆì´ì €ê¸°ë°˜ 피코 (Pico) 넣어서 지ì†ì ìœ¼ë¡œ 콘ë´ì„œì˜ 전류를 í르게 하는ë°, ê°ì§€ë˜ì–´ì§€ëŠ” ë°©ì‹ì´ë‹¤. 장ì ì€ 다른 ë°©ì‹ë“¤ì— 비해 ì¹´ë©”ë¼ë¡œ ì´ë£¨ì–´ì ¸ìžˆë‹¤. 심ë„ê°ì§€ ì¹´ë©”ë¼ëŠ” ì´ë•Œ ì‚¬ëžŒì˜ ì†ê°€ë½ì´ 터치스í¬ë¦°ì— 닿으면 근처 저렴하며, ì–´ë–¤ ë¬¼ì²´ì˜ ì ‘ì´‰ë„ ê°ì§€ í•  수 있다는 마ì´í¬ë¡œí¬ìŠ¤í”„ì‚¬ì˜ í‚¤ë„¥(Kinect)ê³¼ 비슷한 콘ë´ì„œì˜ 정전용량 ê°’ì´ ë³€í•˜ì—¬ 콘ë´ì„œì— í르는 ì ì´ë‹¤. 단ì ì€ ê°ë„ê°€ 80-85%ë¡œ 다른 ë°©ì‹ì— 비해 시스템으로 사용ìžì˜ ì†ê°€ë½ì„ 깊ì´ë¥¼ 측정하는 전류가 변하게 ë˜ê³ , ì´ì™€ ê°™ì€ ì „ë¥˜ 변화를 통해 낮으며, ê°ì§€í•  수 있는 ì  ë˜í•œ 2ì ìœ¼ë¡œ 제한ëœë‹¤ëŠ” ë°©ì‹ìœ¼ë¡œ ì†ê°€ë½ 움ì§ìž„ì„ íŠ¸ëž˜í‚¹í•˜ê³ , 피코카메ë¼ë¥¼ ì ‘ì´‰ì„ ê°ì§€í•˜ê²Œ ëœë‹¤. 장ì ì€ í‘œë©´ì— ì‚¬ìš©ê°€ëŠ¥í•œ ì ì´ë‹¤. 통해 ì–´ë–¤ 표면ì—서든 ë ˆì´ì € 기반 ëª¨ë°”ì¼ ìœ ë¦¬ì˜ ì œí•œì´ ì—†ìœ¼ë©°, ê°ë„ê°€ 85-90%ë¡œ 뛰어나다. 프로ì í„°ë¥¼ ì  ìˆ˜ 있게 한다. 단ì ì€ 다른 ë°©ì‹ë“¤ì— 비해 ë” ë³µìž¡í•œ ë°©ì‹ì´ë©°, ì†ê°€ë½ê°™ì´ ì „ë„ì„±ì´ ë†’ì€ ë¬¼ì²´ì˜ ì ‘ì´‰ë§Œì„ ê°ì§€í•  수 있는 ë°©ì‹ì´ë¼ëŠ” ì ì´ë‹¤. Microsoftì‚¬ì˜ í”„ë¡œì í„°ë¥¼ ì´ìš©í•œ 멀티터치
  • 12. 뇌파 ì¸ì‹ í™ì±„ì¸ì‹ ì‹œìŠ¤í…œì€ ì‚¬ëžŒì˜ ëˆˆì—ì„œ 안구 ì¸ì‹ ì¤‘ì•™ì˜ ê²€ì€ ë™ê³µê³¼ 공막(í°ìžìœ„) ìŒì„± ì¸ì‹ 사ì´ì— 존재하는 ë„ë„›ëª¨ì–‘ì˜ í™ì±„ 무늬 íŒ¨í„´ì„ ì´ìš©í•˜ì—¬ 사용ìžë¥¼ ì¸ì¦í•˜ëŠ” 기술로서 태어난지 3ë…„ ì´ë‚´ì— ìžì‹ ë§Œì˜ 고유한 í™ì±„를 가지게 ëœë‹¤. 다른 ì–´ë–¤ ìƒì²´ íŠ¹ì§•ë³´ë‹¤ë„ ê°œì¸ê°„ì˜ ë³€ë³„ë ¥ì´ ë§¤ìš° 높다고 알려져 ë™ìž‘ ì¸ì‹ 있는 í™ì±„를 ìƒì²´ì¸ì‹ 수단으로 ë„리 사용하기 위해서는 ìƒì²´ì˜ íŠ¹ì§•ì„ íš¨ê³¼ì ìœ¼ë¡œ 표현하는 방법과 ë”불어 사용ìžì—게 보다 ë” íŽ¸ë¦¬í•œ í™˜ê²½ì„ ì œê³µí•˜ëŠ” ê¸°ìˆ ì´ ìš”êµ¬ë˜ê³  있다. ì´‰ê° ì¸ì‹
  • 13. Multimodal 리서치1 안구 ì¸ì‹ í™ì±„를 ì´ìš©í•œ ê°œì¸ ì‹ë³„ì€ í™ì±„ ì˜ìƒíšë“ 부분과 í™ì±„ì¸ì‹ 부분으로 ì´ë£¨ì–´ì ¸ 있다. ì˜ìƒíšë“ ë¶€ë¶„ì€ í™ì±„ì¸ì‹ì— ì í•©í•œ í’ˆì§ˆì˜ ëˆˆ ì˜ìƒì„ íšë“하는 기능ì´ê³ , í™ì±„ì¸ì‹ ë¶€ë¶„ì€ íšë“ëœ ëˆˆ ì˜ìƒìœ¼ë¡œ í™ì±„ ì˜ì—­ 추출, í™ì±„ 특징 추출, í™ì±„ 코드 ìƒì„±, 특징 ì •í•© (Matching)ë“±ì˜ ê¸°ëŠ¥ì„ ìˆ˜í–‰í•œë‹¤. í™ì±„ ì˜ìƒíšë“ì— ìžˆì–´ 필요한 입력장치로는 CCD ì¹´ë©”ë¼, 비디오 ì¹´ë©”ë¼, 선명한 í™ì±„ 무늬 íŒ¨í„´ì„ ì–»ê¸° 위한 조명, 아날로그 ì˜ìƒì„ 디지털 ì˜ìƒìœ¼ë¡œ 변환하기 위한 ì˜ìƒíšë“ 장치(Capture Board or Frame Grabber)ë“±ì´ ìžˆë‹¤. Mick Ebeling: 갇힌 예술가를 ìžìœ ë¡­ê²Œí•œ 발명 ìŠ¤ì›¨ë´ íšŒì‚¬ Tobiiì˜ Eye-Tracking Technology
  • 14. 뇌파 ì¸ì‹ 안구 ì¸ì‹ ìŒì„± ì¸ì‹ ì œìŠ¤ì³ ì¸ì‹ì€ ì¼ë¶€ ì‹ ì²´ ë™ìž‘ì´ë‚˜ ë™ìž‘ ì¸ì‹ ìƒíƒœì—ì„œë„ ë°œìƒí•˜ê¸°ë„ 하지만, ì¼ë°˜ì ìœ¼ë¡œ 얼굴ì´ë‚˜ ì†ì—ì„œ ì´ë¤„ì ¸ 왔다. 현재 ì œìŠ¤ì³ ì¸ì‹ ì˜ì—­ì˜ ì´ˆì ì€ 얼굴과 ì†ì§“ì„ ì¸ì‹í•˜ê³  나아가 ê°ì • ì¸ì‹ì„ í¬í•¨í•˜ëŠ” ê²ƒì— ë§žì¶°ì ¸ê°€ê³  ì´‰ê° ì¸ì‹ 있으며, ìžì„¸ì™€ 걸ìŒê±¸ì´ 등 다양한 ì¸ê°„ í–‰ë™ì„ ì¸ì§€í•˜ê³  ì‹ë³„하는 것 ë˜í•œ ì œìŠ¤ì³ ì¸ì‹ ê¸°ìˆ ì˜ ëŒ€ìƒì´ê¸°ë„ 하다.
  • 15. Multimodal 리서치1 ë™ìž‘ ì¸ì‹ 팔 ê·¼ìœ¡ì„ ì´ìš©í•œ 제스처 ìž…ë ¥ í˜€ì˜ ì›€ì§ìž„ì„ ì»´í“¨í„° ìž…ë ¥ì— í™œìš©í•˜ê¸° ë°©í–¥ê°ì§€ê°€ 가능한 ëª¨ë°”ì¼ ê¸°ê¸°ë¥¼ 활용한 ê°€ìƒ ì±…ìž¥ 시스템 íŒ”ì— ê·¼ìœ¡ì˜ ë³€í™”ë¥¼ ê°ì§€í•  수 있는 EMG (Electromyogra- 전신마비 장애ì¸ë“¤ì˜ 입력장치로는 기존 eye-tracking ì´ë‚˜ ëª¨ë°”ì¼ ê¸°ê¸°ì—ì„œ 좀 ë” ë¹ ë¥´ê³  ì†ì‰¬ìš´ ìž…ë ¥ì„ ìœ„í•´ 몸 ì£¼ë³€ì˜ phy, ê·¼ìœ¡ì´ ì›€ì§ˆì¼ ë•Œ ë°œìƒí•˜ëŠ” 미세한 전기신호를 ê°ì§€í•˜ëŠ” ìŒì„±ì¸ì‹ìª½ 연구가 ë§Žì•˜ì—ˆëŠ”ë° ì´ ì—°êµ¬ì—서는 í˜€ì˜ ì›€ì§ìž„ ë˜ ê°€ìƒì±…장 ê°œë…ì„ ë„ìž…í•œ 연구ì´ë‹¤. ìž‘ì€ ë””ìŠ¤í”Œë ˆì´ë¥¼ ë³´ë©° 버 기술 í•œ ì¢‹ì€ ëŒ€ì•ˆì´ ë  ìˆ˜ 있다. íŠ¼ì„ ëˆ„ë¥´ëŠ” ì‹ì˜ 전형ì ì¸ 입력방ì‹ì—ì„œ 벗어나 몸 ì£¼ë³€ì— ê°€ ìƒì˜ 책장 (í˜¹ì€ ì•„ì´ì½˜) ì´ ìžˆë‹¤ 가정하고, ê·¸ê²ƒì„ ëª¨ë°”ì¼ ê¸° 기로 가리키는 것으로 ìž…ë ¥ì„ ê°€ëŠ¥í•˜ê²Œ 하고 있다.