狠狠撸

自我介紹
? 黃弘偉，四年鴻海肝鐵人
? 座右銘
– never try, never know
? 經歷
– 3個月的客服機器人
– 3個月的手機機器人
– 平常寫寫AP、資料分析、打雜…

2年前，我在機器人展覽...
3
工業機器人
寵物機器人
教學機器人
家用機器人
探勘機器人服務機器人
偶像機器人
娛樂機器人
運動機器人

全場焦點
? Pepper
– 由法國 Aldebaran Robotics 開發
– Linux based + Robot OS
– 前身
? 雙足機器人 NAO
? 主要為學術研究
? 30萬左右
– 軟銀 + 鴻海 + 阿里巴巴
? 推向市場
? 企業 -> 開發者 -> 消費者
4
雙足 -> 3 個萬向輪

RoBoHoN開頭
? Video
– RoBoHoN - 月薪嬌妻跳舞
? https://twitter.com/bluemidorin/status/808659732487512064
7

Outline
? RoBoHoN 是什麼?
? RoBoHoN – Motion
? RoBoHoN – Voice
? RoBoHoN – Vision
8

機器人之父
高橋智隆
東京大學研究副教授， Robo Garage創始人兼CEO，大阪電子通信大學客座教授。
Robi 週刊
Kirobo

於是机器人手机诞生…

RoBoHoN 是個什麼樣的概念?
Robot Phone
Android based + Proprietary lib

RoBoHoN 介紹
? Video
– RoBoHoN 介紹
14

RoBoHoN – Motion
? Parts of the Motion
– 頭部
? 3 個伺服馬達
? 2 眼睛 LED
? 1 嘴巴 LED
– 腳步
? 各 3 個伺服馬達
– 手部
? 各 2 個伺服馬達
– 共 13 個可動部位
Head Pose Angles

RoBoHoN – Motion
? Servo motor
– 日本並木精密寶石研發
– 世界最小的 Servo motor
– 離合器 + 伺服電路 + 馬達
– 單價 24 美元
– 312 美元（＝ 24 ×13）
比一般小23%
37.5Kg

20個伺服馬達
13個伺服馬達

RoBoHoN – Motion
? 動作
– SHIN-Walk 專利
? Robi Video
? RoBoHon Video
19

RoBoHoN – Motion
? Video
– The Robi Walk.mp4
? https://www.youtube.com/watch?v=AOdwe-GJIi0
– SHARP RoBoHoN Action (Walking) 4K
? https://www.youtube.com/watch?v=F9aWMXDD-ZY
– SHARP RoBoHoN Action (Sitdown) 4K
? https://www.youtube.com/watch?v=r0WgqrnCH00
– SHARP RoBoHoN Action (Standup) 4K
? https://www.youtube.com/watch?v=tX6Y3YJFdns
– SHARP RoBoHoN Action (Take Picture) 4K
? https://www.youtube.com/watch?v=b-FqT0TWgHc
20

RoBoHoN – Motion
? 動作怎麼出來的?
– 時間軸 + 13個伺服馬達狀態
– 用 Robot Emulator 拉
– 用手扳
– State Machine
21
Walk Greet
Stand
Dance

交友軟體暗藏Bot
23
就一堆妹子
密你
你覺得
春天到了但…
免費會員只
能講一句話

交友軟體暗藏Bot
24
為了終身幸福
你儲值了…
面對女生強
烈的追求…
對方
人間蒸發

Chatbot
? 生活周遭開始出現 Chatbot?
25
Garbage In, Garbage Out
Keyword Handling
一問一答

RoBoHoN – Voice
? Video
– RoBoHoN 輪唱
來源: https://www.facebook.com/robohon.jp
27

RoBoHoN – Voice
附近
景點
拍照
打電話
天氣
推薦
歌曲
起床嚕
今日
行程
今日
行程
生日
快樂
聲紋/語音辨識
學習使用者行為
好感系統

Cloud
語音辨識引擎
語音辨識伺服器
語音辨識資料庫
辨識結果
HVML 對話引擎
對話腳本
對話劇本資料庫
劇本選擇命令解析
語音/聲紋辨識引擎
運動控制聲音合成
降噪
從 Mic 聲音輸入
對話劇本伺服器

RoBoHoN – Voice
? Microphone 配置
– 頭部配備3個
– 軀幹配備1個
– 一般手機配置2個
? 為了加強收音跟消除噪音使聲音清
晰，語音識別

RoBoHoN – Voice
? 降噪 (Noise Reduction)
– 噪音抑制訊號
? 噪音的反向波
噪音抑制訊號
31

RoBoHoN – Voice
? Beamforming
32

RoBoHoN – Voice
? 語音活動偵測 (Voice activity Detection)
– 介紹
? 語音片段分為靜音段、過度段、語音段、結束。
? 擷取語音段
– VAD算法：
? 短時過零率與能量閥值
? 頻域變異數與Entropy
? 分類器，GMM?
33

RoBoHoN – Voice
? 自動語音識別 (Automatic Speech Recognition)
? 基本模型架構
– 音素 -> 拼音 -> 文字
– 特徵提取
? 分幀
? 特徵向量
– 模式訓練/匹配
? 聲學模型 (acoustic model) : 音素 -> 拼音
? 字典 (dictionary) : 拼音 -> 文字
? 語言模型 (language model ) : 語言統計規律
34

RoBoHoN – Voice
? HOYA 語音合成技術
– VoiceText
– HMM-based
35
「語音識別是技術、語音合成是藝術」

RoBoHoN – Voice
? HVML
– HVML = Hyper Voice Markup Language
– XML - compliant language
– Scenario Dialogue Technology，情境對話腳本
36
<hvml version="2.0">
<head>
<producer>jp.co.sharp.sample.simple</producer>
<situation topic_id="0001" trigger="user-word">Hello eq ${Lvcsr:Basic}</situation>
</head>
<body>
<topic id="0001" listen="false">
<action index="1">
<speech>Hello. Jin Cheng Wu.</speech>
</action>
</topic>
</body>
</hvml>

RoBoHoN – Voice
? AIML
– AIML = Artificial Intelligence Markup Language
– XML - compliant language
– 樣版比對
37
一個商業版的語料庫，有80萬句以上
SoundHound

RoBoHoN – Voice
? Android 語音識別
– Android L 後新增加的功能
? 檢測到關鍵字語句，做出對應動作
– Android SoundTrigger
? keyphrase detection
? 例如: OK Google
38
SoundTrigger
HAL
SoundTrigger
APP
onRecognition
Hardware

RoBoHoN – Voice
? Android 語音識別
– SoundModel
? 音素網路
? 關鍵詞短語的特徵
? 個用戶的語音的特徵
– 一個鲁棒性的 SoundModel
? 需要不同念法
? 需要不同性別
? 需要不年齡層
? 樣本數 100 人以上
39
HH
AE
IH IY Y
“Hey”

如果你想充實這方面的知識…
? 深度學習零基礎進階 - 雷鋒網
– 深度學習的“聖經”
– 建立深度學習的知識網
– ImageNet 革命
– 語音辨識大法好
– 等等
40

如果你想開發相關 AP…
? 首先你要有一台 RoBoHoN
– 然後去官方下載 SDK
41

RoBoHoN - Vision
? RoBoHoN 的電腦視覺
– 喚醒時
? 偵測是不是主人
– 拍照時
? 偵測人臉與微笑
– 瀏覽照片
? 評論照片內容
– 照片有幾個人
– 照片有嬰兒或寵物
– 照片的人笑得很開心
– 照片什麼時候拍的
– 照片在哪裡拍的
44
EXIF

RoBoHoN - Vision
? Omron - OKAO Vision
– 「OKAO」是日文的「臉」的意思
– 功能
? Identify faces and people's position
? Hand gesture recognition and hand detection
? Find facial parts
? Beautify a face
? Recognize facial details
? Understand images

RoBoHoN - Vision
? Identify faces and people's
position
– Face Detection
– Human Body Detection
– Object Tracking
46Haar-like + Adaboost + Cascades

RoBoHoN - Vision
? Applications
– AF(Auto focus) / AE(Auto Exposure)
– Lighting correction
– 活動區域
47

RoBoHoN - Vision
? Hand gesture recognition and
hand detection
– 手部與臉部的相對位置，是重要的
參考依據
– 透過追蹤手部運動軌跡
48

Kinect V2 - Vision
? RGBD 攝影機 + 骨架追蹤
– 超猛!
49

RoBoHoN - Vision
? Facial parts detection, face
direction estimation
– Face parts contour detection
– Gaze & Blink Estimation
? Applications
50

RoBoHoN - Vision
? Beautify a face
– Smart Beautifier
– Eye Enlargement and Eye
Beautifier
– Red-Eye Reduction
– Other correction functions
51

RoBoHoN - Vision
– Face Recognition
? 人物搜尋與認證
– Gender & Age Estimation
52

RoBoHoN - Vision
– Baby Recognition
? 0~3歲嬰兒的評估
– Smile Degree Estimation
53

RoBoHoN - Vision
– Expression Estimation
? neutral, happiness, surprise,
anger and sadness
54

RoBoHoN - Vision
– Pet Detection
? Can detect the faces of dogs and
cats.
? 犬系人 V.S 貓系人
55

RoBoHoN - Vision
– Applications
? 圖片搜尋
? 圖片評論
? 微笑拍照
56

RoBoHoN - Vision
? Understand images
– Scene recognition
? Can recognize 7 scenes including
scenery, flower, cooking, snow,
sunset, night and twilight.
– Subject detection
? Can detect the main subject in
the image automatically
57

RoBoHoN - Vision
? Understand images
– Applications
58

狠狠撸

Robot 解析

Recommended

More Related Content

Featured (20)

Robot 解析

Editor's Notes