1. NCSEC2004
โปรแกรมสอนภาษามือด้วยภาพเคลื่อนไหว 3 มิติ และค้นหาภาพด้วยเสียง
A Sign Language Teaching Program with Sound Searching for 3-D Animation
ศิฬาณี นุชิตประสิทธิ์ชัย1, สมชาย ปราการเจริญ2 และไชยันต์ สุวรรณชีวะศิริ 3
1,2ภาควิชาเทคโนโลยีสารสนเทศ คณะเทคโนโลยีสารสนเทศ
3ภาควิชาวิศวกรรมไฟฟ้า คณะวิศวกรรมศาสตร์
สถาบันเทคโนโลยีพระจอมเกล้าพระนครเหนือ 1518 ถนนพิบูลสงคราม บางซื่อ กรุงเทพฯ 10800
E-mail: ochin2808@hotmail.com1 , spk@kmitnb.ac.th 2,chaiyang@samarts.com3
280
บทคัดย่อ
บทความนี้ขอเสนอโปรแกรมสอนภาษามือด้วยภาพเคลื่อน
ไหว 3 มิติที่มีความถูกต้องสวยงามโดยผ่านการตรวจสอบจากผู้
เชี่ยวชาญภาษามือ และเพิ่มการค้นหาภาพด้วยเสียงเพิ่มเติมจาก
การค้นหาด้วยคีย์บอร์ด ซึ่งมีความยืดหยุ่นสามารถเพิ่มจำนวน
คำศัพท์ได้ตามต้องการลักษณะเด่นที่ใช้ในการรู้จำเสียงคือ MFCC
และคาบเวลาพิตช์ค่าที่ได้จะถูกนำมาเปรียบเทียบกับต้นแบบเพื่อ
หาคำที่มีค่าความแตกต่างเฉลี่ยที่น้อยที่สุด จากการทดสอบระบบ
จากชาย 5 คนและหญิง 5 คน พบว่าอัตราส่วนที่ส่งผลให้อัตรา
ความถูกต้องในการรู้จำเฉลี่ยสูงสุด คือ MFCC:0.3 Pitch Period
มีค่าเท่ากับ 90% และ 89%สำหรับเพศชายและหญิงที่ต้นแบบ 1
ชุดและเพิ่มขึ้นเป็น 95.2 %และ 91.8%ที่ต้นแบบ 2 ชุด
Abstract
This article presents a self -learning, sign language
application with 3D animation, appropriated and verified
by sign language experts. It also includes voice searching
(new feature),and key in (from keyboard) searching. It is a
flexible application with allows for users to add more
words as they want. The conspicuous for voice recognition
is MFCC and Pitch period. The result value will be
compared to the models to find the closest value. By the
test of 5 men and 5 women, we found the ratio that gave
the best correctly result for recognition was MFCC: 0.3
Pitch Period. It gave 90% and 80% for men and women
respectively When doing the test with 1 model, and it gave
95.2% and 91.8% When doing the test with 2 models.
Key-words : Sign Language , Speech Recognition ,
MFCC , Pitch Period
1. บทนำ
ปัญหาของโปรแกรมภาษามือที่ผ่านมา คือ ภาพที่ใช้เป็นภาพ
วีดีโอที่มีขนาดเล็กทำให้ภาพที่ได้มีความไม่ชัดเจนและไม่
น่าสนใจ [1] หรือ ภาพที่ใช้เป็นภาพเคลื่อนไหว 3 มิติที่มีทั้ง
ด้านซ้าย กลาง และขวา ซึ่งในความเป็นจริงแล้วสามารถดูได้
เพียงทีละช่องเท่านั้น เนื่องจากมีทั้ง 3 ด้านภาพจึงมีขนาดเล็กทำ
ให้มองภาพได้ไม่ชัดเจน [2-5]
จึงเกิดแนวความคิดที่จะพัฒนาโปรแกรมสอนภาษามือโดย
ภาพเคลื่อนไหว 3 มิติ ที่มีความถูกต้องชัดเจน และนำระบบรู้จำ
เสียงพูดมาประยุกต์ใช้ในการค้นหาภาพด้วยเสียงเพื่อเพิ่มความ
สะดวกให้กับคนปรกติสามารถใช้เสียงในการค้นหาภาพภาษามือ
ระบบที่ออกแบบจะมีการประมวลผลที่รวดเร็วและมีความ
ยืดหยุ่นต่อการใช้งานโดยสามารถเพิ่มจำนวนคำศัพท์ได้ตาม
ต้องการ
2. การออกแบบโปรแกรม
การออกแบบโปรแกรมสอนภาษามือด้วยภาพเคลื่อนไหว 3
มิติ และค้นหาภาพด้วยเสียง ดังแสดงในภาพที่ 1 ซึ่งผู้ใช้สามารถ
ค้นหาภาพภาษามือ ได้จากคีย์บอร์ดและ เสียงของผู้ใช้ ในส่วนที่
ติดต่อกับผู้ใช้และตัวจัดการกับฐานข้อมูลเพื่อดึงข้อมูลต่าง ๆ มา
แสดงผลทางหน้าจอ พัฒนาด้วยโปรแกรมVisual Basic 6.0 [6]