الباحثون المشاركون

د. عمار النحاس – د. باسل الخطيب – نذير البقاعي – نور الحكيم – علا الزبيبي – نور أجليقين

منشور في

International Journal of Scientific & Technology Research, Volume 9, Issue 4, April 2020.

الملخص

بسبب الحاجة إلى بناء أنظمة مساعدة للأشخاص ذوي الاحتياجات الخاصة، ظهرت العديد من أنظمة الحاسوب للمساعدة على فهم لغة الإشارة. نعرض في هذه الورقة البحثية طريقة مبتكرة لتمييز الكلمات في لغة الإشارة العربية باستخدام متحكم Leap Motion والذي يساعد على بناء نموذج ثلاثي البعد لليد البشرية باستخدام الأشعة تحت الحمراء. تركز  منهجيتنا على تحليل الخصائص الرياضية المشتقة من هذا المتحكم حيث أننا نستفيد من التسلسل الزمني للإطارات المتتالية والتي يمكن تمثيلها باستخدام الميزات المستخرجة. نقوم بمعالجة هذه الميزات باستخدام شبكات عصبونية تكرارية. نعرض في هذا البحث النتائج التي حصلنا عليها باستخدام بيانات حقيقية. تظهر هذه النتائج تفوق منهجيتنا والتي حققت نتائج مميزة مقارنة مع الأبحاث السابقة حيث يظهر أن أعلى معدل لمتوسط نتيجة التصنيف وصلت حتى 89% بالنسبة لحركات اليد الأحادية و 96% بالنسبة لحركات اليد الثنائية.

الكلمات المفتاحية: تمييز لغة الإشارة، لغة الإشارة العربية، التعلم العميق، شبكات LSTM، الشبكات العصبونية التكرارية، متحكم Leap Motion، الشبكات العصبونية.

الرابط لقراءة كامل البحث

http://www.ijstr.org/final-print/apr2020/Enhancing-The-Recognition-Of-Arabic-Sign-Language-By-Using-Deep-Learning-And-Leap-Motion-Controller.pdf