وداعاً للميكروفونات؟.. تقنية تقرأ حركة الشفاه وتحولها لنصوص بدقة مذهلة

طوّر مجموعة من الباحثون في المعهد الكوري المتقدم للعلوم والتكنولوجيا (KAIST) نظام ذكاء اصطناعي جديد يمكنه قراءة حركة الشفاه بدقة عالية وتحويلها إلى نصوص مكتوبة دون الحاجة إلى أي صوت.

تواجه أنظمة قراءة الشفاه التقليدية صعوبة كبيرة لأن العديد من الحروف تبدو متطابقة عند النطق مثل B و P و M، كما أنها تحاول ترجمة الجملة بالترتيب من البداية للنهاية، مما يجعل أي خطأ مبكر ييفسد باقي الجملة

يبدأ النظام بتحديد الكلمات التي تكون حركة الشفاه فيها واضحة ومميزة ولا تقبل الشك.

يستخدم النظام تلك الكلمات الواضحة كدليل لفهم وتخمين الكلمات الغامضة التي تسبقها أو تليها في الجملة بدقة أكبر.

يولّد النظام عدة احتمالات بأطوال مختلفة للجملة، ثم يختار الصياغة الأكثر ملاءمة للسياق

حقق النظام معدل خطأ في الكلمات بلغ 19.4% بعد تدريبه على قاعدة بيانات تضم 433 ساعة من مقاطع الفيديو، وهو أقل معدل خطأ مسجل مقارنة بالأنظمة السابقة المدربة على نفس البيانات.

على الانب الآخر تفتح التقنية الباب لتطوير تطبيقات ونظارات ذكية تترجم حديث المحيطين إلى نص فوري، مما يسهل التواصل اليومي.

تفيد تلك التقنية في المصانع والمواقع الصناعية أو الأماكن المزدحمة التي يستحيل فيها سماع الصوت بوضوح إلا أنه لا تزال التقنية في مرحلة التطوير وتحتاج إلى تقليص متطلباتها الحاسوبية لتعمل على الهواتف والأجهزة القابلة للارتداء دون إنترنت، كما تثير مخاوف تتعلق بالخصوصية وإمكانية التنصت البصري عبر الكاميرات