Nutqqa imo -ishora/Matnni qo'lqopga aylantirish: 5 qadam

2024 Muallif: John Day | [email protected]. Oxirgi o'zgartirilgan: 2024-01-30 13:24

Ushbu loyihani amalga oshirish g'oyasi, nutq yordamida muloqot qilishda qiynalayotgan va qo'l imo -ishoralari yordamida muloqotda bo'lgan odamlarga yordam berish yoki Amerika imzo tili (ASL) nomi bilan mashhur bo'lgan. Bu loyiha bu odamlarga ishora tilini tushunmaydigan boshqa odamlar bilan hamkorlik muhitida ishlash imkoniyatini berish yo'lida qadam bo'lishi mumkin. Bundan tashqari, ushbu loyiha ularga haqiqiy inson tarjimonidan foydalanmasdan omma oldida nutq so'zlashga imkon beradi. Avvaliga men A, B, I va hokazo alfavit kabi osonroq harakatlarni aniqlashga harakat qilardim, shuningdek, "Salom", "Xayrli tong" va boshqalar kabi umumiy so'zlar/tabriklarga imo -ishoralarni tayinladim.

1 -qadam: O'chirish moslamasi

2 -qadam: Loyiha tafsilotlari

Loyihaga qo'lqopga o'rnatilgan 4 ta moslashuvchan datchikli, har biri kichik, o'rta, ko'rsatkich barmoqlari va bosh barmog'i uchun taqiladigan qo'lqop kiradi. Arduino Uno R3 -dagi analog kirish pinlarining mavjudligi cheklanganligi va umuman barmog'ining imo -ishora tilida ko'rsatilmagan mustaqil harakatining yo'qligi tufayli Flex Finger halqali barmoq uchun ishlatilmadi. Qo'lning yo'nalishini o'lchash uchun kaftning orqa tomoniga yopishtirilgan MMA8452Q akselerometri ham ishlatiladi. Ushbu sensorlardan olingan ma'lumotlar tahlil qilinadi va imo -ishorani sezish uchun ishlatiladi. Imo -ishora sezilgach, tegishli belgi/xabar o'zgaruvchiga saqlanadi. Bu belgilar va xabarlar jumlaning tugashini ko'rsatuvchi oldindan belgilangan imo-ishoralar bajarilmaguncha birlashishda davom etadi. Maxsus imo -ishorani aniqlagandan so'ng, saqlangan jumla satri Arduino tomonidan USB kabeli orqali Raspberry Pi -ga yuboriladi. Raspberry Pi keyin olingan matnni qabul qilingan jumlani nutq formatiga o'tkazish uchun Polly nomli Amazon Bulvari Xizmatiga yuboradi va keyin olingan nutqni AUX kabeli orqali Raspberry Pi ga ulangan karnayda uzatadi.

Bu loyiha faqat kontseptsiyaning isboti edi va asbob -uskunalar va rejalashtirishning yaxshi bo'laklari va boshqa ko'plab imo -ishoralar va qo'l harakatlarini aniqlash uchun yaxshiroq sozlangan edi. Hozirgi vaqtda bu loyihada faqat imo -ishoralarni aniqlash va matndan nutqqa chiqish kabi cheklangan funksiyalar dasturlashtirilgan.

3 -qadam: kod

4 -qadam: qadamlar

1. Moslashuvchan datchiklar va MMA8452Q akselerometrini Arduino -ga ulangan sxema bo'yicha ulang.

2. Final_Project.ino (Arduino_code.zip faylida joylashgan) dasturini Arduino -ga tashlab yuboring.

3. Arduino -ni Raspberry Pi -ga USB kabeli orqali ulang. (A/B kabeli turi).

4. Raspberry Pi -ni yoqing, Raspberry_pi_code.zip faylini Raspberry Pi -ga nusxa oling va chiqarib oling. Karnayni Raspberry Pi -ga ulang.

5. AWS hisob ma'lumotlarini, ya'ni aws_access_key_id, aws_secret_access_key va aws_session_token ma'lumotlarini ~/.aws/hisobga olish ma'lumotlari fayliga nusxalash. Bu qadam AWS buluti bilan aloqa o'rnatish va AWS xizmatlaridan foydalanish uchun kerak.

6. 4 -qadamda chiqarilgan papkada topilgan seria_test.py dasturini ishga tushiring.

7. Endi imo -ishoralar bilan gap tuzing, so'ngra maxsus imo -ishorani bajaring (Barmoqlaringizni va kaftlaringizni tekis va kaftingiz sizdan uzoqqa qaragan holatda turing, so'ng bilagingizni pastga aylantiring, shunday qilib kaftingiz sizga qaragan va barmoqlaringiz uchi oyog'ingizga qarab ishora qilgan.) jumlalarning bajarilishini bildirish uchun.

8. Foydali ma'lumotlar uchun terminalni tekshirishni davom eting.

9. Va konvertatsiya qilingan nutqni karnayda eshitilayotganini tinglang.

5 -qadam: Adabiyotlar

1.

2.

3.

4.