Shaxsiy ingliz tili o'qituvchisi - AI ovozli yordamchisi: 15 qadam

2024 Muallif: John Day | [email protected]. Oxirgi o'zgartirilgan: 2024-01-30 13:26

Bu loyiha har qanday lingvistik imtihonga tayyorgarlik ko'rayotgan talabalarga yordam beradi, bu erda ular Snips AI bilan o'zaro muloqot qilish orqali o'qitilishi mumkin.

1 -qadam: hikoya

Nega biz buni qurdik?

Shaxsiy tajribamdan men GRE, TOEFL, IELTS kabi turli lingvistik testlarga tayyorgarlik ko'rayotgan ko'p odamlarni ko'rdim. Ularga so'zlarni eslab qolish va tushunishda yordam beradigan odam kerak. Umuman olganda, agar biror kishi bunday imtihonlarga tayyorgarlik ko'rsa, ular xato qilsa tekshirishi va tuzatishi kerak bo'ladi. Bu yechim yordamida biz ovozli yordamchidan foydalanib, ishchi kuchini kamaytirishimiz mumkin.

2 -qadam: Uskuna tuzilishi

Birinchidan, men SNIPS va SEEED -ga ushbu loyihani ajoyib Snips Voice Interaction Development Kit (Base Kit) yordamida qo'llab -quvvatlaganlari uchun minnatdorchilik bildirmoqchiman, men bu platadan foydalanib o'zimni juda mazmunli his qildim va tenglikni ichiga o'rnatilgan ba'zi murakkab loyihalarga erishdim.

Snips Voice Interaction Base Kit -ni 115 dollarga va Snips Voice Interaction Sun'iy yo'ldoshini 85 dollarga sotib olishingiz mumkin

3 -qadam: SNIPS -ni ishga tushirish

Ishni boshlashdan oldin, sizga nima kerakligini ko'rib chiqaylik.

• Raspberry Pi 3B/B+ (tavsiya etiladi) yoki Pi 2 Model B (qo'llab -quvvatlanadi).
• Raspberry Pi uchun Micro-USB kabeli va Micro-USB quvvat adapteri.
• Micro SD karta (kamida 8 GB) - ishga tushirish uchun operatsion tizim kerak. Siz Raspbian Stretch -ni yuklab olishingiz va Raspberry Pi veb -saytida Mac OS, Linux va Windows uchun qo'llanmalardan foydalanishingiz mumkin.
• USB klaviatura va sichqoncha va tashqi HDMI monitor - biz USB klaviatura va sichqonchani, shuningdek, HDMI monitorni qo'lga kiritishni tavsiya qilamiz.
• Internetga ulanish (Ethernet yoki WiFi)

Snips ovozli shovqin bazasi to'plami

Snips Voice Interaction Development to'plamlari foydalanuvchilarga ovozli interfeyslarni ishlab chiqishni boshlashga va Snips AI Voice Platformasini apparat bilan osongina birlashtirishga imkon beradi. Qurilmada snips ishlaydi, ya'ni sizning ovozli buyruqlaringiz va ma'lumotlaringiz bulutga yuborilish o'rniga mahalliy darajada qayta ishlanadi. Qurilmada ishlov berish natijasida shaxsiy ma'lumotlaringiz maxfiy saqlanadigan to'liq xavfsiz oflayn ovozli yordamchi paydo bo'ladi.

Ovozli aloqa bazasi to'plami sizga Snips AI ovozli platformasini to'liq ishga tushirishga imkon beradi. Raspberry Pi 3 Model B+ va ReSpeaker 2-Mics Pi HAT bilan jihozlangan, u sizning uyingizda aqlli karnay vazifasini bajarishga qodir. To'plam bilan bir qatorda karnay, Grove - harorat va namlik sensori (SHT31), Grove - o'rni va qoziq taxtasi devorga osib qo'yish yoki chiroyli stend yaratish uchun keladi.

Lekin bu hammasi emas! Ovozli aloqa sun'iy yo'ldoshlari to'plami sizning tayanch stantsiyangizni uyingizning har bir xonasiga etkazadi va sizning buyruqlaringizni qayerda berganingizga qarab, uskuna bilan ishlashga imkon beradi!

Bu to'plamda Raspberry Pi3 B+ taxtasi, ReSpeaker 2 -Mics Pi HAT, Grove - o'rni, Grove - harorat va namlik sensori (SHT31), dinamik 6 Ohm 2W, MicroSD karta, Micro USB ulagichli quvvat adapteri, Grove kabeli x 2, akril bazasi. panel.

O'rnatish bosqichlari: (SNIPS tarkibidan) Quyidagi rasmda montaj qismlarining umumiy ko'rinishi berilgan.

Bu erda montaj qismlari tayanch paneliga o'rnatiladi.

Keyin barcha elektron qismlar taxtaga o'rnatiladi.

Shundan so'ng, akril himoya qoplamasini Grove -Relay tepasiga o'rnating.

Ushbu 2 qism to'plamni stol usti qilish uchun ishlatiladi.

Nihoyat, siz Snips bilan o'ynashga tayyormiz.

To'plam joylashtirishning ikkita usulini ta'minlaydi. U gorizontal yuzaga stend singari joylashtirilishi yoki sim yoki ip yordamida devorga osib qo'yilishi mumkin. To'plam yoqilganda, "Relay" bilan ehtiyot bo'ling, chunki ishchi kuchlanishi yuqori bo'ladi.

QAYD: Bizda Raspberry Pi 3B+ o'rniga Raspberry Pi nolga ega Snips Voice Interaction Sun'iy yo'ldoshlar to'plami ham bor.

4 -qadam: Snips AI bilan aloqa (asosiy loyiha)

• To'plamni to'plamdagi standart quvvat adapteri bilan quvvatlantiring yoki Micro USB ulagichli 5V-2A shahar adapteridan foydalaning.
• Keyingi qadam - Snips yordamchisini Raspberry Pi -ga o'rnatish. O'rnatish vaqtini tejash uchun, to'plamdagi MicroSD karta to'liq funktsional tizim tasviri bilan yonib ketdi, ya'ni Snips yordamchisi sizning tetik so'zlaringiz uchun tayyor.
• O'rnatish bo'yicha ko'rsatmalarni bosqichma-bosqich o'rganishni tavsiya qilamiz: https://docs.snips.ai/getting-started/quick-start… va buyruq satrida sam asbobini o'rganing.
• "Hey-snips" deb yordamchini ishga tushiring va buyruqni bajaring:

Quyidagi Snips Voice Interaction tayanch to'plamida oldindan o'rnatilgan misol videosini topishingiz mumkin.

5 -qadam: Snips AI bilan aloqa (Project AI)

Shunday qilib, bu qanday ishlaydi. Birinchidan, biz Snips -ni tanib olishni boshlash uchun tezkor so'zdan foydalanamiz. U Snips NLU yordamida jumlani tushunadi va niyatni aniqlaydi. Keyin niyatdan foydalanib, mos ravishda uyalarni chiqarib oling. Harakat kodi yordamida biz AI javobini uyalarga mos ravishda dasturlashtiramiz.

6 -qadam: Ilova va niyat yaratish

• Yordamchi yarating. Menimcha, men JARVIS ismli va JARVIS tezkor so'zli yordamchini yaratganman.
• Maxsus ilova yarating yoki yangi boshlanuvchilar uchun kutubxonadagi ilovadan foydalaning.
• Men Word nomi bilan dastur yaratgan edim
• Niyat yarating va AIni o'qitishni boshlang. Bu sizning AI -ni mustahkam qilishda katta rol o'ynaydi. Uni barcha mumkin bo'lgan kirishlar bilan o'rgating.
• So'zlarni aniqlash uchun bo'sh joy yarating. Uyani jumlaning kutilgan iborasiga joylashtiring. Mening misolim uchun, berilgan so'z - bu uyaning nomi va u ko'k rang bilan ajratilgan.
• Bu bajarilgandan so'ng, sizning maxsus ASR tayyor bo'ladi. Kirishlarni sinab ko'ring. Javobni sizning o'ng tomoningizda, yordamchining ostidan topamiz. Bu sizga xom qiymat, niyat nomi va uyani olish imkonini beradi.
• Quyida keltirilgan misollar bilan uyalarni aniqlang
• Nihoyat, shaxsiylashtirilgan AIni sinab ko'rish uchun yordamchingizni joylashtiring.

7 -qadam: Raspbian -ni SD -kartaga yozing

Raspbian - bu Raspberry Pi -da ishlaydigan Linux tanlovi. Ushbu qo'llanmada biz Lite versiyasidan foydalanamiz, lekin ish stoli versiyasi (grafik muhit bilan ta'minlangan) ham ishlatilishi mumkin.

• Etcher -ni yuklab oling va o'rnating.
• SD -kartani o'quvchini ichidagi SD -karta bilan ulang.
• Etcher -ni oching va qattiq diskdan SD -kartaga yozmoqchi bo'lgan Raspberry Pi.img yoki.zip faylini tanlang.
• Rasm yozmoqchi bo'lgan SD -kartani tanlang.
• Tanlovlaringizni ko'rib chiqing va "Flash!" Tugmasini bosing. ma'lumotlarni SD -kartaga yozishni boshlash

Qurilmani tarmoqqa ulang

• SSH -ga kirishni yoqish, bo'sh SD faylini qo'shib, yana SD -kartangiz yuklash hajmining tubiga joylashtiriladi.
• SD -kartani Raspberry Pi -ga joylashtiring. U taxminan 20 soniyada yuklanadi. Endi siz Raspberry Pi -ga SSH -ga kirishingiz kerak. Odatiy bo'lib, uning xost nomi raspberrypi.local bo'ladi. Kompyuteringizda terminal oynasini oching va quyidagilarni kiriting:

ssh [email protected]

Standart parol - malina

8 -qadam: Snips platformasini o'rnating

Agar siz hali qilmagan bo'lsangiz, Sam buyruq qatori interfeysini kompyuteringizga o'rnating. Terminal oynasini oching va kiriting:

sudo npm install -g snips -samor npm install -g snips -sam // Windows

Raspberry Pi -ni tarmoq orqali toping:

sam qurilmalari

Keyinchalik, qurilmaga ulanishni o'rnating. Sizdan qurilma foydalanuvchi nomi va parol so'raladi (sukut bo'yicha mos ravishda pi va malina):

sam ulang

Endi biz Raspberry Pi -da Snips platformasini o'rnatishga tayyormiz. Buyruqni kiriting:

sam boshlang

9 -qadam: uskunani sozlang

Sam apparat komponentlarini osongina sozlash va sozlash uchun ba'zi buyruqlar beradi. Bu bo'limda biz karnay va mikrofonni o'rnatamiz. O'rnatishingizga qarab, ba'zi maxsus konfiguratsiyani bajarish kerak.

sam sozlash audio

Karnayni sinab ko'ring

Karnay ishlayotganini tekshirish uchun ishga tushiring

sam test karnay

Agar hamma narsa yaxshi bo'lsa, siz karnayda bir necha so'z aytadigan ovozni eshitishingiz kerak. Mikrofonni sozlash Mikrofoningiz ishlayotganini tekshirishingiz mumkin:

sam test mikrofoni

Agar sizda karnay bor deb faraz qilsangiz, agar siz aytganlaringizni aniq eshitsangiz, mikrofonni boshqa konfiguratsiyasiz davom ettirishingiz mumkin.

Uskuna sozlamalari ishlayotganidan qoniqsangiz, siz keyingi bosqichga o'tishga tayyormiz, bu erda siz birinchi yordamchingizni joylashtirasiz.

10 -qadam: AI modelini konsoldan import qilish

Oldingi bosqichlardan yordamchingizni yaratganingizdan so'ng, terminal oynasidan konsolga kiring:

samga kirish

Sizdan Snips Console hisob ma'lumotlarini kiritish talab qilinadi.

Keyin yordamchini o'rnating:

sam o'rnatish yordamchisi

Agar siz konsolda bir nechta yordamchi yaratgan bo'lsangiz, ro'yxatdan qaysi birini o'rnatishni tanlashingiz so'raladi.

11 -qadam: ishlov beruvchi va harakat kodi

Raspberry Pi javob berishi uchun biz ishlov beruvchining kodini yozishimiz kerak bo'ladi. Bu Snips platformasida ma'lum bir voqea sodir bo'lganda, masalan, niyat aniqlanganda bajariladigan kod.

Sizda ishlov beruvchiga qarab Handler yaratishning turli usullari mavjud.

Kompyuteringizda ishlov beruvchining kodini saqlamoqchi bo'lgan papkani yarating. Terminal oynasidan ushbu katalogga o'ting va kiriting:

npm boshlanishi

Bu sizning loyihangiz tavsifi, bog'liqliklar va boshqalarni o'z ichiga olgan package.json nomli faylni yaratadi. Keyin mqtt paketiga bog'liqlikni qo'shing:

npm o'rnatish mqtt -saqlash

Endi index.js nomli fayl yarating va xost nomi o'zgaruvchisini Raspberry Pi xost nomi bilan almashtiring (agar u standart raspberrypi dan farq qilsa):

var mqtt = talab ('mqtt');

var hostname = "mqtt: //raspberrypi.local"; var mijoz = mqtt.connect (xost nomi); client.on ('ulanish', function () {console.log ("[Snips Log] MQTT brokeriga ulangan" + xost nomi); client.subscribe ('hermes/#');}); client.on ('xabar', funktsiya (mavzu, xabar) {if (topic === "hermes/asr/startListening") {onListeningStateChanged (rost);} if if (topic === "hermes/asr/stopListening")) {onListeningStateChanged (false);} if if (topic.match (/hermes \/hotword / /.+ \/found/g)! == null) {onHotwordDetected ()} else if (topic.match (/hermes / /intent\/.+/g)! == null) {onIntentDetected (JSON.parse (xabar));}}); onIntentDetected (niyat) funktsiyasi {console.log ("[Snips Log] Niyat aniqlandi:" + JSON.stringify (niyat)); } funksiyasi onHotwordDetected () {console.log ("[Snips Log] Hotword aniqlandi"); } funktsiyasi onListeningStateChanged (tinglash) {console.log ("[Snips Log]" + (tinglash? "Boshlash": "To'xtatish") + "tinglash"); }

Ushbu kodni tugun yordamida ishlating:

tugun index.js

Snips MQTT brokeriga muvaffaqiyatli ulanish haqidagi xabarni ko'rishingiz kerak. Oldingi kabi, Raspberry Pi bilan ovozli muloqot qiling:

Hey Snips, Chennayda ob -havo qanday

Jurnallar yangilanayotganini ko'rishingiz kerak:

[Snips jurnali] MQTT brokeriga ulangan mqtt: //raspberrypi.local

[Snips jurnali] Hotword aniqlandi [Snips jurnali] Tinglashni boshlash [Snips jurnali] Tinglashni to'xtatish [Snips jurnali] Niyat aniqlandi: {"sessionId": "c84b5aa5-3f14-4218-975e-8872b9217933", "customData": null, "siteId ":" default "," input ":" chennayda ob -havo qanday "," niyat ": {" aimName ":" searchWeatherForecast "," ehtimol ": 0.73845243}," slots ": [{" rawValue ":" chennai "," value ": {" kind ":" Custom "," value ":" Chennai "}," range ": {" start ": 44," end ": 53}," entity ":" locality ", "slotName": "prognoz_hududi"}]}

12 -qadam: Muammolarni bartaraf etish

Agar mavjud bo'lsa, oldingi yordamchini o'chirib tashlang

$ sudo rm -rf/usr/share/snips/assistent/

Katalogni Assistentga o'zgartirish uchun

cd/var/lib/snips/mahorat/

Repo tarkibini mahalliyga klonlash

git klon

Setup.sh skriptini ishga tushirish uchun

./setup.sh

Virtual muhitni faollashtirish

manba venv/bin/activate

Amal kodini ishga tushiring

./action-.py

Python skriptiga ruxsat berish uchun

chmod +x harakat-.py

13 -qadam: mahkamlash

• Men ushbu loyiha uchun IP -darajali muhofazadan foydalanganman
• Birinchidan, men elektr kabeli va HDMI kabeli uchun kontaktlarning zanglashiga olib keladigan teshiklarni qildim.
• Keyin men barcha Raspberry Pi -ni korpus ichiga joylashtirdim va mahkam burab qo'ydim.
• Men karnay va mikrofon uchun kichik teshik ochdim va uni akril varaqning kichik bir qismi yordamida yopdim.
• Karnayni ReSpeaker shlyapasiga mahkam bog'lang.
• Nihoyat, barcha vintlar mahkam o'rnatiladi va quvvat kabeli uyasi orqali kiritiladi.
• AI nihoyat shunday ko'rinadi: D

14 -qadam: AI bilan ishlash

Siz Snips-watch yordamida kuzatiladigan ma'lumotlarni topishingiz mumkin

Endi shou vaqti. Men oddiy tabriklar AI bilan qila boshladim. Uning ishlashini ko'rib chiqing.

Trainer AI cheklangan so'zlar uchun dasturlashtirilgan. Bu ozgina o'zgartirishlar bilan kengaytirilishi mumkin. Bu talabalarga ma'nosini an'anaviy usuldan ko'ra tezroq yodlashga yordam beradi.

Diqqat: Ushbu loyiha taxminan 25 so'zdan iborat. Harakat kodeksiga kichik o'zgartirishlar kiritish orqali uni yanada kengaytirish mumkin.

Harakatlar skriptlarini biriktirilgan Github omboridan topishingiz mumkin.

Salom AI uchun loyiha repo-https://github.com/Rahul24-06/Greetings_Assistant-TTS

Trainer AI uchun loyiha repo-https://github.com/Rahul24-06/Personal-English-Trainer---TTS

Mening ilovamga havola:

SNIPS -dan sotib olish mumkin bo'lgan barcha sozlamalar taxminan 115 dollarni tashkil qiladi va bu echim an'anaviy usullarga qaraganda ancha arzon va samarali. Hindistonda taxminan 100 000 dan ortiq testlar o'tkazildi va bu mahsulot GRE qabul qiluvchilar uchun eng yaxshi qo'shimcha bo'ladi.

Agar bu sizga haqiqatan ham yordam bergan bo'lsa, bosh barmog'ingizni bering va qiziqarli loyihalar uchun kanalimni kuzatib boring.:) Agar xohlasangiz, ushbu videoni baham ko'ring. Obuna bo'lganingizdan xursandman: https://console.snips.ai/store/en/skill_xBKlxnE5K… O'qiganingiz uchun tashakkur!