AWS -da Magicbit -dan ma'lumotlarni vizualizatsiya qilish: 5 qadam

2024 Muallif: John Day | [email protected]. Oxirgi o'zgartirilgan: 2024-01-30 13:22

Magicbit -ga ulangan sensorlardan to'plangan ma'lumotlar real vaqtda grafik ko'rinishida bo'lish uchun MQTT orqali AWS IOT yadrosida e'lon qilinadi. Biz ESP32 -ga asoslangan ushbu loyihani ishlab chiqish paneli sifatida magicbit -dan foydalanmoqdamiz. Shuning uchun, ushbu loyihada har qanday ESP32 ishlab chiqish kartasidan foydalanish mumkin.

Ta'minot:

Magicbit

1 -qadam: hikoya

Ushbu loyiha Magicbit qurilmangizni AWS Cloud -ga MQTT orqali ulash haqida. MQTT orqali yuborilgan ma'lumotlar AWS xizmatlari yordamida bulutda tahlil qilinadi va ingl. Shunday qilib, boshlaylik

Avval siz AWS Console -ga kirishingiz va tizimga kirishingiz kerak. O'rganish uchun siz AWS taklif qiladigan bepul darajali variantdan foydalanishingiz mumkin. Bu loyiha uchun etarli bo'ladi.

Buni soddalashtirish uchun men loyihani ikki qismga ajrataman.

Bu bizning loyihamizning birinchi bosqichi bo'ladi. Birinchi bosqich oxirida ma'lumotlar S3 chelaklarida saqlanadi.

Birinchi bo'limda ishlatiladigan AWS xizmatlari,

• Kinesis Firehose
• AWS elim
• AWS S3

Avval AWS Kinesis xizmatiga o'ting.

Quyida ko'rsatilgan Kinesis Data Firehose -ni tanlang va Yaratish -ni bosing

Keyin siz Firehose xizmatini yaratishning 1 -bosqichiga yo'naltirilasiz. Etkazib berish oqimining nomini kiriting va to'g'ridan -to'g'ri joylashtirish yoki boshqa manbalarni tanlang. Keyingiga bosing.

2 -qadam oynasida hamma narsani odatdagidek qoldiring va keyingisini bosing. AWS Glue xizmatini yaratgandan so'ng, biz bu qadamni tahrirlash uchun qaytib kelamiz.

3 -qadamda, agar siz ilgari yaratgan bo'lsangiz, S3 chelakni tanlang. Aks holda, yaratish va chelak yaratish -ni bosing. S3 prefiks bo'limida dest/ dan foydalaning va xato prefiksida xato/ kiriting. Yuqoridagi ikkita nomga istalgan nomni kiritishingiz mumkin. Ammo osonlik uchun biz umumiy ism bilan davom etamiz. Siz tanlagan chelak ichida dest nomli papkani yaratganingizga ishonch hosil qiling. Keyingiga bosing.

4 -qadamda ma'lumotlarni real vaqtda uzatish uchun minimal bufer o'lchamini va bufer oralig'ini tanlang. Ruxsat bo'limida IAM rolini yaratish yoki yangilash -ni tanlangKinesisFirehoseServiceRole. Hamma narsani odatdagidek saqlang. Keyingisini bosing.

Keyingi bo'limda siz kiritgan o'zgarishlarning sharhi ko'rsatiladi. OK ni bosing. Keyin sizda ishlaydigan Kinesis Firehose bo'ladi.

Agar siz Firehose xizmatini muvaffaqiyatli yaratgan bo'lsangiz, shunga o'xshash narsani olasiz.

2 -qadam: Firehose va S3 paqirini sinovdan o'tkazish

Olovli shlang va S3 paqir to'g'ri ishlashini tekshirish uchun konsolda IOT yadrosini tanlang. Siz shunday sahifaga yo'naltirilasiz. Qoidalarni tanlang va qoida yarating.

AWS IOT qoidasi nima?

U MQTT -dan olingan har qanday ma'lumotlarni ma'lum bir xizmatga yuborish uchun ishlatiladi. Ushbu misolda biz Kinesis Firehose -ga o'tamiz.

Qoidaga nom tanlang. Qoidalar va so'rovlar bayonotini xuddi shunday qoldiring. Bu bizga iot/mavzu mavzusida e'lon qilingan har qanday narsa ushbu qoida orqali Firehose kinesisiga yuborilishini bildiradi.

Bir yoki bir nechta amallarni belgilash bo'limi ostida Harakat qo'shish -ni bosing. Amazon Kinesis Firehose Stream -ga xabar yuborish -ni tanlang. Konfiguratsiyani tanlang. Keyin ilgari yaratilgan o't o'chirish quvurining nomini tanlang. Keyin "Rol yaratish" ni bosing va rol yarating. Endi siz AWS -da muvaffaqiyatli rol o'ynadingiz.

Siz e'lon qilgan har qanday xabar Kinesis Firehose orqali S3 chelaklariga yuboriladi.

Yodda tutingki, Firehose bufer to'ldirilganda yoki bufer oralig'iga etib kelganida ma'lumotlarni yuboradi. Minimal tampon oralig'i - 60 soniya.

Endi biz loyihaning ikkinchi qismiga o'tishimiz mumkin. Bu bizning ma'lumotlar oqimining diagrammasi bo'ladi.

3 -qadam: AWS elimini sozlash

Nega bizga AWS Glue va AWS Athena kerak?

S3 chelaklarida saqlangan ma'lumotlarni AWS Quicksight -ga kirish sifatida to'g'ridan -to'g'ri ishlatish mumkin emas. Avval ma'lumotlarni jadvallar ko'rinishida tartibga solishimiz kerak. Buning uchun biz yuqoridagi ikkita xizmatdan foydalanamiz.

AWS elimiga o'ting. Yon asboblar panelida Crawler -ni tanlang. Keyin skanerni qo'shish -ni tanlang.

Birinchi qadamda skaner uchun ism kiriting. Keyingisini bosing. Keyingi bosqichda uni odatdagidek qoldiring. Uchinchi bosqichda siz tanlagan S3 chelakka yo'lni kiriting. Keyingi oynani sukut bo'yicha qoldiring. Beshinchi oynada har qanday IAM rolini kiriting. Keyingi bosqichda xizmatni ishga tushirish chastotasi tanlanadi.

Ochiladigan oynada odatni tanlash va minimal vaqtni tanlash tavsiya etiladi.

Keyingi bosqichda Ma'lumotlar bazasini qo'shish -ni, so'ngra keyingi -ni bosing. Finish tugmasini bosing.

Endi biz Kinesis Firehose -ni biz yaratgan AWS elim bilan birlashtirishimiz kerak.

Biz yaratgan AWS Kinesis yong'inga qarshi dasturiga o'ting va tahrirlashni bosing.

Yozuv formatini aylantirish bo'limiga o'ting va Enabled ni tanlang.

Chiqish formatini Apache Parket sifatida tanlang. Qolgan tafsilotlar uchun siz yaratgan Glue ma'lumotlar bazasi ma'lumotlarini to'ldiring. Ma'lumotlar bazasida jadval tuzilishi va bu bo'limga nom qo'shilishi kerak. Saqlash -ni bosing.

4 -qadam: AWS Athena -ni sozlash

Ma'lumotlar bazasini va siz yaratgan ma'lumotlar jadvalini tanlang. So'rovlar bo'limiga ushbu kod qo'shilishi kerak.

jadval nomi siz yaratgan Glue jadvalining haqiqiy nomi bilan almashtirilishi kerak.

So'rovni ishga tushirish -ni bosing. Agar u ishlayotgan bo'lsa, AWS S3 paqirida saqlangan ma'lumotlar ma'lumotlar jadvali sifatida ko'rsatilishi kerak.

Endi biz olingan ma'lumotlarni vizualizatsiya qilishga tayyormiz.

5 -qadam: QuickSight -ni sozlash

AWS Quicksight -ga o'ting

O'ng yuqori burchakda "Yangi tahlil" ni bosing, so'ng "Yangi ma'lumotlar bazasi" ni bosing.

Ro'yxatdagi Afinani tanlang. Qalqib chiquvchi kartada har qanday ma'lumot manbasining nomini kiriting.

Ochilgan oynadan va tegishli jadvaldan Glue ma'lumotlar bazasini tanlang. Bu sizni ushbu sahifaga yo'naltiradi.

Maydon ro'yxatidan istalgan maydonni sudrab tashlab, har qanday vizual turini tanlang.

Endi siz MagicBit -dan yuborilgan har qanday ma'lumotlarni AWS xizmatlaridan foydalanib tasavvur qilishingiz mumkin !!!

Ma'lumotni vizualizatsiya qilish uchun tegishli S3 chelaklar uchun tezkor ko'rishga ruxsat berishni unutmang.