Infraqizil kamerali avtonom dron birinchi javob beruvchilarga yordam beradi: 7 qadam

2024 Muallif: John Day | [email protected]. Oxirgi o'zgartirilgan: 2024-01-30 13:25

Jahon sog'liqni saqlash tashkiloti hisobotiga ko'ra, har yili tabiiy ofatlar 90 mingga yaqin odamni o'ldiradi va 160 millionga yaqin odamni qamrab oladi. Tabiiy ofatlarga zilzilalar, sunami, vulqon otilishi, ko'chkilar, bo'ronlar, toshqinlar, o'rmon yong'inlari, issiqlik to'lqinlari va qurg'oqchilik kiradi. Vaqt muhim ahamiyatga ega, chunki tirik qolish imkoniyati har bir daqiqada kamaya boshlaydi. Birinchi yordam beruvchilar tirik qolganlarni vayron bo'lgan uylarga joylashtirishda qiynalishi mumkin va ularni qidirishda o'z hayotini xavf ostiga qo'yishi mumkin. Odamlarni masofadan turib aniqlay oladigan tizimga ega bo'lish, birinchi javob beruvchilar ularni binolardan evakuatsiya qilish tezligini sezilarli darajada oshiradi. Boshqa tizimlarni o'rganib chiqqach, men ba'zi kompaniyalar erga asoslangan robotlarni yaratganini yoki odamlarni kuzatib boradigan, lekin faqat binolar tashqarisida ishlaydigan dronlarni yaratganini aniqladim. Chuqurlik kameralari va maxsus infraqizil kameralar kombinatsiyasi ichki maydonni aniq kuzatib borish va olov, odamlar va hayvonlarni ifodalovchi harorat o'zgarishini aniqlash imkonini beradi. Uchuvchisiz uchish apparati (PUA) ga maxsus algoritmga ega datchiklarni joriy qilish orqali uylarni avtonom tarzda tekshirish va ularni iloji boricha tezroq qutqarish uchun odamlar va hayvonlarning joylashishini aniqlash mumkin bo'ladi.

Iltimos, Optika tanlovida menga ovoz bering!

1 -qadam: Dizayn talablari

Mavjud texnologiyalarni o'rganib chiqqach, men mashinani ko'rish bo'yicha mutaxassislar va xavfli hududlarda omon qolganlarni aniqlashning eng yaxshi usulini topgan birinchi javob beruvchi bilan mumkin bo'lgan echimlarni muhokama qildim. Quyidagi ma'lumotlarda tizim uchun zarur bo'lgan eng muhim xususiyatlar va dizayn elementlari keltirilgan.

• Vizyonni qayta ishlash - Tizim sensorlar va sun'iy intellekt (AI) javoblari o'rtasida ma'lumot almashish uchun tezkor ishlov berish tezligini ta'minlashi kerak. Masalan, tizim devorlar va to'siqlarni aniqlab, ulardan qochish uchun xavf tug'diradigan odamlarni topa olishi kerak.
• Avtonom - tizim foydalanuvchi yoki operatordan ma'lumot olmasdan ishlashi kerak. PUA texnologiyasi bo'yicha minimal tajribaga ega bo'lgan xodimlar tizimni skanerlashni o'zi boshlashi uchun bir yoki bir nechta tugmani bosishi kerak.
• Range - diapazon - bu tizim va yaqin atrofdagi boshqa ob'ektlar orasidagi masofa. Tizim koridor va kirish joylarini kamida 5 metr masofadan aniqlay olishi kerak. Ideal minimal masofa 0,25 m, shuning uchun yaqin ob'ektlarni aniqlash mumkin. Aniqlanish diapazoni qanchalik katta bo'lsa, tirik qolganlarni aniqlash vaqti shuncha qisqa bo'ladi.
• Navigatsiya va aniqlik aniqligi - Tizim barcha kirishni aniq topishi va hech narsaga tegmasligi kerak, shu bilan birga ob'ektlarning to'satdan paydo bo'lishi aniqlanishi kerak. Tizim turli sensorlar orqali odamlar va tirik bo'lmagan narsalar o'rtasidagi farqni topa olishi kerak.
• Ishlash davomiyligi - tizim qancha xonani skanerlashiga qarab 10 daqiqa yoki undan ko'proq davom etishi kerak.
• Tezlik - 10 daqiqadan kamroq vaqt ichida butun binoni skanerlashi kerak.

2 -qadam: uskunani tanlash: harakatchanlik usuli

Kvadrokopter masofadan boshqarish pulti yordamida tanlangan, chunki kvadrokopter mo'rt bo'lsa -da, to'siqlarni oldini olish uchun uni boshqarish va balandligini o'zgartirish osonroq. Kvadrokopter barcha sensorlarni ushlab turishi va ularni turg'unlashtirishi mumkin, shunda ular turli xonalarga o'tishda aniqroq bo'ladi. Pervanellar issiqlikka bardoshli uglerod tolasidan qilingan. Datchiklar baxtsiz hodisalarning oldini olish uchun devorlardan uzoqlashadi.

• Quruq masofadan boshqarish pulti

  • Taroziga - tushmasdan tez harakat qila oladi va harorat ta'sir qilmaydi
  • Kamchiliklari - mashina datchiklarni bir vaqtning o'zida kamroq maydonga qo'yadi va ularni to'siqlar to'sib qo'yishi mumkin

• Kvadrokopter

  • Taroziga soling - atrofni 360 darajali ko'rish uchun sensorlarni havoga ko'taring
  • Kamchiliklari - agar u devorga urilsa, u yiqilib, tiklanmasligi mumkin

3 -qadam: uskunani tanlash: mikrokontroller

Mikrokontrollerlarga qo'yiladigan asosiy ikkita talab - bu kvadrokopterning yukini kamaytirish uchun kichik o'lcham va axborotni tezkor qayta ishlash tezligi. Rock64 va DJI Naza kombinatsiyasi mikrokontrolderlarning mukammal kombinatsiyasidir, chunki Rock64 odamlarni tezda aniqlash va kvadrokopterni devor va to'siqlarga yugurib ketmasligi uchun etarli ishlov berish quvvatiga ega. DJI Naza Rock64 qila olmaydigan barcha stabilizatsiya va dvigatelni boshqarishni yaxshi bajaradi. Mikrokontroller ketma -ket port orqali aloqa o'rnatadi va kerak bo'lganda foydalanuvchini boshqarishga imkon beradi. Raspberry Pi yaxshi alternativa bo'lardi, lekin Rock64 protsessori yaxshiroq va keyingi jadvalda ko'rsatilgan datchiklar bilan yaxshi bog'langanligi uchun Pi tanlanmagan. Intel Edison va Pixhawk qo'llab -quvvatlash va ulanish yo'qligi sababli tanlanmagan.

• Raspberry Pi

  • Taroziga solingan - devorlar va sobit narsalarni aniqlay oladi
  • Kamchiliklari - barcha sensorlar ma'lumotlarini ushlab turish uchun kurashadi, shuning uchun kirishni tez ko'rish mumkin emas. Dvigatel signallarini chiqara olmaydi va kvadrokopter uchun stabillashtiruvchi sensorlar yo'q

• Rok 64

  • Taroziga solingan - devorlar va kirishni kechiktirmasdan aniqlash.
  • Kamchiliklari - Shuningdek, tizimni butun datchiklar yordamida hech narsaga duch kelmasdan butun uy bo'ylab boshqarishi mumkin. Dvigatel tezligini boshqarish uchun signallarni tez yuborish mumkin emas va kvadrokopter uchun stabillashadigan sensorlar yo'q

• Intel Edison

  • Taroziga soling - devorlar va kirishni biroz kechiktirish bilan aniqlashga qodir
  • Kamchiliklari - Eski texnologiya, ko'plab sensorlarga yangi kutubxonalar kerak bo'ladi, ularni yaratish ko'p vaqtni oladi
• DJI Naza
  • Taroziga solingan - dvigatel tezligini mikro sozlash bilan kvadrokopterning havoda barqaror ishlashini ta'minlash uchun o'rnatilgan giroskop, akselerometr va magnitometr mavjud.
  • Kamchiliklari - ko'rishni qayta ishlashning hech qanday usuli yo'q

• Pixhawk

  • Taroziga soling - Umumiy maqsadli kirish chiqishi (GPIO) yordamida loyihada ishlatiladigan datchiklar.
  • Kamchiliklari - ko'rishni qayta ishlashning hech qanday usuli yo'q

4 -qadam: uskunani tanlash: sensorlar

Xavfli hududlarda odamlarni topish uchun zarur bo'lgan barcha ma'lumotlarni olish uchun bir nechta sensorlar kombinatsiyasi ishlatiladi. Tanlangan ikkita asosiy datchiklar orasida stereo infraqizil kamera, SOund navigatsiya va diapazoni (SONAR) mavjud. Bir oz sinovdan so'ng, men Realsense D435 kamerasini ishlatishga qaror qildim, chunki u kichik va 20 metrgacha bo'lgan masofani aniq kuzatishi mumkin. U sekundiga 90 kadr tezlikda ishlaydi, bu ob'ektlar qaerda va kvadrokopterni qaysi tomonga yo'naltirish to'g'risida qaror qabul qilishdan oldin ko'p o'lchovlarni amalga oshirish imkonini beradi. SONAR datchiklari tizimning yuqori va pastki qismiga joylashtirilgan bo'lib, kvadrokopterga sirt bilan aloqa qilishdan oldin uning balandligi yoki pastligini bilish mumkin. Stereo infraqizil kamera sensori aniqlay olmaydigan shisha kabi narsalarni aniqlash uchun tizim oldinga qaragan. Odamlar va hayvonlar harakat va ob'ektni aniqlash algoritmlari yordamida aniqlanadi. FLIR Camera stereo infraqizil kameraga nima yashayotganini va nima yomon sharoitlarda skanerlash samaradorligini oshirishga yordam berish uchun o'rnatiladi.

• Kinect V1

  • Taroziga soling - 3 metrli ob'ektlarni 6 metrgacha osongina kuzatib borishi mumkin
  • Kamchiliklari -Faqat bitta infraqizil sensori bor va kvadrokopter uchun juda og'ir

• Realsense D435

  • Taroziga soling - 2 ta infraqizil kamera va 25 metrgacha bo'lgan masofada 3D ob'ektlarni yuqori aniqlikda aniqlash uchun Qizil, Yashil, Moviy, Chuqurlik (RGB -D) kamerasi. Kengligi 6 sm bo'lib, kvadrokopterga osongina o'rnatiladi
  • Kamchiliklari - qizib ketishi mumkin va sovutish foniy kerak bo'lishi mumkin

• LIDAR

  • Taroziga soling - 40 metrgacha bo'lgan joylarni ko'rish chizig'ida kuzatishi mumkin bo'lgan nur
  • Kamchiliklari - Atrofdagi issiqlik o'lchov aniqligiga ta'sir qilishi mumkin

• SONAR

  • Taroziga soling - 15 m masofada kuzatiladigan, lekin shisha va akril kabi shaffof narsalarni aniqlay oladigan nur
  • Kamchiliklari - faqat bitta ko'rish chizig'idagi nuqtalar, lekin kvadrokopter yordamida skanerlash joyiga ko'chirilishi mumkin

• Ultrasonik

  • Taroziga - 3 m gacha bo'lgan masofaga ega va juda arzon
  • Kamchiliklari - faqat bitta ko'rish chizig'idagi nuqtalar va masofani sezish doirasidan tashqarida bo'lishi juda oson

• FLIR kamerasi

  • Taroziga soling - chekishsiz tutun orqali chuqur suratga olish va issiqlik imzosi orqali tirik odamlarni aniqlash
  • Kamchiliklari - Agar biror narsa datchiklarga xalaqit bersa, masofani hisoblash noto'g'ri hisoblanishi mumkin

• PIR sensori

  • Taroziga soling - harorat o'zgarishini aniqlashga qodir
  • Kamchiliklari - harorat farqi qaerda ekanligini aniqlab bo'lmaydi

5 -qadam: Uskunani tanlash: dasturiy ta'minot

Men barcha sensorlar o'rtasida mikrokontroller bilan uzluksiz integratsiyani yaratish uchun Robot operatsion tizimi (ROS) bilan birga Realsense SDK -dan foydalandim. SDK barcha ob'ektlar va kvadrokopter chegaralarini kuzatish uchun ideal bo'lgan nuqtali bulutli ma'lumotlarning doimiy oqimini ta'minladi. ROS menga sensorlar haqidagi barcha ma'lumotlarni sun'iy intellektni yaratgan dasturga yuborishga yordam berdi. AI ob'ektlarni aniqlash algoritmlari va harakatni aniqlash algoritmlaridan iborat bo'lib, ular kvadrokopterga o'z muhitida harakatni topishga imkon beradi. Nazoratchi kvadrokopterning holatini nazorat qilish uchun Pulse Width Modulation (PWM) dan foydalanadi.

• Freenect

  • Taroziga soling - hamma narsani boshqarish uchun kirish darajasi pastroq
  • Kamchiliklari - faqat Kinect V1 -ni qo'llab -quvvatlaydi

• Haqiqiy SDK

  • Taroziga soling - Realsense kamerasidagi axborot oqimidan nuqtali bulutli ma'lumotlarni osongina yaratish
  • Kamchiliklari - faqat Realsense D435 kamerasini qo'llab -quvvatlaydi

• FLIR Linux uchun haydovchi

  • Taroziga soling - FLIR kamerasidan ma'lumotlar oqimini olish
  • Kamchiliklari - hujjatlar juda cheklangan

• Robot operatsion tizimi (ROS)

  • Taroziga soling - kamera funktsiyalarini dasturlash uchun ideal operatsion tizim
  • Kamchiliklari - ma'lumotlarni samarali yig'ish uchun tezkor SD -kartaga o'rnatish kerak

6 -qadam: tizimni ishlab chiqish

Qurilmaning "ko'zlari" bu Realsense D435 stereo infraqizil sensori bo'lib, u asosan 3D xaritasi kabi robotli ilovalar uchun ishlatiladi (1-rasm). Qachonki bu sensor kvadrokopterga o'rnatilsa, infraqizil kamera kvadrokopterning avtonom harakatlanishini boshqarishi va ruxsat berishi mumkin. Kamera tomonidan ishlab chiqarilgan ma'lumotlar nuqta buluti deb ataladi, u bo'shliqdagi bir nechta nuqtalardan iborat bo'lib, ular kameraning ko'rishida ma'lum bir ob'ektning joylashuvi to'g'risida ma'lumotga ega. Bu nuqta bulutini ranglarni har xil chuqurlikda ko'rsatadigan chuqurlik xaritasiga aylantirish mumkin (2 -rasm). Qizil uzoqroq, ko'k esa yaqinroq.

Bu tizim uzluksiz ishlashini ta'minlash uchun odatda robotlarda ishlatiladigan ROS deb nomlangan ochiq kodli operatsion tizim ishlatilgan. Bu past darajadagi qurilmalarni boshqarishga, barcha sensorlarga kirishga va boshqa dasturlarda foydalanish uchun ma'lumotlarni yig'ishga imkon beradi. ROS Realsense SDK bilan aloqa o'rnatadi, bu ob'ektlarning tizimdan qanchalik uzoqligini kuzatish uchun turli kameralarni yoqish va o'chirish imkonini beradi. Ularning ikkalasi o'rtasidagi aloqa kameradan ma'lumot oqimiga kirishga imkon beradi, bu nuqta bulutini yaratadi. Bulutli nuqta ma'lumoti chegaralar va ob'ektlar 30 metr ichida va 2 sm aniqlikda ekanligini aniqlashi mumkin. Boshqa sensorlar, masalan, SONAR sensorlari va DJI Naza kontrolleridagi ko'milgan sensorlar kvadrokopterni aniqroq joylashtirish imkonini beradi. Mening dasturiy ta'minotim nuqtali bulutga kirish va lokalizatsiya orqali qurilma atrofidagi butun makon xaritasini yaratish uchun AI algoritmlaridan foydalanadi. Tizim ishga tushirilgach va skanerlashni boshlaganda, u koridorlar bo'ylab sayohat qiladi va boshqa xonalarga kirishni topadi, u erda odamlarni qidirish uchun maxsus xonani tozalash mumkin. Tizim bu jarayonni barcha xonalar skanerlanmaguncha takrorlaydi. Hozirgi vaqtda kvadrokopter taxminan 10 daqiqa ucha oladi, bu to'liq tozalash uchun etarli, lekin uni batareyaning turli xil tuzilmalari yordamida yaxshilash mumkin. Birinchi javob beruvchilar o'z harakatlarini tanlangan binolarga qaratishlari uchun odamlar paydo bo'lganda xabar oladilar.

7 -qadam: muhokama va xulosa

Ko'p sinovlardan so'ng men 1 -jadvalda ko'rsatilgan talablarga javob beradigan ishchi prototipni yaratdim. Realsense SDK bilan Realsense D435 stereo infraqizil kamerasi yordamida kvadrokopter old tomonining yuqori aniqlikdagi chuqurlik xaritasi yaratildi. Avvaliga men infraqizil kamerada shisha kabi ba'zi narsalarni aniqlay olmaslik bilan bog'liq muammolarga duch keldim. SONAR sensorini qo'shib, men bu muammoni engishga muvaffaq bo'ldim. Rock64 va DJI Naza kombinatsiyasi muvaffaqiyatli bo'ldi, chunki tizim kvadrokopterni barqarorlashtira oldi, shu bilan birga OpenCV yordamida maxsus yaratilgan kompyuter ko'rish algoritmlari yordamida ob'ektlar va devorlarni aniqlay oldi. Garchi hozirgi tizim funktsional va talablarga javob bersa -da, kelajakdagi ba'zi prototiplardan foyda ko'rishi mumkin.

Odamlarni aniqroq aniqlash uchun yuqori sifatli kameralar yordamida bu tizimni yaxshilash mumkin. Qimmatroq FLIR kameralardan ba'zilari aniqroq aniqlash imkonini beradigan issiqlik imzosini aniqlash qobiliyatiga ega. Tizim, shuningdek, chang va tutun bilan to'lgan xonalar kabi turli muhitlarda ham ishlashi mumkin edi. Yangi texnologiya va yong'inga qarshi vositalar yordamida bu tizim yonayotgan uylarga yuborilishi va odamlarning qaerdaligini tezda aniqlashi mumkin, shunda birinchi javob beruvchilar tirik qolganlarni xavfdan qutqarib oladilar.

O'qiganingiz uchun tashakkur! Menga Optika tanlovida ovoz berishni unutmang!