Инфрақызыл камерасы бар автономды дрон алғашқы жауап берушілерге көмектеседі: 7 қадам

2024 Автор: John Day | [email protected]. Соңғы өзгертілген: 2024-01-30 10:24

Дүниежүзілік денсаулық сақтау ұйымының есебіне сәйкес, жыл сайын табиғи апаттардан 90 000 -ға жуық адам қайтыс болады және 160 миллионға жуық адам зардап шегеді. Табиғи апаттарға жер сілкінісі, цунами, жанартаудың атқылауы, көшкін, дауыл, су тасқыны, орман өрттері, ыстық толқындар мен құрғақшылық жатады. Уақыт маңызды, өйткені өмір сүру мүмкіндігі минут өткен сайын төмендей бастайды. Алғашқы көмек көрсетушілер зардап шеккен үйлерде тірі қалғандарды іздестіру кезінде өз өмірлеріне қауіп төндіруі мүмкін. Адамдарды қашықтықтан анықтай алатын жүйенің болуы, бірінші жауап берушілердің оларды ғимараттардан эвакуациялау жылдамдығын едәуір арттырады. Басқа жүйелерді зерттей келе, мен кейбір компаниялардың роботтарды құрлықта құрғанын немесе адамдарды бақылай алатын, бірақ тек ғимараттардан тыс жерде жұмыс істейтін дрондар жасағанын білдім. Тереңдік камераларының арнайы инфрақызыл камералармен үйлесуі ішкі аумақты дәл бақылауға және өртті, адамдарды және жануарларды көрсететін температураның өзгеруін анықтауға мүмкіндік береді. Ұшқышсыз ұшу аппараттарында (ҰҚА) арнайы алгоритмі бар сенсорларды енгізу арқылы үйлерді автономды түрде тексеруге және оларды мүмкіндігінше тезірек құтқару үшін адамдар мен жануарлардың орнын анықтауға болады.

Маған оптика байқауында дауыс беруіңізді өтінемін!

1 -қадам: Дизайнға қойылатын талаптар

Қол жетімді технологияларды зерттей келе, мен қауіпті аймақтарда тірі қалғандарды анықтаудың ең жақсы әдісін табу үшін машинаны көру бойынша мамандармен және бірінші жауап берушімен мүмкін шешімдерді талқыладым. Төмендегі ақпарат жүйенің қажетті элементтері мен дизайн элементтерін көрсетеді.

• Көруді өңдеу - жүйе сенсорлар мен жасанды интеллект (AI) реакциясы арасындағы ақпарат алмасу үшін жылдам өңдеу жылдамдығын қамтамасыз етуі керек. Мысалы, жүйе қабырғалар мен кедергілерді анықтай алуы керек, сонымен қатар қауіпті адамдарды табуы керек.
• Автономды - Жүйе пайдаланушының немесе оператордың қатысуынсыз жұмыс істей алуы керек. Ұшқышсыз ұшу техникасының тәжірибесі бар қызметкерлер жүйені сканерлеуді өздігінен бастау үшін бір немесе бірнеше түймені басуы керек.
• Ауқым - диапазон - бұл жүйе мен жақын орналасқан барлық басқа объектілер арасындағы қашықтық. Жүйе кіреберістер мен кіреберістерді кемінде 5 метр қашықтықтан анықтай алуы керек. Ең жақын минималды диапазон 0,25 м, сондықтан жақын объектілерді анықтауға болады. Анықтау ауқымы неғұрлым көп болса, тірі қалғандарды анықтау уақыты соғұрлым қысқа болады.
• Навигация мен анықтау дәлдігі - жүйе барлық кіреберістерді дәл тауып, объектілерге соққы бермеуі керек, сонымен қатар объектілердің кенеттен пайда болуын анықтай алады. Жүйе әр түрлі сенсорлар арқылы адамдар мен жанды емес заттардың арасындағы айырмашылықты таба білуі қажет.
• Жұмыс ұзақтығы - жүйе қанша бөлмені сканерлеуге байланысты 10 минут немесе одан да көп уақытқа созылуы керек.
• Жылдамдық - ол бүкіл ғимаратты 10 минуттан аз уақыт ішінде қарап шығуы керек.

2 -қадам: Жабдықты таңдау: Ұтқырлық әдісі

Квадрокоптер қашықтан басқару машинасынан таңдалды, себебі квадрокоптер нәзік болса да, кедергілерді болдырмау үшін оны басқаруға және биіктігін өзгертуге оңай. Квадрокоптер барлық сенсорларды ұстап тұра алады және оларды әр түрлі бөлмелерге көшу кезінде дәлірек болу үшін тұрақтандырады. Бұрандалар ыстыққа төзімді көміртекті талшықтан жасалған. Датчиктер апаттың алдын алу үшін қабырғадан бағытталады.

• Жердегі қашықтан басқару құралы

  • Артықшылықтары - құлап кетпей тез қозғала алады және температураға әсер етпейді
  • Кемшіліктері - көлік сенсорларды бір уақытта аз аймақты жабады және кедергілермен бұғаттауға болады

• Квадрокоптер

  • Артықшылықтары - Сенсорларды ауаға көтеріп, айналаны 360 градуспен қарау
  • Кемшіліктері - егер ол қабырғаға соғылса, ол құлап кетуі мүмкін

3 -қадам: жабдықты таңдау: микроконтроллер

Микроконтроллерлерге қойылатын негізгі екі талап - бұл квадрокоптердегі жүктемені азайту үшін шағын өлшемдер мен ақпаратты енгізуді жылдам өңдеу жылдамдығы. Rock64 пен DJI Naza комбинациясы - бұл микроконтроллерлердің тамаша үйлесімі, себебі Rock64 адамдарды тез анықтауға және квадрокоптердің қабырғалар мен кедергілерге түсуіне жол бермеуге жеткілікті өңдеу қабілетіне ие. DJI Naza Rock64 жасай алмайтын барлық тұрақтандыру мен қозғалтқышты басқару арқылы оны жақсы бағалайды. Микроконтроллерлер сериялық порт арқылы байланысады және қажет болған жағдайда пайдаланушыларды басқаруға мүмкіндік береді. Raspberry Pi жақсы балама болар еді, бірақ Rock64 процессоры жақсы және келесі кестеде көрсетілген сенсорларға жақсы қосылатын болғандықтан, Pi таңдалмады. Intel Edison мен Pixhawk қолдау мен байланыстың болмауына байланысты таңдалмады.

• Raspberry Pi

  • Артықшылықтары - Қабырғалар мен бекітілген заттарды анықтай алады
  • Кемшіліктері - барлық сенсорлардың мәліметтерін сақтауға тырысады, сондықтан кірулерді тез көре алмайды. Қозғалтқыш сигналдарын шығара алмайды және квадрокоптер үшін тұрақтандырғыш сенсорлары жоқ

• 64

  • Артықшылықтары - Қабырғалар мен кірулерді кідіріссіз анықтай алады.
  • Кемшіліктері - Сондай -ақ, барлық сенсорларды қолдана отырып, жүйені бүкіл үйге бағыттауға болады. Қозғалтқыш жылдамдығын бақылау үшін сигналдарды тез жіберу мүмкін емес және квадрокоптер үшін тұрақтандырғыш сенсорлар жоқ

• Intel Эдисон

  • Артықшылықтары - Қабырғалар мен кіреберістерді кешіктіру кезінде анықтай алады
  • Кемшіліктері - Ескі технология, сенсорлардың көпшілігіне жаңа кітапханалар қажет болады, оларды жасау үшін көп уақыт қажет
• DJI Naza
  • Артықшылықтары - Квадрокоптердің қозғалтқыш жылдамдығына микро реттеу арқылы ауада тұрақты болуына мүмкіндік беретін интеграцияланған гироскоп, акселерометр және магнитометр бар.
  • Кемшіліктері - көруді өңдеудің кез келген түрін жасау мүмкін емес

• Pixhawk

  • Артықшылықтары - Жалпы мақсатты кіріс шығысы (GPIO) көмегімен жобада қолданылатын датчиктермен үйлесімді.
  • Кемшіліктері - көруді өңдеудің кез келген түрін жасау мүмкін емес

4 -қадам: Жабдықты таңдау: датчиктер

Қауіпті аймақтардағы адамдарды табу үшін қажетті барлық ақпаратты алу үшін бірнеше сенсорлардың комбинациясы қолданылады. Таңдалған екі негізгі сенсорға стерео инфрақызыл камера мен SOund навигациясы мен ауқымы (SONAR) кіреді. Бірнеше тестілеуден кейін мен Realsense D435 камерасын қолдануға шешім қабылдадым, себебі ол кішкентай және 20 метрге дейінгі қашықтықты дәл бақылай алады. Ол секундына 90 кадрмен жұмыс істейді, бұл объектілердің қайда орналасқанын және квадрокоптерді қай бағытқа бағыттау туралы шешім қабылдамас бұрын көптеген өлшемдерді алуға мүмкіндік береді. SONAR датчиктері жүйенің үстіңгі және астыңғы жағына орналастырылады, бұл квадрокоптерге оның бетіне тиіп кетпес бұрын оның қаншалықты жоғары немесе төмен жүруге болатынын білуге мүмкіндік береді. Сондай -ақ, стерео инфрақызыл камера сенсоры анықтай алмайтын шыны тәрізді заттарды жүйеге анықтауға мүмкіндік беретін алға қаратылған біреуі бар. Адамдар мен жануарлар қозғалысты және объектілерді тану алгоритмдерінің көмегімен анықталады. FLIR камерасы стерео инфрақызыл камераға қолайсыз жағдайларда не өмір сүретінін және не сканерлеудің тиімділігін арттырмайтынын анықтауға көмектеседі.

• Kinect V1

  • Артықшылықтары - 3D объектілерін 6 метр қашықтықта оңай қадағалай алады
  • Кемшіліктері -тек 1 инфрақызыл сенсоры бар және квадрокоптер үшін тым ауыр

• Realsense D435

  • Артықшылықтары - 2 инфрақызыл камера мен 25 метрге дейінгі қашықтықта 3D объектілерді дәл анықтауға арналған қызыл, жасыл, көк, тереңдік (RGB -D) камерасы бар. Оның ені 6 см, квадрокоптерге оңай қонуға мүмкіндік береді
  • Кемшіліктері - қыздыруға болады және салқындатқыш желдеткіш қажет болуы мүмкін

• LIDAR

  • Артықшылықтары - 40 метрге дейінгі қашықтықты өзінің көру сызығында бақылай алатын сәуле
  • Кемшіліктері - қоршаған ортадағы жылу өлшеу дәлдігіне әсер етуі мүмкін

• SONAR

  • Артықшылықтары - 15 м қашықтықта жүре алатын, бірақ шыны мен акрил сияқты мөлдір заттарды анықтай алатын сәуле
  • Кемшіліктер - бір нүктеде ғана, бірақ квадрокоптер көмегімен сканерлеу аймағына жылжи алады

• Ультрадыбыстық

  • Артықшылықтары - 3 м дейін диапазоны бар және өте арзан
  • Кемшіліктері - тек бір көру нүктесіндегі нүктелер және қашықтықты сезу диапазонынан өте оңай болуы мүмкін

• FLIR камерасы

  • Артықшылықтары - түтін арқылы кедергісіз терең суретке түсіре алады және тірі адамдарды жылу қолтаңбасы арқылы анықтай алады
  • Кемшіліктер - Егер сенсорларға бірдеңе кедергі келтірсе, қашықтықты есептеулерді қате есептеуге болады

• PIR сенсоры

  • Артықшылықтары - температураның өзгеруін анықтай алады
  • Кемшіліктері - температура айырмашылығы қай жерде екенін анықтау мүмкін емес

5 -қадам: Жабдықты таңдау: Бағдарламалық қамтамасыз ету

Микроконтроллермен барлық сенсорлар арасында үздіксіз интеграция жасау үшін мен робот операциялық жүйесімен (ROS) бірге Realsense SDK қолдандым. SDK квадрокоптердің барлық объектілері мен шекараларын бақылауға өте ыңғайлы нүктелік бұлт деректерінің тұрақты ағынын қамтамасыз етті. ROS маған сенсорлық барлық мәліметтерді жасанды интеллект енгізетін бағдарламаға жіберуге көмектесті. AI объектілерді анықтау алгоритмдерінен және квадрокоптерге өз ортасында қозғалысты табуға мүмкіндік беретін қозғалысты анықтау алгоритмдерінен тұрады. Контроллер квадрокоптердің орналасуын бақылау үшін импульстік ен модуляциясын (PWM) қолданады.

• Freenect

  • Артықшылықтары - Барлығын басқаруға қол жетімділік деңгейі төмен
  • Кемшіліктері - тек Kinect V1 қолдайды

• Realsense SDK

  • Артықшылықтары - Realsense камерасынан ақпараттық ағыннан нүктелік бұлтты деректерді оңай жасай алады
  • Кемшіліктері - тек Realsense D435 камерасын қолдайды

• FLIR Linux драйвері

  • Артықшылықтары - FLIR камерасынан деректер ағынын ала алады
  • Кемшіліктер - құжаттама өте шектеулі

• Робот операциялық жүйесі (ROS)

  • Артықшылықтары - камера функцияларын бағдарламалауға арналған операциялық жүйе
  • Кемшіліктер - деректерді тиімді жинау үшін жылдам SD картасына орнату қажет

6 -қадам: Жүйені дамыту

Құрылғының «көздері» Realsense D435 стерео инфрақызыл сенсоры болып табылады, ол негізінен 3D-картография сияқты роботтық қосымшалар үшін қолданылады (1-сурет). Бұл сенсор квадрокоптерге орнатылған кезде, инфрақызыл камера квадрокоптердің автономды түрде қозғалуына бағыт -бағдар бере алады. Камера шығаратын мәліметтерді нүктелік бұлт деп атайды, ол кеңістіктегі нүктелер жиынтығынан тұрады, онда камераның көрінісінде белгілі бір объектінің орны туралы ақпарат бар. Бұл нүктелік бұлтты түстерді әр түрлі тереңдікте көрсететін тереңдік картасына түрлендіруге болады (2 -сурет). Қызыл одан алыста, ал көк - метрге жақын.

Бұл жүйенің үздіксіз болуын қамтамасыз ету үшін әдетте роботтарда қолданылатын ROS деп аталатын ашық бастапқы коды бар операциялық жүйе қолданылды. Бұл құрылғыны басқарудың төменгі деңгейіне, басқа датчиктерге қол жеткізуге және басқа бағдарламаларда қолданылатын деректерді жинауға мүмкіндік береді. ROS объектілердің жүйеден қаншалықты алыс екенін бақылау үшін әр түрлі камераларды қосуға және өшіруге мүмкіндік беретін Realsense SDK -мен байланысады. Екеуінің арасындағы байланыс нүктелік бұлтты жасайтын камерадан деректер ағынына қол жеткізуге мүмкіндік береді. Нүктелік бұлт ақпараты шекаралар мен объектілердің қай жерде 30 метр және дәлдігі 2 см болатынын анықтай алады. SONAR сенсорлары мен DJI Naza контроллеріндегі ендірілген сенсорлар сияқты басқа сенсорлар квадрокоптердің дәл орналасуына мүмкіндік береді. Менің бағдарламалық жасақтамам нүктелік бұлтқа кіру және құрылғыны қоршап тұрған бүкіл кеңістіктің картасын жасау үшін AI алгоритмдерін қолданады. Жүйе іске қосылып, сканерлеуді бастағаннан кейін, ол кіреберістен өтіп, басқа бөлмелердің кіреберістерін табады, онда ол адамдарды іздейтін бөлмені сыпырып алады. Жүйе бұл процедураны барлық бөлмелер сканерленгенше қайталайды. Қазіргі уақытта квадрокоптер шамамен 10 минут ұша алады, бұл толық тазалау үшін жеткілікті, бірақ оны батареяның әр түрлі қондырғыларымен жақсартуға болады. Алғашқы жауап берушілер адамдарға күш -жігерін таңдаулы ғимараттарға аудару үшін хабарландыруларды алады.

7 -қадам: Талқылау және қорытынды

Көптеген сынақтардан кейін мен 1 -кестеде көрсетілген талаптарға сәйкес келетін жұмыс прототипін жасадым, Realsense SDK көмегімен Realsense D435 стерео инфрақызыл камерасын қолдана отырып, квадрокоптердің алдыңғы бөлігінің жоғары ажыратымдылық картасы жасалды. Алдымен инфрақызыл камераның әйнек сияқты кейбір заттарды анықтай алмауына байланысты мәселелер болды. SONAR сенсорын қосу арқылы мен бұл мәселені шеше алдым. Rock64 және DJI Naza комбинациясы табысты болды, себебі жүйе квадрокоптерді тұрақтандыра алды, сонымен қатар OpenCV көмегімен компьютерлік көру алгоритмдері арқылы жасалған объектілер мен қабырғаларды анықтай алды. Қазіргі жүйе функционалды және талаптарды қанағаттандыратынына қарамастан, ол болашақ кейбір прототиптерден пайда көруі мүмкін.

Бұл жүйені адамдарды дәлірек анықтау үшін жоғары сапалы камераларды қолдану арқылы жақсартуға болады. Қымбат FLIR камераларының кейбірі дәлірек анықтауға мүмкіндік беретін жылу қолтаңбаларын анықтай алады. Жүйе сонымен қатар шаң мен түтінге толы бөлмелер сияқты әр түрлі ортада жұмыс істей алады. Жаңа технологиямен және отқа төзімділікпен бұл жүйе жанып жатқан үйлерге жіберілуі мүмкін және адамдардың қайда екенін тез анықтайды, осылайша бірінші әрекет етушілер тірі қалғандарды қауіптен шығарады.

Оқығаныңыз үшін рахмет! Оптика байқауында маған дауыс беруді ұмытпаңыз!