AWS -те Magicbit -тен деректерді визуализациялау: 5 қадам

2024 Автор: John Day | [email protected]. Соңғы өзгертілген: 2024-01-30 10:22

Magicbit қосылған датчиктерден жиналған деректер нақты уақытта графикалық түрде бейнеленуі үшін MQTT арқылы AWS IOT ядросында жарияланады. Біз ESP32 -ге негізделген осы жобаның даму тақтасы ретінде magicbit қолданамыз. Бұл жобада кез келген ESP32 даму тақтасын қолдануға болады.

Жабдықтар:

Magicbit

1 -қадам: Әңгіме

Бұл жоба сіздің Magicbit құрылғыңызды AWS бұлтына MQTT арқылы қосу туралы. MQTT арқылы жіберілген деректер бұлтта AWS қызметтерінің көмегімен талданады және бейнеленеді. Ендеше бастайық

Алдымен сіз AWS консоліне кіріп, жүйеге кіруіңіз керек. Оқу мақсатында сіз AWS ұсынатын тегін деңгей опциясын қолдана аласыз. Бұл жоба үшін жеткілікті болады.

Қарапайым ету үшін мен жобаны екі бөлімге бөлемін.

Бұл біздің жобаның бірінші кезеңі болмақ. Бірінші кезеңнің соңында деректер S3 шелектерінде сақталады.

Бірінші бөлімде қолданылатын AWS қызметтері,

• Кинез Firehose
• AWS желімі
• AWS S3

Алдымен AWS Kinesis қызметіне өтіңіз.

Төменде көрсетілгендей Kinesis Data Firehose таңдаңыз және Жасау түймешігін басыңыз

Содан кейін сіз Firehose қызметін құрудың 1 -қадамына бағытталасыз. Жеткізу ағынының атын енгізіңіз және Direct Put немесе Басқа көздерді таңдаңыз. Келесі түймесін басыңыз.

2 -қадам терезесінде бәрін әдепкі күйінде қалдырып, Келесі түймесін басыңыз. AWS Glue қызметін жасағаннан кейін біз бұл қадамды өңдеу үшін ораламыз.

3 -қадамда S3 шелегін таңдаңыз, егер сіз оны бұрын жасаған болсаңыз. Әйтпесе, жасау және шелек жасау түймесін басыңыз. S3 префиксі бөлімінде dest/ пайдаланыңыз, ал қате префиксінде қате/ енгізіңіз. Жоғарыдағы екеуіне кез келген атауды енгізуге болады. Бірақ жеңілдік үшін біз ортақ атауды жалғастырамыз. Сіз таңдаған шелектің ішінде dest деп аталатын қалта жасауды ұмытпаңыз. Келесі түймесін басыңыз.

4 -қадамда деректерді нақты уақытта тасымалдау үшін ең аз буферлік өлшем мен буферлік интервалды таңдаңыз. Рұқсат бөлімінде IAM roleKinesisFirehoseServiceRole жасауды немесе жаңартуды таңдаңыз. Барлығын әдепкі күйде ұстаңыз. Келесі түймесін басыңыз.

Келесі бөлімде сіз енгізген өзгерістерге шолу көрсетіледі. OK түймесін басыңыз. Сонда сізде жұмыс істейтін Kinesis Firehose болады.

Егер сіз Firehose қызметін сәтті құрсаңыз, сіз осындай нәрсені аласыз.

2 -қадам: Firehose және S3 шелегін сынау

Өрт және S3 шелегі дұрыс жұмыс істейтінін тексеру үшін консольде IOT ядросын таңдаңыз. Сіз осындай бетке бағытталасыз. Ережені таңдап, ереже жасаңыз.

AWS IOT ережесі дегеніміз не?

Ол MQTT -тен алынған кез келген деректерді белгілі бір қызметке жіберу үшін қолданылады. Бұл мысалда біз Kinesis Firehose бағдарламасына көшеміз.

Ережеге атау таңдаңыз. Ереже мен сұрау мәлімдемесін сол күйінде қалдырыңыз. Бұл бізге iot/theme тақырыбына жарияланғанның бәрі осы ереже арқылы Firehose кинезисіне жіберілетінін айтады.

Бір немесе бірнеше әрекетті орнату бөлімінің астында Әрекетті қосу түймешігін басыңыз. Amazon Kinesis Firehose Stream -ге хабар жіберуді таңдаңыз. Конфигурацияны таңдаңыз. Содан кейін бұрын жасалған өрт сөндіру ағынының атауын таңдаңыз. Содан кейін «Рөл жасау» түймесін басып, рөл жасаңыз. Енді сіз AWS -те рөл ойдағыдай құрдыңыз.

Сіз жариялаған кез келген хабарлама Kinesis Firehose арқылы S3 шелектеріне жіберіледі.

Firehose деректерді буфер толтырылғанда немесе аралық аралыққа жеткенде жіберетінін есте сақтаңыз. Ең аз буферлік интервал 60 секунд.

Енді біз жобаның екінші бөліміне көшуге болады. Бұл біздің деректер ағынының диаграммасы болады.

3 -қадам: AWS желімін конфигурациялау

Неліктен бізге AWS Glue және AWS Athena қажет?

S3 шелектерінде сақталған деректерді AWS Quicksight -ке енгізу ретінде тікелей пайдалану мүмкін емес. Алдымен біз деректерді кесте түрінде орналастыруымыз керек. Ол үшін біз жоғарыда аталған екі қызметті қолданамыз.

AWS желіміне өтіңіз. Бүйірлік құралдар тақтасынан Crawler таңдаңыз. Содан кейін тексергішті қосу пәрменін таңдаңыз.

Бірінші қадамда тексерушінің атын енгізіңіз. Келесі түймесін басыңыз. Келесі қадамда оны әдепкі ретінде қалдырыңыз. Үшінші қадамда сіз таңдаған S3 шелегінің жолын енгізіңіз. Келесі терезені әдепкі бойынша қалдырыңыз. Бесінші терезеде IAM кез келген рөлін енгізіңіз. Келесі қадамда қызметті іске қосу жиілігін таңдаңыз.

Ашылмалы терезеде реттелуді таңдап, ең аз уақытты таңдаған жөн.

Келесі қадамда Деректер қорын қосу түймесін басыңыз, содан кейін келесі. Аяқтау түймешігін басыңыз.

Енді біз Kinesis Firehose бағдарламасын AWS желімімен біріктіруіміз керек.

Біз жасаған AWS Kinesis өрт сөндіру құралына өтіп, өңдеуді басыңыз.

Жазба форматын түрлендіру бөліміне төмен қарай жылжып, Қосылған опциясын таңдаңыз.

Шығу форматын Apache Parket ретінде таңдаңыз. Қалған мәліметтер үшін сіз жасаған Glue мәліметтер базасының мәліметтерін толтырыңыз. Деректер базасында кесте құрылып, оның аты осы бөлімге қосылуы керек. Сақтау түймешігін басыңыз.

4 -қадам: AWS Athena конфигурациясы

Деректер базасын және сіз жасаған деректер кестесін таңдаңыз. Сұрау бөлімінде бұл кодты қосу керек.

кесте атауы сіз жасаған Glue кестесінің нақты атауымен ауыстырылуы керек.

Сұрауды іске қосу түймешігін басыңыз. Егер ол жұмыс істесе, AWS S3 шелегінде сақталған деректер деректер кестесі ретінде көрсетілуі керек.

Енді біз алынған деректерді визуализациялауға дайынбыз.

5 -қадам: QuickSight конфигурациясы

AWS Quicksight бағдарламасына өтіңіз

Жоғарғы оң жақ бұрыштағы Жаңа талдау түймесін, содан кейін Жаңа деректер жиынтығын таңдаңыз.

Тізімнен Афинаны таңдаңыз. Қалқымалы картаға кез келген деректер көзінің атын енгізіңіз.

Ашылмалы терезеден және сәйкес кестеден Желім дерекқорын таңдаңыз. Бұл сізді осы бетке апарады.

Өрістер тізімінен кез келген өрісті апарып тастаңыз және кез келген визуалды түрді таңдаңыз.

Енді сіз MagicBit -тен жіберілген кез келген деректерді AWS қызметтерінің көмегімен елестете аласыз !!!

Олардағы деректерді визуализациялау үшін тиісті S3 шелектерінің жылдамдығына рұқсат беруді ұмытпаңыз.