Сөйлеуге/мәтінге түрлендіретін қолғапқа арналған қимыл: 5 қадам

2024 Автор: John Day | [email protected]. Соңғы өзгертілген: 2024-01-30 10:23

Бұл жобаны іске асырудың негізгі идеясы - сөйлеуде қарым -қатынаста қиындықтары бар адамдарға және қолмен ыммен сөйлесуге көмектесуге көмектесу немесе американдық қолтаңбалы тіл (ASL). Бұл жоба бұл адамдарға ымдау тілін түсінбейтін басқа адамдармен бірлескен ортада жұмыс істеу мүмкіндігін берудегі қадам болуы мүмкін. Сондай -ақ, бұл жоба оларға нақты адам аудармашысын пайдаланбай көпшілік алдында сөйлеуге мүмкіндік береді. Бастапқыда мен A, B, I, т.б. алфавиті сияқты кейбір қарапайым қимылдарды анықтауға тырыстым, сонымен қатар «Сәлем», «Қайырлы таң» және т.

1 -қадам: Электр тізбегін жинау

2 -қадам: Жоба туралы мәліметтер

Бұл жобаға қолғапқа бекітілген/бекітілген 4 иілгіш сенсоры бар киілетін қолғап кіреді - әрқайсысы кішкентай, ортаңғы, сұқ саусақтар мен бас бармаққа арналған. Flex сенсоры Arduino Uno R3 -те аналогтық кіріс түйреуіштерінің болуына байланысты шектеулерге байланысты және саусақпен ым тілінде көрсетілген тәуелсіз қозғалыстың болмауына байланысты саусақ сақинасы үшін қолданылмады. Қолдың бағытын өлшеу үшін алақанның артына бекітілген MMA8452Q акселерометрі де қолданылады. Бұл сенсорлардың кірісі анализделіп, қимылды сезу үшін қолданылады. Қимыл сезілгеннен кейін сәйкес символ/хабар айнымалыға сақталады. Бұл таңбалар мен хабарламалар сөйлемнің аяқталғанын көрсететін белгілі бір қимыл жасамайынша жалғаса береді. Бұл арнайы қимыл анықталғаннан кейін, сақталған сөйлем жолы Arduino арқылы USB кабелі арқылы Raspberry Pi -ге жіберіледі. Raspberry Pi содан кейін мәтіндік форматта алынған сөйлемді сөйлеу форматына түрлендіру үшін алынған бұлтты Amazon Cloud Service қызметіне Polly деп жібереді, содан кейін AUX кабелі арқылы Raspberry Pi -ге қосылған динамикте алынған сөйлеуді жібереді.

Бұл жоба тұжырымдаманың дәлелі болды және жабдықтар мен жоспарлаудың жақсы бөлшектері және басқа да көптеген қимылдар мен қол қозғалыстарын анықтау үшін жақсы калибрленген. Қазіргі уақытта бұл жобада тек қимылдарды анықтау және мәтіннен сөйлеуге шығару сияқты шектеулі функционалдылық бағдарламаланған.

3 -қадам: код

4 -қадам: Қадамдар

1. MMA8452Q икемді сенсорлар мен акселерометрді Arduino -ға берілген схемаға сәйкес қосыңыз.

2. Final_Project.ino (Arduino_code.zip файлынан табылған) бағдарламасын Arduino -ға тастаңыз.

3. Arduino -ны Raspberry Pi -ге USB кабелі арқылы қосыңыз. (Кабель түрі A/B).

4. Raspberry Pi -ді қосыңыз, Raspberry_pi_code.zip файлын Raspberry Pi -ге көшіріп, шығарыңыз. Динамикті Raspberry Pi -ге қосыңыз.

5. AWS тіркелгі деректерін aws_access_key_id, aws_secret_access_key және aws_session_token файлдарын ~/.aws/credentials файлына көшіріңіз. Бұл қадам AWS бұлтымен байланысу және AWS қызметтерін пайдалану үшін қажет.

6. 4 -қадамда шығарылған қалта ішінде табылған seria_test.py бағдарламасын іске қосыңыз.

7. Енді қимылдарды сөйлем құрап жасаңыз, содан кейін арнайы қимыл жасаңыз (саусақтарыңыз бен алақандарыңызды тік және алақаныңызды өзіңізге қаратып бір қатарда ұстаңыз, содан кейін білегіңізді төмен қарай бұрыңыз, алақаныңызды төмен қаратып) саған қарайды және саусақтарыңның ұштары аяғыңа қарай төмен қарайды.) сөйлемнің аяқталғанын білдіру үшін.

8. Пайдалы ақпарат алу үшін терминалды тексеруді жалғастырыңыз.

9. Ал түрлендірілген сөйлеушіні динамиктен тыңдаңыз.

5 -қадам: Әдебиеттер

1.

2.

3.

4.