Ағылшын тілінің жеке жаттықтырушысы - AI дауыстық көмекшісі: 15 қадам

2024 Автор: John Day | [email protected]. Соңғы өзгертілген: 2024-01-30 10:25

Бұл жоба кез келген лингвистикалық емтиханға дайындалып жатқан студенттерге көмектеседі, онда олар Snips AI -мен өзара әрекеттесу арқылы оқытылады.

1 -қадам: Әңгіме

Біз мұны не үшін құрдық?

Менің жеке тәжірибемнен GRE, TOEFL, IELTS сияқты түрлі лингвистикалық тестке дайындалып жатқан көптеген адамдарды көрдім. Оларға сөздерді есте сақтауға және түсінуге көмектесетін адам қажет. Жалпы, адам кез келген емтиханға дайындалғанда, олар қате жіберсе, тексеріп, түзететін адамға мұқтаж болады. Бұл шешіммен біз дауыс көмекшісін қолдану арқылы жұмыс күшін азайта аламыз.

2 -қадам: аппараттық құралдарды құрастыру

Ең алдымен, мен SNIPS пен SEEED -ке керемет Snips Voice Interaction Development Kit (Base Kit) көмегімен осы жобаны қолдағаны үшін алғыс айтқым келеді, мен бұл тақтаны қолдана отырып, ақпаратты сезіндім және ПХД -мен біріктірілген кейбір күрделі жобаларға қол жеткізе алдым.

Сіз Snips Voice Interaction Base жиынтығын 115 долларға және Snips Voice Interaction спутниктік жинағын 85 долларға сатып ала аласыз

3 -қадам: SNIPS -ті бастау

Жұмысқа кіріспес бұрын, сізге не қажет екенін қарастырайық.

• Raspberry Pi 3B/B+ (ұсынылады) немесе Pi 2 моделі B (қолдау көрсетіледі).
• Raspberry Pi үшін Micro-USB кабелі мен Micro-USB қуат адаптері.
• Micro SD картасы (кемінде 8 ГБ) - бастау үшін операциялық жүйе қажет. Сіз Raspbian Stretch жүктеп алып, Raspberry Pi веб -сайтындағы Mac OS, Linux және Windows нұсқаулықтарын пайдалана аласыз.
• USB пернетақтасы мен тінтуірі, сыртқы HDMI мониторы - біз USB пернетақтасы мен тінтуірін, сондай -ақ HDMI мониторын қолдануды ұсынамыз.
• Интернетке қосылу (Ethernet немесе WiFi)

Snips дауыстық өзара әрекеттесудің негізгі жиынтығы

Snips дауыстық өзара әрекеттесуді дамыту жинақтары пайдаланушыларға дауыстық интерфейстерді тез дамытуға және Snips AI дауыстық платформасын аппараттық құралдармен оңай біріктіруге мүмкіндік береді. Snips құрылғыда жұмыс істейді, яғни сіздің барлық дауыстық командалар мен деректер бұлтқа жіберілмей, жергілікті жерде өңделеді. Бұл құрылғыда өңдеу нәтижесінде сіздің жеке деректеріңіз құпия сақталатын толық қауіпсіз офлайн дауыстық көмекші пайда болады.

Дауыстық өзара әрекеттесу базалық жинағы бүкіл Snips AI дауыстық платформасын іске қосуға мүмкіндік береді. Raspberry Pi 3 Model B+ және ReSpeaker 2-Mics Pi HAT арқылы жұмыс істейді, ол сіздің үйдегі ақылды динамик ретінде әрекет ете алады. Жинақпен бірге динамик, Grove - температура мен ылғалдылық сенсоры (SHT31), Grove - реле және оны қабырғаға іліп қоюға немесе ыңғайлы стенд жасау үшін қазық тақтасы келеді.

Бірақ бұл бәрі емес! Дауыстық өзара әрекеттесу спутниктік жинағы сіздің базалық станцияңызды үйіңіздің әр бөлмесіне дейін жеткізеді және сіздің командаңызды берген жеріңізге байланысты аппараттық құралдармен өзара әрекеттесуге мүмкіндік береді!

Бұл жинақта Raspberry Pi3 B+ тақтасы, ReSpeaker 2 -Mics Pi HAT, Grove - реле, Grove - температура мен ылғалдылық сенсоры (SHT31), 6 Ом 2W динамигі, MicroSD картасы, Micro USB коннекторы бар қуат адаптері, Grove кабелі x 2, акрил негізі бар. панель.

Жинау қадамдары: (SNIPS мазмұны) Келесі суретте құрастыру бөлшектеріне шолу берілген.

Мұнда құрастыру бөліктері негізгі тақтаға орнатылады.

Содан кейін барлық электронды бөлшектер тақтаға орнатылады.

Осыдан кейін акрилді қорғаныс қақпағын Grove -Relay үстіне орнатыңыз.

Бұл 2 бөлік жинақты үстелге арналған үстелге айналдыру үшін қолданылады.

Ақырында, сіз Snips -пен ойнауға дайынсыз.

Жинақ орналастырудың екі әдісін ұсынады. Оны тірек тәрізді көлденең бетке қоюға болады немесе қабырғаға сым немесе жіп көмегімен іліп қоюға болады. Жинақ қосылған кезде Реле сақ болыңыз, себебі жұмыс кернеуі жоғары болады.

ЕСКЕРТПЕ: бізде Raspberry Pi 3B+ орнына Raspberry Pi нөлі бар Snips Voice Interaction спутниктік жинағы бар.

4 -қадам: Snips AI -мен байланыс (негізгі жоба)

• Жинақты жинақтағы әдепкі қуат адаптері арқылы қосыңыз немесе Micro USB қосқышы бар 5V-2A тұрақты ток адаптерін қолданыңыз.
• Келесі қадам - Snips көмекшісін Raspberry Pi -ге орнату. Орнату уақытын үнемдеу үшін жинақтағы MicroSD картасы жүйенің толық функционалды бейнесімен жыпылықтады, яғни Snips көмекшісі сіздің триггер сөздеріңізге дайын.
• Сізге https://docs.snips.ai/getting-started/quick-start… сілтемесі бойынша қадамдық орнату нұсқаулығын оқып шығуды және командалық жолда sam құралын үйренуді ұсынамыз.
• «Hey-snips» деп көмекшіні іске қосыңыз және келесі пәрменді орындаңыз:

Мысалдың бейнесін төмендегі Snips Voice Interaction базалық жинағында таба аласыз.

5 -қадам: Snips AI -мен байланыс (Project AI)

Сонымен, бұл осылай жұмыс істейді. Біріншіден, біз Snips тануды бастау үшін ыстық сөзді қолданамыз. Ол Snips NLU көмегімен сөйлемді түсінеді және ниетті анықтайды. Ниетті пайдаланып, слоттарды сәйкесінше шығарыңыз. Әрекет кодымен біз AI жауаптарын слоттарға сәйкес бағдарламалаймыз.

6 -қадам: Қолданба мен ниет құру

• Көмекші жасаңыз. Менің жағдайда, мен JARVIS атымен және JARVIS деген ыстық сөзбен көмекші құрдым.
• Қолданбалы қосымшаны жасаңыз немесе жаңадан бастаушылар үшін қосымшаны кітапханадан пайдаланыңыз.
• Мен Words атты қосымшаны құрдым
• Ниет жасаңыз және АИ -ге жаттығуды бастаңыз. Бұл сіздің AI -ді мықты етуде үлкен рөл атқарады. Мүмкін болатын барлық енгізулермен оны үйретіңіз.
• Сөздерді анықтау үшін ұяшық жасаңыз. Слотты сөйлемнің күтілетін сөйлеміне қойыңыз. Менің мысал үшін, берілген сөз - ұяшық атауы және ол көк түспен ерекшеленеді.
• Бұл аяқталғаннан кейін сіздің реттелетін ASR дайын болады. Кірістермен көріңіз. Біз жауапты сіздің оң жақта, көмекшінің астынан таба аламыз. Бұл сізге бастапқы мәнді, ниет атауын және слотты шығаруға мүмкіндік береді.
• Төменде келтірілген мысалдармен слоттарды анықтаңыз
• Ақырында, сіздің жеке AI -ді қолдану үшін көмекшіңізді орналастырыңыз.

7 -қадам: Raspbian -ды SD картасына жазыңыз

Raspbian - бұл Raspberry Pi -де жұмыс істейтін Linux таңдауы. Бұл нұсқаулықта біз Lite нұсқасын қолданатын боламыз, бірақ жұмыс үстелінің нұсқасы (графикалық ортамен бірге келеді) де қолданыла алады.

• Etcher бағдарламасын жүктеп алыңыз және орнатыңыз.
• Ішінде SD картасы бар SD картасын оқу құралын қосыңыз.
• Etcher бағдарламасын ашып, қатты дискіден SD картасына жазғыңыз келетін Raspberry Pi.img немесе.zip файлын таңдаңыз.
• Суретті жазғыңыз келетін SD картасын таңдаңыз.
• Таңдауларды қарап шығып, 'Жарқыл!' Түймесін басыңыз. SD картасына деректерді жазуды бастау үшін

Құрылғыны желіге қосыңыз

• SD картасына жүктеу көлемінің түбіріне қайтадан орналастырылған бос ssh файлын қосу арқылы SSH қатынасын қосыңыз.
• SD картасын Raspberry Pi ішіне салыңыз. Ол шамамен 20 секунд ішінде жүктеледі. Сізде Raspberry Pi -ге SSH қатынасы болуы керек. Әдепкі бойынша, оның хост атауы raspberrypi.local болады. Компьютерде терминал терезесін ашып, келесіні теріңіз:

ssh [email protected]

Әдепкі құпия сөз - таңқурай

8 -қадам: Snips платформасын орнатыңыз

Егер сіз әлі орнатпаған болсаңыз, Sam пәрмен жолы интерфейсін компьютерге орнатыңыз. Терминал терезесін ашып, енгізіңіз:

sudo npm install -g snips -samor npm install -g snips -sam // Windows

Raspberry Pi -ді желіде келесі әрекеттерді орындау арқылы табыңыз:

sam құрылғылары

Содан кейін құрылғыға қосылым орнатыңыз. Сізге құрылғының пайдаланушы аты мен құпия сөзі сұралады (әдепкі бойынша сәйкесінше pi және таңқурай):

қосылу

Біз қазір Raspberry Pi -де Snips платформасын орнатуға дайынбыз. Пәрменді енгізіңіз:

Сэм бастамасы

9 -қадам: Жабдықты конфигурациялау

Сэм аппараттық компоненттерді оңай орнату мен конфигурациялау үшін бірнеше пәрмендерді ұсынады. Бұл бөлімде динамик пен микрофон орнатамыз. Орнатуға байланысты кейбір реттелетін конфигурация жасау қажет.

sam орнату дыбысы

Динамикті тексеріңіз

Динамик жұмыс істеп тұрғанын тексеру үшін жүгіріңіз

sam тест спикері

Егер бәрі ойдағыдай болса, сіз динамиктен бірнеше сөз айтқан дауысты естуіңіз керек. Микрофонды конфигурациялау Микрофонның жұмыс істеп тұрғанын тексеруге болады:

sam тесттік микрофон

Егер сізде динамик бар деп ойласаңыз, егер сіз айтқаныңызды анық ести алатын болсаңыз, микрофонның қосымша конфигурациясынсыз жүре аласыз.

Аппараттық қондырғы жұмыс істеп тұрғанына сенімді болсаңыз, сіз келесі қадамға өтуге дайынсыз, онда сіз бірінші көмекшіңізді орналастырасыз.

10 -қадам: AI моделін консольден импорттау

Алдыңғы қадамдардан көмекшіңізді жасағаннан кейін, терминал терезесінен консольге кіріңіз:

sam логині

Сізден Snips Console тіркелгі деректерін енгізу сұралады.

Содан кейін көмекшіні орнатыңыз:

sam орнату көмекшісі

Егер сіз консольде бірнеше көмекші құрсаңыз, тізімнен қайсысын орнатуды таңдау сұралады.

11 -қадам: өңдеуші және әрекет коды

Raspberry Pi жауап беруі үшін бізге өңдеуші кодын жазу керек болады. Бұл Snips платформасында белгілі бір оқиға болған кезде орындалатын код, мысалы ниет анықталған кезде.

Қолдануға байланысты Handler құрудың әр түрлі әдістері бар.

Компьютерде өңдегіш кодын сақтағыңыз келетін қалта жасаңыз. Терминал терезесінен сол каталогқа ауысып, енгізіңіз:

npm бастамасы

Бұл сіздің жобаңыздың сипаттамасын, тәуелділігін және т.б. қамтитын package.json атты файлды жасайды. Содан кейін mqtt пакетінің тәуелділігін қосыңыз:

npm mqtt --save орнатыңыз

Енді index.js деп аталатын файл жасаңыз және хост атауының айнымалысын Raspberry Pi хост атауымен ауыстырыңыз (егер ол әдепкі raspberrypi -ден өзгеше болса):

var mqtt = талап ету ('mqtt');

var хост атауы = «mqtt: //raspberrypi.local»; var client = mqtt.connect (хост атауы); client.on ('connect', function () {console.log («[Snips Log] MQTT брокеріне қосылған» + хост атауы); client.subscribe ('hermes/#');}); client.on ('хабарлама', функция (тақырып, хабар) {if (topic === «hermes/asr/startListening») {onListeningStateChanged (true);} if if (topic === «hermes/asr/stopListening»)) {onListeningStateChanged (жалған);} if if (topic.match (/hermes \/hotword / /.+ \/found/g)! == null) {onHotwordDetected ()} else if (topic.match (/hermes / /intent\/.+/g)! == null) {onIntentDetected (JSON.parse (хабар));}}); onIntentDetected (ниет) функциясы {console.log («[Snips Log] Ниет анықталды:» + JSON.stringify (ниет)); } функция onHotwordDetected () {console.log («[Snips журналы] ыстық сөз анықталды»); } функциясы onListeningStateChanged (тыңдау) {console.log («[Snips Log]» + (тыңдау? «Бастау»: «Тоқтату») + «тыңдау»); }

Бұл кодты Node көмегімен іске қосыңыз:

түйін index.js

Сіз Snips MQTT брокеріне сәтті қосылу туралы хабарды көруіңіз керек. Бұрынғыдай, Raspberry Pi -мен дауыстық әрекетті орындаңыз:

Эй Снипс, Ченнайда ауа райы қандай?

Сіз журналдарды жаңартуды көруіңіз керек:

[Snips журналы] MQTT брокеріне mqtt: //raspberrypi.local қосылған

[Snips Log] Ықшам сөз анықталды [Snips журналы] Тыңдауды бастау [Snips журналы] Тыңдауды тоқтату [Snips журналы] Мақсат анықталды: {«sessionId»: «c84b5aa5-3f14-4218-975e-8872b9217933», «customData»: null, «siteId «:» әдепкі «,» енгізу «:» Ченнайдағы ауа райы қандай «,» ниет «: {» ниетНамы «:» searchWeatherForecast «,» ықтималдық «: 0.73845243},» слоттар «: [{» rawValue «:» chennai «,» value «: {» kind «:» Custom «,» value «:» Chennai «},» range «: {» start «: 44,» end «: 53},» entity «:» locality «, «slotName»: «болжамдық_айырлық»}]}

12 -қадам: ақауларды жою

Егер бұрынғы көмекші бар болса, оны жойыңыз

$ sudo rm -rf/usr/share/snips/assist/

Каталогты көмекшіге өзгерту үшін

cd/var/lib/snips/дағдылар/

Репо мазмұнын жергіліктіге клондау үшін

git clone

Setup.sh сценарийін іске қосу үшін

./setup.sh

Виртуалды ортаны іске қосыңыз

venv/bin/activate көзі

Әрекет кодын іске қосыңыз

./action-.py

Python сценарийіне рұқсат беру үшін

chmod +x action-.py

13 -қадам: қоршау

• Мен бұл жоба үшін IP бағаланған корпусты қолдандым
• Алдымен мен қуат сымы мен HDMI кабелінің схемасы мен слоттарын орнату үшін қажетті тесіктер жасадым.
• Содан кейін мен барлық Raspberry Pi корпусына салып, оны мықтап бұрап алдым.
• Мен динамик пен микрофон үшін кішкене тесік жасап, оны акрил парақтың кішкене бөлігін пайдаланып жаптым.
• Динамикті ReSpeaker қалпағына мықтап қосыңыз.
• Соңында, барлық бұрандалар мықтап бекітіліп, қуат кабелі слот арқылы салынған.
• Ақырында АИ осылай көрінеді: D

14 -қадам: АИ жұмыс

Сіз Snips-watch көмегімен бақыланатын деректерді таба аласыз

Қазір шоу уақыты. Мен AI қарапайым сәлемдесуімен жасай бастадым. Оның жұмыс істеуін қараңыз.

The Trainer AI шектеулі сөздер үшін бағдарламаланған. Бұл аз ғана өзгертулермен кеңейтілуі мүмкін. Бұл студенттерге мағынаны дәстүрлі әдіске қарағанда тез есте сақтауға көмектеседі.

Назар аударыңыз: Бұл жоба шамамен 25 сөзден тұрады. Әрекет кодында кішігірім түзетулер енгізу арқылы оны одан әрі кеңейтуге болады.

Әрекет сценарийлерін менің тіркелген Github репозиторийімде таба аласыз.

Құттықтау AI үшін жоба репо-https://github.com/Rahul24-06/Greetings_Assistant-TTS

Жаттықтырушы AI үшін жобалық репо-https://github.com/Rahul24-06/Personal-English-Trainer---TTS

Менің қосымшама сілтеме:

Орнатудың жалпы құны шамамен 115 доллар тұрады, оны SNIPS -тен сатып алуға болады және бұл шешім дәстүрлі әдістермен салыстырғанда өте арзан және тиімді. Үндістанда шамамен 100 000 -нан астам тест алынды және бұл өнім GRE қабылдайтындар үшін ең жақсы қосымша болады.

Егер бұл сізге шынымен көмектесті болса, бас бармағыңызды қойыңыз және қызықты жобалар үшін менің каналымды қадағалаңыз.:) Бұл видео ұнаса бөлісіңіз. Жазылғаныңызға қуаныштымын: https://console.snips.ai/store/kz/skill_xBKlxnE5K… Оқығаныңызға рахмет!