Biofeedback кинотеатры: 7 қадам

2024 Автор: John Day | [email protected]. Соңғы өзгертілген: 2024-01-30 10:26

Жоба авторы

Джессика Энн

Серіктестер

• Грегори Хоу
• Салуд Лопес
• Педро Пейра

Туралы

Neurosky Mindwave EEG Reader гарнитурасы арқылы қатысушының миын камера функциясымен байланыстыратын эксперименттік бейне түсіру жүйесі. Biofeedback Cinema жүйесі дәстүрлі кинематографтың орнына жұмыс істейді, оның орнына композицияның қатысушысына МИ -КАМЕРА интерфейсі арқылы қатысушыға композиция ұсынады. Жоба Грегори Хоу, Салуд Лопес және Педро Пейра семинар қатысушыларымен бірлесіп жасалды. Сіз семинар нәтижелері туралы мына жерден оқи аласыз:

Прототип конфигурациясы

Biofeedback Cinema жүйесі көптеген әлеуетті қосымшаларға мүмкіндік береді. Бұл нұсқаулық үшін біз қатысушының фокус/зейін деңгейіне (бір бүтін сан) қарайтын және оны камера позициясына (жылжыту және еңкейту) және камера фокусына (OpenCV арқылы ішкі) аударатын жүйенің демонстрациясын дайындадық. Мұның бәрі Neurosky EEG Reader гарнитурасы мен Raspberry Pi арасындағы Bluetooth байланысының арқасында мүмкін болды.

Raspberry Pi - бұл веб -камерамен және сценарийлермен жабдықталған шағын компьютер (қатысушылардың ми белсенділігін камера параметрлері мен камераның орналасуына байланыстырады). Динамикалық камераның орналасуы Raspberry Pi сигналдарын қабылдайтын Arduino микроконтроллері арқылы мүмкін болады. Біз одан әрі дамуды асыға күтеміз, өйткені біз ми толқынының қосымша параметрлерін (көздің жыпылықтауымен байланысты жиіліктер және т.б.) және камера функцияларын (мысалы, реңк, қанықтылық, жарықтық және т.

Төменде Biofeedback Cinema жүйесін құру бойынша нұсқаулар берілген.

Бақытты эксперимент

1 -қадам: Жабдықтар

Өзіңіздің Biofeedback Cinema прототипін жасау үшін қажет нәрсенің бәрі төменде көрсетілген.

1. Neurosky Mindwave мобильді EEG гарнитурасы

2. Raspberry Pi B+ (b+ жақсы, USB порты көп, бірақ егер USB хаб болса, В үлгісі де жақсы).

   1. Raspberry Pi қуат адаптері немесе батарея жиынтығы
   2. Wifi Dongle немесе Ethernet қосылымы (тек орнату кезінде қажет)
   3. Bluetooth Dongle үйлесімді кілттер туралы викиден қараңыз
   4. SD картасы (кемінде 8 ГБ) NOOBS бар.

3. Arduino Кез келген тақта жақсы, Uno осы нұсқаулықта қолданылады. Назар аударыңыз, сіз Pi -дегі енгізу -шығаруды қолдана аласыз.

   1. Arduino қуат адаптері немесе батарея жиынтығы
   2. A-B USB кабелі
4. USB веб -камерасы
5. Мини панорамалық жинақ

6. HDMI кірісі бар мониторды немесе компьютерден пиді қашықтан басқару үшін VNC пайдаланыңыз [оқулық мұнда]

   HDMI кабелі

7. USB пернетақтасы мен тінтуірі USB порттарын азайту үшін bluetooth пернетақтасы мен тінтуірді ұсынады.

2 -қадам: Raspberry Pi орнату

1. Жабдықты орнату

Пернетақтаны, тінтуірді, bluetooth кілтін, Wi -Fi (немесе Ethernet), веб -камераны, мониторды HDMI кабелі арқылы және Raspberry Pi құрылғысына қосыңыз

2. Операциялық жүйені орнату

• Қуатты қосыңыз және сіздің Pi қосылуы керек. Rasbpian ОЖ орнатыңыз, нұсқаулар мына жерде:
• Егер жүктелсе және Raspian дұрыс орнатылса, сіз үй жұмыс үстелін көресіз [Жоғарыдағы сурет].

КЕҢЕСТЕР:

• Егер жұмыс үстелінің арақатынасы өшірулі болса, Raspberry Pi құрылғысын қайта жүктеп көріңіз. Егер ол әлі де өшірулі болса, пропорционалдылықты қолмен жаңарту үшін осында қараңыз.
• Егер сіз мәтіндік редакторды ашсаңыз және пернетақтадағы арнайы таңбалар сәйкес келмесе, пернетақта конфигурациясын жаңарту үшін осында қараңыз.
• Интернетке қосылуды тексеріңіз (орнату кезінде кітапханаларды орнату үшін сізге қажет болады). Wi -Fi орнатуға көмектесу үшін мына жерден қараңыз.

3 -қадам: Neurosky гарнитурасын қосыңыз

1. Bluetooth конфигурациясы

Pi Neurosky -ге қосылмас бұрын, біз bluetooth орнатуымыз керек:

Жұмыс үстелінде «LXTerminal» ашыңыз (бұдан былай Терминал деп аталады). Кемшіліктерді жою және жаңарту үшін осы пәрменді іске қосыңыз:

$ sudo apt-get жаңартуы

Bluetooth көмегімен мына пәрменді орнатыңыз:

$ sudo apt-get bluetooth орнатыңыз

Қолайлы bluetooth жұмыс үстелінің құралдар тақтасын орнатыңыз:

$ sudo apt-get install -y bluetooth bluez-utils blueman

Pi терминалдан қайта жүктеңіз:

$ sudo қайта жүктеу

2. Bluetooth қосылымын тексеріңіз

• Neurosky гарнитурасын қосыңыз
• Терминалды құрылғыларды іздеуден:

hcitool сканері

Mindwave гарнитурасы тізімде болуы керек, гарнитураның MAC мекенжайын ескеріңіз [жоғарыдағы сурет]

3. Neurosky кітапханаларын орнатыңыз

Енді біз Neurosky Python кітапханаларын орнатуға дайынбыз және оның деректер ағынын кітапханалық тест сценарийімен жинай бастаймыз:

Терминалдан github утилитасын орнатыңыз:

sudo apt-get install-core орнатыңыз

Neurosky Python кітапханасы бар Clone github репозиторийі:

sudo git clone

Біз MindwaveMobileRawReader.py файлын гарнитураның MAC мекенжайымен жаңартуымыз керек. Анықтама: файл атаулары регистрді ескереді

sudo nano /home/pi/python-mindwave-mobile/MindwaveMobileRawReader.py

• Файлда көрсетілген MAC мекенжайын жаңартыңыз. Аяқтау үшін Ctrl-X, сақтау үшін Y, шығу үшін Enter пернесін басыңыз.
• Neurosky мен Pi жұптастырыңыз және «0000» PIN кодын енгізу қажет болса, автоматты түрде қосылуға мүмкіндік беріңіз:

$ sudo bluez-қарапайым-агент hci0 XX: XX: XX: XX: XX: XX

$ sudo bluez-test-device сенімді XX: XX: XX: XX: XX: XX иә

Python Bluetooth кітапханасын орнатыңыз:

sudo apt-get install python-bluez

Pi деректер ағынын алдын ала қарайтынына көз жеткізу үшін кітапханалық тест сценарийін іске қосыңыз. Сіз деректердің ағынын көруіңіз керек [жоғарыдағы сурет]:

$ sudo python /home/pi/python-mindwave-mobile/read_mindwave_mobile.py

4 -қадам: USB веб -камерасын қосулы түйіндемені қосыңыз

1. OpenCV орнатыңыз

Терминалдан:

$ sudo apt-get install libopencv-dev python-opencv

Аяқтағаннан кейін жалғастырыңыз:

$ sudo apt -get -f орнатыңыз

Жақсы өлшеу үшін:

$ sudo apt-get install libopencv-dev python-opencv

Кітапхананы импорттауға тырысу арқылы орнатуды тексеріңіз:

$ python

> cv2 импорттау

2. USB веб -камерасы бар Python -да OpenCV тестілеу

• Жұмыс үстелінде «IDLE» ашыңыз (IDLE3 ашпаңыз!)
• Файл мәзірінен Жаңа терезені таңдаңыз. Біздің Cv-Blur-Test сценарийін жаңа терезеге көшіріп, сақтаңыз. Сценарий мына жерде:
• Іске қосу мәзірінен Іске қосу модулін таңдаңыз (немесе F5 пернесін басыңыз). Жалғастыруға бірнеше секунд кетуі мүмкін, бірақ сіз веб -камераның тікелей арнасы бар кішкене кадрды көресіз және бейне бұлыңғыр болуы керек. Құттықтаймыз, OpenCV орнатылды және сіздің веб -камераңызбен сәтті жұмыс істеуде [Жоғарыдағы сурет].

5 -қадам: Arduino -ны қосыңыз

1. Arduino IDE жүктеп алыңыз

Терминалдан:

sudo apt-get arduino орнатыңыз

2. Arduino & Load Sketch -ті қосыңыз

• A-B USB кабелі арқылы ардуиноны Pi-ге қосыңыз.
• Жұмыс үстелінің бастау мәзірінен Electronics тармағына өтіп, Arduino IDE ашыңыз. Біздің arduino-serial-pi эскизін IDE-ге көшіріңіз [Төмендегі сілтеме]. Бұл сериялық қозғалтқыштардың серияға түсуіне негізделген жылжытатын негізгі эскиз. Біз барлығын біріктірген кезде соңғы қадамда Python эскизін қолдана отырып, ми толқынының шығуына негізделген сериялық деректерді жібереміз.

Arduino-serial-pi эскизі мына жерде:

Arduino IDE -де Құралдар мәзіріне өтіп, Сериялық портты таңдаңыз және тізімдегі Arduino портын таңдаңыз, мүмкін /dev /ttyACM0. Портқа ескертпе жасаңыз

3. Сериялық консольді ажыратыңыз

Сериялық консольді өшіру үшін сценарийді жүктеңіз және іске қосыңыз, осылайша USB сериялық қосылымы тегіс жұмыс істей алады:

$ wget

/alamode-setup.tar.gz?raw=true -O alamode-setup.tar.gz

$ tar -xvzf alamode -setup.tar.gz

$ cd alamode-орнату

$ sudo./setup

$ sudo қайта жүктеу

Нақты ақпарат:

Егер сіз B+ пайдалансаңыз, серверлерді қолдау үшін енгізу -шығару жеткіліксіз болуы мүмкін (GPIO орнату және пайдалану үшін мына жерден қараңыз). Дегенмен, мен болашақта ми-электроника экспериментіне қосымша компоненттерді қосуға мүдделімін. Осылайша, arduino көмегімен алғашқы прототипті орнату көптеген электронды мүмкіндіктерді қамтамасыз етеді.

6 -қадам: Барлығын біріктіру

1. Соңғы Python сценарийі

Соңғы python сценарийін «python-mindwave-mobile» қалтасына қоспас бұрын, біз қалтаның рұқсаттарын өзгертуіміз керек. Терминалдан:

$ chmod a = rwx/home/pi/python-mindwave-mobile

• IDLE ашыңыз және біздің желіде қол жетімді соңғы Python сценарийін іске қосыңыз: https://github.com/PrivateHQ/biofeedback-cinema/ Оның python-mindwave-mobile қалтасында орналасқанына көз жеткізіңіз. Анықтама: Сізге біздің Python сценарийін Arduino портының нақты мекен -жайымен жаңарту қажет болады.
• Бұл сценарийді іске қосқанда, сіз үш нәрсені орындауыңыз керек: 1) Сіздің назарыңыз Python Shell -де болады, 2) назар аудару деңгейіне байланысты бұлыңғырлығы бар веб -камераның тікелей берілуін көрсететін шағын кадр пайда болады; 3) қозғалтқыш (s) назар аудару деңгейі [жоғарыдағы видео] арқылы arduino -ға өтетін кезде жылжытыңыз.

7 -қадам: жетілдіру мен даму

Raspberry Pi өңдеу қуаты шектеулі және OpenCV функцияларын біркелкі орындау үшін күреседі. Бұл мен дамытуды және жетілдіруді жалғастыратын нәрсе. Сонымен қатар, мен болашақта қайталанатын ми толқынының қосымша параметрлерін (көздің жыпылықтауымен байланысты жиіліктер) және камераның функцияларын (мысалы, реңк, қанықтылық, жарықтық және т.б.) қосуды жоспарлап отырмын.