wybrane problemy przetwarzania, analizy i klasyfikacji sygnaŁu eeg na uŻytek interfejsu...

Marcin KOŁODZIEJ*, Andrzej MAJKOWSKI*

WYBRANE PROBLEMY PRZETWARZANIA,

ANALIZY I KLASYFIKACJI SYGNAŁU EEG

NA UŻYTEK INTERFEJSU MÓZG-KOMPUTER

1. Wstęp

W ostatnich latach wzrasta zainteresowanie interfejsami mózg-komputer (brain-

computer interface – BCI). Interfejsy takie umożliwiają bezpośrednią komunikację

pomiędzy mózgiem a komputerem. Wybrany stan aktywności mózgu zostaje przetwo-

rzony na informację zrozumiałą przez komputer. Interfejsy mózg-komputer znajdują

zastosowanie przede wszystkim tam, gdzie osoba, np. sparaliżowana, nie ma możli-

wości porozumiewania się z otoczeniem. Można również zaobserwować próby zasto-

sowania interfejsu mózg-komputer w szeroko rozumianej rozrywce oraz w systemach

wojskowych.

2. Interfejs mózg-komputer

2.1. Definicja interfejsu mózg-maszyna

Już w 1973 roku J. Vidal zasugerował możliwość komunikacji człowieka z kompu-

terem tylko za pomocą sygnałów związanych z aktywnością mózgu [5]. Jednak dopie-

ro w ostatniej dekadzie ubiegłego wieku w kilku ośrodkach naukowych na świe-cie

__________

* Instytut Elektrotechniki Teoretycznej i Systemów Informacyjno-Pomiarowych,

Politechnika Warszawska, ul. Koszykowa 75, 00-661 Warszawa, e-mail: [email protected]

Marcin Kołodziej, Andrzej Majkowski

podjęto próby wykorzystania elektroencefalografii (EEG) do bezpośredniej komuni-

kacji między mózgiem a komputerem. Z uwagi na fakt wykorzystania do analizy i kla-

syfikacji sygnałów algorytmów implementowanych na komputerze, często mówimy

o interfejsie mózg-komputer (BCI).

Interfejsy BCI charakteryzuje wykorzystanie sygnałów generowanych przez mózg,

a nie sygnałów aktywności mięśni. Impulsy elektryczne samych mięśni traktowane są

w tym przypadku jako niepożądane. Są to tak zwane artefakty fizjologiczne. Przykła-

dem takich artefaktów mogą być sygnały elektryczne powstające podczas wykonywa-

nia ruchu oczami (elektrookulografia, EOG). Amplituda tych artefaktów jest o wiele

większa (rzędu miliwoltów) niż samego sygnału EEG, którego wartości dochodzą do

100 μV.

Można wyróżnić synchroniczne i asynchroniczne interfejsy mózg-komputer.

W przypadku interfejsów synchronicznych znany jest moment wystąpienia określone-

go zdarzenia. Na przykład, użytkownik zaczyna myśleć o danym zadaniu po wystą-

pieniu pewnego bodźca, a zatem wiadomo, który fragment sygnału należy poddać

klasyfikacji. W przypadku interfejsów asynchronicznych nie wiemy, w której części

zapisu znajduje się użyteczna informacja. Dlatego musimy poddawać analizie całość

sygnału. Interfejsy asynchroniczne są trudniejsze w realizacji.

2.2. Przeznaczenie interfejsu mózg-komputer

Stosunkowo mała szybkość przekazywania informacji (maksymalnie 35 bitów na

sekundę) pomiędzy mózgiem a komputerem powoduje, że systemy te obecnie wyko-

rzystywane są najczęściej przez osoby sparaliżowane. Jest to często ich jedyna forma

komunikacji ze światem zewnętrznym, gdyż istnieją choroby czy urazy, które nie

pozwalają na wykonanie najprostszego nawet ruchu oczyma czy kończynami. Chodzi

tutaj o takie choroby jak: stwardnienie zanikowe boczne, udar mózgowy podkorowy,

zespół Guillaina–Barrégo, mózgowe porażenie dziecięce [6]. Osoby dotknięte tymi

schorzeniami, podkreślają, że najgorsze jest to, że nie mogą się komunikować z oto-

czeniem. Dla takich osób projektowane są specjalne wirtualne klawiatury, które na

ekranie monitora pozwalają na wybranie poleceń lub edytowanie tekstu.

Podjęto również próby wykorzystania sygnału EEG do sterowania wózkiem inwa-

lidzkim, urządzeniami inteligentnego budynku, czy nawet robotem [3]. Warto zauwa-

żyć, że urządzenia wyposażone są w tym wypadku w czujniki współpracujące z mi-

kroprocesorami, co uniemożliwia wykonanie niebezpiecznych manewrów. Trwają

prace nad wykorzystaniem interfejsów BCI w wojsku czy przemyśle rozrywkowym,

np. do sterowania grami.

Na podobnej do interfejsów mózg-komputer zasadzie działania opiera się tak zwa-

ny neurofeedback. Wykorzystuje się w tym przypadku zbierane w czasie rzeczywi-

stym informacje o aktywności pracy mózgu do samodzielnej próby zmiany tej aktyw-

ności przez użytkownika. Najczęściej do akwizycji sygnału EEG wykorzystuje się

Wybrane problemy przetwarzania, analizy i klasyfikacji sygnału EEG…

wówczas kilka elektrod. Informacja o tym, jakie fale EEG dominują, jest wyświetlana

na ekranie monitora. Pacjent ma tak sterować aktywnością swojego mózgu, aby wpły-

nąć na informacje pokazywane na wyświetlaczu. Neurofeedback jest stosowany

w terapii dzieci z ADHD (zespół nadpobudliwości psychoruchowej), u ludzi z zabu-

rzeniami procesu uczenia się, po urazach czaszki, we wspomaganiu leczenia padaczki.

Dodatkowo z neurofeedbacku korzystają osoby zdrowe dla poprawy koncentracji, czy

ograniczenia stresu [4].

3. Zasada działania interfejsu mózg-komputer

3.1. Elektroencefalografia

Interfejs BCI wykorzystuje informacje o aktualnej pracy mózgu. Istnieje wiele me-

tod pomiaru aktywności mózgu, lecz najczęściej w interfejsach mózg-komputer ko-

rzysta się z sygnałów elektroencefalograficznych. Za zastosowaniem elektroencefalo-

grafii przemawiają: prosty sposób akwizycji sygnału, przenośne urządzenie pomiaro-

we i, co najważniejsze, możliwość analizy sygnału w czasie rzeczywistym. Dodatko-

wo jest to metoda stosunkowo tania.

Badanie elektroencefalograficzne polega na odpowiednim rozmieszczeniu elektrod

na powierzchni skóry czaszki. Elektrody rejestrują zmiany potencjału elektrycznego

na powierzchni skóry, pochodzące od aktywności (wielkiej liczby) neuronów kory

mózgowej. Po odpowiednim wzmocnieniu sygnału tworzony jest zapis – elektroence-

falogram. W standardowym badaniu EEG używa się 19 elektrod, czyli tzw. systemu

10-20 zalecanego przez Międzynarodową Federację Neurofizjologii Klinicznej IFCN.

W zastosowaniu do interfejsu mózg-komputer używać możemy różnej liczby elektrod,

od 3 aż do 64 elektrod. Liczba kanałów i ich rozmieszczenie jest jednym z ważniej-

szych problemów systemów BCI.

Elektroencefalogram zmienia się w zależności od aktywności mózgu. Zarówno

amplituda sygnału, jak i dominujące częstotliwości ulegają zmianie. U zdrowego

człowieka powstają fale mózgowe o częstotliwości od 0,5 do 100 Hz oraz amplitudzie

od pięciu do kilkuset µV. Wyróżnić możemy kilka rytmów:

– fale gamma (powyżej 40 Hz) – opisują stan związany ze świadomością, percep-

cją, aktywnością umysłową,

– fale beta (od 12 do ok. 28 Hz) – występują podczas codziennej aktywności,

w stanach niepokoju, oraz pod wpływem pewnych leków,

– fale alfa (od 8 do 13 Hz) – są charakterystyczne dla stanu czuwania w warunkach

relaksu, szczególnie przy zamkniętych oczach,

– fale theta (od 4 do 7 Hz) – występują podczas głębokiej medytacji, intensywnych

marzeń oraz intensywnych emocji,


– fale delta (od ok. 0,5 do 3 Hz) – występują w stanie głębokiego snu, u małych

dzieci i w przypadku pewnego rodzaju uszkodzeń mózgu.

3.2. Potencjały wywołane

Oprócz elektroencefalografii w diagnostyce medycznej stosuje się badanie tak

zwanych potencjałów wywołanych. Potencjały wywołane to potencjały elektryczne

rejestrowane na powierzchni głowy (za pomocą kilku elektrod) po zadziałaniu odpo-

wiedniego bodźca. Najczęściej są to bodźce wzrokowe (np. błysk światła), słuchowe

lub czuciowe. W zależności od tego pobudzenia wyróżniamy wzrokowe, słuchowe

i somatosensoryczne potencjały wywołane. Ponieważ amplituda odpowiedzi jest nie-

zauważalna po jedynym bodźcu, a także występują spontaniczne czynności elektrycz-

ne mózgu, to przy rejestracji potencjałów wywołanych stosuje się wielokrotne powta-

rzanie danego bodźca, a następnie wykonuje uśrednienie wyników.

3.3. Potencjał P300

Jedną z najprostszych koncepcji jest wykorzystanie w systemach mózg-komputer

potencjałów wywołanych. Najczęściej wykorzystywany jest potencjał P300, który

występuje jako odpowiedź na pewien oczekiwany bodziec, np. wzrokowy. Potencjał

ten pojawia się po czasie około 300 ms od wystąpienia bodźca. Użytkownik obserwu-

je podświetlane pola. Mogą być to podświetlane litery lub inne znaki. W chwili pod-

świetlenia „oczekiwanego” pola (na którym użytkownik skupia swoją uwagę), w oko-

licy czubka głowy pojawia się potencjał o amplitudzie kilku mikrowoltów. W celu

dokładniejszego określenia potencjału P300 użytkownik wielokrotnie skupia uwagę

na wybranym przez siebie bodźcu. W ten sposób wielokrotnie rejestrowane odpowie-

dzi są uśredniane (rys. 1).

Rys. 1. Potencjał P300. Większa amplituda po 300 ms oznacza odpowiedź na oczekiwany bodziec,

mniejsza amplituda to odpowiedź na bodziec, który nie był oczekiwany przez użytkownika


W ten sposób wyświetlając kilka pól, które podświetlane są w innym czasie, po

analizie uśrednionej odpowiedzi jesteśmy w stanie określić, na jakim polu skupiał

uwagę dany użytkownik interfejsu.

3.4. Potencjały wzrokowe

Działanie interfejsów wykorzystujących potencjały wzrokowe opiera się na anali-

zie sygnału zebranego z kory wzrokowej. Użytkownik obserwuje pulsujące z różną

częstotliwością pola. Wywołuje to powstanie pulsacji o takiej samej częstotliwości

w korze wzrokowej. W ten sposób przeprowadzając analizę częstotliwościową zmie-

rzonego sygnału zaobserwować możemy dominację pewnej częstotliwości w tym

sygnale. Na podstawie takiej analizy łatwo możemy stwierdzić, na co patrzył użyt-

kownik interfejsu. W literaturze angielskiej tego typu interfejsy określamy jako

SSVEP (steady state visual evoked potentials).

3.5. Potencjały mózgowe skojarzone z ruchem

Najtrudniejsze do budowy są interfejsy asynchroniczne, które wykorzystują sygna-

ły powstające na skutek wyobrażeń dotyczących ruchu jakiejś części ciała. Na przy-

kład użytkownik wyobraża sobie ruch prawą, lewą ręką lub nogą, a komputer po ana-

lizie sygnału odgaduje ten ruch (intencje) użytkownika. Można tak nauczyć system

BCI, że na przykład, wyobrażenie ruchu prawą ręką powoduje skręt wózka inwalidz-

kiego w prawą stronę, lewą ręką w lewą stronę, prawą stopą do przodu, lewą stopą

poruszenie do tyłu. Jest to możliwe po pierwsze dzięki temu, że nie ma dużej różnicy

w pracy mózgu pomiędzy wykonywanym a wyobrażanym sobie ruchem. Po drugie,

pewne rejony kory mózgowej zmieniają swoją aktywność podczas wykonywania ru-

chu w zależności od tego, jaką częścią ciała chcemy poruszyć. Mówimy wtedy o de-

synchronizacji i synchronizacji potencjałów mózgowych skojarzonych z ruchem

(event-related desynchronization/synchronization – ERD/ERS).

4. Budowa interfejsu mózg-komputer

4.1. Akwizycja sygnału

Jak już wspomniano, zebranie bardzo małych napięć wypadkowej pracy neuronów

kory mózgowej nie jest zadaniem trywialnym. Istnieje wiele zakłóceń fizycznych (np.

sprzężenia pojemnościowe i indukcyjne) oraz fizjologicznych (np. potencjały spowo-

dowane aktywnością mięśni), które znacząco utrudniają pomiar sygnału EEG. Do


tego doliczyć trzeba napięcia wolnozmienne generowane na styku skóra elektroda.

Powoduje to, że bardzo istotna w systemie BCI jest konstrukcja samego wzmacniacza,

jak i sposób mocowania i przyklejenia elektrod. Stosuje się specjalne żele przewodzą-

ce (kleje), które mocują elektrody do skóry. Ponieważ nie ma dedykowanych wzmac-

niaczy do interfejsów mózg-komputer, często użytkownik musi korzystać z dużego

gabarytami sprzętu do akwizycji sygnału EEG.

4.2. Przetwarzanie wstępne

Zebrane i wzmocnione sygnały z kilku, a czasem nawet kilkudziesięciu elektrod, są

przekazywane do komputera. Ponieważ sygnał ten zawiera również sygnały niepożą-

dane, takie jak zakłócenia sieci zasilającej (50/60 Hz), poddaje się go filtracji. Używa

się do tego filtrów cyfrowych (IIR, FIR). W celu eliminacji artefaktów można również

zastosować analizę składowych niezależnych (independent component analysis –

ICA). Wszystkie te operacje muszą odbywać się w czasie rzeczywistym.

4.3. Ekstrakcja cech

Dysponujemy już przefiltrowanym sygnałem EEG, teraz należy wydobyć z tego

wielokanałowego zapisu pewne cechy najlepiej opisujące dany fragment sygnału.

Proces ten nazywamy ekstrakcją cech. Najczęściej cechami są: amplitudy sygnału

(P300) lub wyniki analizy częstotliwościowej (ERD/ERS, SSVEP). Dla interfejsów

wykorzystujących potencjały wywołane mamy możliwość uśredniania sygnału i w ten

sposób wybieramy cechy, które posłużą do nauczenia sieci neuronowej lub innego

klasyfikatora. Wybór odpowiednich cech ułatwia w tym przypadku fakt, że wiemy,

w którym momencie przeprowadzić analizę sygnału. Często jednak, szczególnie

w przypadku interfejsów asynchronicznych, musimy przeanalizować cały sygnał.

Wtedy wybieramy okno o określonej długości i dla fragmentu sygnału określonego

przez to okno wyznaczamy cechy. Do wydobycia cech mogą nam posłużyć: analiza

Fouriera (DFT), transformata falkowa (DWT), modele autoregresyjne (AR), statystyki

wyższych rzędów (HOS) itp. [1].

4.4. Selekcja cech

Ponieważ wiele cech może nieść bezużyteczną lub nadmiarową informację, często

zachodzi potrzeba wybrania z bardzo dużej liczby cech, tych najwłaściwszych, które

umożliwiają przeprowadzenie poprawnej i szybkiej klasyfikacji sygnału EEG. Za

takim podejściem do problemu przemawia jeszcze jedna właściwość interfejsów

mózg-komputer: dla różnych użytkowników sygnał EEG może się zmieniać i mieć

inne parametry. Trzeba więc wybrać takie cechy, które są najbardziej odpowiednie dla


konkretnego użytkownika. Do tego celu stosuje się wiele metod, do których należą:

liniowa analiza dyskryminacyjna (LDA), analiza składowych głównych (PCA) oraz

metody rankingowe. W ten sposób wybieramy kilka lub kilkanaście najbardziej zna-

czących cech.

4.5. Klasyfikacja sygnału

Pewne wartości charakteryzujące dany fragment sygnału EEG (tj. wybrane w wy-

niku selekcji cechy) na tym etapie posłużą do nauczenia klasyfikatora. Istnieje wiele

algorytmów umożliwiających klasyfikację sygnałów. Najczęściej wykorzystywane są:

neuronowa sieć wielowarstwowa (MLP), klasyfikator Bayesa (NBC), liniowa analiza

dyskryminacyjna (LDA) czy maszyna wektorów podtrzymujących (SVM). W ten

sposób po nauczeniu klasyfikatora, dla nowych danych jesteśmy w stanie stwierdzić

(z pewnym prawdopodobieństwem), do jakiej klasy przynależy nowy sygnał.

5. Praktyczne realizacje interfejsów mózg-komputer

Tabela 1. Zrealizowane interfejsy mózg-komputer

Grupa badawcza Zadanie umysłowe Zastosowanie Szybkość max

ABI Projekt JRC

Relaks, wyobrażanie ruchu

prawą, lewą ręką,

obracanie kostki, odejmowanie

Asynchroniczna kontro-

la robota 33 bit/min

EPFL Szwajcaria

Wyobrażanie ruchu

prawym, lewym palcem,

liczenie, obracanie obiektów

Sterowanie ruchem

obiektów 2D 35 bit/min

Tsinghua

University, Chiny Potencjały wzrokowe (SSVEP)

Synchroniczne

wybieranie elementów

do kontroli otoczenia

27 bit/min

University

of Rochester, USA Potencjał P300

Kontrola 5 elementów

w wirtualnym pokoju 12 bit/min

W tabeli 1 zebrano 4 przykłady interfejsów mózg-komputer działających przy wy-

korzystaniu różnych potencjałów mózgowych [2]. Interfejs mózg-komputer zastoso-

wano do kontroli robota, sterowania ruchem obiektów 2D, kontroli otoczenia, np.

wirtualnego pokoju. Szybkości transferu informacji przedstawione w tabeli dotyczą

prędkości maksymalnych osiągniętych przez wybranego użytkownika.


6. Podsumowanie

Interfejsy mózg-komputer wzbudzają coraz to większe zainteresowanie, szczegól-

nie wśród osób niepełnosprawnych. Powszechne wykorzystanie systemów hamowane

jest ograniczeniami samego interfejsu takimi jak: mała szybkość przekazywanej in-

formacji mózg-maszyna, skomplikowany sposób akwizycji Jednocześnie należałoby

na tyle uprościć sposób akwizycji sygnału EEG, aby możliwe było zastosowanie ta-

kich interfejsów w warunkach domowych. W tym celu konieczne jest opracowanie

nowych, bardziej efektywnych algorytmów ekstrakcji, selekcji i klasyfikacji sygnału

EEG.

Literatura

[1] KOŁODZIEJ M., MAJKOWSKI A., RAK R., Matlab FE_Toolbox – an universal utility for feature

extraction of EEG signals for BCI realization, Przegląd Elektrotechniczny, 2010, No. 1.

[2] MOLINA G., Direct Brain-Computer Communication through scalp recorded EEG signals, PhD

Thesis, École Polytechnique Fédérale de Lausane, 2004.

[3] MOORE M.M., Real-World Applications for Brain–Computer Interface Technology, IEEE Transac-

tions on Neural Systems and Rehabilitation Engineering, 2003, Vol. 11, No. 2.

[4] POP-JORDANOVA N., Biofeedback application for somatoform disorders and attention deficit

hyperactivity disorder (ADHD) in children, International Journal of Medicine and Medical Sciences,

2009, Vol. 1(2), pp. 017–022.

[5] VIDAL J.J., Direct brain-computer communication, Annual Review of Biophysics and Bioengineer-

ing, 1973, 2, pp. 157–158.

[6] WOLPAW J.R., BIRBAUMER N., HEETDERKS W.J., MCFARLAND D.J, HUNTER PECKHAM

P., SCHALK G., DONCHIN E., QUATRANO L.A., ROBINSON C.J, VAUGHAN T.M., Brain-

Computer Interface Technology: A Review of the First International Meeting, IEEE Transactions on

Rehabilitation Engineering, 2000, Vol. 8, No. 2.

wybrane problemy przetwarzania, analizy i klasyfikacji sygnaŁu eeg na uŻytek interfejsu...

Documents