AKTYWNE KOJARZENIE I SZTUCZNE SYSTEMY SKOJARZENIOWE


Kojarzenie

Kojarzenie (asocjowanie) to powiązanie ze sobą dwóch lub więcej wątków (danych, obiektów, akcji), tworząc pomiędzy nimi pewną relację lub odwzorowując istniejącą zależność. Asocjacja jest relacją, która może łączyć ze sobą dowolne obiekty, a więc również te całkowicie niepodobne do siebie, lecz powiązane ze sobą w czasie lub w przestrzeni, np. jeden jest częścią albo skutkiem drugiego, pojawiły się w krótkim odstępie czasu po sobie lub znalazły się w przestrzeni obok siebie. Asocjacja nie jest więc relacją podobieństwa, aczkolwiek obiekty podobne do siebie asocjacje zwykle wiążą ze sobą w naturalny sposób. Asocjacje generalnie odzwierciedlają naturalne związki pomiędzy obiektami, a więc są odpowiedzialne za utrwalanie istniejących lub nowych relacji pomiędzy obiektami w systemie kojarzącym. Asocjacje powstają zwykle na skutek wykrycia lub zaobserwowania istniejących związków w otaczającym świecie albo zostają utworzone na podstawie nowo powstałych związków pomiędzy obiektami lub wnioskowania (rozumowania). Wnioskowanie (rozumowanie, dedukcja, indukcja, rozważanie itp.) prowadzi do pojawienia się pewnych obiektów we wspólnym procesie myślowym (w bliskim czasie), co umożliwia utworzenie nowego związku oraz jego zapamiętanie/utrwalenie w systemie skojarzeniowym w postaci nowego skojarzenia. Nie wszystkie tak powstające skojarzenia są zapamiętywane w sposób trwały w systemie skojarzeniowym, gdyż zależne jest to od sposobu działania i pojemności tego systemu. Ponadto jeśli w systemie skojarzeniowym pojawią się dwa sprzeczne ze sobą skojarzenia, prowadzi to zwykle do próby weryfikacji sprzecznych skojarzeń na skutek wywoływania innych skojarzeń, które mogą jedno z nich potwierdzić lub jednemu z nich zaprzeczyć. Ponadto często powtarzane związki utrwalają się mocniej niezależnie od ich prawdziwości, gdyż system skojarzeniowy w naturalny sposób utrwala takie związki w postaci skojarzeń. Nie stoi jednak nic na przeszkodzie, żeby każdy zaobserwowany związek uzupełnić skojarzeniem jego prawdziwości lub nie prawdy. Asocjacje modelują okoliczny świat oraz umożliwiają jego opis i oszczędną reprezentację w systemie skojarzeniowym (tj. ludzki mózg). Dzięki skojarzeniowej reprezentacji danych nasz umysł jest w stanie kojarzyć ze sobą wiele obiektów, faktów i reguł, a następnie je łączyć ze sobą, uogólniać, przenosić oraz wykrywać pewne niezgodności pomiędzy nimi, a dzięki temu weryfikować i szukać rozwiązań.

Na zjawisko powstawania skojarzeń zwrócił uwagę już Platon. Arystoteles zaś sformułował prawa kojarzenia, zależne od zachodzących warunków: styczności w czasie, styczności w przestrzeni, podobieństwa i kontrastu. Zjawisko asocjacji (kojarzenia) polega na kojarzeniu dwóch lub więcej zależnych lub niezależnych od siebie obiektów, zjawisk lub jakości, odbieranych przez te same lub różne zmysły, lecz w taki sposób, że powstaje z nich wspólna treść, np. obiekt, zjawisko, czynność.

Niestety do tej pory w informatyce nie wykorzystano jeszcze bogactwa mechanizmów skojarzeniowych, jakie funkcjonują w ludzkim umyśle i umożliwiają nam formowanie wiedzy oraz inteligencji. Informatyka sprowadza asocjacje zwykle do związków pomiędzy dwoma obiektami (np. tablice skojarzeniowe, tzw. słowniki) lub asocjacyjne sieci neuronowe (np. BAM lub MAM) czy też rozmyte asocjacyjne sieci neuronowe, które umożliwiają wywołanie innego obiektu z pamięci. Możliwości mechanizmów asocjacji są jednak znacznie większe, co możemy obserwować na przykładzie działania mózgów organizmów żywych.

Uczenie się (przez człowieka) oraz formowanie wiedzy w jego umyśle jest ściśle powiązane ze zjawiskiem kojarzenia, które zachodzi w ludzkim układzie nerwowym (w szczególności w mózgu).


Aktywne Kojarzenie

Aktywne kojarzenie to zjawisko uwarunkowane możliwością automatycznego tworzenia aktywnych skojarzeń oraz automatycznego ich wywoływania poprzez uruchamianie tych związków pomiędzy skojarzonymi obiektami. Aktywne skojarzenia powstają w momencie, gdy jedne obiekty mają możliwość aktywnie przywołać inne skojarzone z nimi obiekty, czyli na podobieństwo działania ludzkiego mózgu.

Do utworzenia aktywnych skojarzeń i możliwości aktywnego wywoływania skojarzonych obiektów niewątpliwie potrzebny jest system skojarzeniowy, którego elementy umożliwiają tworzenie się aktywnych struktur pozwalających na utrwalania aktywnych skojarzeń. Takie struktury nie tylko przechowują dane (w sposób pasywny - do czego przyzwyczaiła nas współczesna informatyka), lecz umożliwiają aktywny wpływ na reprezentację innych danych. Aktywny wpływ oznacza między innymi możliwość zmiany siły aktywnych powiązań skojarzeniowych pomiędzy danymi, a więc sposobu definiowania i wpływania na inne dane, jak również zmianę wywoływanych skojarzeń dla tego samego kontekstu w przyszłości.

Aktywne skojarzenia nie są więc statycznym zapisem danych, lecz ich aktywną "żywą" formą, która może się zmieniać samoistnie na skutek odwzorowywania obserwowanych zależności pomiędzy obiektami. Żeby to było jednak możliwe system skojarzeniowy musi mieć możliwość interakcji ze światem zewnętrznym, który ma modelować i na który ma aktywnie reagować. Potrzebne są więc pewne czujniki/sensory/receptory, które są w stanie pozyskiwać informacje o określonych wielkościach fizycznych. Dane z tych sensorów mogą następnie oddziaływać na aktywne elementy systemów skojarzeniowych i tworzyć ich aktywny i dynamicznie zmienny model wewnętrzny.

Warunkiem niezbędnym do formowania się skojarzeń jest niezmienność wejść oddziaływania danych na system skojarzeniowy, gdyż dane wejściowe tworzą wzorce uczące dla systemów skojarzeniowych. System skojarzeniowy w naturalny sposób wzmacnia reprezentacje powtarzających się wzorców wejściowych. Jeśli więc nie byłoby stabilności wejść dla sygnałów wejściowych, a te same dane oddziaływałyby na inne neurony, wtedy nie można mówić o powtarzalności wzorców, co uniemożliwia łatwe przystosowanie się systemu skojarzeniowego do nich. Dlatego właśnie dane obrazowe nie tak szybko jak inne mogą się utrwalić w umyśle noworodka. Dane obrazowe wymagają wstępnego przetwarzania oraz tworzenie reprezentacji prostszych struktur obrazowych na niższych piętrach kory wzrokowej, żeby na ich wyższych piętrach mogły tworzyć wzorce obrazowe oddziałujące na podobne wejścia ich neuronów i utrwalać informacje obrazowe.

Aktywne skojarzenia stoją u podstaw formowania się ludzkiej wiedzy oraz inteligencji, gdyż nasze myśli "jakimś cudem" automatycznie i aktywnie przechodzą jedne w drugie i kolejne. Tok naszych myśli jednak nie jest przypadkowy, lecz zależny od bodźców otrzymywanych z otoczenia oraz wcześniej uformowanej wiedzy w naszym umyśle. Wiedza reprezentuje utrwalone skojarzenia wraz z możliwością ich łączenia i uogólniania. Z wiedzy korzystamy zawsze w pewnym kontekście, gdyż to właśnie kontekst pytania lub jakiegoś zdarzenia wywołuje w naszym umyśle ciąg skojarzeń. Duże znaczenie dla rozwoju i formowania się wiedzy mają różne nowe konteksty (pytania i zdarzenia), które zmuszają nas do wywoływania istniejących skojarzeń w innych kontekstach niż te, które je uformowały. To często prowadzi do nowych, uogólnionych i kreatywnych wniosków, które również mogą być utrwalone w systemie skojarzeniowym w postaci nowych związków pomiędzy wynikami naszego wnioskowania. Dzieje się to za sprawą automatycznych mechanizmów kojarzących opartych na neuronowej strukturze naszego mózgu. Takie aktywne skojarzenia można próbować również modelować w systemach informatycznych, w celu osiągnięcia podobnych celów, jakie stawiamy przed nami samymi, budując podstawy sztucznej inteligencji kognitywnej.

aktywne kojarzenie monkey (124 kB)

Systemy skojarzeniowe

Systemy skojarzeniowe działają zasadniczo inaczej niż współczesne systemy komputerowe, które "nie ruszą" z miejsca bez ich zaprogramowania, tj. przekazania im odpowiednich procedur obliczeniowych realizujących napisane przez ludzi programy odwzorowujące wymyślone przez nich algorytmy. Współczesne systemy komputerowe również potrzebują odpowiednich danych, które zwykle muszą być w odpowiedni sposób przygotowane dla poszczególnych algorytmów, a nawet czasami wstępnie przetworzone, wyczyszczone, poprawione lub przekonwertowane. W odwrotnym przypadku możemy się spotkać ze znanym przez informatyków stwierdzeniem "Śmieci na wejściu, śmieci na wyjściu".

p>Wszystkie elementy systemów skojarzeniowych (np. neurony, receptory) ponadto działają w sposób równoległy (część z nich synchronicznie lecz większość asynchronicznie). Ta cecha również bardzo odróżnia klasyczną informatykę i algorytmiczny sekwencyjny sposób rozwiązywania zadań od równoległych mechanizmów skojarzeniowych, które trudno jest nawet zamodelować z wykorzystanie współczesnych maszyn obliczeniowych, nawet tych dysponujących GPU. GPU niestety dostarcza nam tylko równoległości synchronicznej, która nadaje się tylko do przetwarzania danych sensorycznych, co jednak jest ze względu na ich ilość i tak dużym usprawnieniem w stosunku do CPU, który przetwarza dane sekwencyjnie z możliwością niewielkiego zrównoleglenia procesów w zależności od ilości posiadanych rdzeni. Siła systemów skojarzeniowych leży jednak w asynchronicznej równoległości, która na współczesnych komputerach musi być symulowana, a to wiąże się niestety z dodatkowym kosztem wynikającym z mechanizmów symulacji (kolejki zdarzeń, porządkowanie zdarzeń itp.). Asynchroniczna równoległość kryje w sobie jeszcze jedną ciekawą cechę - umożliwia porządkowanie zdarzeń w czasie oraz wpływanie na przyszłe zdarzenia pod wpływem tego porządku. Tymi zdarzeniami są skojarzenia, które się inaczej formują oraz wywołują inne skojarzenia pod wpływem różnej kolejności aktywacji neuronów reprezentujących nawet te same obiekty składowe, np. "panna młoda" może prowadzić do wywołania innego ciągu skojarzeń niż "młoda panna", czy też "I like computer science..." niż "I like science computer...". Różnice mogą stanowić nawet subtelne różnice w czasie i przerwy w mowie, np. "Lubię patrzyć na niebo piękne." albo "Lubię patrzyć na nie, bo piękne." Z tego wynika, iż istotną częścią naszej mowy są nie tylko słowa lecz również te "dziury" pomiędzy nimi, zwane spacjami i innymi separatorami, do których zwykle nie przywiązujemy aż tak dużego znaczenia, jak może powinniśmy, gdyż do nich przywiązuje duże znaczenie nasz system skojarzeniowy (mózg), który te dane przetwarza, a dla którego nawet niewielka przerwa w czasie, może spowodować zmianę sposobu kojarzenia faktów oraz wywołanie znacząco innych skojarzeń. Okazuje się, iż nasz mózg ucząc się mowy ludzkiej, zwraca również uwagę na jej szybkość, czyli czas artykulacji, i do niej się przystosowuje. Jeśli puścimy nagranie kilkukrotnie przyspieszone lub zwolnione, wtedy nasz umysł nie będzie w stanie rozpoznać wymawianych słów! Czas i tempo tworzonych i odtwarzanych skojarzeń jest więc fundamentalne dla prawidłowego działania systemów skojarzeniowych. Jeśli jakiś "pakiet" danych nadejdzie przez Internet z pewnym opóźnieniem, zwykle nic się złego nie dzieje w klasycznej informatyce, lecz jeśli to samo stanie się w systemie skojarzeniowym, może wywołać ciąg innych skojarzeń. Obliczenia asocjacyjne w systemach skojarzeniowych są więc zależne od czasu, tempa, kolejności i odstępów! Neurony są w stanie przystosować się do różnych czasów, tempa, kolejności i odstępów, lecz nie należy ich zmieniać znacząco, gdyż są one częścią danych wejściowych, które jak wspomniano powyżej nie należy zmieniać, ponieważ są one częścią wzorców uczących dla systemów skojarzeniowych.

Systemy skojarzeniowe również realizują pewne procedury wewnętrzne w odpowiedzi na stymulacje ich aktywnych elementów obliczeniowych. Z tego też względu należą do grupy systemów reaktywnych, zawierających reaktywne elementy zdolne reagować na te bodźce (stymulacje) oraz aktywnie oddziaływać na inne elementy w systemie tworząc aktywne skojarzenia. Takie elementy w układach nerwowych nazywamy neuronami, które są wyspecjalizowanymi komórkami nerwowymi zdolnymi realizować takie procedury, tzn. łączyć się odpowiednio ze sobą i przekazywać sobie pewne informacje w postaci bodźców.

brain (19 kB)

Do grupy systemów skojarzeniowych bez wątpienia należy ludzki układ nerwowy, w którym najważniejsze znaczenie skojarzeniowe pełni bez wątpienia centralny układ nerwowy (potocznie nazywany mózgiem). Warto jednak podkreślić, iż mózg nie byłby w stanie się rozwijać prawidłowo, jeśliby do niego nie docierały bodźce z obwodowego układu nerwowego, zawierającego ogromną ilość różnego rodzaju receptorów zdolnych odbierać informacje ze świata zewnętrznego i wewnętrznego, jak również elementów efektorycznych zdolnych oddziaływać na mięśnie i gruczoły dokrewne, które wstecznie oddziałują na świat zewnętrzny i wewnętrzny. Ponadto zanim bodźce dotrą do centralnego układu nerwowego, są już zakodowane i wstępnie przetworzone przez obwodowy układ nerwowy powiązany bezpośrednio z receptorami. W rzeczywistości obydwa te układy są równie ważne i jeden bez drugiego nie mógłby spełnić swoich funkcji. W mózgu natomiast odbywają się najbardziej skomplikowane procesy skojarzeniowe, dlatego nie bez powodu przykłada się taką wagę do tego elementu całego systemu nerwowego.

Podobnie jest zresztą z neuronem, który również spośród wszystkich elementów centralnego układu nerwowego oraz z punktu widzenia systemów skojarzeniowych pełni najważniejszą rolę, realizując różne wewnętrzne procedury, które umożliwiają kojarzenie, formowanie się wiedzy oraz powstawanie inteligencji osobniczej. Warto podkreślić, iż wiedza oraz inteligencja mają charakter indywidualny, a więc mogą zasadniczo różnić się pomiędzy jednostkami (tzn. również ich systemami skojarzeniowymi), gdyż ich formowanie się i rozwój zależne są od rodzaju danych, jakie na nie oddziałują, co wpływa na formowanie się skojarzeń, które determinują jakość formującej się wiedzy oraz decydują o uruchamianych skojarzeniach w przyszłości. Inteligencja jest poniekąd przejawem tych skojarzeń, gdyż jeśli skojarzenia formują sensowne i celowe wnioski, wtedy mówimy, że ktoś jest mniej lub bardziej inteligentny. Dostęp do jakościowych źródeł informacji zapewnia więc możliwość formowania się wiedzy w sposób szybszy i bardziej zgodny z rzeczywistością oraz do formułowania bardziej inteligentnych wniosków. Taka wiedza umożliwia wobec tego lepiej przewidywać, a więc osobnik jej używający będzie oceniany jako bardziej inteligentny, gdyż jego działania będą bardziej efektywne i skuteczne.


Neurony i semassele

Neurony to jedne z podstawowych elementów systemów skojarzeniowych, gdyż to właśnie one są w stanie na skutek określonych bodźców łączyć się ze sobą oraz z receptorami i efektorami. To one są w stanie łączyć się wielokrotnie i reprezentować różne kombinacje bodźców wejściowych poprzez swoją aktywację bądź jej brak. W nich najbardziej rozwinięte są procedury, które umożliwiają reprezentację oddziałującego na nie świata za pośrednictwem różnego rodzaju receptorów. To wszystko decyduje o tym, iż neurony pełnią ważną funkcję informacyjną i semantyczną w systemach skojarzeniowych, pozwalając aktywnie asocjacyjnie i zarazem semantycznie powiązać reprezentowane obiekty. Ze względu na to neuron z punktu widzenia formowania się wiedzy reprezentuje semassel od semantic associative element. Semassele są więc elementami odnoszącymi do zawartości informacyjnej reprezentowanej przez neuron oraz do kontekstu semantycznego, w którym występują, biorąc pod uwagę inne semassele (reprezentowane przez inne neurony) oraz dane sensoryczne (dostarczane przez receptory/sensory/czujniki).

Semassel to zbiór rozciągniętych w czasie kombinacji ważonych bodźców wejściowych, których suma przekracza próg aktywacji neuronu, a które są wysyłane przez powiązane neurony reprezentujące inne semassele lub dane wejściowe. Na skutek procesów adaptacyjnych zachodzących w neuronach, ich semassele mogą się zmieniać. Semassele nie zawsze reprezentują obiekty, które posiadają nazwę w ludzkim języku, lecz reprezentują również ogromną ilość kombinacji, które są protoplastami na drodze do obiektów, które posiadają skojarzone ze sobą nazwy. Bodźce dochodzące do neuronu reprezentującego semassel ponadto nie mają charakteru stałego, lecz zmienny, gdyż semassele reprezentowane przez neurony wysyłające bodźce wejściowe, również się zmieniają. Zmiany te są zwykle powolne i stopniowe, lecz mogą zachodzić przez cały czas na skutek napływania nowych danych do systemu. Z punktu widzenia informatycznego neurony więc reprezentują semassele. Neurony mają wbudowane mechanizmy, które pozwalają te semassele tworzyć i zmieniać. Semassel w neuronie może zaistnieć tylko w przypadku, gdy na neuron oddziałują bodźce wejściowe pochodzące od innych neuronów lub receptorów. Ze względu na swój semantyczny charakter i zależość każdy semassel jest pewnym elementem informacji, która jest przetwarzana przez system skojarzeniowy.


Asocjacyjna ścieżka aktywacji

Asocjacyjna ścieżka aktywacji (associative activation track - AAT) - określa wirtualną sekwencję kolejno aktywowanych neuronów pod wpływem zewnętrznych pobudzeń lub wcześniej aktywowanych neuronów. Pomiędzy neuronami należącymi do AAT mogą być utworzone nowe połączenia synaptyczne lub wzmocnione istniejące.


BIBLIOGRAFIA. Wprowadzenie do kwestii omawianych i rozwijanych na wykładzie można znaleźć w: