Prírodou inšpirované algoritmy

Klasifikátor KIII

Usporiadaním KII modelov do troch vrstiev vzniká model KIII. Pôvodne bol navrhnutý ako matematický popis činnosti čuchovej kôry v mozgu podľa EEG záznamov. S vhodnými váhami medzivrstvových a laterálnych (v rámci jednej vrstvy) prepojení vykazujú stavové premenné modelu aperiodickú, chaotickú dynamiku. Na obrázku je znázornený štandartný model simulácie KIII. Nie je totožný s pôvodným modelom čuchovej kôry, v ktorom nemajú jednotlivé vrstvy rovnaký počet KII modelov a medzivrstvové prepojenia sú časovo opozdené.

Externý vstup je privádzaný na EX1 (pozri podkapitolu o KII) excitačné K0 modely v prvej vrstve (na obrázku hore) . Ak chceme klasifikovať n-rozmerné vstupy, potrebujeme n KII modelov v každej vrstve. Na obrázku je model s dvoma vstupmi.

V simuláciách vykazujú stavové premenné KIII modelu podobnú aktivitu ako EEG záznamy čuchovej kôry pri pokusoch s klasickým podmieňovaním. Bez prítomnosti vstupu sa stavové premenné modelu pohybujú v globálnom aperiodickom atraktore, pokrývajúcom veľkú časť stavového priestoru. Pri prítomnosti vstupu sa pracovný bod aktivácií modelu presunie do lokálneho atraktora, ktorý pri natrénovanom systéme reprezentuje triedu vzorky na vstupe.

Na ukážkovom applete sú v spodnej časti znázornené aktivity EX1 K0 modelov v najľavejšom stĺpci KIII modelu pre každú vrstvu v priebehu času. V hornej časti je vykresľovaná dráha pracovného bodu aktivácií v priemetoch na tri roviny ich stavového priestoru. Simulovaný model má 4 vstupy. V simulácii je použitý KIII model s váhami nenatrénovanými na žiadnych dátach. Zo simulácie ale vidieť, že pracovný bod aktivít zobrazovaných K0 modelov sa počas prítomnosti vstupu pohybuje v atraktore s menším rozsahom. Rôzne vstupy dostanú pracovný bod do rôznych lokálnych atraktorov. Po stlačení tlačidla Init sa naštartuje numerická integrácia diferenciálnych rovníc popisujúcich model nastavením náhodnej aktivity na EX1 K0 modeloch prvej vrstvy v prvom integračnom kroku. Rovnice modelu sú následne numericky integrované zadaný počet krokov. Tým sa pracovný bod začne pohybovať v globálnom aperiodickom atraktore. Po stlačení tlačidiel Input 1 alebo Input 2 sú rovnice modelu ďalej integrované s počiatočnými aktiváciami stavových premenných, na ktorých skončila integrácia po stlačení Init a s externým vstupom, odlišným pre obe tlačidlá. Opakované stlačenie Init začne integráciu s novou náhodnou inicializáciou. Opakované stláčanie Input tlačidiel pokračuje v integrácii s externým vstupom po zadaný počet krokov. Vidieť, že pracovný bod zostáva pri prítomnosti vstupu v lokálnom atraktore. Striedavým stláčaním Input 1 a Input 2 je vidieť, že pracovný bod sa dokáže rýchlo presunúť z lokálneho atraktora prislúchajúceho jednému vstupu do atraktora prislúchajúceho druhému vstupu. Všetky tri fázy sú farebne odlíšené.

Ukážkový applet KIII

Pri klasifikácii sa na vstup položí vzorka, ktorú chceme klasifikovať. Diferenciálne rovnice modelu sú následne numericky integrované dostatočný počet krokov, aby sa pracovný bod dostal do lokálneho atraktora. Pre klasifikáciu sa použijú rozptyly aktivácií EX1 K0 modelov v tretej, spodnej vrstve. Tie sa klasifikujú podľa metódy k-najbližších susedov.

Pri trénovaní sa využíva asociatívne Hebbovské učenie medzi týmito K0 modelmi, prípadne aj habituácia na zníženie vplyvu nevýznamných vstupov.