Akár tudunk róla, akár nem, a hétköznapi életben is “modellekben” gondolkodunk. Sót, a hétköznapi modelleket nem mindig szoktuk megkülönböztetni a “valóságtól”. Azt mondjuk pl., hogy “a csapból folyik a víz”, de a csap egy bonyolult kristályszerkezettel rendelkezô fémdarab, aminek nemcsak a konkrét alakját nem ismerjük pontosan, hanem a szilárdtest-fizikai elméletét sem. A vízrôl is inkább csak azt “tudjuk”, hogy “nedves és folyni szokott”, esetleg ismerjük a képletét H2O, de a hidrogénrôl is csak egy kvantumfizikai modellünk van, stb. Végül az, hogy “folyik”, ismét csak egyike a legbonyolultabb fizikai problémáknak, hiszen a vízfolyás általában örvényekkel szokott együtt járni, ami kapcsolatos a káoszelmélettel. Mindezekkel a részletekkel azonban nem szoktunk foglalkozni, ha ilyen hétköznapi kijelentést teszünk. Vagyis a “csapból folyik a víz” kijelentésünkkel eltekintünk a fenti sok részlettôl. A jelenséget egy rendkívüli módon leegyszerűsített modell keretébe helyezzük, melynek érvényessége szinte csak erre a szűk jelenségkörre korlátozódik. Kijelentésünk tehát nem a “valóságról” szól, csupán annak egy leegyszerűsített modelljérôl. Ez a modell a “fejünkben” van, ez egy kognitív modell. Ha szigorúak lennénk, valójában csak azt szabadna mondanunk, hogy “ez a jelenség az adott felhasználás szempontjából jó közelítéssel modellezhetô egy elképzelt ideális csappal, és az abból kiáramló ideális folyadékkal, mely mellesleg rendelkezik még azzal az ugyancsak idealizált tulajdonsággal, hogy képes az (ideális) ember (ideális) szomjának oltására, és mosni is lehet vele...”. Ehelyett egyszerűen összekeverjük a modellt a valósággal, és kijelentjük “ a csapból folyik a víz”

A fizikai világ jelenségei közt lépten-nyomon optimalizálási folyamatokkal találkozhatunk. Pl. a pohár víz felszíne vízszintes; a szódásüvegben lévő gáz nyomása egyensúlyt tart a szénsavból felszabaduló gázzal; a fény, ha áthalad egy prizma vagy lencserendszeren, mindig azt az utat “választja” mely számára a legrövidebb időt jelenti (Fermat elv az optikában), stb. Ebből azt látjuk, hogy a fizikai szinten szervezett anyag is képes az egyensúly, optimum megtalálására - bármiféle beépített, vagy kívülről ható (Isteni erő?) keresőalgoritmus nélkül. Ezt az elvet kiterjeszthetjük a biológiai, majd idegrendszeri folyamatokra: bár szervezettségük magasabb szintű, ezek is a fizikai világ részei.

Tehát a megfontolásra szánt gondolat: az agyunk azért képes megtalálni optimális állapotokat, mert anyagból van. Az agyban az optimalizálási folyamatok lényegében ugyanolyanok, mint amilyenek a fizikai jelenségek szintjén megfigyelhetők. Ezt az értelme tehát annak a kijelentésnek, hogy a “az agyban (analóg számítógépben) maga az anyag végzi a számítást”.

Megjegyzés: mindezek természetesen egy digitális gépre is elmondhatók. Ott is anyagi folyamatok játszódnak le, ezek egymásra hatnak, és a bekapcsolás után egy idő múlva beáll egy egyensúlyi állapot. Az integrált áramkörök melegszenek, és egy idő után beáll a hőegyensúly. Csakhogy ennek a folyamatnak semmi köze ahhoz a célhoz, ami végett mi a digitális számítógépeket megépítettük! Ellentétben az analóg számítógépekkel, a digitális számítógépekben lejátszódó anyagi folyamatok csak kis részét használjuk fel a számításhoz. A többit, mint zavaró körülményt igyekszünk eliminálni.

Az analóg avagy digitális szembeállítás valójában egy szemléletmódi vita: a kérdés az, hogy mely szemléletmód hasznosabb, értelmesebb tárgyunk szempontjából. Végső soron a digitális számítógép is egy folytonos dimamikai rendszer (ld. függelék) és ennyiben analóg gép. Dinamikus, hiszen egy billenő áramkörnek, mely egy egy bitet ábrázol, időre van szüklsége a 0-ból 1 állapotba való átbillenéshez - mégha mégoly kicsi is ez az idő. Azonban a digitális számítógép működése során ezt a tényt nem használjuk ki, sőt, minden erőnkkel igyekszünk ettől eltekinteni. (Ld. az egyre nagyobb órajel-frekvenciával működő gépeket.) A digitális számítógépek folytonos, dinamikus jellegzetességei nem játszanak szerepet a felhasználásuk során.

A folyamatok végeredményeként esetleg kialakuló döntés úgy tekinthetô, mint a rendszert leíró folytonos függvény egy stabil állapota, (lokális optimuma) mely ezek után meghatározhatja a további folyamatok “medrét”. (Tank and Hopfield: Számolás neuronszerű áramkörökkel)

A fentiekkel azt is állítom, hogy az agyat, ha nagyon kell, lehetséges ugyan valamiféle digitális Turing gépnek, vagy valamilyen algoritmusokat végrehajtó logikai gépnek tekinteni, de nem nagyon érdemes. Sokkal inkább érdemes olyan analóg számítógépnek tekinteni, melyben párhuzamosan futó folyamatok egymásra hatásának eredményeként áll elő az adott belső állapot és a válasz.

Tudjuk, hogy a neuronok működési sebessége nem túl gyors, legalábbis a modern digitális számítógépek részegységeinek sebességéhez képest nem az. A neuronok maximum 1000Hz frekvenciával képesek tüzelni, ezzel szemben a mikroprocesszorok több mint 100MHz-cel. Ugyanakkor az emberi és állati idegrendszer 100ms nagyságrendű idő alatt képes bonyolult percepciós feladatok megoldására, pl. arcfelismerésre (vagy háziállat esetén “gazdi”-felismerésre.) Ugyanilyen feladatok megoldása az ismert számítógép algoritmusokkal egyelőre lehetetlen: Még a leegyszerűsített feladatok (pl. nyomtatott betűk felismerése) is rendkívül sok számolást igényelnek, amihez a jelenlegi gépek sebessége épp, hogy elégséges.

Azt lehetne gondolni, hogy két részegység párhuzamos működése ekvivalens azzal, hogy “párhuzamosan vannak kapcsolva”. Valóban, ekkor lehet idôbeli párhuzamosságról is beszélni, de nagyon fontos észrevenni: nemcsak a párhuzamosan egymás mellé kapcsolt részegységek képesek idôi párhuzamosságra, hanem a sorba, azaz egymás mögé kapcsolt részegységek is.

Erre példa egy rugóból, tömegbôl és csillapításból álló mechanikai rendszer analóg számítógépes modellje. Itt az egymás mögé kapcsolt analóg integrátorok fizikailag sorba vannak kapcsolva, azonban nyilvánvaló, hogy működésük idôben párhuzamos: miközben az egyik egység folyamatosan számítja az inputja alapján a megfelelô output értéket, a hozzá kapcsolódó részegység már e részeredményt felhasználja, és így idôben egyszerre működve áll elô a teljes végeredmény, a modellezett rendszer csillapított rezgése. Itt tehát semmiesetre sem arról van szó, hogy az elsô egység kiszámítja az ô végeredményét, azt a második megvárja, és csak miután az elsô egység készen van, jön a következô, és dolgozza fel az elôzô kimenôjelét.

Az itt leírt példa alapján az agyműködést sem úgy kell elképzelni, hogy pl. elôször a retina kialakítja a maga outputját, miután ezzel kész, jelez a V1 látókéregnek, amely ugyanigy elôször kiszámítja az ô outputját, majd V1 jelez a V2 -nek, hogy kész, stb. Helyette azt kell elképzelni, hogy miközben a retina látvány feldolgozásával foglalkozik, ezzel egyidôben már ennek részeredményét dolgozza fel a V1 stb. stb. És az egészet minden bizonnyal egy nagy, átfogó, és több lokális feed-back, azaz visszacsatolás fogja át. (Nem negatív, se nem pozitív, mert erről csak 1 dimenziós visszacsatolás esetén beszélhetünk. A visszacsatolás általánosabb fogalmáról később lesz szó.)

Ehhez a gondolatmenethez kapcsolódik a kognitív szakirodalomban ismert un. 100 lépéses szabály elve. Ez arra vonatkozó becslés, hogy ha egy percepciós feladatot, pl. egy arcfelismerést az ember kb. 100ms alatt el tud végezni, ugyanakkor a neuronok maximum 1000Hz frekvenciával képesek tüzelni, akkor maximum 100 egymás utáni “lépésbôl” kellett ezt a percepciós feladatot megoldania az idegrendszernek. Az idôi párhuzamosságról szóló fenti fejtegetés fényében a “100 lépéses szabály” teljességgel értelmetlen elvnek minôsíthetô. Ez a “szabály” ugyanis éppen a kritizált, naiv szemléletmód alapján került annak idején megfogalmazásra, mintha az egymás feletti hierarchiába rendezett neuronok csak akkor kezdhetnének a nekik szánt input feldolgozásába, ha az elôtte lévô szint teljesen befejezte volna működését.

Tézis: Ezen elemzés lényege tehát, hogy a sorosan kapcsolt részegységek az idô szempontjából működhetnek párhuzamosan is.

Vegyük például az ismert szappanhártya modelleket, melyekkel bonyolult minimálfelületi problémákat tudunk modellezni (Courrant és Robbins,1965). A szappanhártya a változók számához képest meglepően gyorsan “oldja” meg a gyakorlatilag végtelen dimenziós optimumfeladatot. Ez csakis úgy lehetséges, ha a rendszer minden egyes részecskéje egyszerre, párhuzamos működéssel részt vesz az optimum kiszámításában. Vajon hogyan történik, történhet ez? Vagy egy mechanikai példát említve, ismeretes, hogy a hatás-ellenhatás tőrvényét a Newton féle mechanikában axiómaként kezelik. Gondoljunk bele, mi is történik, ha egy asztalra ráhelyezünk egy vasgolyót. Könnyen látható, hogy a ráhelyezés előtti állapothoz képest egy új egyensúlyi állapot kialakulásáról van szó: az asztallap, kissé behajlik, behorpad, a vasgolyó szintén, csak kisebb mértékben. Ezek az alakváltozások a résztvevő testek rugalmasságának függvényében pontosan olyan mértékűek lesznek, hogy fenn fog állni az említett Newton féle axióma: a vasgolyó ugyanakkora erővel nyomja az asztallapot, mint amekkora ellentétes erővel az asztallap az vasgolyót. Ez azonban csak a végső, egyensúlyi állapot, de nem foglalkoztunk az oda vezető folyamattal. Képletesen azt is kérdezhetnők: honnét tudja az asztallap, hogy neki mennyire kell belapulnia ahhoz, hogy egyensúlyt tartson a vasgolyóval, amiről ugyancsak megkérdezhető ugyanez az asztallap vonatkozásában. Mi az a mechanizmus, ami egy mechanikai rendszert eljuttat az egyensúlyi állapotba? Ha jobban szemügyre vesszük a két fizikai példát, láthatjuk, hogy mindkét esetben csak közelítőleg érvényes az egyensúlyi állapot állandósága. Kellően pontos mérőeszközzel mindkét példánál kimutatható az egyensúlyi állapot körül ingadozás, fluktuáció. A vasgolyós példa esetében erre azt mondják a fizikusok, hogy a hatás ellenhatás törvénye továbbra is érvényes, mivel az “ideális” testekre vonatkozik, a gyakorlati esetnél azonban mindig fellép valamilyen zavar (zaj), ami a mérést befolyásolja. Nem lehet, hogy a mindig jelen lévő “zaj” része az egyensúly megtalálásának?

Tovább gyarapíthatnánk a fizikai példák sorát, megemlítve a Fermat elvet az optikában (különböző törésmutatójú közegekben a fény mindig azon az úton halad, amelynél két pont közti távolság befutásához a legrövidebb idő szükséges), vagy a legkisebb hatás elvét a dinamikai rendszerekben.

Áttérve más területre, az idegrendszer nagyon sok jelensége lényegében optimumproblémaként fogható fel. Maga a tanulás is optimumprobléma, amint az kiderül a mesterséges neuronhálókkal kapcsolatos kutatási eredményekből. Egy mesterséges neuronhálózat tanítása nem más, mint egy jól definiált hibafüggvénynek a kapcsolati súlyok szerint végzett minimalizálása. A valódi idegrendszer vonatkozásában még sok egyéb optimumfeladattal is találkozhatunk. Például a két lábon való járás egy bonyolult egyensúlyi, azaz optimumfeladat, ahol az összes vázizom összehangolt szabályozására van szükség. Tapasztalati tény, hogy ha egy helyben állunk, akkor a súlypontunk helyzete állandóan változik. Itt tehát tetten érhető nemcsak az egyensúlyi végállapot, hanem az oda vezető, ill. az azt fenntartó folyamat is.

A percepció szintén felfogható sokdimenziós optimumfeladatnak: egy komplex inger (pl. egy arc) felismerése az összes percepciós tárgyhipotézisünket mozgósítja, és ezekből mintegy rekonstruáljuk a felismerendő ingert. Azt a “rekonstrukciót” fogadja el végülis az idegrendszer, mely legjobban illeszkedik az adott ingerhez (ld. Neisser...., Gregory, 1973). Felvethető a kérdés: a meglepően lassú idegsejtek (időállandójuk jóval 1ms-nál nagyobb), hogyan képesek 100ms nagyságrendbe eső sebességgel megoldani bizonyos optimumfeladatokat? A párhuzamos működés megkövetelése nyilvánvaló.

Legyen adva egy n bemenettel és egy kimenettel rendelkező, komponensenként azonos B átviteli sávszélességű S rendszer. Ez alatt egy olyan stabil dinamikus rendszert értünk (ld. Athans és Falb, 1963), amely a bemenőjeleinek konstans értéken tartása esetén konstans kimenőjelet ad, a bemenőjelek olyan változásait pedig, melyek nem tartalmaznak B frekvenciánál nagyobb frekvenciakomponenst, késleltetés nélkül követi. Pontosabban: tegyük fel, hogy a rendszer bemenetére adott x(t) = ((x₁(t),x₂(t),..,x_n(t))^T (^T a transzponálást jelenti) időfüggvény esetén, amennyiben egyik komponens sem tartalmaz B frekvenciánál nagyobb frekvenciaösszetevőt, akkor a kimenőjel csak x(t)-től függ, azaz y(t)=G(x(t)). A G:Rⁿ® R¹ függvényt nevezzük a továbbiakban az S rendszer leírófüggvényének.

A megoldandó probléma az, hogy tetszőleges x₀Î Rⁿ -ből indulva folytonos trajektória mentén haladva találjuk meg a G függvény valamely lokális minimumát.

Azaz:

 

 

További cél, hogy a minimum elérése gyors legyen, az argumentumokat ne egyesével változtassuk, hanem egyszerre.