Neural network

A neural network is an interconnected assembly of simple processing units or nodes, whose functionality is based on a brain. The processing ability of the network is stored in the connection strengths (or weights) between the units. These weights are obtained by a process of adaptation to a set of training patterns. Theory of neural networks is termed connectionism and represents an alternative to the symbolic representational paradigm (or rule based paradigm) in Artificial Intelligence.
 

The computing paradigm associated with neural networks is also termed Artificial Neural Networks (ANN), the Theory of Neural Computation, Connectionism, Neurocomputing and Parallel Distributed Processing.

Literature:

Arbib, M. A. & Buhmann, J. (1992). Neural networks. Vol. 2, pp. 1016-1060 IN: Encyclopedia of Artificial Intelligence. Second Edition. Ed by Stuart C. Shapiro et al. New York: John Wiley & Sons, Inc. Vol. 1-2.
 

Bernsen, N. O. & Ib Ulbæk, I. (1993). Naturlig og kunstig intelligens. Introduktion til Kognitionsforskningen. København: Nyt Nordisk Forlag Arnold Busck.

Brunak, S. & Lautrup, B. (1988). Neurale netværk. Computere med intuition. København: Munksgaard.

Campanario, J. M. (1995). Using neural networks to study networks of scientific journals. Scientometrics, 33(1), 23-40.

Chen, H. (1995). Machine learning for information retrieval: neural networks, symbolic learning, and genetic algorithms. Journal of the American Society for Information Science, 46(3), 194-216.
 

Chen, H. & Ng, T. (1995). An algorithmic approach to concept exploration in a large knowledge network (automatic thesaurus consultation): symbolic branch-and-bound search versus connectionist Hopfield Net Activation. Journal of the American Society for Information Science, 46(5), 348-69.

Deffner, Renate; Geiger, Hans: Associative word recognition with connectionist architectures. (Pp 80-87 In: Tools for knowledge organisation and the human interface. Proceedings of the 1st International ISKO Conference, Darmstadt, 14-17 August 1990.

Doszkocs, T. E.; Reggia, J.; Xia, L. & Lin, X. (1990). Connectionist models and information retrieval. Annual Review of Information Science and Technology, volume 25, 209-260.

Feiten, B.; Gunzel, S.: Automatic indexing of a sound database using self-organizing neural nets. Computer Music Journal, 18(3), 1994, 53-65.
 

Fogh Kirkeby, O. & Tambo, T. (1992). Guds Ur. Om Den Store Videnskab og dens kulmination i Computere og Neurale Netværk. København: Gyldendal.
 

Hebb, D. O. (1949). The Organization of Behavior. New York: John Wiley & Sons, Inc.

Ford, N. (1989). From information-to knowledge-management: the role of rule induction and neural net machine learning techniques in knowledge generation. Journal of Information Science, 15(4/5), 299-304.

Jennings, A. & Higuchi, H. (1992). A browser with a neural network user model. Library Hi Tech, 10(1-2), 77-93.

Lelu, A. (1991). From data analysis to neural networks: new prospects for efficient browsing through databases. Journal of Information Science, 17(1), 1-12.

Moisl, H. (1995). Artificial Neural Networks and Natural Language Processing. Pp 1-42 IN: Encyclopedia of Library and Information Science. Vol. 55, supplement 18. Ed. by Allen Kent. New York: Marcel Dekker, inc.
 

Ridley, M. (1993). Neural networking (computer prediction of capital markets). The Economist, v. 329, n7832, pF19(3), october 9, 1993.
 

Rummelhart, D. E.; McClelland, J. L. & the PGP-group (1986). Parallel Distributed Processing, Vol. 1-2. The MIT Press.

Smith, L. (1996). An Introduction to Neural Networks. http://www.cs.stir.ac.uk/~lss/NNIntro/InvSlides.html

Wikipedia, the free encyclopedia. (2005). Neural network. http://en.wikipedia.org/wiki/Neural_network

Wilkinson, R.; Hingston, P. & Osborn, T. (1992). Incorporating the vector space model in a neural network used for document retrieval. Library Hi Tech, 10(1-2), 69-75.

Journal: Neural Networks. New York: Pergamon Press, 1988- (Official journal of The International Neural Network Society.
 

Birger Hjørland

Last edited: 24-02-2007

Home

to be edited:

Neurale net er en form for edb-teknologi, der er udformet efter en analogi til neurologiske strukturer. Funktionen er karakteriseret ved, at der ikke foregår en eksplicit problem- og vidensrepræsentation og algoristisk løsning, men netværket indstilles eller reguleres efter feed-back på nettets ydelser. På denne måde kan nettet lære f.eks. mønster­genkendelse. I den mere populærvidenskabelige litteratur har Neurale net været betegnet "komputere med intuition" med betoning af deres "evne til at associere, oplære sig selv og skabe ny viden". Teoretisk har de neurale net indenfor forskning i *kunstig intelligens bevirket en modstrøm i forhold til det *kognitive paradigme, der betegnes "connectionisme".

Neurale Net (engelsk: Neural Networks, NN) kan referere til biologiske hjerner eller (lidt upræcist) til kunstige komputer­strukturer­/programmer. De kunstige komputer neurale netværk betegnes når man skal være præcis på engelsk "artificial neural networks" ("ANNs"). Det princip i databehandling, der her bygges på betegnes også "connectionisme" (fra det latinske ord for forbindelse) eller "parallel distributed processing" (PDP). ANNs er naturligvis idealiserede modeller af biologiske nervesystemer. Hardware­mæssigt er der udviklet særlige datamaskiner til ANNs, men der er også mulighed for software-simulering og det almindelige er, at ANN kører på almindelige computere. Det er således muligt at afprøve mange ANNs på en almindelig PC (der jo fungerer efter det modsatte: "*symbolske princip").

Teknik: Konnektionistiske systemer består af større netværk af simple data­behandlings­enheder, "kunstige neuroner", der arbejder parallelt. De kunstige neuroner er stærkt idealiserede og forenklede udgaver af den biologiske neuron. Enhederne kan være inputenheder, outputenheder eller såkaldte skjulte enheder, der sender output videre i systemet. De skjulte enheder implementerer systemets interne repræsentationer.

Hver enhed har en aktiveringsværdi. Disse kan være diskrete eller kontinuerte, begrænsede eller ubegrænsede. Hvis de kun kan antage værdierne 0 og 1 er der eksempelvis tale om et diskret, binært system.Forbindelser imellem enhederne har nummeriske vægte. Vægten kan være positiv (forstærkende, excitatorisk) eller negativ (hæmmende, inhibitorisk) ligesom rigtige neurale forbindelser. Forbindelsesmønstret og vægtene udgør på en gang systemets vidensbase og dets "program" til informationsbehandling. Konnektionistiske komputere skelner altså ikke som de symbolske imellem en passiv hukommelse og et aktivt program.

Input kan kombineres efter forskellige principper, f.eks. kan input fra flere enheder adderes eller multipliceres, eller der kan være en tærskelværdi. En meget brugt funktion er S-formet, d.v.s. en opblødning af det diskrete binære systems trinfunktion. Neurale nets arkitekturer rummer meget store frihedsgrader, og et neuralt net kan i princippet også simulere den klassiske serielle computer.

Repræsentationen i neurale net kan være lokal eller distribueret. Ved lokal repræsentation repræsenterer det enkelte neuron et bestemt bogstav, begreb, ordre eller andet. Distribueret repræsentation udnytter hardwaren bedre og giver desuden langt større robusthed.

Historie: Arbib & Buhnann (1992, side 1016) påpeger, at forskning i *kunstig intelligens voksede ud af neurale net, *kybernetik, *informa­tions­teori og automatteori. McCulloch og Pitts havde allerede i begyndelsen af fyrrene vist, hvordan simple neurale net kunne udføre databehandling. Donald Hebb inspirerede i 1949 med en idé om, hvordan sådanne systemer kunne indlære ny information. I 1960'erne og 1970'erne dominerede det serielle symbol-manipulerende paradigme, men i 1980 fremkom en fornyet interesse for distribu­e­ret databehandling og neurale net.

Menneske-maskine-menneske: ANNs er naturligvis inspireret af NNs, velnok det tydeligste eksempel på hvordan analogi-tænkning imellem menneske og maskine har inspireret AI-forskningen. En af hovedinspirationskilderne var psykologen Donald O. Hebb, der i 1949 publicerede bogen "The Organization of Behavior", der blev en central inspirationskilde for mange komputermodeller over indlæring og adaption. Bogen forklarer indlæring hos mennesker ved dannelsen af celle-ansamlinger i hjernen. Hebbs forklaring af indlæring er en variant af klassisk betingning (Pavlow) og han mente, at forbindelsen imellem to neuroner styrkes såfremt begge neuroner affyrer deres elektriske impuls på samme tid. Sådan et skema tenderer imod at skærpe en neurons prædisposition "uden en lærer", idet den kommer til at affyre sine impulser i bedre og bedre overensstemmelse (korrelation) med en klynge af stimulus mønstre. Det endelige sæt inputvægte til neuronen afhænger såvel af de forhåndsvægte/indstillinger såvel som af de stimulusmønstre, der har påvirket neuronen.
Man skelner imellem modeller henholdsvis med og uden "lærer" (supervisor). "Unsupervised learning" foregår uden nogen eksplicit reference til nogen performance-indikator. Klyngedannelsen af neuroner sker i overensstemmelse med et eller andet indbygget kriterium for lighed, således at dette lighedskriterium fungerer en fikseret, indbygget supervisor. Modsætningsvis foregår "supervised learning" ved at omgivelserne eller "læreren" specificerer den korrekte klassifikation.

Udfra komputermodeller, hvor komputere behandler kognitive processer som perception og sprog ved hjælp af ANNs, kan man vende tilbage til mennesket og afprøve teorier om det menneskelige kognitive system (f.eks. har man modeller for "low level vision"). Så forskning i neurale net og konnektionisme viser, hvordan AI-forskningen kan gå frem og tilbage mellem menneske og maskine og bygge videre på sine teorier og modeller.

Erkendelsesteori: Fogh Kirkeby & Tambo (1992, s. 126-127) skriver bl.a.:
"At opnå evnen til at takle denne [parameter-tæthed i realistiske opgaver], forestiller forskningen i neuale netværk sig, kan er erhverves gennem sammenkoblingen af mange netværk. Sit billede af erfaring og erkendelse tro har man et billede af systemets simulering af omverdenen, der begynder ved sansedata og ender ved begreber. Denne vej, af hvilken man forestiller sig at kunne nå til implementering af kognitivt tunge opgaver, svarer i praksis til at bygge neurale netværk-systemer oven på hinanden. Men som vi har set forudsætter det, at man kan komme fra eksempler til viden på en forholdsvis systematisk og ukompliceret måde. Et forhold, der på ingen måde kan lade sig gøre, ikke blot på grund af kontekst-begrebet, men også fordi viden om viden, refleksivitet, ikke blot kan betragtes som et fænomen, der er resultat af stigende parameter-kompleksitet.
Som vi har set i det foregående ligger teorien om de neurale netværk klart inden for Den Store Videnskabs tradition. Billedet af bevidstheden svarer til en naiv empirisme, hvor alle begreber opfattes som betingede af sanseoplevelser.....
....
Alt i alt er teorien om de neurale netværk som forskningsprogram vulgært. Vulgær i betydningen uden enhver fornemmelse for kvaliteten i den viden, der er blevet udviklet inden for filosofi, videnskabsteori og moderne videnskab".

Ovenstående er næsten, men ikke helt korrekt, idet D.O. Hebb, som vi har set anerkender et medfødt moment: at neuroner på forhånd kan være udstyret med vægte eller mere eller mindre udbyggede forbindelser til andre neuroner.

Betingelserne for, at neurale net kan skaffe den fornødne viden gennem induktion og generalisation anfører Fogh Kirkeby & Tambo (1992, s. 122):

"A. At det er muligt at finde relevante eksempler i forbindelse med et givet problem.

B. At det er muligt at give programmet metoder til at skelne mellem relevansen af de forskellige parametre indbygget i eksemplet, således at det væsentlige ved postkasser mindre er deres afstand over jorden og deres farve, end de egenskaber, der udtrykker deres funktion, altså en sprække til breve, et aflåst rum, en tidsangivelse for tømning etc.

C. At der kan gives et kriterium for, hvornår man har "nok" eksempler til at danne grundlag for en generel konklusion.

Disse kriterier er ofte komplicerede matematiske vurderinger af sandsynlighed".

Anvendelse: Det forhold, at ANN bygger på eksempler, gør dem velegnede til genkendelses- og klassifikationsmekanismer. De anvendes f.eks. på slagterier til sortering af kød, i medicin til blodtypebestemmelse, i økonomi til bestemmelse af kursudsving m.v.

Ridley (1993) omtaler neurale netværk og skriver, at de nu er næsten ligeså meget en standard kedelige som regneark. Der er adskillige til salg på det kommercielle marked. Til finianciel markedsanalyse er der mindst 20. De billigste koster 100 USA. De er gode til at finde mønstre i tidligere begivenheder, men de er kun så gode som de mennesker, der programmerer dem og bruger dem. De danner mønstre fra et datasæt og generaliserer det. Achilleshælen er, at neurale net tenderer imod "overfit", d.v.s. de finder et eller andet møster, uanset hvor uægte eller tilfældigt det er. Hvis den har temperaturanalyser for de sidste to år og de koldeste dage tilfældigvis var torsdage, vil ANN forudsige at imorgen vil blive kold, fordi det er torsdag. Det kan et menneske hurtigt indse er noget vrøvl. ANNs tenderer imod at være skrøbelige, deres konklusioner mangler subtilitet. Det kan ikke skelne imellem et råd baseret på et snævert sæt betingelser og på et alment princip.

I modsætning til genkendelses- og klassifikationsmekanismer er neurale net uegnede til at behandle uventede input eller "teoriskifte".

Anvendelse i BDI-området: Indenfor *informationsvidenskab har neurale net især været foreslået til *information retrieval. Af fordele har været fremhævet, at brugeren ikke eksplicit behøver formulere sit spørgsmål i en søgeprofil, men blot kan indikere hvilke dokumenter, der er relevante, så vil nettet selv lære at identificere disse. Ulemperne er tilsvarende på den ene side, at søgekriterierne ikke er synlige, brugeren foretager ikke en bevidst strategi, og ved derfor ikke præcist, hvorfor noget er fundet, eller hvad der ikke er fundet. Desuden bygger tankegangen på en filosofi, der implicerer, at tidligere søgninger har samme relevanskriterier som fremtidige søgninger. Det ovenfor omtalte forhold med uventede input eller "teoriskifte" sætter sine store begrænsninger på anvendelse an ANN til informations­søgningsopgaver.

Konkluderende kan det fastslås, at anvendelsen af ANN indenfor informationsvidenskabelige problemstillinger har været spredte og på det eksperimenterende stade. Hoved­problemet er det samme som med *kunstig intelligens generelt: informations­videnskabens problemstillinger opfylde typisk ikke de krav, der stilles for at etablere ekspert­systemer m.v. Men der kan dukke specielle opgaver op, hvor ANN i hånden på en kyndig informationsspecialist kan vise sig værdifulde.