warren mcculloch

Download Warren McCulloch

Post on 09-Nov-2015

215 views

Category:

Documents

2 download

Embed Size (px)

DESCRIPTION

Warren McCulloch

TRANSCRIPT

  • Warren McCullochWalter PittsPor FRANCISCO MARN MIRA

  • Introduccin (I)1899: Nacimiento de Warren Sturgis McCulloch1923: Nacimiento de Walter Pitts1927: McCulloch: Doctorado en psicologa. 1943: Se propone uno de los primeros modelos matemticos de la neurona McCulloch-Pitts. A logical calculus of the ideas immanent in nervous activity1947: McCullch-Pitts. How we know universals: the perception of visual and auditory forms1949: Donald Hebb propone una de las primeras reglas de aprendizaje

  • Introduccin (II)1956: Se acua el trmino de Inteligencia Artificial1957: Frank Rosenblatt present el PerceptrnAos 60: modelos basados en el Perceptrn: Adaline y Madaline1969: Mueren McCulloch y Pitts1969: Back propagationPosteriormente, otros modelos permiten un aprendizaje no supervisado (mapa auto-organizativo de Kohonen, los basados en la Teora de Resonancia Adaptativa (ART) de Grossberg y Carpenter, o los modelos de control motor de Bullock, Gaudiano y Grossberg, entre otros)

  • Introduccin (III)McCulloch y Pitts impulsaron el nacimiento de la I.A. proponiendo la definicin de la neuronaCon estas ideas nace la ciberntica y ms tarde el trmino Inteligencia ArtificialMcCulloch y Pitts. A logical calculus of the ideas immanent in nervous activity:una Mquina de Turing podra ser implementada en una red finita de neuronas formales1947: aproximaciones para disear redes nerviosas para reconocer entradas visuales Las redes neuronales actuales se basan en el modelo de neurona descrito en este artculoCada neurona consta de un conjunto de entradas y una sola salida. Cada entrada est afectada por un coeficiente, denominado peso.La cantidad calculada como la suma del producto de cada entrada multiplicada por su respectivo peso se denomina activacin de la neurona Una de las primeras arquitecturas neuronales donde se aplica es el PerceptrnLos pesos de las neuronas se modifican sometiendo a la red a un entrenamiento, mediante una regla de aprendizaje.

  • La Inteligencia ArtificialSe puede decir que la Inteligencia Artificial empez a surgir en 1943 cuando Warren McCulloch y Walter Pitts propusieron un modelo de neurona del cerebro humano y animal, una abstraccin que proporcion una representacin simblica de la actividad cerebral. Podramos situar el origen de los modelos conexionistas con la definicin de la neurona formal dada por McCulloch y Pitts en 1943 como un dispositivo binario con varias entradas y salidas. Ms adelante, Norbert Wiener elabor con estas ideas junto con otras, dentro del mismo campo, lo que se llam ciberntica. De aqu nacera, sobre los aos 50, la Inteligencia Artificial.

  • McCulloch (I)Warren Sturgis McCulloch( 1899 - 1969 )Naci en Orange, New Jersey el 16 de Noviembre de 1899. Neurofisilogo y CibernticoEstudi en Yale (filosofa y psicologa hasta 1921) y en Columbia (psicologa, graduado en 1923). Recibiendo su doctorado en 1927 en Nueva York.

  • McCulloch (II)Recordado por su trabajo con Dusser de Barenne (en Yale) y despus con Walter Pitts (en Illinois) que posibilit la fundacin de ciertas teoras de la inteligencia en un nmero de artculos clsicos, incluyendo A logical calculus of the ideas immanent in nervous activity (1943) y How we know universals: the perception of visual and auditory forms (1947), ambos en el Bulletin of Mathematical Biophysics. En el artculo de 1943 demostraron que una Mquina de Turing podra ser implementada en una red finita de neuronas formales, donde la neurona es la unidad base lgica del cerebro. En el artculo de 1947 ofrecieron aproximaciones para disear redes nerviosas para reconocer entradas visuales a pesar de los cambios de orientacin o de tamao.

  • McCulloch (III)Desde 1952 trabaj en el Laboratorio de Investigacin de Electrnica del MIT (Instituto de Tecnologa de Massachusetts), principalmente en modelado de Redes Neuronales. Su equipo examin el sistema visual de la rana, en consideracin con el artculo de 1947, descubriendo que el ojo proporciona al cerebro informacin que es, en cierto sentido, organizada e interpretada, en vez de nicamente transmitir la imagen. McCulloch fue miembro de la American Society for Cybernetics y su primer presidente desde 1967 al 1968.

  • McCulloch (IV)Conoci a Alan Turing, que discrep con l llegando a llamarle charlatn. Warren McCulloch tiene un notable rango de intereses y talentos. A parte de sus contribuciones a la ciencia, escribi poesa (sonetos) y dise edificios y un embalse para su granja de Old Lyme, Conneticut. Muri en Cambridge en 1969.

  • Pitts (I)Walter Pitts( 1923 - 1969 )Naci en Detroit el 23 de Abril de 1923.Matemtico que trabaj en el campo de la psicologa cognitiva.Aparentemente escap de su casa a los 15 aos.Aprendi por su cuenta lgica y matemticas y era capaz de leer en numerosos lenguajes, incluyendo Griego y Latin.

  • Pitts (II)Con 12 aos pas tres dias en una biblioteca leyendo Principia Mathematica y mand una carta a Bertrand Russell indicandole lo que l consideraba problemas serios en la primera mitad del primer volumen. Russell se mostr agradecido y le invit a estudiar en el Reino Unido. Aunque esta oferta fue aparentemente rechazada, Pitts decidi estudiar lgica. Acudi a clases de la Universidad de Chicago, sin inscribirse como estudiante. Obtuvo un trabajo en la universidad gracias a un filsofo alemn (Rudolf Carnap) al que le present su propio libro de lgica lleno de correcciones. Pitts por ese tiempo no tena hogar ni ningn ingreso.

  • Pitts (III)Ms tarde Warren McCulloch lleg a la Universidad y, a principios de 1942, invit a Pitts, que segua sin hogar, a vivir con su familia.McCulloch y Pitts trabajaban juntos. Pitts estaba familiarizado con el trabajo en informtica de Gottfried Leibniz y consideraron la cuestin de si el sistema nervioso poda ser considerado un tipo de maquina de computacin universal, como la describida por Leibniz. Esto llev a su determinante artculo de redes neuronales A Logical Calculus of Ideas Immanent in Nervous Activity.En 1943, Jerome Lettvin, con el que Pitts obtuvo una gran amistad en la universidad, le present a Norbert Wiener en el MIT, quien haba perdido a su mano derecha. Su primer encuentro, en el que estuvieron discutiendo el trabajo de Wiener, fue tan bien que Pitts se traslad a Boston para trabajar con Wiener. En 1944 Pitts fue contratado por Kellex Corp., parte del Proyecto de Energa Atmica.

  • Pitts (IV)En 1951 Wiener convenci a Jerry Wiesner para contratar algunos cientficos del sistema nervioso. Un grupo fue estrablecido con Pitts, Lettvin, McCulloch y Pat Wall. Pitts escribi una larga tesis de las propiedades de las redes neuronales conectadas en tres dimensiones. Lettvin le describi como el genio del grupo. Pitts tambin es descrito como un excntrico, negando que su nombre se hiciese pblico. Rechaz todas las ofertas de graduados avanzados o posiciones oficiales en el MIT ya que tendra que firmar con su nombre.

  • Pitts (V)Wiener inesperadamente se puso en contra de McCulloch, a cuenta de su mujer que odiaba a McCulloch, y separ las relaciones con cualquiera que estubiese relacionado con l, incluido Pitts. Esto empuj a Pitts a un suicidio cognitivo, un aislamiento social del que nunca se recuperara. Pitts quem el manuscrito sobre las redes tridimensionales y prest poco ms inters en el trabajo. La nica excepcin fu una colaboracin con Robert Gesteland que produjo un artculo sobre el olfato.

    Pitts muri en 1969.

    El modelo matemtico de una neurona se llama actualmente la neurona de McCulloch-Pitts. La formulacin terica de la actividad neuronal del cerebro es el legado permanente de Walter Pitts y Warren McCullch a las ciencias cognitivas.

  • La Neurona McCulloch-Pitts (I)McCulloch y Pitts propusieron en 1943 uno de los primeros modelos matemticos de una neurona, del que se basan las redes neuronales actuales. En este modelo, cada neurona consta de un conjunto de entradas, Si, y una sola salida Sj. Cada entrada i est afectada por un coeficiente que se denomina peso y que se representa por wij. El subndice i refleja que el peso afecta a la entrada i, y el subndice j que se trata de la neurona j. La cantidad calculada como la suma del producto de cada entrada multiplicada por su respectivo peso se denomina activacin de la neurona xj. La salida Sj de la neurona es una funcin de la activacin de sta. Es decir:xj = Si*wij + QjSj = f(xj) Donde el trmino Qj es un valor umbral y f(xj) es una funcin de la activacin de la neurona.

  • La Neurona McCulloch-Pitts (II)Una de las primeras arquitecturas neuronales donde se aplica es el Perceptrn, que utiliza la siguiente funcin de salida: Sj=0si xj < h Sj=1si xj>=h donde la constante h se denomina umbral. Esta es una funcin de salida de tipo binaria, y existen otras de tipo lineal puro, lineal con umbral, y sigmoidea, entre otras.

  • La Neurona McCulloch-Pitts (III)En este modelo tan sencillo puede verse que la activacin de la neurona depende del valor que tomen los pesos y las entradas, de forma que la variacin de stos origina distintas salidas para la misma entrada a la neurona. En la prctica, los pesos de las neuronas se modifican sometiendo a la red a un entrenamiento, permitiendo que la red realice una funcin determinada. Esta es la caracterstica que diferencia a una red neuronal de una mquina algortmica clsica: una red neuronal no se programa, se educa. La red es capaz de retener y asociar el conocimiento a travs de la adaptacin de los pesos de las neuronas siguiendo una regla de aprendizaje. Estas reglas son ecuaciones expresadas en funcin de las entradas y salidas de las neuronas y describen la forma de variacin de los pesos. En definitiva, son el instrumento empleado por las neuronas para adaptarse a la informacin que se le presenta.

  • La Neurona McCulloch-Pitts (IV)El aprendizaje de una red se puede producir de tres

Recommended

View more >