resumen y perspectivas

40
Introducci ´ on ecnicas y opicos no vistos Self supervised learning Curriculum Learning Lifelong ML Sesgo en los datos Transformers Desarrollo Hist ´ orico Perspectivas y Retos Super- Inteligencia Resumen y Perspectivas Eduardo Morales y Hugo Jair Escalante INAOE (INAOE) 1 / 40

Upload: others

Post on 25-Jul-2022

4 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Resumen y Perspectivas

Introduccion

Tecnicas ytopicos novistosSelf supervisedlearning

Curriculum Learning

Lifelong ML

Sesgo en los datos

Transformers

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Resumen y Perspectivas

Eduardo Morales y Hugo Jair Escalante

INAOE

(INAOE) 1 / 40

Page 2: Resumen y Perspectivas

Introduccion

Tecnicas ytopicos novistosSelf supervisedlearning

Curriculum Learning

Lifelong ML

Sesgo en los datos

Transformers

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Contenido

1 Introduccion

2 Tecnicas y topicos no vistosSelf supervised learningCurriculum LearningLifelong MLSesgo en los datosTransformers

3 Desarrollo Historico

4 Perspectivas y Retos

5 Super-Inteligencia

(INAOE) 2 / 40

Page 3: Resumen y Perspectivas

Introduccion

Tecnicas ytopicos novistosSelf supervisedlearning

Curriculum Learning

Lifelong ML

Sesgo en los datos

Transformers

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Introduccion

Resumen

• En el curso vimos varias de las tecnicas recientes o novistas en los otros cursos de AprendizajeComputacional

• Existen tecnicas que no vimos, y topicos que no setrataron, por ejemplo, aprendizaje parametrico basadoen maxima verosimilitud, maquinas de Kernel,estimacion bayesiana, stream-learning, BigData, etc.

(INAOE) 3 / 40

Page 4: Resumen y Perspectivas

Introduccion

Tecnicas ytopicos novistosSelf supervisedlearning

Curriculum Learning

Lifelong ML

Sesgo en los datos

Transformers

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Tecnicas y topicos no vistos Self supervised learning

SSL: Self supervised learning

• Los datos etiquetados son escasos y costoso degenerar

• Datos no etiquetados podrıan ayudar, pero ¿que pasasi estos tampoco estan disponibles?

• Idea: Generar subtareas a partir de los datosdisponibles, simulando etiquetas!

Carl Doersch, Abhinav Gupta, Alexei A. Efros. Unsupervised VisualRepresentation Learning by Context Prediction, 2015,arxiv.org/abs/1505.05192

(INAOE) 4 / 40

Page 5: Resumen y Perspectivas

Introduccion

Tecnicas ytopicos novistosSelf supervisedlearning

Curriculum Learning

Lifelong ML

Sesgo en los datos

Transformers

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Tecnicas y topicos no vistos Self supervised learning

SSL: Self supervised learning• Pre entrenar un modelo para una tarea pretexto,

asociada a la tarea objetivo (downstream)• Realizar un ajuste fino de parametros en la tarea

objetivo

Figura: Ejemplo de tareas pretexto en SSL.

Carl Doersch, Abhinav Gupta, Alexei A. Efros. Unsupervised Visual Representation Learning by ContextPrediction, 2015, arxiv.org/abs/1505.05192Mehdi Noroozi and Paolo Favaro Unsupervised Learning of Visual Representations by Solving JigsawPuzzles, 2016. https://arxiv.org/pdf/1603.09246.pdf(INAOE) 5 / 40

Page 6: Resumen y Perspectivas

Introduccion

Tecnicas ytopicos novistosSelf supervisedlearning

Curriculum Learning

Lifelong ML

Sesgo en los datos

Transformers

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Tecnicas y topicos no vistos Self supervised learning

SSL: Self supervised learning• Pre entrenar un modelo para una tarea pretexto,

asociada a la tarea objetivo (downstream)• Realizar un ajuste fino de parametros en la tarea

objetivo

Figura: Ejemplo de tareas pretexto en SSL.

Carl Vondrick, Abhinav Shrivastava, Alireza Fathi, Sergio Guadarrama, Kevin Murphy. Tracking Emerges byColorizing Videos. CVPR 2018Ishan Misra, Laurens van der Maaten. Self-Supervised Learning of Pretext-Invariant Representations, 2019https://arxiv.org/abs/1912.01991

(INAOE) 6 / 40

Page 7: Resumen y Perspectivas

Introduccion

Tecnicas ytopicos novistosSelf supervisedlearning

Curriculum Learning

Lifelong ML

Sesgo en los datos

Transformers

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Tecnicas y topicos no vistos Curriculum Learning

Curriculum Learning

• Se sabe que humanos y animales aprenden mejorcuando ejemplos son presentados de maneraorganizada y siguiendo un orden (de lo sencillo a locomplejo)

• CL: Al presentar ejemplos de entrenamiento amaquinas de aprendizaje de manera organizada, esposible mejorar la rapidez de convergencia ycapacidades de generalizacion

Y. Bengio et al. Curriculum learning. Proc. of ICML, 41–48, 2009.

(INAOE) 7 / 40

Page 8: Resumen y Perspectivas

Introduccion

Tecnicas ytopicos novistosSelf supervisedlearning

Curriculum Learning

Lifelong ML

Sesgo en los datos

Transformers

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Tecnicas y topicos no vistos Curriculum Learning

Curriculum LearningEjemplo: Aprendizaje de representaciones distribuidas determinos vıa CL

Figura: Aprendizaje de embeddings usando CL.

Y. Bengio et al. Curriculum learning. Proc. of ICML, 41–48, 2009.(INAOE) 8 / 40

Page 9: Resumen y Perspectivas

Introduccion

Tecnicas ytopicos novistosSelf supervisedlearning

Curriculum Learning

Lifelong ML

Sesgo en los datos

Transformers

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Tecnicas y topicos no vistos Curriculum Learning

Curriculum Learning

Problemas:• ¿Como definir la currıcula?• ¿Como realizar el aprendizaje?

Y. Bengio et al. Curriculum learning. Proc. of ICML, 41–48, 2009.

(INAOE) 9 / 40

Page 10: Resumen y Perspectivas

Introduccion

Tecnicas ytopicos novistosSelf supervisedlearning

Curriculum Learning

Lifelong ML

Sesgo en los datos

Transformers

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Tecnicas y topicos no vistos Lifelong ML

Lifelong MLMetodos de aprendizaje (sistemas) que pueden aprendermuchas tareas de uno o varios dominios a traves de sutiempo de vida

• Retencion sequencial de conocimiento• Transferencia selectiva de dicho conocimiento cuando

se aprende otra tarea• Enfoque de sistemas

(INAOE) 10 / 40

Page 11: Resumen y Perspectivas

Introduccion

Tecnicas ytopicos novistosSelf supervisedlearning

Curriculum Learning

Lifelong ML

Sesgo en los datos

Transformers

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Tecnicas y topicos no vistos Lifelong ML

Lifelong ML

Objetivo: Generar hipotesis o polıticas mas exactas!

Figura: A framework for LML.

Daniel L. Silver, Qiang Yang, Lianghao Li. Lifelong Machine Learning Systems: Beyond Learning Algorithms.2013 AAAI Spring Symposium SeriesWei-Wei Tu, Hugo Jair Escalante, Isabelle Guyon, Daniel L. Silver, Evelyne Viegas. Yuqiang Chen.Autonomous Lifelong Machine Learning with Drift. NIPS Competition 2018.

(INAOE) 11 / 40

Page 12: Resumen y Perspectivas

Introduccion

Tecnicas ytopicos novistosSelf supervisedlearning

Curriculum Learning

Lifelong ML

Sesgo en los datos

Transformers

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Tecnicas y topicos no vistos Sesgo en los datos

Sesgo en los datos• Metodos de aprendizaje estan inherentemente

sesgados a los datos en que fueron entrenados!• Existe una preocupacion creciente en el sesgo de los

datos y como evitarlo (mas ahora que ML es tanpopular)

Figura: Artıculos publicados en equidad.

https://www.youtube.com/watch?v=fMym_BKWQzk

(INAOE) 12 / 40

Page 13: Resumen y Perspectivas

Introduccion

Tecnicas ytopicos novistosSelf supervisedlearning

Curriculum Learning

Lifelong ML

Sesgo en los datos

Transformers

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Tecnicas y topicos no vistos Sesgo en los datos

Sesgo en los datos• Algunos problemas:

• Denigracion, estereotipos, no - representacion deminorıas

Figura: Ejemplos.

(INAOE) 13 / 40

Page 14: Resumen y Perspectivas

Introduccion

Tecnicas ytopicos novistosSelf supervisedlearning

Curriculum Learning

Lifelong ML

Sesgo en los datos

Transformers

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Tecnicas y topicos no vistos Sesgo en los datos

Sesgo en los datos

• Algunos problemas:• Denigracion, estereotipos, no - representacion de

minorıas

Figura: Ejemplos.

https://www.technologyreview.com/2019/04/30/135556/

how-a-google-street-view-image-of-your-house-predicts-your-risk-of-a-car-accident/

(INAOE) 14 / 40

Page 15: Resumen y Perspectivas

Introduccion

Tecnicas ytopicos novistosSelf supervisedlearning

Curriculum Learning

Lifelong ML

Sesgo en los datos

Transformers

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Tecnicas y topicos no vistos Sesgo en los datos

Sesgo en los datos

¿Como lidiar con el problema? FAT• Fairness: ¿Quien se beneficia del sistema? ¿A quien

puede danar?• Fairness forensics• Multidisciplinariedad real• Etica en clasificacion

https://www.youtube.com/watch?v=fMym_BKWQzk

(INAOE) 15 / 40

Page 16: Resumen y Perspectivas

Introduccion

Tecnicas ytopicos novistosSelf supervisedlearning

Curriculum Learning

Lifelong ML

Sesgo en los datos

Transformers

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Tecnicas y topicos no vistos Transformers

Transformers: Attention is all you need

• Variante de modelos de aprendizaje profundo quecapturan informacion sequencial a traves demecanismos de atencion

• Un mecanismo de atencion aprende a ponderar laimportancia de diferentes partes de la secuencia, sinhacer uso de modelos recurrentes

• Usualmente se entrenan en grandes cantidades dedatos, pero pueden transferirse a otras tareas conrelativa facilidad

(INAOE) 16 / 40

Page 17: Resumen y Perspectivas

Introduccion

Tecnicas ytopicos novistosSelf supervisedlearning

Curriculum Learning

Lifelong ML

Sesgo en los datos

Transformers

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Tecnicas y topicos no vistos Transformers

Transformers: Attention is all you need• Aprendizaje de atencion

Figura: Arquitectura de transformer.

(INAOE) 17 / 40

Page 18: Resumen y Perspectivas

Introduccion

Tecnicas ytopicos novistosSelf supervisedlearning

Curriculum Learning

Lifelong ML

Sesgo en los datos

Transformers

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Desarrollo Historico

Resumen

• El area de aprendizaje computacional empezo con lasprimeras computadoras y con la conviccion de que lacreacion de maquinas inteligentes necesitaba contarcon aprendizaje

• Durante su desarrollo ha sufrido diversos cambios yevoluciones

(INAOE) 18 / 40

Page 19: Resumen y Perspectivas

Introduccion

Tecnicas ytopicos novistosSelf supervisedlearning

Curriculum Learning

Lifelong ML

Sesgo en los datos

Transformers

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Desarrollo Historico

Evolucion

Antes AhoraEvaluacion informal, pocosdatos, no generalizable

Evaluaciones formales,medida de desempenos,creacion de benchmarks

Representacionessimbolicas, cercanıacon ciencias cognitivas,restrictivo a pocas areas

Apertura a otras areascomo PR y NN

Diversos tipos de apren-dizaje

Datos y evaluacionesproposicionales, enfasis enclasificacion y regresion

(INAOE) 19 / 40

Page 20: Resumen y Perspectivas

Introduccion

Tecnicas ytopicos novistosSelf supervisedlearning

Curriculum Learning

Lifelong ML

Sesgo en los datos

Transformers

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Desarrollo Historico

Evolucion

Antes AhoraIntimamente ligado a IA Separacion de IA a ML (re-

cientemente se esta jun-tando de nuevo)

I/O: Relacional, razon-amiento, planes, experien-cias, ...

Atributo-valor (algo en ILP yStatistical Relational Learn-ing), tendencia en que seaDNN quien defina la repre-sentacion

Sistemas inteligentes (AM,SOAR, ...), comportamien-tos “ricos” (semanticamentepara tareas complejas)

Enfasis en desempeno yestadısticas

(INAOE) 20 / 40

Page 21: Resumen y Perspectivas

Introduccion

Tecnicas ytopicos novistosSelf supervisedlearning

Curriculum Learning

Lifelong ML

Sesgo en los datos

Transformers

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Desarrollo Historico

Evolucion

Antes AhoraUso de conocimiento deldominio (EBL, ILP, theoryrevision, ...)

Muchos datos, mejoraen desempeno (poco enaprender de pocos datosusando BK)

Reflexiones sobre resulta-dos, a que se deben, ...

Formalismo matematico(con sesgo) y comparacion“ciega” de desempenos

(INAOE) 21 / 40

Page 22: Resumen y Perspectivas

Introduccion

Tecnicas ytopicos novistosSelf supervisedlearning

Curriculum Learning

Lifelong ML

Sesgo en los datos

Transformers

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Perspectivas y Retos

Persepectivas

• Desde hace tiempo se tiene un desarrollo acelerado delarea (se pueden ver en el numero de artıculos y foros)

• En parte ha sido impulsado por:• Interes comercial que le han dado diversos nombres y

$$: KDD, Big Data, Deep Learning, ...• Generacion de datos: “90% de los datos en el mundo

se han generado en los ultimos 2 anos”• Poder de computo (CPU, GPU, ...)

• Se esta viviendo un re-surgimiento del area deInteligencia Artificial (otra vez) con grandesexpectativas (antes: Inicios, Sistemas Expertos, NN,KDD; ahora: DL)

(INAOE) 22 / 40

Page 23: Resumen y Perspectivas

Introduccion

Tecnicas ytopicos novistosSelf supervisedlearning

Curriculum Learning

Lifelong ML

Sesgo en los datos

Transformers

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Perspectivas y Retos

Retos

• Aprendizaje sin (con poca) guıa• Diversos tipos de aprendizaje, concurrentes, y por largo

tiempo• Aprendizaje de “sentido comun”• Seleccion automatica de informacion relevante• Aprender con poca informacion• Organizacion del conocimiento aprendido

(INAOE) 23 / 40

Page 24: Resumen y Perspectivas

Introduccion

Tecnicas ytopicos novistosSelf supervisedlearning

Curriculum Learning

Lifelong ML

Sesgo en los datos

Transformers

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Super-Inteligencia

Tendencias y Expectativas

Una gran inversion de la industria y paıses desarrollados enel area:

• “Beijing is planning to build a 13.8 billion yuan ($2.12billion) AI development park”

• “Venture capital investment in AI doubled to US$12billion in 2017”

• “France to spend $1.8 billion on AI to compete with US,China”

• “China will have more robots operating in its productionplants by 2017 than any other country”

• ...

(INAOE) 24 / 40

Page 25: Resumen y Perspectivas

Introduccion

Tecnicas ytopicos novistosSelf supervisedlearning

Curriculum Learning

Lifelong ML

Sesgo en los datos

Transformers

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Super-Inteligencia

Tendencias y Expectativas(¿Como esta Mexico?)

• En Primaria-Preparatoria seensena a usar paquetes

• Existen 200+ nombres decarreras en computacion einformatica, muchas condeficiencias matematicas

• En investigacion hay pocosgrupos, son pequenos, no sereconocen los congresos

• Mexico invierte menos del0.5% del PIB en CyT

(INAOE) 25 / 40

Page 26: Resumen y Perspectivas

Introduccion

Tecnicas ytopicos novistosSelf supervisedlearning

Curriculum Learning

Lifelong ML

Sesgo en los datos

Transformers

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Super-Inteligencia

¿Se puede lograr una verdadera IA?

Antes:• Godel (teorema de incompletes)• Dreyfus (manipulacion simbolica no es fundamento de

inteligencia)• Searle (pensamiento real y simulado)• Penrose (se requiere conocimientos de fısica no

incluıdos en las maquinas)Ahora:

• Barret, Hawking, Musk (“el ultimo invento del hombre”)• ¿Perdida masiva de empleos?• ¿Cuando se tendra una super-inteligencia y sus

consecuencias?

(INAOE) 26 / 40

Page 27: Resumen y Perspectivas

Introduccion

Tecnicas ytopicos novistosSelf supervisedlearning

Curriculum Learning

Lifelong ML

Sesgo en los datos

Transformers

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Super-Inteligencia

Super-Inteligencia

• Durante muchos anos, los investigadores de IA sedejaron de cuestionar si era posible crear unainteligencia artificial

• A pesar del entusiasmo inicial, el problema resulto sermucho mas difıcil de lo anticipado

• Con los avances recientes, tanto en generacion yacceso a datos, computadoras mas veloces, yalgoritmos de DL, la gente ya no se cuestiona si se va alograr, sino cuando y cuales pueden ser susconsecuencias

• Algunos autores predicen que con el desarrollo actualsera posible crear una super-inteligencia (entes masinteligentes que el hombre)

(INAOE) 27 / 40

Page 28: Resumen y Perspectivas

Introduccion

Tecnicas ytopicos novistosSelf supervisedlearning

Curriculum Learning

Lifelong ML

Sesgo en los datos

Transformers

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Super-Inteligencia

Super-InteligenciaExisten varios candidatos para crear super-inteligencias:

• IA: Algunos creen la mas probable y cercana• Emulacion del cerebro: Crear cerebros artificiales con

base en los biologicos• Bio-ingenierıa (DNA): Cambiar el DNA para promover

inteligencia (selective breeding)• Implantes cerebrales: Combinar el cerebro con

implantes que aumenten la capacidad cerebral (e.g.,conectarse a Internet - memoria ilimitada, transmisionde datos, calculos complejos ...)

• Farmacos: Aumentar la capacidad cerebral por mediode farmacos

• Organizacion Grupal: Crear grupos especıficos pararesolver problemas difıciles (super-inteligenciacolectiva)

(INAOE) 28 / 40

Page 29: Resumen y Perspectivas

Introduccion

Tecnicas ytopicos novistosSelf supervisedlearning

Curriculum Learning

Lifelong ML

Sesgo en los datos

Transformers

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Super-Inteligencia

Super-InteligenciaCon base en encuestas de cuando se podrıa tener unainteligencia a nivel del ser humano (HLMI):

• 2030 - 10%• 2050 - 50%• 2100 - 90%

Cuanto tiempo despues se va a tener unasuper-inteligencia:

• 2 anos despues - 5%-10%• 30 anos despues - 50%-75%

Creacion de una super-inteligencia:• 12% muy posible• 17% posible• 21% ni si ni no• 24% poco probable• 26% muy poco probable

(INAOE) 29 / 40

Page 30: Resumen y Perspectivas

Introduccion

Tecnicas ytopicos novistosSelf supervisedlearning

Curriculum Learning

Lifelong ML

Sesgo en los datos

Transformers

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Super-Inteligencia

Super-Inteligencia

• Creen que en cuanto nos acerquemos a unainteligencia, se va a dar muy rapido la creacion de unasuper-inteligencia

• Lo que se cree es que al crear un ente inteligente, esteva a poder desarrollar uno mas inteligente y asısucesivamente (y algunos creen que se puede dar muyrapido - meses/anos)

• Dadas las expectativas que se tiene se esta creandouna carrera hacia esto (parecido a la carrera a la luna)

(INAOE) 30 / 40

Page 31: Resumen y Perspectivas

Introduccion

Tecnicas ytopicos novistosSelf supervisedlearning

Curriculum Learning

Lifelong ML

Sesgo en los datos

Transformers

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Super-Inteligencia

¿Que se espera a corto/mediano plazo?

• El surgimiento de muchas mas aplicaciones/companıasque usan IA

• En terminos de empleos, los robots van areemplazar/modificar empleos:

• Principalmente en telemarketing, cajeros, asistencialegal, choferes, comida rapida ....

• y en menos medida en psicologos, mutriologos,enfermeras, curas, artistas, cientıficos ...

• Algunas estiman que reemplazaran entre 400 y 800millones para el 2030

• Algunos estiman mayor creacion de nuevos empleos enRobotica, IA, IHR, entretenimiento, smart-X, ...

(INAOE) 31 / 40

Page 32: Resumen y Perspectivas

Introduccion

Tecnicas ytopicos novistosSelf supervisedlearning

Curriculum Learning

Lifelong ML

Sesgo en los datos

Transformers

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Super-Inteligencia

¿Que se espera a corto/mediano plazo?

(INAOE) 32 / 40

Page 33: Resumen y Perspectivas

Introduccion

Tecnicas ytopicos novistosSelf supervisedlearning

Curriculum Learning

Lifelong ML

Sesgo en los datos

Transformers

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Super-Inteligencia

Super-Inteligencia

• Posiblemente se vaya a crear un “singleton” con ventajay dominio competitivo sobre los demas

• Si no lo crea un gobierno, ¿que tal un grupo terrorista?• ¿Se pueden monitorear los avances de los diversos

grupos? ¿Se harıan colaboraciones intenacionales?

(INAOE) 33 / 40

Page 34: Resumen y Perspectivas

Introduccion

Tecnicas ytopicos novistosSelf supervisedlearning

Curriculum Learning

Lifelong ML

Sesgo en los datos

Transformers

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Super-Inteligencia

Super-Inteligencia

Miedos:• Se van a desplazar empleos (los no o poco calificados)

y se cree que pronto (aunque no se tenga unasuper-interligencia)

• Miedo de que termine con la raza humana• ¿Se podrıa controlar?• ¿Se pueden inculcar valores “humanos”?

(INAOE) 34 / 40

Page 35: Resumen y Perspectivas

Introduccion

Tecnicas ytopicos novistosSelf supervisedlearning

Curriculum Learning

Lifelong ML

Sesgo en los datos

Transformers

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Super-Inteligencia

¿Porque IA es mas difıcil de lo que secree?1

• Desde los inicios de IA ha tenido ciclos de primaveras einviernos

• En los inicios se hicieron predicciones irreales por losiniciadores del area (e.g., Simon, Shannon, Minsky, ...)

• Lo mismo ocurrio con los Sistemas Expertos y elProyecto de la Quinta Generacion de Japon

• Estamos viviendo lo mismo con las redes neuronalesprofundas (“aprenden atajos de las respuestascorrectas”)

• Predicciones de super-inteligencia en pocos anos:Russell, Altman (OpenAI), Legg (DeepMind),Zuckerberg (Facebook)

1M. Mitchell (2021). Why AI is harder than we think.arXiv:2104.12871v2

(INAOE) 35 / 40

Page 36: Resumen y Perspectivas

Introduccion

Tecnicas ytopicos novistosSelf supervisedlearning

Curriculum Learning

Lifelong ML

Sesgo en los datos

Transformers

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Super-Inteligencia

¿Porque IA es mas difıcil de lo que secree?: Las cuatro falacias

Falacia 1: Existe un contınuo de IA “estrecha” (narrow)hacia GAI

• Muchos avances se consideran como el primer pasohacia GAI (e.g., Deep Blue, Watson, GPT-3)

• “Es como asegurar que con el primer mono que subio aun arbol se estaba avanzando hacia el primer alunizaje”(S. Dreyfus)

(INAOE) 36 / 40

Page 37: Resumen y Perspectivas

Introduccion

Tecnicas ytopicos novistosSelf supervisedlearning

Curriculum Learning

Lifelong ML

Sesgo en los datos

Transformers

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Super-Inteligencia

¿Porque IA es mas difıcil de lo que secree?: Las cuatro falacias

Falacia 2: “Las cosas faciles son faciles y las difıciles sondifıciles”

• McCarhty: “IA es mas difıcil de lo que pensamos”;Minsky: “Es porque las cosas faciles son difıciles”

• Moravac: “Es relativamente facil hacer que lascomputadoras exhiban comportamiento experto enciertas areas y difıcil o imposible que tengan lashabilidades de un nino de un ano cuando se trata depercepcion y mobilidad”

• Existe un gran desconocimiento de la complejidad delos procesos subconscientes

• Somos inconscientes de la complejidad de nuestropropio proceso de pensamiento

(INAOE) 37 / 40

Page 38: Resumen y Perspectivas

Introduccion

Tecnicas ytopicos novistosSelf supervisedlearning

Curriculum Learning

Lifelong ML

Sesgo en los datos

Transformers

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Super-Inteligencia

¿Porque IA es mas difıcil de lo que secree?: Las cuatro falacias

Falacia 3: El atractivo de la mnemotecnia• El sistema “entiende”, “aprende”, “piensa”, ...• Algunos de los benchmarks tienen nombres

pretenciosos y se comparan con personas• Resultados: “Un sistema de IA es mejor que las

pesonas en ...”• El problema es que esas pruebas no miden la

generalidad de las habilidades

(INAOE) 38 / 40

Page 39: Resumen y Perspectivas

Introduccion

Tecnicas ytopicos novistosSelf supervisedlearning

Curriculum Learning

Lifelong ML

Sesgo en los datos

Transformers

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Super-Inteligencia

¿Porque IA es mas difıcil de lo que secree?: Las cuatro falacias

Falacia 4: Toda la inteligencia esta en el cerebro• La inteligencia se puede separar del cuerpo (pure

intelligence)• G. Hinton: “Para entender documentos a nivel humanos

vamos a necesitar redes mas grandes, peroseguramente la gente de hardware lo va a solucionar”

• Aunque los robots interactuan con el ambiente, suinteraccion es muy limitada

• La teorıa cognitiva actual sugiere que nuestrospensamientos estan asentados/asociados con lapercepcion, accion y las emociones, y que la mente y elcuerpo trabajan en conjunto para tener cognicion(embodied cognition)

(INAOE) 39 / 40

Page 40: Resumen y Perspectivas

Introduccion

Tecnicas ytopicos novistosSelf supervisedlearning

Curriculum Learning

Lifelong ML

Sesgo en los datos

Transformers

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Super-Inteligencia

Conclusiones• No esta claro como evaluar el progreso hacia una GAI o

como mejorar nuestra intruicion de lo que es lainteligencia

• Necesitamos mejorar el vocabulario de lo que lasmaquinas pueden hacer y mejorar el entendimiento dela inteligencia

• O. Etzioni: “El sentido comun en la materia obscura dela IA”

• Necesitamos dotar a las maquinas del conocimientoque los ninos tienen acerca del espacio, tiempo,causalidad, objetos inanimados, seres vivos, capacidadde abstraer y hacer analogıas (A. Turing - The ChildMachine)

• Lo que se hace ahora no es ciencia es alquımia (T.Winograd’77, E.Horvitz’17)

(INAOE) 40 / 40