quo vadis informatik? bindestrichinformatik – zerreißprobe maschinelles lernen / pattern...

Quo vadis Informatik?Bindestrichinformatik – ZerreißprobeMaschinelles Lernen / Pattern RecognitionBarbara Hammer, Institute of Informatics, Clausthal University of Technology

Barbara HammerInstitut of Informatics 2Quo vadis Informatik?

Clausthal

- ZellerfeldBrocken


GS-Z-12

???

GS-Z-13 GS-Z-14


GS-H-99

GS-CT-4 GS-Z-14 GS-G-42

GS-A-11 GS-K-11

Ein Fall für maschinelles Lernen / Pattern Recognition: Schnee-gestörte Nummernschildern lesen.


Maschinelles Lernen / Pattern Recognition

machine learning = teach your computer/machine to improve its performance based on experience (Mitchell)

pattern recognition = ‚low level KI‘, neuronale Netze/statistische Methoden auf der Basis von verteilter Information

schmutzige KI


Eigenschaften

ML ermöglicht- allgemeine Lösungen: entwickelt Lernmethoden für technische Systeme, sich Information und geeignete Darstellungen anzueignen

- adaptive Lösungen: entwickelt Lernmethoden, um aus problemspezifischen Beispielen problemspezifische Information zu generieren

- selbst adaptierende Lösungen: lebenslanges automatisiertes Lernen

- robuste Lösungen: basierend auf verteilter Informationsdarstellung, redundant, parallel

- effiziente Lösungen: neue Lösungen benötigen nur Trainingsbeispiele und Lernalgorithmus, skalierbar

dieses ist zentral / natürlich in ML realisiert

ML ist zentral für die junge Informatik


Zerreißprobe

ML

klassische KI

Mathematik

Anwendungen in der Informatik

BiologieGesellschaft

Anwendungen außerhalb der Informatik


Biologie

biologische neuronale Netze künstliche neuronale Netze- Perzeptron, MLP Ratenkodierung der Signale- spikende Netze Pulskodierung- SOM Selbstorganisation, winner-takes-all

biologische Lernprinzipien: Hebbsches Lernen, vielfach mathematisch ‚nachgebildet‘

Lernen aus der Biologie mithilfe der richtigen Abstraktion

Bsp: SVM RNNs – klassisches Backpropagation bis heute erfolglos,

biologische Alternative: festes rekurrentes Reservoir


Mathematik

statistische Lerntheorie Verifikation/Validierung von Modellen als Black-Box

Algorithmen

Lücke Theorie-Praxis: verschiedene Tagungen, verschiedene betrachtete Modelle, irrelevante Schranken

Kapazität (insbesondere rekurrenter) neuronaler Netze gliedert sich nicht in klassische Theorien (wie Chomsky) ein, Lernbias unklar, Bedeutung für konkrete Anwendungen unklar ( non-uniform-boolean-circuits, Blum-Shub-Smale Modell, definite memory machines, …)

formale Modelle in Bezug auf kognitive Fähigkeiten sind nötig


Anwendungen in der Informatik

Erkennung handgeschriebener Ziffern (>97%) Spam Filter (meiner ist klasse ;-) Robotik und Computer Vision (inverse Kinematik,

Repräsentation kontinuierlicher Umgebung, Bildinterpretation, …)

Computergrafik (Szenenanalyse, …) Data Mining (WebSOM, …) Computerlinguistik (Erkennen gesprochener Sprache, …) Neuroscience (Erklärung kognitiver Fähigkeiten) Bioinformatik (Interpretation von Daten aus High-throughput

Verfahren wie Microarrays / Spektren, …) Medizininformatik (Medizinische Bildverarbeitung, …) Wirtschaftsinformatik (Prognose von wasauchimmer ,…) …


Anwendungen außerhalb der Informatik

Prognose: Wetterdaten, Abverkäufe, Börsendaten, … Überwachung/Steuerung industrieller Anlagen Auswertung von Messdaten (Sonden für Landminen, …) Bilderkennung (militärischer Bereich, Umweltbereich, …) …

Pattern Recognition in der Regel ein kleiner, aber vitaler Anteil oft eher einfache (veraltete) Technologie verwandt häufig mühsame Adaptation der Eingabe (Vorverarbeitung) ‚nur‘ statistische Verifikation wird von Praktikern/Ingenieuren

oft nicht akzeptiert (zumindest nicht, wenn das Modell offensichtlich ein Black Box Mechanismus ist)

komfortablere/universelle/selbst adaptierende I/O nötig Interpretierbarkeit der Modelle nötig


Anwendungen innerhalb ML

eine Stelle / Leistungszulage / Drittmittel Publikationen neue Algorithmen

es existiert ein Zoo von Algorithmen (ohne adäquate Implementation)

benchmarks z.B. UCI, verschiedene contests, RoboCup, … data set selection problem

ordentliche Grundausstattung, faire Möglichkeiten für Stellen / Drittmittel, sinnvolle Leistungskriterien


Gesellschaft

Computers will take over? Noch nicht, aber Einsatz / Einsatzmöglichkeit von black box Mechanismen in kritischen Bereichen (Medizinische Diagnose, Kreditwürdigkeitsprognose, Biometrische Datenanalyse, Analyse von Proteom-Daten, ...)

Möglichkeit, Individuen zu überwachen / kategorisieren (market basket analysis, personalisierte Empfehlungen, einfache Analyse großer personalisierter Datenmengen durch wenauchimmer …)

Menschliches Expertenwissen wird automatisierbar


Klassische KI

liefert im Gegensatz zu schmutziger KI interpretierbare Modelle ist aber langsam oder funktioniert nicht in realen Umgebungen symbolisch/subsymbolische Integration nötig rekurrente neuronale Strukturen müssen verstanden werden


Quo vadis Informatik?

ML ist zentral für die junge InformatikLernen aus der Biologie mithilfe der richtigen AbstraktionVerifikation/Validierung von Modellen als Black-Box Algorithmen

ordentliche Grundausstattung, faire Möglichkeiten für Stellen / Drittmittel, sinnvolle Leistungskriterien

formale Modelle in Bezug auf kognitive Fähigkeiten sind nötigkomfortablere/universelle/selbst adaptierende I/O nötigInterpretierbarkeit der Modelle nötigsymbolisch/subsymbolische Integration nötigrekurrente neuronale Strukturen müssen verstanden werden


GS-H-99

GS-CT-4 GS-Z-14 GS-G-42

GS-H-99

GS-K-11GS-A-11

quo vadis informatik? bindestrichinformatik – zerreißprobe maschinelles lernen / pattern...

Documents