2. Projektlenkungssitzung Smart Web European Media Lab (EML)
Heidelberg, 16. Dezember 2005
Stand des Projektes
Deutsches Forschungszentrum für Künstliche Intelligenz GmbHStuhlsatzenhausweg 3, Geb. 43.8
66123 SaarbrückenTel.: (0681) 302-5252/4162Fax: (0681) 302-5383/5341E-mail: [email protected]
WWW: http://www.dfki.de/~wahlster
Wolfgang Wahlster
16.12.2005 Zweite SmartWeb-Projektlenkungssitzung© W. Wahlster
SmartWeb integriert vier aktuelle Forschungsgebiete
Sprachtechnologie
SmartWeb
MobileBreitband-
kommunikation
SemantischesWeb
MultimodalerDialog
Projektfolge mit systematischer Ergebnisverwertung:Verbmobil SmartKom SmartWeb
16.12.2005 Zweite SmartWeb-Projektlenkungssitzung© W. Wahlster
Der erste Meilenstein 1wurde termingerecht am 31.03.2005 erfüllt
Realisierung der Gesamtarchitektur
Serverbasiertes multimodales Demonstratorsystem V0.1 zu den Domänen WM-2006 und Kfz
Basisontologien für die Domänen WM-2006 und Kfz und für dieDiskursverarbeitung prototypisch definiert
Verarbeitung unbekannter Orts- und Personennamen in der sprachlichen Interaktion
Spin-off-Planung im Rahmen des Technologietransfers
16.12.2005 Zweite SmartWeb-Projektlenkungssitzung© W. Wahlster
Checkliste für Meilenstein 2Auf sehr gutem Wege bis zum 31.03.2006
Technologieüberprüfung für Hardware-Update (Mobiler Client)
Server- und Client Forschungsprototyp V0.5 zu den Domänen WM-2006 und Kfz mit unbekannten Wörtern aus diesen Domänen
Interaktionen für das Motorrad realisiert
Ontologische Modellierung der Domänen stabil in einer ersten Version
Signifikante Anzahl von Webseiten aus dem Sportbereich semantisch annotiert
Robuste multimodale On-/Offtalk-Unterscheidung
16.12.2005 Zweite SmartWeb-Projektlenkungssitzung© W. Wahlster
SmartWebs Mobiles Endgerät: Vom Mobile Digital Assistent MDA III zum MDA Pro
MDA III• GPRS, WLAN• Bluetooth• Windows
Mobile 2003• 1 Kamera• 320 x 240
MDA Pro• UMTS, WLAN• Bluetooth• Windows Mobile 2005• 2 Kameras• 640 x 480 VGA• Zugriff auf
Benutzer-kamera
16.12.2005 Zweite SmartWeb-Projektlenkungssitzung© W. Wahlster
Übergang auf neuesteEndgerätegeneration der Telekom
• Technologieüberprüfung für Hardware-Update (2. Meilenstein) bereits erfolgt:
- MDA Pro ergänzt MDA III als persönliches Endgerät- PDA/Smartphone bietet zusätzlich UMTS (neben WLAN), integrierte
Kamera für Benutzeraufnahme, sowie hochauflösende VGA-Bildschirmdarstellung mit wahlweise drehbarem Bildschirm (Hoch- und Querformat)
• MDA Pro Nutzung für SmartWeb:- Gerät, neues Betriebssystem und Entwicklungswerkzeuge erst ganz
kurz am Markt verfügbar- Basisportierung erfolgreich abgeschlossen (vorläufige Problemlösung
für Inkompatibilitäten bei Audioanbindung konnte kurzfristig realisiert werden)- Kameraanbindung und Bildübertragung für MDA Pro erfordert noch höhere
Implementierungsaufwände• Soll bis zum 2. Meilenstein für den WM-Demonstrator abgeschlossen sein• Experimentalaufbau mit externer, serverseitig angebundener Kamera für CeBIT
• Portierung des gesamten lokalen Dialogsystems- Java-Umgebung für lokalen Spracherkenner, lokale Steuerungskomponente und Anbindung
an die Sympalog-Plattform.
16.12.2005 Zweite SmartWeb-Projektlenkungssitzung© W. Wahlster
Optimierung der SmartWeb Bedienoberfläche
Schnelle Anpassung auf Breitkantformat möglich durch eigens entwickeltes Layout-XML-Format.
Einbinden der Handschrifterkennung im VGA-Modus.
Automatische Erkennung der Bildschirmausrichtung + automatisches Umschalten.
Reduktion des Speicherverbrauchs: Bei hoher Auflösung ist der Speicherbedarf extrem hoch, wenngleich der MDA Pro weniger Speicher zur Verfügung stellt.
CPU Auslastung verringern, da das neue Betriebssystem langsamer reagiert und bei hoher Auflösung mehr Rechenzeit erforderlich ist.
Videos flüssiger abspielen.
16.12.2005 Zweite SmartWeb-Projektlenkungssitzung© W. Wahlster
Adaption der Sympalog Dialogsystemplattform
Serverseitige DialogverarbeitungServerseitige Dialogverarbeitung
SymCTMCall & TaskManager
SymCTMCall & TaskManager
MultimodalerErkenner
Sympalog, FAU, UdS
MultimodalerErkenner
Sympalog, FAU, UdS
Semantic Web
Zugriff
Sprach- kanal
Persönliches Endgerät
Persönliches Endgerät
Dialog- verarbeitungDFKI-IUI, EML
Dialog- verarbeitungDFKI-IUI, EML
SprachsyntheseIMS
SprachsyntheseIMS
CAPI(ISDN )CAPI(ISDN )
H.323 / SIP(VoiceIP )
H.323 / SIP(VoiceIP )
SymClientExtended
Audiomodul
SymClientExtended
Audiomodul
Nachrichten
A-Law Audio
A-Law Audio
Video
Daten (Bedienoberfläche)
NachrichtenIP
Die (modifizierte) Sympalog-Plattform leistet die Telefonie- sowie Endgeräteanbindung und macht die Verarbeitung multisession-fähig für den Mehrbenutzerbetrieb.
Die (modifizierte) Sympalog-Plattform leistet die Telefonie- sowie Endgeräteanbindung und macht die Verarbeitung multisession-fähig für den Mehrbenutzerbetrieb.
16.12.2005 Zweite SmartWeb-Projektlenkungssitzung© W. Wahlster
Neu: Mehrbenutzerfähigkeit
skalierbare Serverfarm
• Mit 3 parallelen mobilen Clients wurde SmartWeb bereits erfolgreich getestet• Pro Server können bis zu 30 Kanäle für SmartWeb bereitgestellt werden.
16.12.2005 Zweite SmartWeb-Projektlenkungssitzung© W. Wahlster
Verarbeitung von Diskursphänomenen: Neu: Auflösung von Ellipsen
• Vervollständigung aus dem Diskurs-Kontext
• Generischer Ansatz implementiert (Weiterführung des Ansatzes von SmartKom)
• Paraphrase zeigt die vervollständigte semantische Struktur
16.12.2005 Zweite SmartWeb-Projektlenkungssitzung© W. Wahlster
Neu: Paraphrasengenerierung
• Vereinfachte Darstellung der semantischen Repräsentation
• Zentral: Wonach wird gefragt?• Umkehrung der Analyse
– Generierungsregeln für Konzepte der Ontologie
– Traversierung des Ergebnisses der Sprachanalyse
– Vereinfachung– Beibehaltung der inhaltstragenden
Strukturen– Formatierung
• Der Benutzer kann auf diese Weise das Sprachverstehen des Systems überwachen und ggf. korrigieren
16.12.2005 Zweite SmartWeb-Projektlenkungssitzung© W. Wahlster
Neu: Dialogkohärenz durch Ellipsenverarbeitung
16.12.2005 Zweite SmartWeb-Projektlenkungssitzung© W. Wahlster
Neu: Integration von Webdiensten mit aktueller Verkehrsinformation
16.12.2005 Zweite SmartWeb-Projektlenkungssitzung© W. Wahlster
Neu: Eingabe und Beantwortung von beliebigen Fragen in akustischer oder schriftlicher Form
16.12.2005 Zweite SmartWeb-Projektlenkungssitzung© W. Wahlster
Domänenoffene Fragebeantwortung
Erfolgreiche Integration der DFKI-Technologie des Forschungsbereichs Sprachtechnologie (Prof. Uszkoreit) für domänenoffene Fragebeantwortung in den SmartWeb-Demonstrator- Erweiterung der robusten Frageanalyse für Deutsch mit Schnittstellen
zum Spracherkenner und der Bildextraktionskomponente- Formulierung optimaler Google-Anfragen unter Berücksichtigung der
linguistischen Analyse- Antwortselektion zur Bestimmung der besten Kandidaten
Aktive Teilnahme an CLEF-2005 (Cross-Language Evaluation Forum) (Neumann et al. 2005; beste Ergebnisse für Deutsch und Englisch als Zielsprache; u.a. 43.5% (87/200) Akkuratheit für Task DE2DE, 25.5 % (51/200) für DE2EN)
Prototyp für sprachunabhängige Fragebeantwortung aus Web-Snippets basierend auf statistischen Verfahren als Grundlage für englisches System (Figueroa & Neumann, Paper für WEBIST06)
16.12.2005 Zweite SmartWeb-Projektlenkungssitzung© W. Wahlster
Neu: Automatische Extraktion und Annotation von Bildern aus PDF-Dokumenten im Web
Layout-Analyse zur Erkennung vonBildbeschriftungen, Mehrdeutigkeitsanalyse
10% der Webseiten im PDF-FormatGoogle wertet Bilder im PDF-Dokumenten nicht aus, hier schließt SmartWeb eine Lücke→ QUAERO-Projekt des BMWi
Gerber foult Wiesinger
16.12.2005 Zweite SmartWeb-Projektlenkungssitzung© W. Wahlster
Interaktiver intelligenter Zugriff
Interaktive semantische Zugriffsdienste
Interaktive semantische Zugriffsdienste
AP 5.1 DFKI-LT, UdS, Siemens
AP 5.1 DFKI-LT, UdS, Siemens
Freie Fragebe- antwortung
Freie Fragebe- antwortung
SemanticMediator
AP 6.1.1 DFKI-KM
SemanticMediator
AP 6.1.1 DFKI-KM Web ServiceZugriff
AP 6.2.3 AIFB,DFKI-KM
Web ServiceZugriff
AP 6.2.3 AIFB,DFKI-KM
Agentenbasiertersemantischer
ZugriffAP 5.1.3.1/6.1.2 EML
Agentenbasiertersemantischer
ZugriffAP 5.1.3.1/6.1.2 EML
Wissens-server
TP 4 Ontoprise, AIFB, DFKI-KM
Wissens-server
TP 4 Ontoprise, AIFB, DFKI-KM
Web Services
Web-Seiten
?Web- Seiten
Ontologien&
Faktenbasis
Dialog
Datenaustausch mittels RDF/S plus EMMA, DLP (OWL-Easy), XTriple, F-Logic
Web-Ressourcen
Semantisches Crawlen, voll-automatische Generierung semantischerWeb-Seiten,Design,Lernen und Integrationvon Ontologien
Semantisches Crawlen, voll-automatische Generierung semantischerWeb-Seiten,Design,Lernen und Integrationvon Ontologien
Semantische ModellierungSemantische Modellierung
16.12.2005 Zweite SmartWeb-Projektlenkungssitzung© W. Wahlster
Entwicklung einer Infrastruktur für zukunftsweisende Technologien zur automatischen Verarbeitung multimedialer Inhalte: Digitalisierung, Indexierung, Archivierung, Recherche und Zugriff auf Schrifttum, Bilder, Videos und Audiodateien, wobei die Fähigkeit zum Umgang mit Inhalten in den verschiedenen europäischen Sprachen genauso integraler Bestandteil des Projektes ist, wie die Mobilität, Datensicherheit, Schutz der Privatsphäre. Anwendungen: u.a. multimediale Suchmaschinen, News-on-demand und Monitoring von Medien als Dienste
Industriekonsortium: Bertelsmann, Siemens, Telekom, Koordination: Dr. Blume (DLR)
QUAERO: Mögliche SmartWeb-Nutzung in Deutsch-Französischem Mega-Projekt
Am 22.12. Spitzengespräch bei BundeskanzlerinMerkel zu diesem Thema.
16.12.2005 Zweite SmartWeb-Projektlenkungssitzung© W. Wahlster
Bereits 2 Buchpublikationen aus SmartWeb
• Author: Daniel Oberle
• Series: The Semantic Web and Beyond,
• Volume: I
• Editors: Amit P. Sheth, Ramesh Jain
• Foreword: Steffen Staab
• Preface: Amit P. Sheth
• Publisher: Springer Science+Business and Media
• Release: December 2005
• Available @ amazon.com
• http://www.aifb.uni-karlsruhe.de/WBS/dob/book/
16.12.2005 Zweite SmartWeb-Projektlenkungssitzung© W. Wahlster
Bereits 2 Buchpublikationen aus SmartWeb
16.12.2005 Zweite SmartWeb-Projektlenkungssitzung© W. Wahlster
Neu: Entwicklerportal mit Komponentendatenbank
• Ausbau des Entwicklerportals mit neuer „Datenbank“ zu SmartWeb Softwarekomponenten:
– Stellt technische Information und Kurzbeschreibung in standardisierter Form bereit
– Unterstützt den Technologietransfer
– Bietet einfacheren Zugang zur notwendigen Dokumentation für die Systementwicklung
• Aktuelle Version umfasst bereits rund 130 Datenblätter
16.12.2005 Zweite SmartWeb-Projektlenkungssitzung© W. Wahlster
SmartWeb-Treffen seit der ersten Projektstandsssitzung am 14.06.2005
14.06.2005 Erste Projektstandssitzung München
15.06.2005 Erste MoKo-Sitzung München
28.–29.06.2005 Workshop TP5 'On- und offline Extraktion von semantischen Strukturen' Saarbrücken 07.07.2005 Arbeitstreffen Einbindung der Kontextmodellierung Saarbrücken 07.07.2005 Arbeitstreffen Schnittstellenabsprache für die
OnView/OffView/OnTalk/OffTalk-Erkennung Erlangen
08.07.2005 Arbeitstreffen serverbasierte Spracherkennung und Spracherkennung im KFZ Erlangen
20.07.2005 Arbeitstreffen Lernen von Domänenontologien Heidelberg 20.–21.07.2005 Workshop Motorradsystem München
28.–29.07.2005 Viertes Arbeitstreffen Ontologieabstimmung, Dialog, Mediator und offline IE Karlsruhe
16.12.2005 Zweite SmartWeb-Projektlenkungssitzung© W. Wahlster
01.09.2005 Arbeitstreffen zur Ontologieabstimmung und -integration Heidelberg
14.09.2005 Arbeitstreffen zur Integration der Kontextmodellierung Saarbrücken
26.10.2005 Arbeitstreffen Web Services Modellierung Karlsruhe
27.10.2005 Vierte Lenkungskreissizung Stuttgart
28.10.2005 Arbeitstreffen zur LingInfo-Abstimmung Kaiserslautern 31.10.2005 Arbeitstreffen Englisches System: Speech Erlangen
02.–03.11.2005 Arbeitstreffen Englisches System: Language Processing and Extraction Saarbrücken
15.11.2005 Arbeitstreffen Merkmalberechnung für die Erkennung von Worten und Wortuntereinheiten Erlangen
06.12.2005 Zweiter Gesamtworkshop Saarbrücken
SmartWeb-Treffen seit der ersten Projektstandsssitzung am 14.06.2005
16.12.2005 Zweite SmartWeb-Projektlenkungssitzung© W. Wahlster
Außendarstellung seit der ersten Projektstandssitzung am 18.10.2004
05.07.2005 SmartWeb-Demo für Nick Campbell, ATR
15.07.2005 SmartWeb-Demo für Saarlandbotschafter
18.07.2005 SmartWeb-Demo für Telekom Laboratories
01.08.2005 SmartWeb-Demo für Prof. Toru Ishida
10.10.2005 SmartWeb-Demo für MinR Dr. Manfred Dietrich (BMBF)
09.11.2005 Filmbericht der ARD (SR, Aktueller Bericht)im Rahmen der Pressekonferenz "Microsoft - Saarland - DFKI"
16.11.2005 SmartWeb-Demo für Adam Opel AG
16.12.2005 Zweite SmartWeb-Projektlenkungssitzung© W. Wahlster
Terminplanung
• PLS-01 16.12.2005 EML, Heidelberg
• LK-05 09.02.2006 ? IMS, Stuttgart
• PSS-02 14.06.2006 DTAG, Berlin
• WM-Demo 17.06.2006 ? Fritz-Walter-Stadion(Italien:USA) Kaiserslautern
• Ort der Ideen 22.09.2006 DFKI, Saarbrücken
Presseevent der Bundesregierung Deutschland – Land der Ideen mit Verabschiedung Dr. Reuse, große SmartWeb-Demonstration