08/06/2004portal review1 knowledge collaborative portal review 8 june 2004 information systems and...
TRANSCRIPT
08/06/2004 Portal Review 1
Knowledge Collaborative Portal Review
8 June 2004
Information Systems and Telecommunication Division
08/06/2004 Portal Review 2
“Menu”
General IT landscape
Functional Presentation
- XML Referential
Albert – search engine
Sympa – mass mailing
Static and “Chef d’Orchestre”; KO redirection
Portal Development Environment
Physical Architecture
08/06/2004 Portal Review 3
General IT Landscape
• Complex network and application architecture
– “low level” physical infrastructure (cabling, active elements);
– IP network architecture (addressing, routing, DNS, DHCP, etc.);
– Servers & Systems (Windows, Unix, Linux);
• File, Web, Application, Database, etc.
– Connectivity (Internet, WAN, misc.);
– Security (Firewall, Proxy, DMZ) authentication, Antivirus, IDS;
– Performance, optimization (Packetshaper, Cache, CoS, Redundancy/Loadbalancing, IP compression, etc.);
08/06/2004 Portal Review 4
General IT Landscape
• Main (ongoing) projects– Active Directory / LDAP– Storage: SAN, NAS, BackUp, Disaster Recovery– Information Life Cycle Management
• On-line/near-line/off-line ; Archiving• E-mail, web, documents, SAP, etc.
– Server Consolidation• File servers• Web servers• Application servers
08/06/2004 Portal Review 5
Functional presentation
• Needs– Cross cutting– Multilinguism– Easy access to the huge amount of data UNESCO
publishes online
08/06/2004 Portal Review 6
Functional presentation
• Actions for the portal– Standardization– Definition of a functional architecture– Pooling of resources
• Search engine• Mailing-lists
– Definition of a physical architecture
08/06/2004 Portal Review 7
Functional architecture : past activities
• Work has been going on for more than 2 years– Installation of Simplify, Albert, etc.– Design of a functional architecture– Work on the data (XML repository)– Work on the presentation
• The first bricks can now be used
08/06/2004 Portal Review 8
Functionnal Architecture
Consultation Internet
Other Sites
Content Management
Static
Presentation
Profiling
NewsMailing
Multimedia
CategorizationIndexation
Metadata repository
XML
Members directory
LDAP
Thesaurus
Search
engin
e
Connectors
DiscussionForum
08/06/2004 Portal Review 9
Functional architecture : main directions
• Quality of data– Editors rarely qualify the content they type – Automatic processing requires qualifiers (meta data)
• Presentation of data– Definition of themes– Multi channel presentation (web, mailing lists, etc.)– Profiling
08/06/2004 Portal Review 10
Portal data
• Eventually each document published on the Internet will be referenced in the XML repository
– Described by an identity card
– Qualified by keywords
• Work progress
– The identity card is defined
– The XML Repository is set up
– The Repository is feed by Simplify
– A connector architecture has been designed to feed the repository
08/06/2004 Portal Review 11
Portal data : data quality
• Importance of good qualification– Without it data cannot be processed
• Work progress– Automatic qualification– Qualification statistics– Simplify contributors help– Identity card editing
08/06/2004 Portal Review 12
Portal presentation
• Present data to better attain target publics• No duplication : only links and summaries• Multiple channels : HTML, mail, RSS, etc.
08/06/2004 Portal Review 13
Portal presentation : themes
• How does it work ?
– Definition of themes : set of keywords to describe a topic
• Exemple : theme AIDS in Africa is described by ‘AIDS’ and ‘Africa’
– The Repository extracts matching data
– An editor selects the documents he wants to present
– A portal page is automatically created in Simplify
– Eventually, other channels will be added : mailing, RSS, etc.
08/06/2004 Portal Review 14
Portal presentation : demonstration
• Online demonstation
08/06/2004 Portal Review 15
Moteur de recherche 1/2
• Avril 2004 DIT avait installé sur un nouveau serveur les bases de la maquette Albert: le moteur de recherche, l’indexation de flux de données hétérogènes: CMS, WEB, UNESDOC.. PB techniques de BD, Thésaurus trop « riche », contenus interne et externe mélangés -> résultats confus.
• Recadrage du projet avec les secteurs (approche concensuelle)
• http://portal.unesco.org/search/wg
• Groupes de travail: Enquête, Pages promo.,Test qualité, indexation contrôlé, stratégie, affichage contextuel des résultats.
• ->Lancement reporté d’Albert courrant septembre 2004
08/06/2004 Portal Review 16
Moteur Albert 2/2
• Réutilisation de l’API simplify->RefXML pour Albert. Maîtrise des données injectées:– Meta data Simplify (type, keywords, auteur,….)– Indexation tous les 15mn des Kos simplify(CMS).
• Indexation des sites WEB en fonction du contenu– Elaboration de descripteur de site DIT-BFC
• Définition des metadonnées à injecter.• Réécriture de la partie affichage des résultats. • Assistance technique.
08/06/2004 Portal Review 17
Mass-Mailling –SYMPA v3-
• 71 listes10 > 1000 abonnés.15 > 100 abonnés22 > 10 abonnés.24 <10 abonnés.
• 800 à 4000 emails par semaine envoyés en mai.
• Facilité d’utilisation• Moins bien adapté pour les
groupes de discussion que UBB.• Bonne tenu en charge.• Version 4 à tester:
Soap interfaceCAS SingOn system
Abonnés pat liste
0
1000
2000
3000
4000
5000
6000
7000
8000
1 6 11 16 21 26 31 36 41 46 51 56 61 66
Série1
08/06/2004 Portal Review 18
Architecture Simplify actuelle
FireWall
Simplify1
BD
Simplify3Simplify2 Simplify4
BDBDBD
FrontalPu
bli
cP
rivé
FrontalPu
bli
cP
rivé
s_waters_clts_shs…..
s_cis_intras_wwap
s_edu s_unesco
Recommendations Tomoye:
-4 instances / serveurs
<50 000 Kos
-Déploiement des applications sur plusieurs serveurs
08/06/2004 Portal Review 19
GatewayUnique
Webmaster
Architecture Simplify
FireWall
Simplify1
BD
Simplify3Simplify2 Simplify4
BDBDBD
FrontalPu
bli
cP
rivé
FrontalPu
bli
cP
rivé
Frontal
HA
Haute disponibilité (HA)
Sécurité
Facilité d’accès
Base de données Master Base de données Slave
HA
ServersWWWServersWWWServersWWW
Architecture WEB
Accélérateur
FireWall
HA
08/06/2004 Portal Review 20
Liste des serveurs
• Portal0 Actuel Front + quelques instances Simplify• Srvportal01 – Albert Installé• Srvportal02 – Mysql master • Srvportal03 – Mysql esclave• Srvportal04 – Serveur d’application – XmlRef• Srvportal05 – Serveur Simplify• Srvportal06 – Seveur Simplify+application Web• Srvportal07 – Serveur Simplify• Clustering Front
– Srvfront01 – Serveur Frontal01– Srvfront02 – Serveur Frontal02
• 2 autres serveurs pour la HauteDispo
08/06/2004 Portal Review 21
Static site
• Problem– Simplify servers were slow because overloaded– Response time for visitors too long– Contribution rendered difficult
• Solution– Simplify sites are quasi-static– Create a static (HTML) site from Simplify– Optimal response time for visitors
• Simplify sites are being transformed into static
08/06/2004 Portal Review 22
Static site
• Limitations– Reactivity– Template modification
• Solution : chef d’orchestre/conductor application– Schedules static transformation– Immediate generation of topics– Generation of topics after a template has changed– Deletion of topics
08/06/2004 Portal Review 23
Static site : “nice” URL
• URL problem– Simplify URLs are complex and obfuscated– http://portal.unesco.org/en/ev.php-URL_ID=15006&U
RL_DO=DO_TOPIC&URL_SECTION=201.html• “nice URL” feature
– www.unesco.org/culture maps to a Simplify URL
08/06/2004 Portal Review 24
Static site : “nice” URL
• How does it work ?– Create a new topic of “alias/redirection” type– For each language, map a nice URL to a static Simplify
URL
08/06/2004 Portal Review 25
Administration des applications portails
GatewayUnique
Webmaster
•Permettre l’accès centralisé aux serveurs:
•Un seul point d’entrée
•une seule authentification
•Sécurise l’accès via HTTPS, SFTP, SSH.
08/06/2004 Portal Review 26
Mutualisation des développements
• Les développements PHP, PERL, JAVA, XML… et les documentations sont hébergés sur un serveur (repository)
Concurrent Version Systèm:– Le + utilisé dans l’OpenSource, le + connu.– Programmation collaborative via internet.– La programmation des modules du portail peuvent
être faite à partir de partout dans le monde et peuvent être partagé.
– Par son ouverture, permet un meilleur contrôle des développements.
– Mise à disposition des sources et packages.
08/06/2004 Portal Review 27
L’expériences CMS Multilingue
• Etude sur des CMS multilingue « open source » en java, php, python.
• L’option retenu a été OpenCMS.
– BackOffice évolué, bonne réputation.
– Frameworks « lourd » à mettre en œuvre.
– Notion d’object (KO) manquante -> Développement spécifique -> trop cher.
• Nouvelle proposition avec « Infoglue ». Arrêt de l’étude à cause du manque de visibilité et de financement
08/06/2004 Portal Review 28
End
• Thank you for your attention