Business Integration Intégration de données (EII)

Business Integration Intégration de données (EII) Intégration d'applications (EAI) Vers l'architecture SOA Commerce électronique B2B

1. Introduction L’existant Nombre croissant de données dispersées dans une grande variété de sources de données hétérogènes Données internes à l’entreprise (protégées par un firewall) et externes, chez des fournisseurs, des partenaires ou des clients Le besoin Introduction Les applications doivent accéder et combiner ces données efficacement, facilement et en toute sécurité Le B2B nécessite l’intégration lâche des systèmes d’information par les données 2

Les niveaux d'intégration Business Process EAI Intégration d'applications Intégration de données Intégration de plate-formes Systèmes Introduction Réseaux SGBD 3 BD Fédérées EII Standards J2EE Web Services

Intégration données et d'applications (EIS) Intégration de données (EII) 1 serveur d'applications N sources de données Accès unifié par vues et requêtes Intégration d'applications (EAI) Introduction N serveurs d'applications 1 serveur d'intégration Échange de données inter-applications Pilotage par workflows 4

Enjeux de l’intégration Selon études IBM: pour 1 dépensé pour une application packagée, de 5 à 9 sont dépensés pour assurer son intégration Selon l’IDC: l’intégration d’information aura une croissance de 22% jusqu’en 2007, soit 3,5 B Selon le Gartner: 40% des budgets IT sont dépensés en intégration Selon Morgan Stanley: Introduction l’intégration de données est devenue la priorité N 1 des entreprises avant le e-business et le CRM 5

2. Intégration de données (EII et XML) Base de données intégrée virtuelle approche où les données intégrées ne sont pas matérialisées dans un SGBD intégration à la demande pour répondre aux requêtes Seules les données utiles sont manipulées L’utilisation d’un cache augmente les performances Limitations performance calculs d’intégration complexes, sources lentes ou indisponibles Pas d’historique des données Intégration de données 6

Exemple de scénario Systèmes classiques CLIENT Données techniques Site 5 Commandes, Clients, Factures Site 4 Site 1 Opérations des produits Réseau de communication Données géographiques Données textuelles Site 2 Site 3 Descriptions des produits Intégration de données SERVEUR 7 Localisation des clients

Hétérogénéité des modèles Source 2: Repository XML !ELEMENT Vin (Cru, Degre, Description ) !ATTLIST Vin nv CDATA #IMPLIED !ELEMENT Buveur (Nom, Place,Date, Type) !ATTLIST Buveur nb CDATA #IMPLIED !ELEMENT Catalogue (Vin, Offre, Publicité?) . Source 1: SGBDR Buveurs Vins Nom NV DateN Pays Cru Mill Type Degre Source 4: LDAP Source 3: WEB personne buveur service chef Personne boire employé Boisson vins Région Intégration de données 8 Description

Architecture de schémas Schéma de médiation mappings Schéma source Schéma source Source 1 Source 2 Méthodes de mapping Descendante (le schéma de médiation est une vue) - GAV Ascendante (le schéma source est une vue) - LAV Mixte (la combinaison de schémas sources est une vue) Intégration de données 9

Hétérogénéité des langages Source 1: RDBMS Source 2: XML Repository SOAP XQuery ODBC/JDBC SQL Source 4: LDAP Source 3: WEB LDAP QUERY Google Text Queries WEB Services Intégration de données 10

Traitement d’une requête Source 1 Schéma de médiation Traduction q1 Q Décomposition Intégration q2 Traduction Vue utilisateur Source 2 Dans tous les cas, le médiateur génère des sous-requêtes optimisées à partir de Q Intégration de données 11

Architecture DARPA I3 Applications objet Niveau Client Applications client Browser web Services Interaction Services Coordination Facilitateur 2 Facilitateur 1 Niveau Médiation Niveau Source Services Integration Médiateur 1 Wrapper Source 1 Intégration de données Médiateur N Wrapper Source 2 12 . Wrapper Source N Services Translation Services Accès

Schéma de médiation XML Atouts Un modèle complet (XML Schema) plus riche que le relationnel Permet de mixer documents et données structurées Langages de requêtes normalisé: XQuery, SQL/XML Bien adapté aux échanges B2B: Unification des noms possible, mécanisme de "namespaces" Difficultés : Technologie complexe à maîtriser Performance de XML (texte) Intégration de données 13

Une réalité industrielle Enosys Médiateur XQuery Librairie de wrappers Nimble.com Racheté par Actuate Base d'intégration sémantique Correspondance entre Xpath IBM Xperanto XQuery au-dessus de SGBDR Compilation en SQL Médience (INRIA BO) Relationnel API XML Intégration de données Liquid Data (BEA) Dérivé de Enosys Vues XML/XQuery IBM Information Integrator Système hybride SQL et XML Basé sur SQL/XML OLE/DB.NET Extension de OLE/DB à XML Interrogation SQL for XML DENODO Plate-forme d'intégration SQL Extension à XQuery en cours 14

BO Data Integrator Site #2 Intégré à BO XI Solution mixte Relationnel/XML Server Site #1 Application #2 Données DR Server Application #1 Site #3 Données CD Server Architecture récursive Application #3 Données NP Intégration de données 16

Liquid Data de BEA Schéma de médiation XML Intégration de données par vues XML Interrogation uniforme en XQuery Sources de données Sources de données J2EE JCA, fichiers, XML Applications patrimoniales Adaptateurs intégrés au médiateur Interfaces applicatives JDBC orienté XML Méthode de mapping descendante Intégration de données 17

Liquid Data de BEA Architecture intégrée à WebLogic/AquaLogic Intégration de données 18

XQuare Fusion (Open Source) Schéma de médiation XML Sources de données: BDs, XML, fichiers, services Web Interfaces applicatives : XDBC, insertion dans des sources Méthode de mapping descendante Version Open source disponible Industrialisée par start up fermée début 2003 Seul médiateur en Open Source (www.xquark.org) Intégration de données 19

Bilan Les bases fédérées s'orientent vers XML XQuery distribué est en marche Technologie idéale pour Portails BD Interrogation multi-sources Services données dans SOA Exemples d'applications Le dossier patient virtuel Le portail touristique Problèmes Architecture complexe Performance Intégration de données 20

3. Intégration d'applications (EAI et XML) Enterprise Application Integrator EAI et XML Échange de données entre applications Transformation et fusion des sources Stockage intermédiaire en BD Diffusion vers les cibles Pilotage des flots (Workflow) Connexion avec bus applicatif (CORBA, DCOM) De plus en plus souvent basés sur XML 21

Intérêt d'un modèle pivot L'intégration d'information nécessite un modèle pivot (global, fédérateur, d'échange) XML est conçu pour cela Les Services Web peuvent être invoqués pour produire/consommer du XML SOAP est de plus en plus présent EAI et XML 22 n m versus n*m

Structure d'un EAI Hub and Spoke Application J2EE Bus (ESB) Hub EAI Application Siebel Application J2EE Application SAP Application .NET Application SAP Bus EAI Application Siebel EAI et XML 23 Application .NET

Les couches Couche transport Transport des messages depuis l'EAI aux applications et vice-versa Peut ou non intégrer Intranet/Internet Couche transformation et routage Transformation et intégration des messages Routage vers les applications Couche modélisation métier EAI et XML Modélisation des flux (workflow) Définition des objets métiers De plus en plus basée sur BPM (Web services) 24

Le transport Request Queue Application EAI et XML Response Queue Serveur EAI Connectivité du réseau Gestion des messages et files d'attentes Sécurité et cryptage Logging et répétition des messages Routage des messages Utilisation TCPIP, HTTP, SOAP, SMTP, IIOP, Message-Oriented Middleware (MOM) 25

La transformation De l'application au modèle d'échange (XML) Connecteur, Adaptateur, Extracteur Transforme une source en XML De XML à XML Utilisation de XSL Intégration de N flots en 1 Du modèle d'échange à l'application Connecteur, Adaptateur, Publisher Présente les données aux applications La gestion des méta-données EAI et XML Formats et règles Annuaire des applications et utilisateurs 26

Les processus métiers Modélisation de processus métiers Enchaînement d'activités Echange de messages XML Transactions courtes et longues Intégration des Services Web API standards décrites en WSDL Langages d'orchestration (WFSL, XLANG, BPEL, .) Interpréteur des workflows EAI et XML Généralement centralisé Pilote les processus et échanges 27

Architecture fonctionnelle Dévelop . CC OO NN FF II GG UU RR AA TT II OO NN Admin. Workflows Processus Métier Chemins Routage Messages Règles Transformation Formats SS UU PP EE RR VV II SS II OO NN Connecteurs TRANSPORT Progiciels EAI et XML SGBD 28 Fichiers Application AA DD M M II NN II SS TT RR AA TT II OO NN

Types d'échanges Y 1) 2) Y Fire and Forget Request / Reply No Response required System makes request X and gets response EAI X EAI A B C X EAI 4A/B) XREF Multiple Applications needed to satisfy request 4A: XREF Look-up Needs ability to cache response from multiple requests to respond to one message X Y A X Y EAI Z B EAI C X EAI 5) 6A) Publish Subscribe Needs data from Z to be A, B and C subscribe to message 4B: XREF Update EAI et XML 3) 29 able to update Y

Exemple: MS BizTalkServer BizTalk Server offre un moyen sophistiqué de créer une activité commerciale avec échanges de documents XML BizTalk Serveur est basé sur .NET, SQL Server et les Web Services Possibilité de création automatique des documents XML suivant une base de donnée existante (vues XML) Bibliothèque de schémas extensibles (Editor) Définition graphiques des mappings (Mapper) Support du Business Process Management et de transactions longues avec XLang (bientôt BPEL?) EAI et XML 30

Exemple de scénario Modélisation d'une activité commerciale Process Buyer Process Supplier Génération et échange de message XML Tests et contrôles EAI et XML Total 1000 31

Architecture Adapter Receive Pipeline Orchestration #2 Receive Port Business Rules Orchestration #1 Message Format 1 Message Format 2 Send Port Adapter Send Pipeline Host Tracking DB EAI et XML Publish and Subscribe Message Box (SQL) 32 Config DB DB

Sun One Caractéristiques EAI et XML Totalement basé sur XML Transformations spécifiées en XSL Accès à de multiples sources (connecteurs Java, C , .) Intégration de services web via des "application proxies" Capacité de BPM spécifié via interface graphique Multiples plate-formes 33

Evolution des produits IBM WebSphere Interchange Server Anciennement nommé Crossworlds Interchange Server, ce serveur d'intégration est exploité dans le contexte d'une approche top-down, centrée donc sur l'intégration par les processus. WebSphere MQ Integrator Broker Anciennement nommé MQSeries Integrator, ce moteur prend en charge la logique d'intégration par les données. WebSphere MQ Workflow Comme son nom l'indique, ce moteur exécute la logique des processus qui incluent potentiellement des activités humaines. WebSphere Business Integrator Intégration des trois produits avec des composants: Modeler (Design) Adapters (Bibliothèque) Collaborations (Packages métiers télécom, distribution, assurance) Intégration dans architecture SOA EAI et XML 34

Evolution du marché des EAI Intégration des services web Intégration du « business process management » Architectures en bus ESB Vers les architectures SOA L'évolution d'IBM est typique . Fusion avec les serveurs d'applications ? Autres "key-players" : EAI et XML 35 Tibco www.tibco.com BEA WebLogic Integration www.bea.com Oracle Integration Server www.oracle.com WebMethods www.webmethods.com Seebeyond www.seebeyond.com Vitria www.vitria.com Mercator www.mercator.com Axway (Sopra)

4. L’architecture SOA pour le SI Service Oriented Architecture Architecture Orientée Services Système d’information structuré de manière à ce que les différentes ressources (données, traitements, processus, infrastructure) soient accessibles uniquement par envoi de messages normalisés vers leurs interfaces. SOA Modèles de services Composants distribués Modèles objets procedures 36 Agilité

Briques de base Modélisation des processus métiers A partir des Uses Cases avec UML Bibliothèque de service déclenchés messages Définis par des documents XML stables et homogènes Implémentation sur de multiples plate-formes SOA Hétérogènes, encapsulation de l'existant 37

Niveaux de composition: de la technique au métier Des services gros grains composés en BP SOA 38

Bénéfices S'appuie sur les standards Encapsule la complexité Favorise la réutilisation Facilite le développement de business process Fiabilise les business process Simplifie des échanges inter-entreprises Sécurise les échanges Choix de plate-formes inter-opérables SOA .NET J2EE 39

Architecture Fonctionnelle Outils de Conception Applications Composites Processus métiers Messages XML Fiables et Sécurisés Services Métiers et Données Bus Logiciel d’Entreprise (ESB) Plateformes hétérogènes SOA 40 Moteur BPEL

Enterprise Service Bus (ESB) SOA EAI à prises Web services Bus de services distribués Backbone pour messagerie fiable Routage intelligent basé contenu Coordination des processus Cadre sécurisé Transformation XML Exemples: SONIC, TIBCO IBM, WebMethods, 41

Un modèle multi-niveaux SOA 42 D’après IBM

Exemple de Produits: IBM WebSphere Business Modeler : Modélisation des processus Rational Architect : Modélisation des composants (WS) et messages Integration Developer : Développement du code ESB, Process Server : Déploiement et exécution Business Monitor SOA Monitoring et surveillance 43

5. Le Commerce B2B avec XML Reprise des objectifs de l'EDI Rationaliser les flux d'information de l'entreprise Optimiser les approvisionnements Supprimer les doubles saisies manuelles Améliorer la traçabilité des produits Permettre une réactivité plus forte des organisations Assurer une meilleure flexibilité et qualité de service Utiliser Internet et les échanges XML B2B Réduction des coûts Support de standards Démocratisation de l'EDI 44

Marché du B2B sur Internet Monde 800 milliards en 2002 12 trillons en 2006 Europe 150 milliards en 2002 2,2 trillons en 2006 22% du business D'après Forrester Research. B2B 45

Scénario Donneur d'ordre (EDI-XML) Donneur d'ordre Réseau Fournisseur Serveur d'échange M es s SYS. INFO. EAI B2B ag e XM L Navigateur EDIXML Sécurité Formulaires 46

Scénario Place de marché Donneur d'ordre Réseau Fournisseur Adaptation et échange Serveur Gestion des offres et demandes SYS. INFO. Navigateur EDIXML EAI BD Formulaires Service Web B2B Sécurité 47

Apports de XML Prise en compte de messages « standardisés » Transactions sur catalogue (cXML, xCBL, UBL ) Cadres pour la composition (Rosettanet, ebXML, .) Description des partenaires et artifacts Références des partenaires (annuaires) Description des messages et processus (registres) Gestion des processus d’échanges Modélisation par workflows (BPEL, BPSS ) Orchestration des messages (EAI) Garantie de sécurité B2B Utilisation de messages cryptés, signés, 48

Quelques dialectes B2B B2B Nom Description Organisation cXML Catalogue électronique et transactions Ariba xCBL Business components Pour commerce sur catalogue (product,catalog,.) Commerce One, . http://www.xcbl.org UBL Librairie de business documents (purchase orders, invoices, etc.) OASIS RosettaNet Consortium CommerceNet OAGIS Cadre XML pour l'industrie et référentiel de formats PIP Partner Interface Process Formats de messages pour les contenus (catalogues,livraison,.) FIX Formats de messages pour données financières (trading) De facto standard http://www.fixprotocol.org 49 OAG (Open Application group)

Exemple: FIX (Finance) 50

Autres Protocoles Santé HL7 – Gestion du Patient: diagnosics, traitements, prescriptions, etc. http://www.hl7.org Banque et Marchés Financiers IFX - Interactive Financial Exchange : trades, banque, transactions client, etc. http://www.ifxforum.org SWIFT http://www.swift.com Assurance ACORD – Gestion des Polices – Indemnités, réclamations, etc. http://www.acord.org Distribution IXRetail – Inventaire, transactions client, et gestion des employés http://www.nrf-arts.org Business to Business cross-industrie (y compris Gouvernement) UBL – Transactions B2B – Factures, Commandes, statut inventaire, etc. 51

UBL de l'OASIS Order, LineItem, Party, Item, Deliverery, . 52

Nécessité d'ouvrir les protocoles Beaucoup de protocoles sont disponibles DTDs XML et schemas XML, Business Process Tout business doit pouvoir commercer avec tout autre business Nécessité d'étendre ou spécialiser des messages Nécessité de définir des nouveaux messages Respecter un guideline (comme EDIFACT) Intitiative ebXML Protocoles ouverts Architecture de référence 53

XML for e-business : ebXML Mission "To provide an open XML-based infrastructure enabling the global use of electronic business information in an interoperable, secure and consistent manner by all parties." Supporté par UN/CEFACT (EDIFACT) et OASIS Résultats ebXML Architecture patronnée par 850.000 entreprises Groupes de travail et spécifications associées: OASIS Infrastructure UN/CEFACT Sémantique Quelques applications et outils « conformes ». 54

Les groupes de travail La pile de travail OASIS Infrastructure de communication (Messaging) Référentiel et annuaires de documents (Registry) Recherche d'agréments entre partenaires (CPA) UN/CEFACT ebXML Librairie de vocabulaires XML (Components) Business Process Modeling Language (BPSS) 55

Architecture fonctionnelle I M P L E M E N T A T I O N DECOUVERTE et ECHANGES ebXML 56

Des dialectes ouverts Spécifications de composants de base Exemples : Adresse, Référence client, etc. Peuvent être spécifique d’un domaine (santé, etc.) Stockés en « core library » Assemblage pour un business Définition des objets et processus du business Stockage en référentiel (repository) Possibilité d’utiliser UML ebXML Pour assembler les « core components » Pour générer les schémas XML 57

Exemples de « Core Components » Person Address Name: text Birth: date Residence address: Address Official address: Address Street: text Town: text Country: identifier Post code: text Amount Binary Object (plus Graphic, Picture, Sound, and Video) Code Date Time (plus Date and Time) ebXML Identifier Indicator Measure Numeric (plus Value, Rate, and Percent) Quantity Text (plus Name) 58

Où va ebXML ? Des comités productifs Business Process Core Components Collaboration Protocol Messaging Registry / Repository Implementation Quelques outils open source Repository Quelques protocoles de base ebXML UBL 59

6. Bilan Business Integration Questions ? Intégration de données BD fédérées via XML Support de XQuery et/ou SQL/XML Intégration d’applications EAI XML et Web Services Business Process et SOA Support de BPML B2B Bilan Protocoles ouverts standards Plate-forme ouverte B2B en perspective Intégration des web services (UDDI, SOAP et BPEL) 60