BI_ETL_inatica_powercenter教程.doc

Tutorial Informatica powercenter 8Tutorial INFORMATICA POWERCENTER 8Architecture Informatica powercenterRepository Manager: Fournit une interface graphique permettant la cration des groupes, utilisateurs, et de grer leurs privilges.Designer: Le designer fournit une interface graphique pour dfinir des sources de donnes, concevoir et dfinir la cible et les processus ETLWorkflow manager: Permet la cration des sessions et de Workflow pour excuter les processus ETL. Il permet galement de dfinir des stratgies de chargement de donnes.Workflow monitor: Permet de surveiller le processus au moment de lexcution, de visualiser les logs.Integration services: Cest le service qui excute le Workflow. Vous pouvez dfinir plusieurs pour permettre le chargement en parallle. Admin console: La console dadministration vous permet de raliser des taches dadministration tel que ajouter un autre Integration service, arrter et dmarrer Integration service, grer les utilisateurs,Prparation de lenvironnementAvoir deux compte utilisateur dans la base de donnes oracle. Le premier pour la source de donnes, et le deuxime pour la cible.Crer le schma source dans oracleCrer le schma cible dans oracleCration des tables sourcesExcutez le script CREATE_SRC_ISOSQL.SQL qui se trouve dans le rpertoire TutorialscriptsChargement des donnes dans les tables sourcesExcutez le script LOAD_SRC_DATABASE.SQL de rpertoire TutorialscriptsCration dun groupe et un utilisateur dans Repository managerPour pouvoir se connecter au designer ou au Workflow pour crer des Mappings et des Workflow, vous devez crer un utilisateur avec des privilges ncessaire (Voir avec ladministrateur de Informatica). Vous pouvez grer les droits de plusieurs utilisateurs via un groupe. Un groupe vous permet de nicher plusieurs utilisateurs qui possdent les mmes privilges que le groupe.Dmarrer Repository Manager partir de Tous les programmesInformatica PowerCenter 8.1.1Client PowerCenter Repository ManagerSlectionnez PowerCenter, puis cliquez sur RepositoryConnectAuthentifiez vous par le compte administrateur, puis cliquez sur ConnectCration dun groupeCliquez sur Manage Users and Privileges de menu SecurityDans longlet Groups de la fentre qui apparat, cliquez sur Add. Entrez Gp_Tutorial comme nom de groupe puis cliquez sur Ok.Cliquez sur longlet Users, la fentre suivante apparatraDans longlet General, entrez User_Tutorial dans Username et Password.Cliquez sur longlet Group Memberships,Assignez le groupe Gp_Tutorial cet utilisateur.Cliquez sur longlet PrivilegesAssignez les privileges suivant Gp_Tutorial: Workflow operator, Use Designer, Use Workflow Manager, Use Repository Manager, Manage Connection.Cliquez sur OkCration dun repertoire (Folder)Un Folder vous permet de centraliser tous vos travaux dans un seul rpertoire.Connectez vous avec lutilisateur User_Tutorial.Dans le menu Folder, cliquez sur Create.Entrez Tutorial dans Name. Accordez toutes les permissions Owner et Owners Group.Cliquez sur OkDconnectez vous de Repository Manager partir de RepositoryDisconnectDmarrer le DesignerCliquez sur licne , pour dmarrer le designer. Ou bien partir deTous les programmesInformatica PowerCenter 8.1.1Client PowerCenter DesignerCliquez sur RepositoryConnectEntrez le nom dutilisateur User_Tutorial et son mot de passe puis cliquez sur Connect.La structure dun folder est la suivanteSources pour contenir la dfinition des sources de donnesTarget pour contenir la dfinition des bases de donnes ciblesCubes et Dimensions vont contenir respectivement les dfinitions des cubes multidimensionnels, et les tables de dimensionsTransformations pour contenir toutes les transformationsMapplets et Mappings vont contenir les processus ETL.Cration des sources ODBCCrez des sources ODBC pour se permettre connecter la base de donnes oracle.Crer une appele source pour la base source, et une autre appele cible pour la base cible.Dfinition de la source de donnesPour pouvoir crer des Mapping, vous devez tout dabord importer la dfinition du schma de la base de donnes source.De menu Tools, cliquez Source Analyser.De Sources cliquez sur Import from DatabaseEntrez la source de donnes source dans ODBC data sourceEntrez le nom dutilisateur source et le mot de passe source puis cliquez sur Connect.Slectionnez les tables SRC_CITY, SRC_CUSTOMER, SRC_ORDERS, SRC_ORDER_LINES, SRC_PRODUCT, SRC_REGION, et SRC_SALES_PERSON, puis cliquez sur Ok.Cration de la base cibleVous pouvez crer les tables cibles partir dun script SQL directement dans le designerCliquez sur Target Designer de Tools.Puis Generate / Execute SQL de TargetsDans Filename, slectionnez le script CREATE_TRG_ISOSQL.SQL qui se trouve dans le rpertoire TutorialscriptsCliquez sur Connect pour se connecter la base cibleSlectionnez la source cible. Entrer le nom cible dans Username et cible dans Password.Cliquez sur Connect.Slectionnez All tables, puis cochez toutes les cases de Generation options.Cliquez sur Execute SQL file.Cliquez sur TargetsImport from DatabaseEntrez la source cible dans ODBC data source. Entrez cible dans Username et Password, puis cliquez sur Connect.Slectionnez les tables TRG_CITY,TRG_COUNTRY,TRG_CUSTOMER, TRG_PRODUCT, TRG_PROD_FAMILY, TRG_REGION, TRG_SALES, puis cliquez sur OkVoila ce que ressemble la structure de larborescence de rpertoire TutorialModle conceptuel de donnesLe tableau ci-dessous dfinit le schma de donnes dune application de suivi des commandes qui sera utilis dans ce tutorial. Les tables sourcesLes fichiers platsSchma de la base cibleMapping MAP_TRG_CUSTOMERCe premier Mapping a pour objectif de charger des donnes de la table source SRC_CUSTOMER dans la table cible TRG_CUSTOMER.Cependant la table source SRC_CUSTOMER ne contient pas toutes les donnes ncessaires, On veut rajouter les informations suivantes la table cible. La tranche dage AGE_RANGE comme il est dfinie dans le fichier plat SRC_AGE_GROUP qui correspond lattribut AGE dans la table source. Concatnation de nom et prnom Transformer les valeur numriques (0, 1, 2) de lattribut DEAR de la table source, qui correspond Monsieur, Madame, Mademoiselle, (Mr, Mrs, Ms) dans la table cibleOn veut galement respecter les rgles de gestions suivantes Lage de client doit tre plus de 21 ans Le client doit tre associ une ville (CITY_ID) qui existe dans la table TRG_CITYA prsent la description des sources et leurs correspondance dans la cibleDonnes sourcesJointuresTransformationLes tapes suivreDfinir une source de donnes pour les fichiers SRC_AGE_GROUP.TXT et SRC_SALES_PERSON.TXT dans le DesignerToolsSource AnalyserSourcesImport from FileSlectionnez lemplacement du fichier SRC_AGE_GROUP, puis cliquez sur OkDans la fentre suivante, slectionnez DelimitedEntrez 2 dans la case Start Import at Row, car la premire ligne est rserve au libells des colonnesCliquez sur SuivantDans la fentre suivante, cochez la case Semicolon, et slectionnez la case No quotesCliquez sur SuivantDfinir les colonnes comme suit:Colonne 1: AGE_MIN Type Numrique Taille 3Colonne 2: AGE_MAX Type Numrique Taille 3Colonne 3: AGE_RANGE Type Texte Taille 50Cliquez sur TerminerFaite la mme chose pour SRC_SALES_PERSON.TXTSlectionnez lemplacement du fichier SRC_SALES_PERSONSlectionnez Delimited et Start Import at Row 1, car cest un fichier sans les libells de colonnesCliquez sur SuivantCochez la case Comma, No quotesCliquez sur SuivantDfinier les colonnes comme suit:Colonne 1: SALES_PERSON_ID Type Numrique taille 10Colonne 2: FIRST_NAME Type Texte taille 50Colonne 3: LAST_NAME Type Texte taille 50Colonne 4: HIRE_DATE Type Date Cliquez sur TermineCration du Mapping1. Tools Mapping DesignerMappingCreateEntrez le nom TRG_CUSTOMER dans le nom de Mapping puis cliquez sur Ok2. Glissez la source SRC_CUSTOMER dans lespace de travail 3. Glissez la table TRG_CUSTOMER de Targets dans lespace de travailVoila ce que ressemble le Mapping ce stadeJointure entre SRC_CUSTOMER et SRC_AGE_GROUP: Vous devez utiliser le composant LOOKUP.TransformationcreateEntrez LKP_AGE_RANGE dans NAMECliquez create Choisissez source et slectionnez SRC_AGE_GROUP, cliquez OkCliquez DoneGlissez lattribut AGE de SQ_SRC_CUSTOMER dans LKP_AGE_RANGEDouble cliques sur LKP_AGE_RANGE pour ouvrir ses propritsDans longlet Condition, cliquez deux fois sur le bouton Add pour ajouter deux conditions.Entrez ces deux conditionsAGE_MIN AGECliquez sur OkJointure avec SRC_SALES_PERSON: Utilisez un LOOKUPTransformationcreateEntrez LKP_AGE_RANGE dans NAME, puis cliquez sur CreateChoisissez Source, puis slectionnez le fichier SRC_SALES_PERSONCliquez DoneGlissez SALES_PERS_ID de SRC_CUSTOMER LKP_SALES_PERSONDouble click sur LKP_SALES_PERSON pour diter ses propritsDans longlet Condition, cliquez une fois sur le bouton Add pour ajouter une conditions.Entrez cette conditionSALES_PERSON_ID=SALES_PERS_IDTransformations avec Expression: vous utiliserez des transformations de type Expression pour oprer tout genre de transformation sur les donnes.Vous allez crer une transformation pour concatner le nom et le prnom du client, de renseigner sa civilit.TransformationsCreateChoisissez Expression, et entrez EXP_TRG_CUSTOMER dans NAMECliquez sur CreateCliquez sur DoneGlissez les colonnes CUSTID, DEAR, LAST_NAME, FIRST_NAME, ADRESS, CITY_ID, PHONE, AGE de SQ_SCR_CUSTOMER vers EXP_TRG_CUSTOMERGlissez la colonne AGE_RANGE de LKP_RANGE_AGE vers EXP_TRG_CUSTOMERGlissez les colonnes FIRST_NAME, LAST_NAME de LKP_SALES_PERSON vers EXP_TRG_CUSTOMERDouble click sur EXP_TRG_CUSTOMER pour ouvrir ses propritsConcatnation de nom et prnom de CUSTOMERAjouter un champ CUSTOMER_FULL_NAME de type texte et de taille 100Dcochez la case I qui correspond INPUT Double click dans la case qui lui correspond dans expressionEntrez cette formule dans la zone formulaCONCAT(LAST_NAME,UPPER(FIRST_NAME)Cliquez sur validate pour valider lexpression puis sur okConcatnation de nom et prnom de SALES_PERSONDe la mme manire pour le nom et prnom de SALES_PERSONAjouter un champ SALES_PERSON_FULL_NAME de type texte et de taille 100Dcochez la case I qui correspond INPUT Double click dans la case qui lui correspond dans expressionEntrez cette formule dans la zone formulaCONCAT(FIRST_NAME1,UPPER(LAST_NAME1) Cliquez sur validate pour valider lexpression puis sur okTransformation de DEARAjouter un champ DEAR2 de type texte de taille 10Dcochez la case I qui correspond INPUT Double click dans la case qui lui correspond dans expressionEntrez cette formule dans la zone formulaDECODE(true,DEAR=0, Mr,DEAR=1, Mrs,DEAR=2, Ms)Cliquez sur validate pour valider lexpression puis sur okAjouter les champs suivants: CRE_DATE et UPD_DATE de type DATE/TIME Cochez uniquement la case O qui correspond OUTPUT Entrez SYSDATE dans le champ EXPRESSIONCliquez sur okFaire correspondre les champs comme cest montr dans la figure suivanteCliquez RepositorysaveA prsent le rcapitulatif du MappingCliquez sur LayoutArrangeCochez la case Iconic et cliquez sur OkCration dune session et dun WorkflowOuvrir le Workflow ManagerToolsTask DeveloperTasksCreateEntrez S_TRG_CUSTOMER dans NAMECliquez sur CreateSlectionnez TRG_CUSTOMER, puis cliquez sur OkCliquez sur DoneDouble click sue la session S_TRG_CUSTOMERDans longlet Mapping, slectionnez SQ_SRC_CUSTOMERDans Relational de Connections, slectionnez la source de donnes sourceSlectionnez TRG_CUSTOMER depuis TargetsDans Relational de Connections, slectionnez la source de donnes cibleCliquez sur LKP_AGE_RANGE depuis TransformationsEntrez le rpertoire o se trouve le fichier SRC_AGE_GROUP.TXT (C:Tutorialfile) dans Lookup source file directory, SRC_AGE_GROUP.txt dans Lookup source filenameCliquez sur LKP_SALES_PERSON depuis TransformationsEntrez le rpertoire o se trouve le fichier SRC_SALES_PERSON.TXT (C:Tutorialfile) dans Lookup source file directory, et SRC_AGE_GROUP.TXT dans Lookup source filenameScripts Pre SQL et Post SQlVous pouvez dfinir des scripts SQL excuter avant ou aprs lexcution de la session. Sont trs utiles notamment, lors de chargement des gros volumes de donnes. Pour acclrer le chargement, vous pouvez dsactiver les contraintes dintgrits et les indexes pour minimiser les Check point.Pour ajouter un script Pre SQL pour desactiver les contraint et indexesCliquez sur TRG_CUSTOMER depuis TargetsCliquez sur la zone de texte cot de Pre SQLLa fentre suivante apparatraEntrez les commandes SQL suivantes dans la zone SQLalter table TRG_CUSTOMER disable constraint SYS_C006113;alter table TRG_CUSTOMER disable constraint SYS_C006114;alter table TRG_CUSTOMER disable constraint FK_CUST_CITY;Cliquez sur OkCreation dun WorkflowToolsWorkflow DesignerWorkflowsCreateEntrez WK_TRG_CUSTOMER dans NAMECliquez sur OkTasksLink TaskGlissez le curseur de START vers S_TRG_CUSTOMERRepositorySaveClick droit sur WF_TRG_CUSTOMER, puis cliquez sur start workflowLxecution de Workflow provoque lapparition de la fentre Workflow MonitorVoila le premier Mapping est excut correctement.Mapping TRG_SALESLobjectif de ce Mapping est de charger la table SRC_ORDERS et la table SRC_ORDER_LINES la table cible TRG_SALES. Les donnes doivent tre agrg avant dtre charges. Que les commandes dont le statut est CLO seront utilises.Cependant les donnes ne sont pas toujours consistantes par rapport aux contraintes dintgrits de la base cible. The sales must be associated with a customer (CUST_ID) that exists in theTRG_CUSTOMER table (reference FK_SALES_CUST) The sales must be associated with a product (PRODUCT_ID) that exists in theTRG_PRODUCT table (reference FK_SALES_PROD)The functional details for these rules and the procedure to follow are given below.Donnes sourcesJointuresFiltersTransformationsCrez un nouveau Mapping MAP_TRG_SALESGlissez la table TRG_SALES dans lespace de travailGlissez les deux tables sources SRC_ORDERS, SRC_ORDER_LINES dans lespace de travailAjoutez une transformation de type jointure pour faire une jointure entres les deux tables sourcesFaire glisser tous les attributs des deux tables source dans JOINT_TRG_SALESDoubles click sur JOINT_TRG_SALES pour diter ses propritsAjouter la condition ORDER_ID1=ORDER_IDAjouter une transformation de type filtre pour filtrer que les commandes de statut CLOGlissez tous les attributs de JOINT_TRG_SALES vers le filtreDoubles click sur le filtre pour diter ses propritsAjouter la condition STATUS=CLOInsrer une transformation de type EXPRESSION AGG_TRG_SALES, Glissez les attributs: ORDER_ID, ORDER_DATE, QTY, AMOUNT de filtre laggregator AGG_TRG_SALESDoubles click sur AGG_TRG_SALES pour diter ses propritsDans longlet PORTS, ajouter les attributs suivants comme des outputs:FIRST_ORD_ID FIRST_ORD_DATE LAST_ORD_ID LAST_ORD_DATE QTY1 AMOUNT1 PROD_AVG_PRICE Ajouter les fonctions dagrgations suivantesMIN(SRC_ORDERS.ORDER_ID) pour FIRST_ORD_IDMIN(SRC_ORDERS.ORDER_DATE) pour FIRST_ORD_DATE MAX(SRC_ORDERS.ORDER_ID) LAST_ORD_ID MAX(SRC_ORDERS.ORDER_DATE) pour LAST_ORD_DATE SUM(SRC_ORDER_LINES.QTY) pour QTY1SUM(SRC_ORDER_LINES.AMOUNT) pour AMOUNT1AVG(SRC_ORDER_LINES.AMOUNT) pour PROD_AVG_PRICE Cochez la case Group by pour ORDER_IDLiez les attributs de laggregator vers la table cibleRepositorySaveCrez une session et un Workflow pour excuter ce MappingCration dune session et dun Workflow pour excuter ce MappingCrez une session S_TRG_SALESSlectionnez le Mapping MAP_TRG_SALESEditer les proprits de cette sessionConfigurer la source et la cibleDfinir les scripts pre-SQLAjouter les commandes suivantes dans Pre-SQL de la session S_TRG_SALES. Elles permettent de dsactiver les contraintes dintgrits.alter table trg_sales disable constraint SYS_C006123alter table trg_sales disable constraint SYS_C006124alter table trg_sales disable constraint SYS_C006125alter table trg_sales disable constraint SYS_C006126alter table trg_sales disable constraint SYS_C006127alter table trg_sales disable constraint SYS_C006128alter table trg_sales disable constraint SYS_C006129alter table trg_sales disable constraint SYS_C006130alter table trg_sales disable constraint SYS_C006131alter table trg_sales disable constraint PK_TRG_SALESalter table trg_sales disable constraint FK_SALES_CUSTCrez un Workflow WF_TRG_SALESLiez la session START et S_TRG_SALESExcutez le WorkflowExercices1. supprimer toutes les lignes de TRG_CUSTOMER, et TRG_SALES2. Crez un Mapping MAP_TRG_COUNTRY pour charger les donnes de SRC_REGION vers TRG_COUNTRY3. Crez un Mapping MAP_TRG_REGION pour charger les donnes de SRC_REGIO