En utilisant Pentaho Kettle, comment charger plusieurs tables à partir d'une seule table tout en conservant l'intégrité référentielle?

Besoin de charger les données d'un seul fichier avec plus de 100 000 enregistrements dans plusieurs tables sur MySQL en maintenant les relations définies dans le fichier/les tables; ce qui signifie que les relations correspondent déjà. La solution devrait fonctionner sur la dernière version de MySQL, et doit utiliser le moteur InnoDB; MyISAM ne prend pas en charge les clés étrangères.

Je suis complètement nouveau à utiliser Pentaho Data Integration (aka Kettle) et tous les pointeurs seraient appréciés.

Je pourrais ajouter que c'est une exigence que les contraintes de clé étrangère ne sont pas désactivées. Comme je comprends que s'il y a quelque chose de mal avec l'intégrité référentielle de la base de données, MySQL ne vérifiera pas l'intégrité référentielle lorsque les contraintes de clé étrangère sont rallumées. SOURCE: 5.1.4. Variables système du serveur -- foreign_key_checks

Toutes les approches devraient inclure une partie de la validation et une stratégie de restauration si un insert échoue ou ne parvient pas à maintenir le référentiel intégrité.

Encore une fois, complètement nouveau à cela, et faire de mon mieux pour fournir autant d'informations que possible, si vous avez des questions, ou une demande de clarification -- faites-le moi savoir.

Si vous êtes capable de poster le XML à partir des fichiers kjb et ktr (jobs/transformations) ce serait SUPER. Peut-être même traquer tous les commentaires / réponses que vous avez tous faits n'importe où et les voter... :-) ...vraiment, il est vraiment important pour moi de trouver une réponse à ce.

Merci!

Exemple de données: pour mieux élaborer avec un exemple, supposons que j'essaie de charger un fichier contenant le nom de l'employé, les bureaux qu'ils ont occupés dans le passé et leur historique de titre de poste séparés par un onglet.

Fichier:

EmployeeName<tab>OfficeHistory<tab>JobLevelHistory
John Smith<tab>501<tab>Engineer
John Smith<tab>601<tab>Senior Engineer
John Smith<tab>701<tab>Manager
Alex Button<tab>601<tab>Senior Assistant
Alex Button<tab>454<tab>Manager

NOTE: La base de données de table unique est complètement normalisée (autant qu'une seule table peut l'être) - et par exemple, dans le cas de "John Smith" il n'y a Qu'un seul John Smith; ce qui signifie qu'il n'y a pas doublons qui conduiraient à des conflits dans l'intégrité référentielle.

Le schéma de base de données MyOffice comporte les tables suivantes:

Employee (nId, name)
Office (nId, number)
JobTitle (nId, titleName)
Employee2Office (nEmpID, nOfficeId)
Employee2JobTitle (nEmpId, nJobTitleID)

Donc dans ce cas. les tableaux devraient ressembler à:

Employee
1 John Smith
2 Alex Button

Office
1 501
2 601
3 701
4 454

JobTitle
1 Engineer
2 Senior Engineer
3 Manager
4 Senior Assistant

Employee2Office
1 1
1 2
1 3
2 2
2 4

Employee2JobTitle
1 1
1 2
1 3
2 4
2 3

Voici le DDL MySQL pour créer la base de données et les tables:

create database MyOffice2;

use MyOffice2;

CREATE TABLE Employee (
      id MEDIUMINT NOT NULL AUTO_INCREMENT,
      name CHAR(50) NOT NULL,
      PRIMARY KEY (id)
    ) ENGINE=InnoDB;

CREATE TABLE Office (
  id MEDIUMINT NOT NULL AUTO_INCREMENT,
  office_number INT NOT NULL,
  PRIMARY KEY (id)
) ENGINE=InnoDB;

CREATE TABLE JobTitle (
  id MEDIUMINT NOT NULL AUTO_INCREMENT,
  title CHAR(30) NOT NULL,
  PRIMARY KEY (id)
) ENGINE=InnoDB;

CREATE TABLE Employee2JobTitle (
  employee_id MEDIUMINT NOT NULL,
  job_title_id MEDIUMINT NOT NULL,
  FOREIGN KEY (employee_id) REFERENCES Employee(id),
  FOREIGN KEY (job_title_id) REFERENCES JobTitle(id),
  PRIMARY KEY (employee_id, job_title_id)
) ENGINE=InnoDB;

CREATE TABLE Employee2Office (
  employee_id MEDIUMINT NOT NULL,
  office_id MEDIUMINT NOT NULL,
  FOREIGN KEY (employee_id) REFERENCES Employee(id),
  FOREIGN KEY (office_id) REFERENCES Office(id),
  PRIMARY KEY (employee_id, office_id)
) ENGINE=InnoDB;

Mes Notes en réponse à la réponse sélectionnée:

PRÉPARATION:

1. (A) utilisez les exemples de données, créez un fichier CSV en changeant <TAB> en virgule délimiter.
2. (B) installez MySQL et créez un exemple de base de données à L'aide de L'exemple MySQL DDL
3. (C) installer Kettle (il est basé sur Java et fonctionnera sur tout ce qui fonctionne Java)
4. (D) télécharger le fichier KTR

Flux de données par Étape: (Mes Notes)

1. ouvrez le fichier KTR dans Kettle et double-cliquez sur "Entrée de fichier CSV" et accédez au fichier CSV que vous avez créé. Le délimiteur doit déjà être défini sur virgule. Puis cliquez sur OK.
2. double-cliquez "Insérer des employés" et sélectionnez DB connector puis suivez ces instructions sur création d'une nouvelle connexion à la base de données