Hadoop Pig: Passer Des Arguments En Ligne De Commande

vous pouvez utiliser ...

1. s'il y a peu de paramètres, alors utiliser-param (-p)

2. s'il y a beaucoup de paramètres alors utiliser-param_file (-m)

vous pouvez utiliser l'une ou l'autre approche en fonction de la nature de la valeur de vos arguments en ligne de commande, j'utilise-param lorsque je développe et teste mes scripts. Une fois que pig script est prêt pour le traitement par lots ou l'exécution par crontab, j'utilise-param_file de sorte que si nécessaire, je peux facilement mettre à jour les paramètres.fichier init.

man pig vous montrera toutes les options disponibles.

-m, -param_file path to the parameter file
-p, -param key value pair of the form param=val

voici un exemple de code ...

des étudiants.txt (données d'entrée)

001,Rajiv,Reddy,21,9848022337,Hyderabad
002,siddarth,Battacharya,22,9848022338,Kolkata
003,Rajesh,Khanna,22,9848022339,Delhi
004,Preethi,Agarwal,21,9848022330,Pune
005,Trupthi,Mohanthy,23,9848022336,Bhuwaneshwar
006,Archana,Mishra,23,9848022335,Chennai
007,Komal,Nayak,24,9848022334,trivendram
008,Bharathi,Nambiayar,24,9848022333,Chennai

params.init (fichier pour stocker tous les paramètres)

fileName='hdfs://horton/user/jgosalia/students.txt'
cityName='Chennai'

du filtre.porcs 1519210920"

students = LOAD '$fileName' USING PigStorage(',') AS (id:int, firstname:chararray, lastname:chararray, age:int, phone:chararray, city:chararray);
students = FILTER students BY city == '$cityName';
DUMP students;

OPT 1: à l'Aide de paramètres sur la ligne de commande (-param ou -p) Et sortie

pig -param fileName='hdfs://horton/user/jgosalia/students.txt' -param cityName='Chennai' filter.pig

... Trimming the logs ...

(6,Archana,Mishra,23,9848022335,Chennai)
(8,Bharathi,Nambiayar,24,9848022333,Chennai)

OPT 2: à l'Aide de paramètres de fichier sur la ligne de commande (-param_file ou -m) et de Sortie

pig -param_file params.init filter.pig

... Trimming the logs ...

(6,Archana,Mishra,23,9848022335,Chennai)
(8,Bharathi,Nambiayar,24,9848022333,Chennai)

NOTE: utilisez le chemin absolu pour les chemins de fichier (à la fois comme paramètres et en donnant le chemin de fichier param à-param_file (-m)).

il est simple de passer dans les paramètres à une écriture de cochon.

inscrivez D'abord vos variables dans pig en utilisant " $ " par exemple $input_file. Puis passez les paramètres à votre script en utilisant pig-params input_file=' / path / to / data '

pour plus d'informations, regardez ici: http://wiki.apache.org/pig/ParameterSubstitution

Oui.

vous pouvez passer des paramètres le long des options de ligne de commande en utilisant l'option param de pig.

--customparam.pig
--load hdfs/local fs data 
 original = load '$input' using PigStorage('$delimiter');
--filter a specific field value into another bag  
 filtered = foreach original generate $split; 
--storing data into hdfs/local fs 
  store filtered into '$output';

pig-x local-f customparam.cochon -param entrée=Cochon.csv-param sortie=/porc -param delimiter="," -param split='$1'

pour plus d'informations: cochez cette case