Où Hive stocke-t-il les fichiers dans HDFS?

Les tables Hive ne peuvent pas nécessairement être stockées dans un entrepôt (puisque vous pouvez créer des tables situées n'importe où sur le HDFS).

Vous devez utiliser la commande DESCRIBE FORMATTED <table_name>.

hive -S -e "describe formatted <table_name> ;" | grep 'Location' | awk '{ print $NF }'

Veuillez noter que les partitions peuvent être stockées à différents endroits et pour obtenir l'emplacement de la partition alpha=foo/beta=bar, vous devez ajouter partition(alpha='foo',beta='bar') Après <table_name>.

Dans le type de terminal de Ruche:

hive> set hive.metastore.warehouse.dir;

(il imprimera le chemin)

Il est également très possible que taper show create table <table_name> dans la cli de la ruche vous donne l'emplacement exact de votre table de ruche.

describe formatted <table_name>; à l'intérieur de la coquille de la ruche.

Notez la valeur "Location" qui indique l'emplacement de la table.

Résumer quelques points affichés plus tôt, dans la ruche-site.xml, propriété ruche.métastore.entrepôt.dir spécifie où se trouvent les fichiers sous hadoop HDFS

<property>
   <name>hive.metastore.warehouse.dir</name>
   <value>/user/hive/warehouse</value>
</property>

Pour afficher les fichiers, Utilisez cette commande:

hadoop fs -ls /user/hive/warehouse

Ou

http://localhost:50070
Utilities > Browse the file system
or
http://localhost:50070/explorer.html#/

Testé sous hadoop-2.7.3, la ruche-2.1.1

Si vous regardez le site de la ruche.fichier xml vous verrez quelque chose comme ceci

<property>
   <name>hive.metastore.warehouse.dir</name>
   <value>/usr/hive/warehouse </value>
   <description>location of the warehouse directory</description>
 </property>

/usr/ruche/entrepôt est l'emplacement par défaut pour tous les tableaux. Les tables externes peuvent être stockées à un emplacement différent.

describe formatted <table_name> est la commande shell hive qui peut être utilisée plus généralement pour trouver l'emplacement des données relatives à une table hive.

Dans Hive, les tables sont en fait stockées à quelques endroits. Plus précisément, si vous utilisez des partitions (ce que vous devriez, si vos tables sont très grandes ou en croissance), chaque partition peut avoir son propre stockage.

Pour afficher l'emplacement par défaut où les données de table ou les partitions seront créées si vous les Créez via les commandes ruche par défaut: (insert overwrite ... partition ... et autres):

describe formatted dbname.tablename

Pour afficher l'emplacement réel d'une partition particulière dans une table de ruche, procédez comme suit:

describe formatted dbname.tablename partition (name=value)

Si vous regardez dans votre système de fichiers où une table "devrait" vivre, et vous n'y trouvez aucun fichier, il est très probable que la table soit créée (généralement de manière incrémentielle) en créant une nouvelle partition et en pointant cette partition vers un autre emplacement. C'est un excellent moyen de construire des tables à partir de choses comme les importations quotidiennes de tiers et autres, ce qui évite d'avoir à copier les fichiers ou à les stocker plus d'une fois dans des endroits différents.

Une autre façon de vérifier où une table spécifique est stockée serait d'exécuter cette requête sur l'interface interactive hive:

show create table table_name;

Où table_name est le nom de l'objet table.

Un exemple pour la requête ci-dessus sur la table' customers ' serait quelque chose comme ceci:

CREATE TABLE `customers`(
  `id` string, 
  `name` string)
COMMENT 'Imported by sqoop on 2016/03/01 13:01:49'
ROW FORMAT DELIMITED 
  FIELDS TERMINATED BY ',' 
  LINES TERMINATED BY '\n' 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.mapred.TextInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
  'hdfs://quickstart.cloudera:8020/user/hive/warehouse/
   sqoop_workspace.db/customers'
TBLPROPERTIES (
  'COLUMN_STATS_ACCURATE'='true', 
  'numFiles'='4', 
  'totalSize'='77', 
  'transient_lastDdlTime'='1456866115')

L'emplacement dans l'exemple ci-dessus est l'endroit sur lequel vous devriez vous concentrer. C'est votre emplacement hdfs pour Hive warehouse.

N'oublie pas d'aimer si tu aimes ça solution. À votre santé!