Commande HDFS espace libre disponible

Existe-t-il une commande hdfs pour voir l'espace libre disponible dans hdfs. Nous pouvons le voir via browser at master: hdfsport dans browser, mais pour une raison quelconque, Je ne peux pas y accéder et j'ai besoin d'une commande. Je peux voir mon utilisation du disque via la commande ./bin/hadoop fs -du-h, mais ne peut pas voir l'espace libre disponible.

Merci pour la réponse à l'avance.

46
demandé sur Animesh Raj Jha 2012-07-20 20:16:11

3 réponses

Essayez ceci:

hdfs dfsadmin -report

Avec les anciennes versions de Hadoop, essayez ceci:

hadoop dfsadmin -report
75
répondu Razvan 2015-08-06 12:25:27

Méthodes

1. dfsadmin

Dans les versions plus récentes de HDFS, la CLI hadoop pour dfsadmin est obsolète:

$ sudo -u hdfs hadoop dfsadmin -report
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.

Donc, vous devriez utiliser uniquement hdfs à ce stade. De plus, lorsque sur les systèmes où sudo est requis, vous l'exécutez comme suit:

$ sudo -u hdfs hdfs dfsadmin -report
2. fs-df

Vous avez une méthode supplémentaire disponible via le fs module hadoop ainsi:

$ hadoop fs -df -h

Exemple de sortie

dfsadmin

Également pour fournir une réponse plus approfondie voici à quoi ressemblerait la sortie d'une installation à un seul nœud.

$ sudo -u hdfs hdfs dfsadmin -report
Configured Capacity: 7504658432 (6.99 GB)
Present Capacity: 527142912 (502.72 MB)
DFS Remaining: 36921344 (35.21 MB)
DFS Used: 490221568 (467.51 MB)
DFS Used%: 93.00%
Under replicated blocks: 128
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0

-------------------------------------------------
Live datanodes (1):

Name: 192.168.114.48:50010 (host-192-168-114-48.td.local)
Hostname: host-192-168-114-48.td.local
Decommission Status : Normal
Configured Capacity: 7504658432 (6.99 GB)
DFS Used: 490221568 (467.51 MB)
Non DFS Used: 6977515520 (6.50 GB)
DFS Remaining: 36921344 (35.21 MB)
DFS Used%: 6.53%
DFS Remaining%: 0.49%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 2
Last contact: Thu Feb 04 13:35:04 EST 2016

Dans l'exemple ci-dessus, l'espace HDD HDFS a été utilisé à 100%.

fs-df

Ce même système avec la sous-commande -df du module fs:

$ hadoop fs -df -h
Filesystem                                 Size     Used  Available  Use%
hdfs://host-192-168-114-48.td.local:8020  7.0 G  467.5 M     18.3 M    7%
11
répondu slm 2016-02-04 18:38:49

Hadoop version 1:

hadoop fs -df -h

Ou

hadoop dfsadmin -report

Hadoop version 2:

hdfs dfs -df -h

Ou

hadoop dfsadmin -report
2
répondu Ani Menon 2016-09-04 10:05:16