preguntar acerca de hadoop

4
réponses

Comment calculer la différence de Date dans la ruche

je suis un novice. J'ai une table d'employés avec une colonne spécifiant la date d'adhésion et je veux récupérer la liste des employés qui ont rejoint au cours des 3 derniers mois. Je comprends que nous pouvons obtenir la date actuelle en utilisant f …
demandé sur 1970-01-01 00:33:35
3
réponses

Facteur de réplication HDFS

quand je télécharge un fichier vers HDFS, si je mets le facteur de réplication à 1 alors les fentes de fichier vont résider sur une seule machine ou les fentes seraient distribuées à plusieurs machines à travers le réseau ? hadoop fs -D dfs.replica …
demandé sur 1970-01-01 00:33:31
2
réponses

HBase et ZooKeeper rôles dans Hadoop?

j'ai installé Hadoop single node cluster dans ma machine Ubuntu et capable d'exécuter NameNode, datanode, etc.. Maintenant je dois installer HBase et Zookeeper. Mais je ne sais pas vraiment ce qu'ils sont. N'importe qui pourrait me donner une brève d …
demandé sur 1970-01-01 00:33:33
4
réponses

Meilleure compression séparable pour Hadoop input = bz2?

nous avons réalisé un peu trop tard que l'archivage de nos fichiers au format GZip pour le traitement Hadoop n'est pas une si bonne idée. GZip n'est pas splittable, et pour référence, voici les problèmes que je ne vais pas le répéter: question très …
demandé sur 1970-01-01 00:33:33
7
réponses

Pyspark —PY-files ne fonctionne pas

j'ai utiliser ce document suggère http://spark.apache.org/docs/1.1.1/submitting-applications.html spsark version 1.1.0 ./spark/bin/spark-submit --py-files /home/hadoop/loganalysis/parser-src.zip /home/hadoop/loganalysis/ship-test.py et conf da …
demandé sur 1970-01-01 00:33:34
8
réponses

Comment transposer / pivoter des données dans hive?

je sais qu'il n'y a aucun moyen direct de transposer des données dans hive. J'ai suivi cette question: Existe-t-il un moyen de transposer les données dans Hive?, mais comme il n'y a pas de réponse définitive là-bas, ne pouvait pas obtenir tout le che …
demandé sur 1970-01-01 00:33:34
2
réponses

Qu’entend-on par «HDFS n’a pas d’accès aléatoire en lecture et en écriture»?

tout système de fichiers doit fournir une API pour accéder à ses fichiers et répertoires, etc. Donc, ce que l'on entend par "HDFS manque de lecture aléatoire et de l'accès en écriture" ... …
demandé sur 1970-01-01 00:33:34
5
réponses

À quoi sert hcatalog dans hadoop?

je suis nouveau à hadoop.Je sais que le HCatalog est une couche de gestion de table et de stockage pour Hadoop. Mais exactement comment il fonctionne et comment l'utiliser. Veuillez donner quelques exemple simple. ... …
demandé sur 1970-01-01 00:33:34
9
réponses

Impossible de trouver ou de charger main class org.Apache.hadoop.util.VersionInfo

j'ai suivi "http://codesfusion.blogspot.com/2013/10/setup-hadoop-2x-220-on-ubuntu.html" installer hadoop sur ubuntu. Mais, en vérifiant la version hadoop, j'obtiens l'erreur suivante: Erreur: impossible de trouver ou charger la classe principale …
demandé sur 1970-01-01 00:33:34
9
réponses

Comment lister tous les fichiers d’un répertoire et de ses sous-répertoires dans hadoop hdfs

j'ai un dossier dans hdfs qui a deux sous-dossiers chacun a environ 30 sous-dossiers qui,enfin,chacun contient des fichiers xml. Je veux lister tous les fichiers xml donnant seulement le chemin du dossier principal. Localement je peux le faire avec a …
demandé sur 1970-01-01 00:33:32