preguntar acerca de hadoop

5
réponses

Hive cluster par vs ordre par vs Trier par

Pour autant que je comprends; Trier par trie uniquement avec dans le réducteur Order by commande les choses globalement mais pousse tout en un réducteurs Cluster by distribue intelligemment les choses dans les réducteurs par le hachage de cl …
demandé sur 1970-01-01 00:33:32
3
réponses

Commande HDFS espace libre disponible

Existe-t-il une commande hdfs pour voir l'espace libre disponible dans hdfs. Nous pouvons le voir via browser at master: hdfsport dans browser, mais pour une raison quelconque, Je ne peux pas y accéder et j'ai besoin d'une commande. Je peux voir mon …
demandé sur 1970-01-01 00:33:32
8
réponses

Comment supprimer un répertoire du cluster Hadoop qui a virgule (,) dans son nom?

J'ai téléchargé un répertoire sur le cluster hadoop qui a "," dans son nom comme "MyDir, Name" lorsque j'essaie de supprimer ce répertoire en utilisant la commande rmr hadoop shell comme suit hadoop dfs -rmr hdfs://host:port/Navi/MyDir, Name Je r …
demandé sur 1970-01-01 00:33:32
5
réponses

Autorisation refusée à hdfs

Je suis nouveau sur hadoop distributed file system, j'ai fait l'installation complète de hadoop single node sur ma machine.mais après cela, quand je vais télécharger des données sur hdfs, il donne un message d'erreur Permission Denied. Message du te …
demandé sur 1970-01-01 00:33:32
4
réponses

Comment spécifier le nom d’utilisateur lors de la mise de fichiers sur HDFS à partir d’une machine distante

J'ai une configuration de cluster Hadoop et travaille sous un nom d'utilisateur par défaut commun "user1". Je veux mettre des fichiers dans hadoop à partir d'une machine distante qui ne fait pas partie du cluster hadoop. J'ai configuré les fichiers h …
demandé sur 1970-01-01 00:33:32
3
réponses

Définir l’utilisateur système hadoop pour le client intégré dans Java webapp

Je voudrais soumettre des travaux MapReduce d'une application Web java à un cluster Hadoop distant mais je ne peux pas spécifier pour quel utilisateur le travail doit être soumis. Je voudrais configurer et utiliser un utilisateur système qui devrait …
demandé sur 1970-01-01 00:33:32
3
réponses

Qu’est-ce que le Dremel de Google? En quoi est-ce différent de Mapreduce?

Le Dremel de Google est décrit ici . Quelle est la différence entre Dremel et Mapreduce? ... …
demandé sur 1970-01-01 00:33:31
2
réponses

Renommer les fichiers de pièces dans Hadoop Map Reduce

J'ai essayé d'utiliser le MultipleOutputs la classe comme dans l'exemple de la page http://hadoop.apache.org/docs/mapreduce/r0.21.0/api/index.html?org/apache/hadoop/mapreduce/lib/output/MultipleOutputs.html Code Du Pilote Configuration conf = …
demandé sur 1970-01-01 00:33:33
1
réponses

Formation de réseau de neurones en parallèle, mieux utiliser Hadoop ou un gpu?

J'ai besoin de former un réseau de neurones avec 2-4 couches cachées, pas encore sûr de la structure du réseau réel. Je pensais l'entraîner en utilisant Hadoop map reduce (cluster de 12 pcs) ou un gpu afin d'obtenir des résultats plus rapides. Que pe …
demandé sur 1970-01-01 00:33:31
3
réponses

Comment exécuter HBase shell contre un cluster distant

J'exécute HBase en mode pseudo-distribué sur mon poste de travail. Nous avons aussi HBase tournant sur un cluster. En utilisant le shell HBase, j'aimerais accéder à L'instance HBase qui fonctionne sur le cluster depuis mon poste de travail. Je vou …
demandé sur 1970-01-01 00:33:32