preguntar acerca de hdfs

C'est une question un peu naïve mais je suis nouveau dans le paradigme NoSQL et je n'en sais pas grand-chose. Donc, si quelqu'un peut m'aider à comprendre clairement la différence entre HBase et Hadoop ou si donner des conseils qui pourraient m'aider …

Dans la programmation Map Reduce, la phase reduce a été mélangée, triée et réduite comme sous-parties. Le tri est une affaire coûteuse. Quel est le but de mélanger et de trier la phase dans le réducteur dans la programmation Map Reduce? ... …

Je voudrais lire un CSV dans spark et le convertir en DataFrame et le stocker dans HDFS avec df.registerTempTable("table_name") J'ai essayé: scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") Erreur que j'ai eu: java.lang.Runt …

Les caractéristiques D'Apache Parquet sont: Auto-décrivant Format colonnaire indépendant de la Langue Par rapport à Avro, fichiers de séquence, fichier RC, etc. Je veux un aperçu des formats. J'ai déjà lu: Comment fonctionne Impala avec les …

J'aimerais savoir comment trouver le mappage entre les tables Hive et les fichiers HDFS réels (ou plutôt, les répertoires) qu'ils représentent. J'ai besoin d'accéder directement aux fichiers de la table. Où Hive stocke-t-il ses fichiers dans HDFS? . …

Existe-t-il une commande hdfs pour voir l'espace libre disponible dans hdfs. Nous pouvons le voir via browser at master: hdfsport dans browser, mais pour une raison quelconque, Je ne peux pas y accéder et j'ai besoin d'une commande. Je peux voir mon …

Je suis nouveau sur hadoop distributed file system, j'ai fait l'installation complète de hadoop single node sur ma machine.mais après cela, quand je vais télécharger des données sur hdfs, il donne un message d'erreur Permission Denied. Message du te …

J'ai une configuration de cluster Hadoop et travaille sous un nom d'utilisateur par défaut commun "user1". Je veux mettre des fichiers dans hadoop à partir d'une machine distante qui ne fait pas partie du cluster hadoop. J'ai configuré les fichiers h …

Lié à mon autre question, mais distinct: someMap.saveAsTextFile("hdfs://HOST:PORT/out") Si j'enregistre un RDD sur HDFS, Comment puis-je dire à spark de compresser la sortie avec gzip? Dans Hadoop, il est possible de définir mapred.output.compr …

quand je télécharge un fichier vers HDFS, si je mets le facteur de réplication à 1 alors les fentes de fichier vont résider sur une seule machine ou les fentes seraient distribuées à plusieurs machines à travers le réseau ? hadoop fs -D dfs.replica …