preguntar acerca de distributed-computing

5
réponses

Différence entre le cloud computing et l’informatique distribuée?

Je voulais connaître la différence entre le cloud computing et l'informatique distribuée. J'ai lu un article sur le cloud computing et j'ai eu le sentiment que quelque part il y a une relation entre le cloud computing et l'informatique distribuée et …
demandé sur 1970-01-01 00:33:29
1
réponses

Aplatir les rangées dans Spark

Je fais des tests pour spark en utilisant scala. Nous lisons généralement les fichiers json qui doivent être manipulés comme l'exemple suivant: Test.json: {"a":1,"b":[2,3]} val test = sqlContext.read.json("test.json") Comment puis-je le conve …
demandé sur 1970-01-01 00:33:35
2
réponses

Spark RDD — comment fonctionnent-ils

J'ai un petit programme Scala qui fonctionne bien sur un seul nœud. Cependant, je le redimensionne pour qu'il fonctionne sur plusieurs nœuds. C'est ma première tentative de ce genre. J'essaie juste de comprendre comment les RDDs fonctionnent dans Spa …
demandé sur 1970-01-01 00:33:34
2
réponses

Paxos vs deux phases de validation

j'essaie de comprendre la différence entre paxos et Two phase commit comme moyen de parvenir à un consensus entre plusieurs machines. Deux phases de commit et trois phases de commit est très facile à comprendre. Il semble aussi que 3PC résolve le pro …
demandé sur 1970-01-01 00:33:34
8
réponses

N’importe quel Pregel Open Source comme cadre pour le traitement distribué de grands graphiques?

Google a décrit un nouveau cadre pour le traitement distribué sur les graphiques massifs. http://portal.acm.org/citation.cfm?id=1582716.1582723 je voulais savoir si semblable à Hadoop (Map-reduce) des implémentations open source de ce cadre? je …
demandé sur 1970-01-01 00:33:30
5
réponses

Modifier la taille du fichier Split dans Hadoop

j'ai un tas de petits fichiers HDFS répertoire. Bien que le volume des dossiers soit relativement petit, le temps de traitement par fichier est énorme. C'est, un 64mb file, qui est la taille de division par défaut pour TextInputFormat, prendrait même …
demandé sur 1970-01-01 00:33:32
1
réponses

Comment MPI Scatter et MPI Gather sont-ils utilisés à partir de C?

jusqu'à présent, mon application lit dans un fichier txt avec une liste d'entiers. Ces entiers doit être stocké dans un tableau par le maître-processus du processeur avec le rang 0. Cela fonctionne bien. maintenant, quand j'exécute le programme, j' …
demandé sur 1970-01-01 00:33:32
8
réponses

Cache partagé par Cluster [fermé]

je suis à la recherche d'un framework java qui me permettrait de partager une cache entre plusieurs JVM. Ce que je besoin est quelque chose comme Hazelcast mais sans le "distribué". Je veux être en mesure d'ajouter un élément dans le cache automati …
demandé sur 1970-01-01 00:33:29
2
réponses

Est-il possible d’ajouter des partitions à un sujet existant dans Kafka 0.8.2

j'ai un cluster Kafka avec 2 partitions. Je cherchais un moyen d'augmenter le nombre de partitions à 3. Cependant, je ne veux pas perdre messages existants dans le sujet. J'ai essayé d'arrêter Kafka, en modifiant le server.properties fichier pour aug …
demandé sur 1970-01-01 00:33:35
2
réponses

Comment fonctionne Spark aggregate function-aggregateByKey?

disons que j'ai un système de distribution sur 3 noeuds et que mes données sont distribuées entre ces noeuds. par exemple, j'ai un test.fichier csv qui existe sur les 3 noeuds et qui contient 2 colonnes de: **row | id, c.** --------------- row1 …
demandé sur 1970-01-01 00:33:34