preguntar acerca de distributed-computing
5
réponses
Différence entre le cloud computing et l’informatique distribuée?
Je voulais connaître la différence entre le cloud computing et l'informatique distribuée. J'ai lu un article sur le cloud computing et j'ai eu le sentiment que quelque part il y a une relation entre le cloud computing et l'informatique distribuée et …
demandé sur
1970-01-01 00:33:29
1
réponses
Aplatir les rangées dans Spark
Je fais des tests pour spark en utilisant scala. Nous lisons généralement les fichiers json qui doivent être manipulés comme l'exemple suivant:
Test.json:
{"a":1,"b":[2,3]}
val test = sqlContext.read.json("test.json")
Comment puis-je le conve …
demandé sur
1970-01-01 00:33:35
2
réponses
Spark RDD — comment fonctionnent-ils
J'ai un petit programme Scala qui fonctionne bien sur un seul nœud. Cependant, je le redimensionne pour qu'il fonctionne sur plusieurs nœuds. C'est ma première tentative de ce genre. J'essaie juste de comprendre comment les RDDs fonctionnent dans Spa …
demandé sur
1970-01-01 00:33:34
2
réponses
Paxos vs deux phases de validation
j'essaie de comprendre la différence entre paxos et Two phase commit comme moyen de parvenir à un consensus entre plusieurs machines. Deux phases de commit et trois phases de commit est très facile à comprendre. Il semble aussi que 3PC résolve le pro …
demandé sur
1970-01-01 00:33:34
8
réponses
N’importe quel Pregel Open Source comme cadre pour le traitement distribué de grands graphiques?
Google a décrit un nouveau cadre pour le traitement distribué sur les graphiques massifs.
http://portal.acm.org/citation.cfm?id=1582716.1582723
je voulais savoir si semblable à Hadoop (Map-reduce) des implémentations open source de ce cadre?
je …
demandé sur
1970-01-01 00:33:30
5
réponses
Modifier la taille du fichier Split dans Hadoop
j'ai un tas de petits fichiers HDFS répertoire. Bien que le volume des dossiers soit relativement petit, le temps de traitement par fichier est énorme. C'est, un 64mb file, qui est la taille de division par défaut pour TextInputFormat, prendrait même …
demandé sur
1970-01-01 00:33:32
1
réponses
Comment MPI Scatter et MPI Gather sont-ils utilisés à partir de C?
jusqu'à présent, mon application lit dans un fichier txt avec une liste d'entiers. Ces entiers doit être stocké dans un tableau par le maître-processus du processeur avec le rang 0. Cela fonctionne bien.
maintenant, quand j'exécute le programme, j' …
demandé sur
1970-01-01 00:33:32
8
réponses
Cache partagé par Cluster [fermé]
je suis à la recherche d'un framework java qui me permettrait de partager une cache entre plusieurs JVM.
Ce que je besoin est quelque chose comme Hazelcast mais sans le "distribué". Je veux être en mesure d'ajouter un élément dans le cache automati …
demandé sur
1970-01-01 00:33:29
2
réponses
Est-il possible d’ajouter des partitions à un sujet existant dans Kafka 0.8.2
j'ai un cluster Kafka avec 2 partitions. Je cherchais un moyen d'augmenter le nombre de partitions à 3. Cependant, je ne veux pas perdre messages existants dans le sujet. J'ai essayé d'arrêter Kafka, en modifiant le server.properties fichier pour aug …
demandé sur
1970-01-01 00:33:35
2
réponses
Comment fonctionne Spark aggregate function-aggregateByKey?
disons que j'ai un système de distribution sur 3 noeuds et que mes données sont distribuées entre ces noeuds. par exemple, j'ai un test.fichier csv qui existe sur les 3 noeuds et qui contient 2 colonnes de:
**row | id, c.**
---------------
row1 …
demandé sur
1970-01-01 00:33:34