tout d'abord, nous devrions obtenir clair que Hadoop a été créé comme une alternative plus rapide à RDBMS . Traiter une grande quantité de données à un rythme très rapide qui auparavant prenait beaucoup de temps dans les SGBDR.

maintenant il faut connaître les deux termes:

1. données structurées : ce sont les données que nous avons utilisées dans les RDBM traditionnels et est divisé en bien défini structure.

2. données non structurées : ceci est important pour comprendre, environ 80% des données mondiales sont non structurées ou semi-structurées. Ce sont les données qui sont sur sa forme brute et ne peuvent pas être traitées à L'aide de RDMS. Exemple: facebook, données twitter. ( http://www.dummies.com/how-to/content/unstructured-data-in-a-big-data-environment.html ).

ainsi, une grande quantité de données a été générée au cours des dernières années et les données ont été la plupart du temps non structuré, qui a donné naissance à HADOOP. Il a été utilisé principalement pour une très grande quantité de données qui prennent un temps irréalisable à utiliser les SGBDR. Il avait de nombreux inconvénients, qu'il ne pouvait pas être utilisé pour des données relativement petites en temps réel, mais ils ont réussi à supprimer ses inconvénients dans la nouvelle version.

Avant d'aller plus loin, je voudrais dites qu'un nouvel outil Big Data est créé lorsqu'ils voient un défaut sur les outils précédents. Ainsi, selon l'outil, vous verrez qui est créé a été fait pour surmonter le problème de ces outils.

Hadoop peut être simplement dit comme deux choses: Mapreduce et HDFS . Mapreduce est l'endroit où le traitement a lieu et HDFS est la base de données où les données sont stockées. Cette structure a suivi WORM principal, c.-à-d. écrire une fois lu plusieurs fois. Donc, une fois que nous avons stocké des données dans HDFS, nous ne pouvons pas faire de changements. Cela a conduit à la création de HBASE , un produit NOSQL où nous pouvons faire des changements dans les données aussi après l'avoir écrit une fois.

mais avec le temps nous avons vu que Hadoop avait beaucoup de défauts et pour cela nous avons créé un environnement différent sur la structure Hadoop. Le porc et la ruche sont deux exemples populaires.

HIVE a été créé pour les gens avec SQL arrière-plan. Les requêtes écrites sont similaires à SQL nommé comme HIVEQL . HIVE a été développé pour traiter complètement données structurées . Il n'est pas utilisé pour les données ustructurées.

PIG d'autre part a son propre langage d'interrogation i.e. Pig LATIN . Il peut être utilisé pour les deux structuré ainsi que données non structurées .

en se déplaçant à la différence comme quand utiliser la ruche et quand utiliser le cochon, Je ne pense pas que quelqu'un d'autre que l'architecte de cochon pourrait dire. Suivez le lien : https://developer.yahoo.com/blogs/hadoop/comparing-pig-latin-sql-constructing-data-processing-pipelines-444.html

je suis débutant à Hadoop, actuellement je travaille sur un projet avec Hadoop et le latin Cochon. avec un peu d'expérience que j'ai je peux commenter sur le porc vs Ruche.

Voici la comparaison:

• le latin Pig est procédural, où la ruche est déclarative.
• Pig Latin permet aux développeurs de pipelines de décider où les données de point de contrôle dans le pipeline.
• Pig Latin permet au développeur pour sélectionner opérateur spécifique implémentations directement plutôt que de compter sur l'optimiseur.
• le latin Pig supporte les divisions dans le pipeline.
• Pig Latin permet aux développeurs d'insérer leur propre code presque n'importe où dans le pipeline de données.

laissez-moi essayer de répondre en quelques mots.

Hadoop est un éco-système qui comprend tous les autres outils. Donc, vous ne pouvez pas comparer Hadoop mais vous pouvez comparer MapReduce.

Voici mes quelques cents:

1. Ruche: si votre besoin est très SQLish Signification de votre énoncé de problème peut être traité par SQL, alors la chose la plus facile à faire serait d'utiliser la ruche. L'autre cas, où vous utiliseriez la ruche est quand vous voulez qu'un serveur ait une certaine structure de données.
2. Pig: si vous êtes à l'aise avec le latin Pig et vous avez besoin est plus des pipelines de données. De plus, vos données manquent de structure. Dans ces cas - là, tu pourrais utiliser du porc. Honnêtement, il n'y a pas beaucoup de différence entre ruche et Cochon en ce qui concerne les cas d'utilisation.
3. MapReduce: si votre problème ne peut pas être résolu en utilisant SQL straight, vous devez d'abord essayer de créer UDF pour Hive & Pig et puis si L'UDF ne résout pas le problème alors obtenir par MapReduce fait du sens.

cochon: il est préférable de traiter les fichiers et les données de nettoyage exemple: suppression des valeurs nulles, manipulation des chaînes, valeurs inutiles Ruche: pour interroger sur des données nettoyées

1.Nous utilisons Hadoop pour stocker de grandes données(I. E. structure, Unstructure and Semistructure data) dans le format de fichier form comme txt,csv.

2.Si nous voulons des mises à jour chronologiques dans nos données, alors nous utilisons L'outil Hbase

3.Dans le cas de Hive, nous stockons des données massives qui sont dans un format structuré et en plus de cela, nous fournissons une analyse de ces données.

4.Pig est un outil qui utilise le latin Pig pour analyser les données dans n'importe quel format(structure,semistructure et unstructure).

4 RAISONS D'UTILISER HADOOP POUR LA SCIENCE DES DONNÉES: - - -

au cours des 10 dernières années environ, de grandes entreprises web comme Google, Yahoo!, Amazon et Facebook ont appliqué avec succès des algorithmes d'apprentissage machine à grande échelle sur des ensembles de données volumineuses, créant des produits de données innovants tels que des systèmes de publicité en ligne et des moteurs de recommandation.

Apache Hadoop devient rapidement un magasin central pour le big data dans l'entreprise, et est donc une plate-forme naturelle avec laquelle l'entreprise peut maintenant appliquer la science des données à une variété de problèmes commerciaux tels que la recommandation de produit, la détection de fraude, et l'analyse du sentiment.

en S'appuyant sur les modèles de raffiner, Explorer, enrichir que nous avons décrit dans notre Hadoop Patterns of Use whitepaper, nous allons examiner certaines des principales raisons d'utiliser Hadoop pour la science des données qui sont également saisies dans la présentation suivante:

[slideshare id=18622467&doc=whyhadoopfordatascience-130411110136-phpapp02]

RAISON 1: EXPLORATION DE DONNÉES AVEC ENSEMBLES COMPLETS DE DONNÉES Les données scientifiques de l'amour de leur environnement de travail. Qu'ils utilisent R, SAS, Matlab ou Python, ils ont toujours besoin d'un ordinateur portable avec beaucoup de mémoire pour analyser les données et construire des modèles. Dans le monde du big data, la mémoire Portable n'est jamais assez, et parfois même pas proche.

une approche commune est d'utiliser un échantillon de la grande ensemble de données, un grand un échantillon qui peut s'adapter à la mémoire. Avec Hadoop, vous pouvez maintenant exécuter de nombreuses tâches d'analyse exploratoire des données sur des ensembles complets de données, sans échantillonnage. Il suffit d'écrire une carte-réduire le travail, porc ou ruche script, le lancer directement sur Hadoop sur l'ensemble complet de données, et obtenir les résultats directement à votre ordinateur portable.

RAISON 2: EXTRACTION D'ENSEMBLES DE DONNÉES PLUS IMPORTANTS Dans de nombreux cas, les algorithmes d'apprentissage automatique donnent de meilleurs résultats lorsqu'ils disposent de plus de données pour tirer des leçons de l'expérience., en particulier pour les techniques telles que le groupage, la détection des valeurs aberrantes et les produits recommandés.

historiquement, les grands ensembles de données n'étaient pas disponibles ou trop coûteux à acquérir et à stocker, de sorte que les praticiens de l'apprentissage automatique ont dû trouver des moyens novateurs d'améliorer les modèles avec des ensembles de données plutôt limités. Avec Hadoop comme une plate-forme qui fournit un stockage et une puissance de traitement à échelle linéaire, vous pouvez maintenant stocker toutes les données au format brut, et utiliser l'ensemble complet de données pour construire mieux, des modèles plus précis.

RAISON 3: PRÉTRAITEMENT À GRANDE ÉCHELLE DE DONNÉES BRUTES Comme de nombreux scientifiques spécialisés en données vous le diront, 80% du travail en science des données porte généralement sur l'acquisition, la transformation, le nettoyage et l'extraction de caractéristiques des données. Cette étape de" prétraitement " transforme les données brutes en un format consommable par l'algorithme d'apprentissage automatique, généralement sous la forme d'une matrice de caractéristiques.

Hadoop est une plate-forme idéale pour la mise en œuvre ce type de pré-traitement de manière efficace et répartie sur de grands ensembles de données, en utilisant map-reduce ou des outils comme PIG, HIVE, et des langages de script comme Python. Par exemple, si votre application implique le traitement de texte, il est souvent nécessaire de représenter les données en format Word-vector à L'aide de TFIDF, ce qui implique de compter les fréquences de mots sur un grand corpus de documents, idéal pour un travail de réduction de carte par lots.

de même, si votre application nécessite de joindre de grandes tables avec des milliards de lignes pour créer des vecteurs de fonctionnalités pour chaque objet de données, ruche ou cochon sont très utiles et efficaces pour cette tâche.

RAISON 4: AGILITÉ DES DONNÉES Il est souvent mentionné que Hadoop est "schema on read", par opposition à la plupart des systèmes RDBMS traditionnels qui exigent une définition de schéma stricte avant toute donnée peut être intégrée dans eux.

"Schema on read "crée" l'agilité des données": quand un nouveau champ de données est nécessaire, on n'est pas nécessaire pour passer par un long projet de refonte de schéma et de migration de base de données en production, qui peut durer des mois. L'impact positif se répercute à travers une organisation et très rapidement tout le monde veut utiliser Hadoop pour leur projet, pour atteindre le même niveau d'agilité, et d'obtenir un avantage concurrentiel pour leur entreprise et leur gamme de produits.

ruche: - - -

Hive est un outil d'infrastructure de stockage de données à traiter données structurées en Hadoop. Il se trouve au-dessus de Hadoop pour résumer les grandes données, et rend la recherche et l'analyse facile.

SI VOUS NE CONNAISSEZ PAS PYTHON OU JAVA POUR TRAITER LE CODE MAPREDUCE...VOUS SEREZ ALORS NE VOUS INQUIÉTEZ PAS..MAIS SI VOUS CONNAISSEZ SQL, VOUS DEVRIEZ UTILISER HIVE..C'EST AUSSI APPELÉ HIVEQL..POUR L'INTERROGATION DE GRANDS ENSEMBLES DE DONNÉES...

cochon:--

Pourquoi Avons-Nous Besoin D'Un Cochon Apache? Les programmeurs qui ne sont pas aussi bons en Java ont normalement l'habitude de lutter avec Hadoop, surtout en exécutant des tâches MapReduce. Apache Pig est une aubaine pour tous ces programmeurs.

en utilisant le latin Pig, les programmeurs peuvent effectuer des tâches MapReduce facilement sans avoir à taper des codes complexes en Java.

Apache Pig utilise l'approche multi-requête, réduisant ainsi la longueur des codes. Par exemple, une opération qui vous exigerait de taper 200 les lignes de code (LoC) en Java peuvent être facilement faites en tapant moins que 10 LoC dans Apache Pig. En fin de compte, Apache Pig réduit le temps de développement de près de 16 fois.

Pig Latin est un langage de type SQL et il est facile d'apprendre Apache Pig lorsque vous êtes familier avec SQL.

Apache Pig fournit de nombreux opérateurs intégrés pour prendre en charge les opérations de données comme les jointures, les filtres, la commande, etc. En outre, il fournit également des types de données imbriquées comme tuples, sacs, et les cartes qui manquent de MapReduce

HBASE:--

Apache HBase est l'une des bases de données non relationnelles les plus populaires construites sur Hadoop et HDFS (Hadoop Distributed File system). Elle est également connue sous le nom de base de données Hadoop. Comme un projet Apache, HBase est un open-source, versionné et distribué NoSQL DB écrit dans le langage Java. Il est construit sur les grands concepts de Google. Apache HBase est adapté aux cas d'utilisation où vous avez besoin d'un accès en temps réel et aléatoire en lecture/écriture à d'énormes volumes de données (Big data). Comme HBase tourne sur HDFS, la performance dépend aussi du support matériel. Nous devons fournir un nombre suffisant de noeuds (minimum 5) pour obtenir une meilleure performance.

quelles sont les caractéristiques de Hbase NoSQL DB? Apache HBase est une base de données orientée colonne qui supporte le schéma de base de données dynamique. Il fonctionne principalement sur le dessus des HDFS et prend en charge MapReduce Jobs. HBase prend également en charge d'autres langages de haut niveau pour le traitement des données. Regardons les différentes caractéristiques de HBase:.

l'Évolutivité: HBase prend en charge l'évolutivité à la fois linéaire et d'une forme modulaire

Sharding: HBase prend en charge le partage automatique des tables. Il est également configurable.

stockage distribué : HBase prend en charge le stockage distribué comme HDFS

Consistency : il supporte des opérations cohérentes de lecture et d'écriture

Basculement : HBase prend en charge le basculement automatique

prise en charge API: HBase prend en charge les API Java afin que les clients puissent y accéder facilement MapReduce support: HBase support MapReduce pour le traitement parallèle d'un grand volume de données

sauvegarder soutien: HBase soutient la sauvegarde de Hadoop MapReduce jobs in HBase tables Traitement en temps réel: il prend en charge les filtres block cache et Bloom. Ainsi, le traitement de requête en temps réel est facile

nettoyage des données dans le porc est très facile, une approche appropriée serait le nettoyage des données à travers le porc, puis le traitement des données à travers la ruche et ensuite le téléchargement vers hdfs.

Use of Hive,Hbase and Pig W. R. T. mon expérience en temps réel dans différents projets.

Ruche est principalement utilisé pour:

-- but analytique où vous devez faire une analyse des données historiques

--production de rapports d'entreprise à partir de certaines colonnes

-- gestion efficace des données et des métadonnées 151910920"

-- joindre des tableaux sur certaines colonnes qui sont fréquemment utilisé en utilisant le concept de flambage

--stockage et interrogation efficaces utilisant le concept de partitionnement

--inutile pour les opérations au niveau des mouvements / lignes comme la mise à jour, la suppression, etc.

le porc est principalement utilisé pour:

--Fréquentes de l'analyse de données données gigantesques

--Générer des valeurs agrégées/compte de données gigantesques

--génération de la clé au niveau de l'entreprise indicateurs de rendement très fréquemment

Hbase est principalement utilisé:

--pour le traitement de données en temps réel

-- pour gérer efficacement les schémas complexes et imbriqués 151910920"

-- pour interrogation en temps réel et résultat plus rapide

-- pour une évolutivité facile avec les colonnes

-- utile pour les opérations au niveau des mouvements / lignes comme la mise à jour, la suppression, etc.