Différence entre Nifi et Mini NiFi (MiNiFi)

Apache NiFi est un cadre robuste et sécurisé pour le routage, la transformation et la livraison de données à travers une multitude de systèmes. Le NiFi peut fonctionner en parallèle avec d'autres applications, mais il fonctionne mieux lorsque l'ensemble du système (ou plusieurs systèmes d'un cluster) lui est dédié. Il utilise souvent le stockage SAN ou RAID au niveau TB pour les quantités massives de contenu qu'il ingère et la provenance qu'il génère. L'INTERFACE utilisateur permet à plusieurs utilisateurs de modifier rapidement les flux simultanément sur la même machine ou à travers un cluster. La dernière version candidate de NiFi (1.1.0 RC1) comprend plus de 170 processeurs pour l'intégration sur mesure avec divers systèmes et Opérations, et est 762 MB lorsqu'il est comprimé pour le téléchargement. En d'autres termes, NiFi est une application de classe serveur.

Apache MiNiFi a été développé à partir d'un besoin reconnu de porter les capacités de NiFi au "bord" en tant qu ' "agents"-accéder aux données à partir de l'Internet des objets et des dispositifs de bureau, et appliquer les principes de base de la NiFi. caractéristiques de NiFi au stade le plus précoce possible. Désormais, les données peuvent être collectées à partir d'une variété de protocoles, avoir une provenance de données générée immédiatement pour une gouvernance et une transparence plus globales, avoir des transformations légères appliquées à la source, être cryptées, être classées par ordre de priorité, et être redirigées de manière redondante vers les transformations plus puissantes effectuées dans le cloud ou le data center.

maintenant, tous ces comportements peuvent être exécutés avec des scripts personnalisés, mais alors le problème de la commande et du contrôle (C2) est rencontré. Avec des centaines, des milliers, voire des millions de ces dispositifs existants, comment chacun peut-il être contrôlé et déchargé, et que se passe-t-il lorsque le flux doit changer? Il peut s'agir de rendre compte à un nouveau point d'aboutissement, de mettre à jour la fréquence à laquelle il est recueilli ou transmis, ou de gérer de nouvelles mesures ou métadonnées à partir de l'appareil. Ce processus manuel n'a pas d'échelle. Avec L'intégration de MiNiFi à NiFi, un flux peut être développé à L'aide de L'interface utilisateur en NiFi et traduit de manière transparente en MiNiFi flow et poussé vers des classes d'agents à travers le monde.

avec une modification manuelle pour supprimer les fonctionnalités et les processeurs inutiles, NiFi peut être taillé pour s'adapter sur un Pi à la framboise. Mais elle nécessite encore la JVM, et il y a beaucoup d'appareils qui ne la supportent pas. MiNiFi est offert en Java et C++, et l'empreinte est sur une échelle complètement différente -- 310K pour l'agent c++ (tar).

Un excellent exemple de la puissance et l'utilité de MiNiFi est une démonstration récente au salon TU-Automotive de Detroit, où MiNiFi a été chargé sur un Modem Qualcomm personnalisé situé dans une "voiture connectée". À mesure que la voiture roule, des quantités massives de données sont générées par les composants dans l'ensemble de la voiture et acheminées via le CANBUS à traiter. Certaines données sont importantes pour être redirigées vers un centre de traitement à distance en temps réel -- ces données sont transmises via une connexion LTE. LTE est largement disponible, mais la bande passante est coûteux. Entre-temps, les données étaient beaucoup plus importantes, mais moins pertinentes du point de vue temporel (diagnostics du système, etc.).) pouvait être mise en batterie et compressée, puis envoyée en rafales sur WiFi lorsque la voiture était à portée d'un hotspot connu. MiNiFi a coordonné toutes les décisions de flux et de routage via un géo-enrichissement et un retour d'information sur les plans de contrôle. Voici une courte vidéo de Joe Niemiec expliquant le processus et montrant le flux.

vous pouvez extrapoler cette démo à de nombreux autres cas d'utilisation. Il est utile de penser à MiNiFi comme un "bon invité" -- un agent léger qui fonctionne sur du matériel qui est probablement dédié à un but primaire différent. Qu'il s'agisse de IoT, d'un système de caisse enregistreuse/point de vente, d'un modem automobile, de capteurs physiques, etc., n'est pas pertinent pour MiNiFi -- son travail est de traiter et d'exfiltrer ces données tout en ne prenant pas de ressources inutiles de la fonction principale. Si L'on compare cela avec NiFi, qui, encore une fois, peut fonctionner en même temps que d'autres applications, l'idéal est ressources pour maximiser ses propres performances.