Comment ça marche ?

MD Dynamics Link RSA

(Realtime Streaming Analytics)


Créez des algorithmes distribués en quelques lignes de codes!

Pour réaliser des analyses temps réel massivement parallèles, rien de plus simple: scalez sur des centaines de noeuds de calcul et de threads grâce à notre plateforme et son DSL.

Dans l'exemple ci-dessous, nous allons explorer les 10 ans de publications d'avis au Bulletin Officiel des entreprises (le BODACC) et générer des statistiques pour les sociétés et autres entreprises créées en noms propres.

 

MD Dynamics Link Network distribue votre algorithme (stream) automatiquement à partir de simples URLs mappées sur les noeuds (micro-services) et endpoints (fonction lambda/threads) de la plateforme.

Ici, la clause « from » parse en parallèle tous les fichiers XML de l’open data, et la la clause « to » distribue par load-balancing chaque avis en distinguant les traitements pour les sociétés personnes morales sur l'URL « www.data-gouv.fr/bodacc/analytics/pm » et entreprises personnes physiques sur l'URL « www.data-gouv.fr/bodacc/analytics/pp ». Les analyses sont stockées en streaming sur deux réseaux de datastores distribués et peuvent être retraitées localement au datastore avant injection.

 

Ici, les 3 étapes de l’algorithme sont distribuées sur 10 noeuds et 10 endpoints chacune, soit 30 serveurs et 300 threads au total; les datastores sont répartis sur 10 noeuds avec deux endpoints chacun, soit 20 threads. Les performances de l’algorithme peuvent être adaptées en modifiant le nombre de noeuds et d'endpoints mappés sur les URLs du réseau MD Dynamics Link.


MD Dynamics Link Network

MD Dynamics Link Network est conçue comme un réseau peer-to-peer à l'architecture totalement dynamique: les noeuds sont redondés et se connectent dynamiquement aux autres en fonction des algorithmes distribués qu'ils doivent exécuter afin d'optimiser les ressources; à l'inverse, dans les architectures en cluster ou mesh, tous les noeuds sont systématiquement interconnectés et exigent plus de ressources.

De plus, les urls du réseau de la plateforme sont conçues comme des arbres logiques. Il est donc possible d'atteindre tous les noeuds et endpoints à partir d'un simple path. (en savoir plus sur les patterns MD Dynamics Link Network)

 

Supervision de la plateforme

Tous les noeuds, services endpoints de la plateforme sont automatiquement supervisés via les tableaux de bords proposés sur Grafana©:

Supervision des noeuds: Etat, adresse, uptime, QoS/heure, QoS/mois, performances (msg/sec, temps de traitement, délai), logs, alertes (WARNING, DÉGRADÉ, PANNE)

    Supervision des services: Etat, performances (msg/heure, temps de traitement, délai)

      Supervision des apis: Etat, performances (msg/heure, temps de traitement, délai)

       

      Supervision des streams

      Tous vos streams actifs sont automatiquement supervisés.

      Supervision du stream: Etat, QoS heure, QoS mois, synthèse de l'algorithme (DAG)

      Supervision des fonctions lambda: Etat, performances (msg/sec, temps de traitement, délai), logs, alertes (WARNING, DÉGRADÉ, PANNE)

      Visualisation du flux de données: prélevez les données à la volées (contrôle, debug distribué, etc.) 

       

      Datastores distribués

      Les flux de données sont stockés en streaming sur les datastores distribués désignés par les URL du réseau MD Dynamics Link Network; les seules limites étant les ressources réseau et disques.

      Datastores NoSQL orientés Documents et/ou Timeseries

      Les datastores NoSQL stockent la donnée au format "Documents" et/ou  "Timeseries" à la demande pour répondre à de nombreux besoins métiers sans avoir à installer une BDD spécifique.

      Données sémantiques

      Les datastores MD Dynamics Link, conçus sur Apache Jena©, gèrent les données  au format sémantique (RDF / SPARQL). L'usage des standards du web sémantique permet de faire des requêtes complexes et des analyses par inférences et raisonnements.

      Le stream manipule les structures de données dans un format hiérarchique agnostique, qui facilite leur manipulation en POJO, JSON, XML, Binaire, etc.  

       

      Dashboards métiers

      Créez vos propres tableaux de bords de visualisation de vos données et analyses en les personnalisant sur Grafana©

       

      Créez des apis simplement

      "Branchez-vous" sur vos streams ou vos datastores pour créer et exposer facilement des apis métiers RESTfull.