AMQP

Azure Stream Analytics

Nov 19, 2014

Ludovic Nascimbeni

 

Le 29 Octobre 2014 Microsoft annonçait, lors des TechEd Europe 2014, la sortie en Preview de deux nouveaux services autour de la donnée : Stream Analytics et Data Factory.

 

Overview

Event Hubs

Service en ligne (désormais en GA) permettant de collecter et de diffuser en temps réel des millions d’évènements.

A l’heure du Big Data les données proviennent de nombreuses sources, telles que les voitures connectées, les compteurs de performances d’applications, les capteurs (Internet of Things, IoT) ou encore les applications mobiles qui capturent des données à chaque action d’un utilisateur.

AzureEventHub

La configuration des partitions lui permet de recevoir jusqu’à 1 million d’évènements par seconde.

L’envoi d’événements peut se faire soit en utilisant un HTTP POST ou via le protocole AMQP 1.0 (Advanced Message Queuing Protocol).

Stream Analytics

Stream Analytics est un service en ligne permettant le traitement d’évènement complexe en temps réel.

Il est possible d’agréger à la voler, de corréler les évènements avec d’autres sources de données (Reference data).

Stream Analytics tire parti du Cloud Azure : simplicité de commissionnement, garantie de disponibilité (SLA 99,9 %), élasticité, scalabilité, …

Stream Analytics permet de gagner du temps en apportant une couche d’abstraction proche du langage SQL (Query).

StreamAnalytics

Les évènements peuvent aussi être archivés pour une utilisation future (traitement dans HDInsight).

Data Factory

Les prémices d’un ETL dans le Cloud ! Orchestration et gestion de diverses sources données :

AzureDataFactory

 

Azure Stream Analytics

Voici où se situe Stream Analytics :

Azure_Stream_Analytics

Mais pourquoi l’analyse en temps réel ?

Le monitoring en temps réel permet de prévenir et d’optimiser dans le but d’être réactif.

De prévenir :

Voiture connectée : Eviter les bouchons
– Smart Grid : Création d’une alerte si par exemple la température d’un bâtiment augmente de 10%
– Gestion des stocks : Supply chain
– Détection de fraudes

D’optimiser :

– Suivi en temps réel des ventes : Création d’offres promotionnelles
– Analyse de Click Stream : Etudier le comportement des internautes grâce à l’analyse des chemins empruntés sur le site en temps réel
– Alertes de portefeuille financier en temps réel : cours des actions en live

Avec l’arrivée de l’analyse des réseaux sociaux, des objets connectés, … l’usage de l’analyse en temps réel sur des volumétries de plus en plus grosses permet d’accroître le business tout en étant réactif.

Analyse_Temps_Reel

Le service n’est pas compliqué à appréhender, après avoir créé le Namespace, le ou les Event Hubs, configurer les Inputs, l’Output et la Query, Azure Stream permet de filtrer, analyser et agréger des données à la volée. Et parce que la notion de temps est fondamentale pour les systèmes de traitement d’événements complexes, Stream Analytics possède des fonctions permettant d’agréger aux files de l’eau les données.

StreamAnalytics_Monitor

En 2009, je me rappelle avoir rédigé un compte rendu sur une présentation faite par Philippe Nieuwbourg « Séminaire en ligne de présentation des tendances de la Business Intelligence pour 2015 » et l’une des tendances était le temps réel. Je vous laisse voir/revoir les slides du webcast, la plupart des tendances en 2009 sont aujourd’hui et plus que jamais d’actualité ! (slide).

L’onglet Scale permet d’augmenter ou de diminuer dynamiquement la capacité des traitements.

Le service a cependant certaines limites, pour moi la plus importante est le fait d’avoir qu’une seule sortie possible, j’aimerais pouvoir enregistrer les données dans un Azure Blob Storage tout en faisant transiter les données dans un autre Event Hubs pour pouvoir les analyser à la volée et ainsi se rapprocher d’une architecture Lambda.

Je ne vais pas en dire plus dans cet article, je vous invite à venir voir notre session lors des Journées SQL Server 2014 🙂

 

Journées SQL Server 2014

Lors des #JSS2014 nous présenteront avec Benjamin Guinebertière l’analyse en temps réel d’évènements fréquents:

– Des scénarios d’usage
– Comment utiliser Storm et HBase pour analyser de grandes volumétries de données en temps réel
– Comment utiliser le service Azure Stream Analytics pour analyser en temps réel des évènements complexes
– Des démos 🙂

Pour vous inscrire à la session : Big Data & Real Time

Pour rappel, l’évènement est gratuit et se déroulera le Lundi 1er Décembre et le Mardi 2 Décembre 2014 au Centre de Conférences Microsoft 41 quai du Président Roosevelt, Issy-les-Moulineaux.

Pour vous inscrire à l’évènement : https://guss.pro/2014/12/01/journees-sql-server-2014/

JSS_2014

 

Compléments

– Vidéo d’introduction à Azure Stream Analytics : Channel9
Introduction to Azure Stream Analytics
Get started with Stream Analytics
Limits in the Stream Analytics preview release
Developer guide for Stream Analytics
Query language reference for Stream Analytics
REST API reference for Stream Analytics
Scale Stream Analytics jobs

0 commentaires

Soumettre un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Découvrez nos autres articles

git et la face cachée du Rebase

git et la face cachée du Rebase

"Faire une rebase ? *sight* heu... ok..." Jean-Michel Fullstack - Développeur fébrile Jean-Michel est inquiet. En effet, lorsque nous collaborons à plusieurs sur un projet, quelque soit les technologies utilisées, il est important de garder à l'esprit que notre...

lire plus
Aller au contenu principal