BigData

Configurer Hive LLAP sur HDInsight

Azure HDInsight est un service PAAS qui permet d’instancier des plateformes préconfigurées à partir des solutions proposées par Hortonworks Data Plaform telles que Hadoop, Spark, Storm, Hbase, Kafka, Hive LLAP, R Server, etc … Hive LLAP, appelé Interactive Query sur HDInsight, est un service dont la promesse est de fournir des performances en dessous de la seconde pour des requêtes portant sur des volumétries très importantes et sans limite puisque LLAP n’empêche en rien les capacités de mise à l’échelle d’Hadoop. Pour atteindre des niveaux de performance interactif, Interactive Query s’appuie sur Hadoop en utilisant le moteur d’exécution Tez (une évolution de Map Reduce) en rajoutant des démons LLAP pour mettre en cache les données et les exécuter en parallèle.

(suite…)

Arnaud Voisin
.Net

Scale automatique HdInsight

  Avec HdInsight, il est possible de modifier le nombre de worker node depuis le portail azure. Mais une fois que c'est fait, il faut encore modifier les configurations dans Ambari pour que les modifications Hardware soient prises en compte au niveau software. Cela peut s'avérer fastidieux si on le fait souvent, nous allons voir comment automatiser tout ça. (suite…)

Nicolas Bailly
.Net

Ma VM Azure est-elle démarrée ou pas?

Lorsqu'on démarre une VM dynamiquement par powershell par exemple, on aimerait savoir  tout aussi dynamiquement si la VM est démarrée et opérationnelle. Pour cela, nous disposons de différentes informations sur la VM, mais lesquels prendre. Par exemple, on peut trouver le statut du réseau, des disques, ... Nous allons voir quels statuts récupérer et comment les interpréter. (suite…)

Nicolas Bailly
BigData

Predict Wine Quality with Microsoft Azure Machine Learning

1 - Introduction

Dans cet article je vais présenter le service Cloud Azure ML de Microsoft. C’est à travers un exemple concret, une problématique bien réelle que nous aborderons l’outil : Comment prédire la qualité d’un vin en fonction de ses caractéristiques !

Avant de rentrer dans le vif du sujet nous verrons dans un premier temps ce qu’est le Machine Learning, quel est son but et quels sont les différents algorithmes utilisés pour l’apprentissage automatique. Dans un second temps je ferai un focus sur l’outil Azure ML proposé par Microsoft et sur ses caractéristiques. Par la suite je présenterai le jeu de données utilisé pour notre analyse, nous testerons et évaluerons différents algorithmes de prédiction dans le but d’obtenir le « meilleur » modèle. Enfin nous publierons notre expérimentation à travers un Web Service que nous interrogerons via un ETL (SSIS) pour simuler une industrialisation, une mise en production de notre algorithme.

(suite…)

Romain Casteres