Nicolas Bailly | Blog dcube

HdInsight : installer l’interpreter python sur Zeppelin

Nicolas Bailly | juin 17, 2019

HdInsight permet d’utiliser Zeppelin comme notebook. Par defaut, zeppelin n’a pas d’interpreter python. Nous allons voir comment l’installer et automatiser cette installation pour qu’à chaque création du cluster, l’interpreter python soit présent. Configuration Zeppelin La configuration doit se faire en plusieurs étapes :- modifiez la configuration de zeppelin dans Ambari- installez l’interpreter python sur la machine où zeppelin est installé-...

Azure BigData Dev HDInsight

HdInsight : lancer des requêtes hive en python

Nicolas Bailly | mai 24, 2019

Nous allons voir dans cet article comment lancer des requêtes Hive en python à l’aide de PyHive.Le langage Hive permet d’effectuer des requêtes sur les données mais n’est pas dynamique. Impossible d’utiliser des variables ou de faire des boucles par exemples. C’est pourquoi, il peut être intéressant d’utiliser un langage dynamique comme Python. La librairie que nous allons utiliser pour effectuer les requêtes est PyHive. Nous allons voir comment...

Azure DevOps Infra-Sécurité managed service identity

Infra As Code : scripter les permissions de votre app service sur vos ressources Azure

Nicolas Bailly | décembre 9, 2018

Sur un App Service, l’activation de Managed Service Identity vous simplifie la gestion des permissions. Plus besoin de gérer vos accès par une « App Registered » que vous devez créer mais il vous reste tout de même à positionner les permissions. Nous allons voir comment scripter ces permissions, ce qui vous permettra de l’automatiser. Retrouver l’identité de l’App Service Lorsque vous activez Managed Service Identity sur un App Service, vous pouvez affecter des...

Azure DevOps infra as code Infra-Sécurité

Infra As Code : scripter les firewall Azure

Nicolas Bailly | novembre 23, 2018

Nous allons voir dans cet article les commandes powershell qui permettent de mettre à jour les firewalls de différentes ressources Azure. Dans l’optique Infra As Code, il faut pouvoir jouer et rejouer nos scripts de création d’environnement. Ces commandes vous permettront de partir d’un environnement vierge ou bien déjà existant. Firewall Azure Sql Server Par défaut, sur Azure Sql Server aucune IP n’est autorisée, vous devez donc obligatoirement passer par ces scripts....

.Net Azure BigData Dev

Scale automatique HdInsight

Nicolas Bailly | juin 20, 2018

Avec HdInsight, il est possible de modifier le nombre de worker node depuis le portail azure. Mais une fois que c’est fait, il faut encore modifier les configurations dans Ambari pour que les modifications Hardware soient prises en compte au niveau software. Cela peut s’avérer fastidieux si on le fait souvent, nous allons voir comment automatiser tout ça. I. Mise à l’échelle de HdInsight Grâce au package nuget Microsoft.Azure.Management.HDInsight, nous pouvons...

Data Uncategorized

Connexion Azure SQL avec user AAD

Nicolas Bailly | juin 8, 2018

Avec une base de données SQL Azure, l’authentification intégrée se fait différemment que sur une base de données On-Premise. Nous allons voir comment faire, surtout pour un « Invité » sur l’Azure AD car la syntaxe est particulière. Tout d’abord, il faut se mettre en admin sur le Server SQL. Seul un admin peut créer un utilisateur externe et il ne peut y avoir qu’un seul admin sur un server SQL : Une fois que c’est fait, se connecter sur la base de données sur...