HdInsight : lancer des requêtes hive en python
Nicolas Bailly Nous allons voir dans cet article comment lancer des requêtes Hive en python à l'aide de PyHive.Le langage Hive permet d'effectuer des requêtes sur les données mais n'est pas dynamique. Impossible d'utiliser des variables ou de faire des boucles par exemples. C'est pourquoi, il peut être intéressant d'utiliser un langage dynamique comme Python. La librairie que nous allons utiliser pour...
Lire la suite
REX : Requêtes interactives avec Azure SQL Data Warehouse Gen 1
Arnaud Voisin Azure SQL Data Warehouse est un moteur MPP (Massive Parallel Processing) en PaaS disponible sur sur Azure. C’est la version PaaS de l’édition appliance APS (anciennement PDW). Comme tout moteur MPP (Tera Data, Presto, Impala, …), l’objectif est de pouvoir exécuter des requêtes SQL de type Data Warehousing sur de très gros volumes de données (plusieurs dizaines de To voire...
Lire la suite
dcube accélère
Damien Dorison L’écosystème data des partenaires Microsoft se reconfigure. Le mouvement est humain. Profondément. Charles Trubert rejoint dcube. D’abord parce qu’il sait l’éthique de son fondateur, Damien Dorison. Il connaît les valeurs qui animent la trentaine d’experts mus par l’obsession de délivrer les meilleures solutions data aux organisations leaders. Convaincu en outre de l’avance de dcube, de sa posture servicielle. Cloud &...
Lire la suite
Infra As Code : scripter les permissions de votre app service sur vos ressources Azure
Nicolas Bailly Sur un App Service, l'activation de Managed Service Identity vous simplifie la gestion des permissions. Plus besoin de gérer vos accès par une "App Registered" que vous devez créer mais il vous reste tout de même à positionner les permissions. Nous allons voir comment scripter ces permissions, ce qui vous permettra de l'automatiser. (suite…)
Lire la suite
Infra As Code : scripter les firewall Azure
Nicolas Bailly Nous allons voir dans cet article les commandes powershell qui permettent de mettre à jour les firewalls de différentes ressources Azure. Dans l'optique Infra As Code, il faut pouvoir jouer et rejouer nos scripts de création d'environnement. Ces commandes vous permettront de partir d'un environnement vierge ou bien déjà existant. (suite…)
Lire la suite
Microsoft experiences18
Damien Dorison La bonne nouvelle du jour ! Pour la 7ème année consécutive, dcube sera présent au salon Microsoft experiences18. Venez nous voir et échanger avec nos experts les 6-7 Novembre sur le stand 10, au Palais des Congrès !
Lire la suite
File merging sur Hive (HDP 2.6)
Arnaud Voisin Hive est une technologie Big Data capable de manipuler de très important volume de données. Pour ce faire, il existe plusieurs fonctionnalités sur hive pour découper la données en ensemble plus petit. Comme la plupart des technologies liées à la data, il existe une possibilité de partitionner la donnée. L'avantage de Hive par rapport à d'autres technologies est qu'il peut...
Lire la suite
Configurer Hive LLAP sur HDInsight
Arnaud Voisin Azure HDInsight est un service PAAS qui permet d’instancier des plateformes préconfigurées à partir des solutions proposées par Hortonworks Data Plaform telles que Hadoop, Spark, Storm, Hbase, Kafka, Hive LLAP, R Server, etc … Hive LLAP, appelé Interactive Query sur HDInsight, est un service dont la promesse est de fournir des performances en dessous de la seconde pour des requêtes...
Lire la suite
Passer à HTTP/2 pour améliorer les performances d’utilisation d’une API
Eric FAUQUEMBERGUE Lorsque l'on développe ou utilise une API, on souhaite que celle-ci puisse être consommée de la manière la plus performante possible; il existe aujourd'hui une mesure technique relativement simple (quand on en remplit les prérequis), qui ne nécessite quasiment aucun développement et n'introduit pas de risque de régression : passer le protocole de communication entre le client et l'API de...
Lire la suite