BigData | Blog dcube

De la Business Intelligence et de l’Agilité

Damien Dorison | septembre 23, 2019

Les projets Business Intelligence sont traditionnellement très cadrés. Un besoin exprimé par des utilisateurs (issus du métier), des règles métiers, rapports, dashboards et KPI qui viennent généralement eux aussi des utilisateurs finaux. La DSI est consultée parce qu’elle sait d’où proviennent les données et qu’elle sera sollicitée pour le développement puis l’exploitation de la solution mise en place. Les flux sont longs à développer, les sources figées (notamment pour éviter les...

Azure BigData Dev hdinisght

HdInsight : installer l’interpreter python sur Zeppelin

Nicolas Bailly | juin 17, 2019

HdInsight permet d’utiliser Zeppelin comme notebook. Par defaut, zeppelin n’a pas d’interpreter python. Nous allons voir comment l’installer et automatiser cette installation pour qu’à chaque création du cluster, l’interpreter python soit présent. Configuration Zeppelin La configuration doit se faire en plusieurs étapes :- modifiez la configuration de zeppelin dans Ambari- installez l’interpreter python sur la machine où zeppelin est installé-...

Azure BigData Dev HDInsight

HdInsight : lancer des requêtes hive en python

Nicolas Bailly | mai 24, 2019

Nous allons voir dans cet article comment lancer des requêtes Hive en python à l’aide de PyHive.Le langage Hive permet d’effectuer des requêtes sur les données mais n’est pas dynamique. Impossible d’utiliser des variables ou de faire des boucles par exemples. C’est pourquoi, il peut être intéressant d’utiliser un langage dynamique comme Python. La librairie que nous allons utiliser pour effectuer les requêtes est PyHive. Nous allons voir comment...

Azure BI BigData Divers

Microsoft experiences18

Damien Dorison | octobre 3, 2018

La bonne nouvelle du jour ! Pour la 7ème année consécutive, dcube sera présent au salon Microsoft experiences18. Venez nous voir et échanger avec nos experts les 6-7 Novembre sur le stand 10, au Palais des Congrès !

BigData Data HDInsight Hortonworks

File merging sur Hive (HDP 2.6)

Arnaud Voisin | septembre 14, 2018

Hive est une technologie Big Data capable de manipuler de très important volume de données. Pour ce faire, il existe plusieurs fonctionnalités sur hive pour découper la données en ensemble plus petit. Comme la plupart des technologies liées à la data, il existe une possibilité de partitionner la donnée. L’avantage de Hive par rapport à d’autres technologies est qu’il peut utiliser des clés composites comme clé de partitionnement. Et le partitionnement n’est pas le seul...

Apache BigData Data HDInsight

Configurer Hive LLAP sur HDInsight

Arnaud Voisin | septembre 14, 2018

Azure HDInsight est un service PAAS qui permet d’instancier des plateformes préconfigurées à partir des solutions proposées par Hortonworks Data Plaform telles que Hadoop, Spark, Storm, Hbase, Kafka, Hive LLAP, R Server, etc … Hive LLAP, appelé Interactive Query sur HDInsight, est un service dont la promesse est de fournir des performances en dessous de la seconde pour des requêtes portant sur des volumétries très importantes et sans limite puisque LLAP n’empêche en rien les capacités de mise...