HDInsight | Blog dcube

HdInsight : lancer des requêtes hive en python

Nicolas Bailly | mai 24, 2019

Nous allons voir dans cet article comment lancer des requêtes Hive en python à l’aide de PyHive.Le langage Hive permet d’effectuer des requêtes sur les données mais n’est pas dynamique. Impossible d’utiliser des variables ou de faire des boucles par exemples. C’est pourquoi, il peut être intéressant d’utiliser un langage dynamique comme Python. La librairie que nous allons utiliser pour effectuer les requêtes est PyHive. Nous allons voir comment...

BigData Data HDInsight Hortonworks

File merging sur Hive (HDP 2.6)

Arnaud Voisin | septembre 14, 2018

Hive est une technologie Big Data capable de manipuler de très important volume de données. Pour ce faire, il existe plusieurs fonctionnalités sur hive pour découper la données en ensemble plus petit. Comme la plupart des technologies liées à la data, il existe une possibilité de partitionner la donnée. L’avantage de Hive par rapport à d’autres technologies est qu’il peut utiliser des clés composites comme clé de partitionnement. Et le partitionnement n’est pas le seul...

Apache BigData Data HDInsight

Configurer Hive LLAP sur HDInsight

Arnaud Voisin | septembre 14, 2018

Azure HDInsight est un service PAAS qui permet d’instancier des plateformes préconfigurées à partir des solutions proposées par Hortonworks Data Plaform telles que Hadoop, Spark, Storm, Hbase, Kafka, Hive LLAP, R Server, etc … Hive LLAP, appelé Interactive Query sur HDInsight, est un service dont la promesse est de fournir des performances en dessous de la seconde pour des requêtes portant sur des volumétries très importantes et sans limite puisque LLAP n’empêche en rien les capacités de mise...