BigData

File merging sur Hive (HDP 2.6)

Hive est une technologie Big Data capable de manipuler de très important volume de données. Pour ce faire, il existe plusieurs fonctionnalités sur hive pour découper la données en ensemble plus petit. Comme la plupart des technologies liées à la data, il existe une possibilité de partitionner la donnée. L'avantage de Hive par rapport à d'autres technologies est qu'il peut utiliser des clés composites comme clé de partitionnement. Et le partitionnement n'est pas le seul moyen de découper une table en plus petits ensemble, il existe le bucketing et les skewed tables.

(suite…)

Arnaud Voisin
BigData

Configurer Hive LLAP sur HDInsight

Azure HDInsight est un service PAAS qui permet d’instancier des plateformes préconfigurées à partir des solutions proposées par Hortonworks Data Plaform telles que Hadoop, Spark, Storm, Hbase, Kafka, Hive LLAP, R Server, etc … Hive LLAP, appelé Interactive Query sur HDInsight, est un service dont la promesse est de fournir des performances en dessous de la seconde pour des requêtes portant sur des volumétries très importantes et sans limite puisque LLAP n’empêche en rien les capacités de mise à l’échelle d’Hadoop. Pour atteindre des niveaux de performance interactif, Interactive Query s’appuie sur Hadoop en utilisant le moteur d’exécution Tez (une évolution de Map Reduce) en rajoutant des démons LLAP pour mettre en cache les données et les exécuter en parallèle.

(suite…)

Arnaud Voisin
BigData

Polybase : vers de nouvelles possibilités

Polybase est une des fonctionnalités majeures de la version SQL Server 2016. Polybase permet de répondre aux nouveaux défis de la BI contemporaine. Comment traiter des volumes de données de plus en plus grands, avec des structures que l'on ne sait pas encore exploiter aujourd'hui ? (suite…)

Arnaud Voisin
.Net

Retour sur les Techdays : EntityFramework 7

La journée du mardi 10 février des Techdays a été marquée par une avalanche d'annonces. Pour certaines personnes les découvertes fûrent totales, mais en réalité toutes les annonces avaient déjà été faites par Microsoft le semestre dernier. L'écosystème .Net va changer et le Stack Asp.Net profitera de cette évolution en premier !

EntityFramework pouvant être monté en middleware dans Asp.Net 5, il a fallu l'adapter à la nouvelle philosophie du Stack. Cependant, il y a encore un peu de flou autour de l'avancement du développement, la communauté espérait donc avoir quelques informations à se mettre sous la dent. Attention, pour ceux qui n'ont pas suivi l'actualité autour de EF7, vous allez être surpris !

(suite…)

Arnaud Voisin
.Net

PowerBI Api

DCube vous a offert pour ces Techdays 2015 une session spéciale sur l'analyse de données en temps réel (à voir ici). J'ai eu l'occasion de travailler sur ce projet qui vous a été présenté par Romain CASTERES et Anthony GUILLAUME. Lors de la réalisation du prototype, un des éléments que j'ai dû gérer est l'envoie des données traitées par Apache Storm dans PowerBI. Ce fût l'occasion de découvrir la preview de cet outil ainsi qu'une de ses nouvelles features : PowerBI Api. Dans cet article je propose un tour d'horizon des capacités de cette WebApi !

(suite…)

Arnaud Voisin