Arnaud Voisin | Blog dcube

Retour d’expérience d’implémentation de projet Big Data sur Azure

Arnaud Voisin | novembre 23, 2019

Depuis plusieurs années j’ai la chance de pouvoir travailler sur la plateforme Azure et de pouvoir expérimenter des services Big Data comme SQL Data Warehouse Gen 1 et Gen 2, HD Insight, Data Lake Store Gen 1 et Data Factory. Contexte du projet : Note client, Believe, est le premier distributeur de musique indépendante international. 30% du catalogue distribué sur les plateformes digitales (Deezer, Spotify, Youtube, …) sont des tracks dont la distribution est assurée par Believe. Créé en...

Azure SQL Data Warehouse Business Intelligence Data

REX : Requêtes interactives avec Azure SQL Data Warehouse Gen 1

Arnaud Voisin | mai 23, 2019

Azure SQL Data Warehouse est un moteur MPP (Massive Parallel Processing) en PaaS disponible sur sur Azure. C’est la version PaaS de l’édition appliance APS (anciennement PDW). Comme tout moteur MPP (Tera Data, Presto, Impala, …), l’objectif est de pouvoir exécuter des requêtes SQL de type Data Warehousing sur de très gros volumes de données (plusieurs dizaines de To voire un Po ou plus) dans des temps relativement courts, idéalement en dessous de la seconde. Azure SQL Data Warehouse était...

BigData Data HDInsight Hortonworks

File merging sur Hive (HDP 2.6)

Arnaud Voisin | septembre 14, 2018

Hive est une technologie Big Data capable de manipuler de très important volume de données. Pour ce faire, il existe plusieurs fonctionnalités sur hive pour découper la données en ensemble plus petit. Comme la plupart des technologies liées à la data, il existe une possibilité de partitionner la donnée. L’avantage de Hive par rapport à d’autres technologies est qu’il peut utiliser des clés composites comme clé de partitionnement. Et le partitionnement n’est pas le seul...

Apache BigData Data HDInsight

Configurer Hive LLAP sur HDInsight

Arnaud Voisin | septembre 14, 2018

Azure HDInsight est un service PAAS qui permet d’instancier des plateformes préconfigurées à partir des solutions proposées par Hortonworks Data Plaform telles que Hadoop, Spark, Storm, Hbase, Kafka, Hive LLAP, R Server, etc … Hive LLAP, appelé Interactive Query sur HDInsight, est un service dont la promesse est de fournir des performances en dessous de la seconde pour des requêtes portant sur des volumétries très importantes et sans limite puisque LLAP n’empêche en rien les capacités de mise...

BigData Data polybase SQL Server 2016

Polybase : vers de nouvelles possibilités

Arnaud Voisin | février 12, 2016

Polybase est une des fonctionnalités majeures de la version SQL Server 2016. Polybase permet de répondre aux nouveaux défis de la BI contemporaine. Comment traiter des volumes de données de plus en plus grands, avec des structures que l’on ne sait pas encore exploiter aujourd’hui ? Avec l’augmentation des capacités de stockage, la diminution des coûts, l’augmentation des puissances de calculs, des temps d’accès aux données toujours plus performants,...

.Net C# Dev Techdays

Retour sur les Techdays : EntityFramework 7

Arnaud Voisin | février 13, 2015

La journée du mardi 10 février des Techdays a été marquée par une avalanche d’annonces. Pour certaines personnes les découvertes fûrent totales, mais en réalité toutes les annonces avaient déjà été faites par Microsoft le semestre dernier. L’écosystème .Net va changer et le Stack Asp.Net profitera de cette évolution en premier ! EntityFramework pouvant être monté en middleware dans Asp.Net 5, il a fallu l’adapter à la nouvelle philosophie du Stack. Cependant, il y a encore un...