Data | Blog dcube

Retour d’expérience d’implémentation de projet Big Data sur Azure

Arnaud Voisin | novembre 23, 2019

Depuis plusieurs années j’ai la chance de pouvoir travailler sur la plateforme Azure et de pouvoir expérimenter des services Big Data comme SQL Data Warehouse Gen 1 et Gen 2, HD Insight, Data Lake Store Gen 1 et Data Factory. Contexte du projet : Note client, Believe, est le premier distributeur de musique indépendante international. 30% du catalogue distribué sur les plateformes digitales (Deezer, Spotify, Youtube, …) sont des tracks dont la distribution est assurée par Believe. Créé en...

Business Intelligence Data Report Mobile

Data Mobilité : de A à Zen !

Celine VICENTE | septembre 16, 2019

Avec la montée en puissance du marché des smartphones/tablettes et de celui de la BI, il est étonnant de voir que la BI Mobile en entreprise ne progresse pas considérablement en France. Dès que l’on parle de mobilité, la question de la sécurité des données surgit très rapidement. L’inquiétude pour les entreprises de voir « sortir » de l’entreprise des informations confidentielles persiste. Il est pourtant possible de faire de la mobilité en toute sécurité, comme SFR Distribution nous le...

.Net .Net Core abstraction Data LesPlusConsultés

Generic Repository, Unit Of Work et Entity Framework

Samuel Hedouin | septembre 5, 2019

Dans cet article nous allons aborder plusieurs sujets qui permettront d’avoir une solution clé en main permettant de gérer nos données avec Entity Framework. Dans un premier temps nous rappellerons les principes d’Entity Framework, du pattern Repository et aborderons celui du Unit Of Work. La partie suivante sera dédiée à son implémentation. Pré requis Connaissance de l’ORM Entity Framework Connaissance du pattern RepositoryConnaissance de la modélisation objetInstallation...

Azure SQL Data Warehouse Business Intelligence Data

REX : Requêtes interactives avec Azure SQL Data Warehouse Gen 1

Arnaud Voisin | mai 23, 2019

Azure SQL Data Warehouse est un moteur MPP (Massive Parallel Processing) en PaaS disponible sur sur Azure. C’est la version PaaS de l’édition appliance APS (anciennement PDW). Comme tout moteur MPP (Tera Data, Presto, Impala, …), l’objectif est de pouvoir exécuter des requêtes SQL de type Data Warehousing sur de très gros volumes de données (plusieurs dizaines de To voire un Po ou plus) dans des temps relativement courts, idéalement en dessous de la seconde. Azure SQL Data Warehouse était...

BigData Data HDInsight Hortonworks

File merging sur Hive (HDP 2.6)

Arnaud Voisin | septembre 14, 2018

Hive est une technologie Big Data capable de manipuler de très important volume de données. Pour ce faire, il existe plusieurs fonctionnalités sur hive pour découper la données en ensemble plus petit. Comme la plupart des technologies liées à la data, il existe une possibilité de partitionner la donnée. L’avantage de Hive par rapport à d’autres technologies est qu’il peut utiliser des clés composites comme clé de partitionnement. Et le partitionnement n’est pas le seul...

Apache BigData Data HDInsight

Configurer Hive LLAP sur HDInsight

Arnaud Voisin | septembre 14, 2018

Azure HDInsight est un service PAAS qui permet d’instancier des plateformes préconfigurées à partir des solutions proposées par Hortonworks Data Plaform telles que Hadoop, Spark, Storm, Hbase, Kafka, Hive LLAP, R Server, etc … Hive LLAP, appelé Interactive Query sur HDInsight, est un service dont la promesse est de fournir des performances en dessous de la seconde pour des requêtes portant sur des volumétries très importantes et sans limite puisque LLAP n’empêche en rien les capacités de mise...