Data | Blog dcube

File merging sur Hive (HDP 2.6)

Arnaud Voisin | septembre 14, 2018

Hive est une technologie Big Data capable de manipuler de très important volume de données. Pour ce faire, il existe plusieurs fonctionnalités sur hive pour découper la données en ensemble plus petit. Comme la plupart des technologies liées à la data, il existe une possibilité de partitionner la donnée. L’avantage de Hive par rapport à d’autres technologies est qu’il peut utiliser des clés composites comme clé de partitionnement. Et le partitionnement n’est pas le seul...

Apache BigData Data HDInsight

Configurer Hive LLAP sur HDInsight

Arnaud Voisin | septembre 14, 2018

Azure HDInsight est un service PAAS qui permet d’instancier des plateformes préconfigurées à partir des solutions proposées par Hortonworks Data Plaform telles que Hadoop, Spark, Storm, Hbase, Kafka, Hive LLAP, R Server, etc … Hive LLAP, appelé Interactive Query sur HDInsight, est un service dont la promesse est de fournir des performances en dessous de la seconde pour des requêtes portant sur des volumétries très importantes et sans limite puisque LLAP n’empêche en rien les capacités de mise...

Data Uncategorized

Connexion Azure SQL avec user AAD

Nicolas Bailly | juin 8, 2018

Avec une base de données SQL Azure, l’authentification intégrée se fait différemment que sur une base de données On-Premise. Nous allons voir comment faire, surtout pour un « Invité » sur l’Azure AD car la syntaxe est particulière. Tout d’abord, il faut se mettre en admin sur le Server SQL. Seul un admin peut créer un utilisateur externe et il ne peut y avoir qu’un seul admin sur un server SQL : Une fois que c’est fait, se connecter sur la base de données sur...

Business Intelligence Data SQL Server

[T-SQL] – Mise à jour avec la clause .WRITE ou la fonction STUFF

Nacera Benaoudia | février 15, 2017

Pour effectuer des mises à jour dans SQL Server la commande ‘’Update’’ est souvent la plus utilisée par les développeurs. Mais il existe bien d’autres manières intéressantes pour mettre à jour partiellement ou complètement des chaînes de caractères statiques ou dynamiques. Je fais référence à la fonction STUFF et la clause .WRITE dans SQL Server : chacune des deux permet d’insérer une chaîne de caractère dans une autre chaîne, après suppression d’un nombre de caractère spécifié...

Data Windows Azure

Azure Backup : Sauvegarde et Récupération de dossiers/fichiers

Fatou FALL | novembre 22, 2016

INTRODUCTION Les données sont au cœur de toute organisation et leur sauvegarde pour éviter toute perte ou corruption a toujours été une préoccupation essentielle pour les départements IT. D’où l’intérêt d’avoir recours à des services totalement transparents et fiables tels qu’Azure Backup, qui se positionne comme un élément clé dans la stratégie de sauvegarde de données d’une entreprise. Cette solution externalise la sauvegarde de vos données dans le Cloud de Microsoft, et vise à à être...

.Net C# Data SQL Server

Parallélisme SSIS par package

Sarah Bessard | septembre 22, 2016

L’objectif est de prioriser et de paralléliser l’exécution de packages d’un projet SSIS stocké dans le catalogue. Dans cet article, nous allons détailler une méthode de parallélisme SSIS qui soit paramétrable pour contrôler les éléments suivant : Ordonnancement d’alimentation par entrepôt de données Ordonnancement des packages au sein d’un même entrepôt de données Activation/Désactivation d’entrepôt(s) de données et de package(s) Nombre de packages SSIS exécutables simultanément en mode...