Nicolas Bailly | Blog dcube

Déploiement automatisé d’un projet dbt

Nicolas Bailly | mai 23, 2023

Nous retrouvons de plus en plus d’architecture Data contenant du dbt. Pour rappel dbt est un outil de transformation de données à utiliser à la sauce ELT et disponible via une offre SaaS (dont les éléments de tarification sont disponibles ici) ou bien en version open-source mais là, c’est à vous de le positionner comme il se doit dans votre architecture.Chez dcube, nous aimons les architectures simples, efficaces, scalables et peu onéreuses. Nous verrons dans cet article comment...

ALM Azure build Data

3. Pipelines de déploiement d’un environnement Databricks (Infra, paramétrage, notebooks,…)

Nicolas Bailly | octobre 24, 2022

Cet article est le 3ème d’une série de 3 articles sur l’automatisation des déploiements Databricks : Déploiement d’un Workspace Databricks dans Azure avec TerraformParamétrage d’un workspace Databricks par Terraform Pipelines de déploiement d’un environnement Databricks (Infra, paramétrage, notebooks,…) Nous avons vu dans les articles précédents comment créer un environnement Databricks en utilisant Terraform. Pour aller jusqu’au bout, nous allons maintenant...

ALM Azure Data

2. Paramétrage d’un workspace Databricks par Terraform

Nicolas Bailly | octobre 24, 2022

Cet article est le 2ème d’une série de 3 articles sur l’automatisation des déploiements Databricks : Déploiement d’un Workspace Databricks dans Azure avec TerraformParamétrage d’un workspace Databricks par TerraformPipelines de déploiement d’un environnement Databricks (Infra, paramétrage, notebooks,…) Databricks nous met à disposition un provider Terraform avec lequel nous pouvons déployer des clusters, des Sql Warehouses, des pipelines, … Nous allons voir...

Azure BigData databricks

1. Déploiement d’un Workspace Databricks dans Azure avec Terraform

Nicolas Bailly | octobre 24, 2022

Cet article est le 1er d’une série de 3 articles sur l’automatisation des déploiements Databricks : Déploiement d’un Workspace Databricks dans Azure avec TerraformParamétrage d’un workspace Databricks par TerraformPipelines de déploiement d’un environnement Databricks (Infra, paramétrage, notebooks,…) Nous allons voir dans cet article un exemple de déploiement d’un workspace Databricks en utilisant des scripts Terraform.Nous déploierons un workspace sur...

.Net asynchrone C# DevOps

Upload de fichiers volumineux en les envoyant par paquets depuis une application Web

Nicolas Bailly | janvier 7, 2022

Il arrive que sur une application, l’upload de fichier atteigne les limites en taille, ce qui oblige de changer certains paramétrages côté serveur. Pour éviter ceci, il est préférable de découper le fichier en plusieurs morceaux qu’on envoie séparément au serveur. Le serveur doit alors les récupérer et les fusionner pour reconstituer le fichier d’origine.Nous allons voir dans cet article comment implémenter ceci sur un front Angular et sur une API gérée en Function App...

BigData Docker image

Web App Shiny pour afficher des données Databricks

Nicolas Bailly | octobre 14, 2021

Dans un article précédent (lien) nous avons vu comment créer une image contenant le driver ODBC de Databricks.Dans cet article, nous utiliserons ce que nous avons fait pour déployer une application Shiny qui affiche un dashboard avec des données issues de Databricks. Récupérer un token Azure AD Comme nous avons vu, l’article précédent, comment créer une image avec une connexion ODBC, nous allons pouvoir y déployer une application qui se connecte à Databricks. Pour ça, nous devons générer...