Déploiement automatisé d’un projet dbt
Nous retrouvons de plus en plus d’architecture Data contenant du dbt. Nous verrons dans cet article comment déployer dbt et l’exécuter dans une Azure Container App par terraform et CI/CD
3. Pipelines de déploiement d’un environnement Databricks (Infra, paramétrage, notebooks,…)
Dans ce 3ème article, nous allons maintenant voir comment déployer Databricks avec des pipelines de déploiement Azure Devops pour l’infrastructure et les notebooks
2. Paramétrage d’un workspace Databricks par Terraform
Databricks nous met à disposition un provider Terraform avec lequel nous pouvons déployer des clusters, des Sql Warehouses, des clusters, … Nous allons voir dans cet article comment utiliser ce provider avec quelques exemples de workload
1. Déploiement d’un Workspace Databricks dans Azure avec Terraform
Découvrez, dans cet article, un exemple de déploiement d’un workspace Databricks en utilisant des scripts Terraform.
Un workspace est déployé sur lequel les flux réseaux sont controlés pour restreindre les accès à un data lake et à un coffre de clé.
Upload de fichiers volumineux en les envoyant par paquets depuis une application Web
Il arrive que sur une application, l’upload de fichier atteigne les limites en taille, ce qui oblige de changer certains paramétrages côté serveur. Pour éviter ceci, il est préférable de découper le fichier en plusieurs morceaux qu’on envoie séparément au serveur. Le serveur doit alors les récupérer et les fusionner …
Web App Shiny pour afficher des données Databricks
Dans un article précédent (lien) nous avons vu comment créer une image contenant le driver ODBC de Databricks.Dans cet article, nous utiliserons ce que nous avons fait pour déployer une application Shiny qui affiche un dashboard avec des données issues de Databricks. Récupérer un token Azure AD Comme nous avons …
Créer une image Docker pour une connexion ODBC à Databricks
Si vous voulez créer des dashboards en dehors d’un Notebook, dans une Web Application par exemple, vous devrez d’abord permettre la connexion à Databricks en utilisant le driver fournit par l’éditeur. Dans cet article nous allons voir comment créer une image contenant tout ce qu’il faut pour permettre une connexion …
Création d’un service SFTP dans Azure
Si vous avez besoin d’avoir un serveur FTP(ou SFTP) pour transférer des fichiers, il y a plusieurs solutions et vous vous tournerez probablement vers la création d’une VM, ce qui a l’inconvénient du coût de maintenance et d’exploitation de celle-ci.Il n’existe malheureusement pas de service managé prévu à cet effet …
Entity Framework Core : optimisation sur les update
Dans cet article nous allons aborder une subtilité de Entity Framework Core qui permet d’optimiser les requêtes de mises à jour envoyées à la base de données.Entity Framework est devenu un ORM puissant qui facilite le travaille des développeurs. L’inconvénient est qu’il camoufle ce qu’il se passe derrière donnant l’impression …
Entity Framework Core : optimisation sur la récupération d’entités liées
Dans cet article nous allons voir que dans le cas de la récupération d’une grappe d’objets, Entity Framework cache le manque d’optimisation. Sans erreur visible, il n’y a qu’une forte volumétrie qui nous fera apparaître des latences.Nous allons voir un cas concret et comment l’optimiser. Cas Concret Prenons l’exemple d’un …