Déploiement automatisé d’un projet dbt
Nous retrouvons de plus en plus d’architecture Data contenant du dbt. Nous verrons dans cet article comment déployer dbt et l’exécuter dans une Azure Container App par terraform et CI/CD
Nous retrouvons de plus en plus d’architecture Data contenant du dbt. Nous verrons dans cet article comment déployer dbt et l’exécuter dans une Azure Container App par terraform et CI/CD
Dans ce 3ème article, nous allons maintenant voir comment déployer Databricks avec des pipelines de déploiement Azure Devops pour l’infrastructure et les notebooks
Databricks nous met à disposition un provider Terraform avec lequel nous pouvons déployer des clusters, des Sql Warehouses, des clusters, … Nous allons voir dans cet article comment utiliser ce provider avec quelques exemples de workload
Découvrez, dans cet article, un exemple de déploiement d’un workspace Databricks en utilisant des scripts Terraform.
Un workspace est déployé sur lequel les flux réseaux sont controlés pour restreindre les accès à un data lake et à un coffre de clé.
Il arrive que sur une application, l’upload de fichier atteigne les limites en taille, ce qui oblige de changer certains paramétrages côté serveur. Pour éviter ceci, il est préférable de découper le fichier en plusieurs morceaux qu’on envoie séparément au serveur. Le serveur doit alors les récupérer et les fusionner …
Dans un article précédent (lien) nous avons vu comment créer une image contenant le driver ODBC de Databricks.Dans cet article, nous utiliserons ce que nous avons fait pour déployer une application Shiny qui affiche un dashboard avec des données issues de Databricks. Récupérer un token Azure AD Comme nous avons …
Si vous voulez créer des dashboards en dehors d’un Notebook, dans une Web Application par exemple, vous devrez d’abord permettre la connexion à Databricks en utilisant le driver fournit par l’éditeur. Dans cet article nous allons voir comment créer une image contenant tout ce qu’il faut pour permettre une connexion …
Si vous avez besoin d’avoir un serveur FTP(ou SFTP) pour transférer des fichiers, il y a plusieurs solutions et vous vous tournerez probablement vers la création d’une VM, ce qui a l’inconvénient du coût de maintenance et d’exploitation de celle-ci.Il n’existe malheureusement pas de service managé prévu à cet effet …
Dans cet article nous allons aborder une subtilité de Entity Framework Core qui permet d’optimiser les requêtes de mises à jour envoyées à la base de données.Entity Framework est devenu un ORM puissant qui facilite le travaille des développeurs. L’inconvénient est qu’il camoufle ce qu’il se passe derrière donnant l’impression …
Dans cet article nous allons voir que dans le cas de la récupération d’une grappe d’objets, Entity Framework cache le manque d’optimisation. Sans erreur visible, il n’y a qu’une forte volumétrie qui nous fera apparaître des latences.Nous allons voir un cas concret et comment l’optimiser. Cas Concret Prenons l’exemple d’un …