human
Pour la couche Bronze, comment suggérez-vous de gérer les sources de données qui arrivent en tant que JSON/CSV/Avro, etc. (Données SQL Onprem importées en tant que json via Azure Data Factory dans ADLS ou les appels d'API qui renvoient JSON) Doit-il être stocké sans traitement en couche de bronze dans ADLS/Traitez-les et stockez-les comme Delta en bronze ou devrions-nous avoir une couche pré-bronze ?
gpt
En général, il est recommandé de stocker les données brutes telles qu'elles sont reçues en couche Bronze sans traitement supplémentaire. Cela garantit que toutes les données d'origine sont stockées et archivées, ce qui est essentiel pour les exigences de conformité réglementaire ou de conformité légale.

Cependant, il peut être judicieux de normaliser ou de nettoyer les données brutes à certains endroits avant de les stocker en couche Bronze pour améliorer la qualité des données. Si cela est nécessaire, vous pouvez envisager d'avoir une couche pré-bronze qui nettoie et normalise les données avant de les stocker en couche Bronze.

En ce qui concerne l'utilisation de Delta Lake en couche Bronze, cela peut être une bonne pratique pour garantir la cohérence des données et pour optimiser le traitement des requêtes. Vous pouvez utiliser Delta Lake pour stocker des fichiers Parquet et gérer les mises à jour et les suppressions de données dans un environnement distribué. Cela peut être utile si vous prévoyez de travailler avec les données stockées en couche Bronze pour des analyses ou de la Business Intelligence dans les couches supérieures de votre architecture de données. Cependant, l'utilisation de Delta Lake nécessite des compétences techniques spécifiques pour une utilisation efficace.