johanleroy/ENI-projet-piscine
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

feat(etl,ml): orchestre l'entrainement et le scoring LightGBM via deux DAGs Airflow

Browse Source
This commit is contained in:
Dorian
2026-09-21 10:03:23 +02:00
parent b96546cea3
commit b941880c22
15 changed files with 2345 additions and 10 deletions
Download Patch File Download Diff File Expand all files Collapse all files
etl/README.md
+2 -2
View File
@@ -344,6 +344,6 @@ uv run ruff check app\etl tests\etl
L'import historique constitue la première brique du pipeline Data EnerVision.
La prochaine étape consiste à orchestrer les traitements ETL avec Apache Airflow, puis à préparer les données nécessaires à l'entraînement du modèle de Machine Learning.
Airflow tourne désormais réellement (`etl/airflow/`, `make airflow-up`), mais orchestre pour l'instant le pipeline ML (`ml_train`/`ml_score`, issue #115), pas encore ce pipeline ETL : orchestrer `historical_import.py` (normalisation et chargement micro-batch, issues #15/#16) reste à faire.
Airflow sera utilisé comme orchestrateur des traitements existants et ne remplacera pas la logique métier déjà implémentée dans le pipeline ETL.
Le principe reste le même que documenté à l'origine : Airflow orchestre les traitements existants sans remplacer leur logique métier, cf. `etl/airflow/dags/ml_train.py`/`ml_score.py` pour un exemple concret de ce patron (des `BashOperator` qui invoquent le script tel quel).