feat(ml): initialise le pipeline d'entrainement LightGBM (ADR 0005)

ml/enervision_ml/baseline.py

@@ -0,0 +1,16 @@
+"""Baseline de persistance saisonniere, la barre a depasser pour justifier LightGBM.
+
+Predit la consommation de l'heure cible par celle de la meme heure, une semaine avant
+(`consumption_kwh_lag_168h`) : une consommation energetique horaire est dominee par le cycle
+hebdomadaire (jours ouvres contre week-end), donc ce naif-la est deja un concurrent serieux.
+"""
+
+import pandas as pd
+
+from enervision_ml.features import TARGET_COLUMN
+
+SEASONAL_LAG_COLUMN = f"{TARGET_COLUMN}_lag_168h"
+
+
+def seasonal_persistence_predictions(features: pd.DataFrame) -> pd.Series:
+    return features[SEASONAL_LAG_COLUMN]

ml/enervision_ml/config.py

@@ -0,0 +1,38 @@
+"""Configuration minimale du pipeline, lue depuis l'environnement.
+
+Pas de `BaseSettings` Pydantic ici : contrairement a `apps/backend`, ce n'est pas un service qui
+tourne en continu mais un script CLI lance a la main (cf. `docs/ML-START.md`), donc pas de
+surface de configuration a valider au demarrage d'un processus long.
+"""
+
+import os
+
+# Piege : ce n'est pas `DATABASE_URL` (celui du backend applicatif, proprietaire du schema).
+# `docs/ML-START.md` et l'ADR 0003 designent un role PostgreSQL dedie et restreint en lecture,
+# `enervision_ml`, non encore provisionne (dette assumee). Reutiliser `DATABASE_URL` par defaut
+# ferait tourner l'entrainement avec les droits d'ecriture complets de l'application, en
+# silence.
+ML_DATABASE_URL_ENV = "ML_DATABASE_URL"
+
+MLFLOW_EXPERIMENT_NAME = "consumption-forecast"
+MLFLOW_TRACKING_URI_ENV = "MLFLOW_TRACKING_URI"
+
+
+def database_url() -> str:
+    valeur = os.environ.get(ML_DATABASE_URL_ENV)
+    if not valeur:
+        raise RuntimeError(
+            f"{ML_DATABASE_URL_ENV} n'est pas defini. Elle doit pointer vers un role "
+            "PostgreSQL en lecture seule sur `reading`/`site` (voir docs/ML-START.md)."
+        )
+    return valeur
+
+
+def mlflow_tracking_uri() -> str | None:
+    """`None` laisse MLflow choisir son magasin local par defaut.
+
+    Piege : ce n'est plus `./mlruns` en clair depuis MLflow 3 (magasin fichier "maintenance
+    mode", refuse une URI `file:` explicite sauf `MLFLOW_ALLOW_FILE_STORE=true`), mais une base
+    SQLite locale (`./mlflow.db`).
+    """
+    return os.environ.get(MLFLOW_TRACKING_URI_ENV)

ml/enervision_ml/data.py

@@ -0,0 +1,68 @@
+"""Chargement des donnees d'entrainement.
+
+Deux chemins, qui doivent produire le meme schema de sortie (colonnes `site_id`, `timestamp`,
+`consumption_kwh`, `temperature_celsius`, `humidity_percent`, `solar_irradiance_wm2`,
+`is_working_hours`, `site_type`, `capacity_kw`), consomme ensuite par `enervision_ml.features` :
+
+- `load_from_database` : le chemin cible decrit dans `docs/ML-START.md`, connexion PostgreSQL
+  directe (`reading` + `site`), pas par l'API. C'est celui qu'utilisera le pipeline en
+  production, une fois le role PostgreSQL dedie `enervision_ml` provisionne (dette assumee,
+  documentee dans `CLAUDE.md` et l'ADR 0003 : pour l'instant, la meme chaine de connexion que le
+  backend applicatif convient en developpement).
+- `load_from_csv` : chemin de demarrage, tant que la base locale n'est pas peuplee. Lit
+  directement `ml/data/all_sites_combined.csv` (jeu de donnees fourni pour le jalon J3, cf.
+  issue #89), le meme fichier que celui consomme par
+  `apps/backend/app/etl/historical_import.py`. `capacity_kw` n'existe pas dans ce CSV : la
+  colonne est renvoyee a `NaN`, que LightGBM gere nativement comme valeur manquante.
+"""
+
+from pathlib import Path
+
+import pandas as pd
+from sqlalchemy import text
+from sqlalchemy.engine import Connectable
+
+OUTPUT_COLUMNS = [
+    "site_id",
+    "timestamp",
+    "consumption_kwh",
+    "temperature_celsius",
+    "humidity_percent",
+    "solar_irradiance_wm2",
+    "is_working_hours",
+    "site_type",
+    "capacity_kw",
+]
+
+_READING_QUERY = text(
+    """
+    SELECT
+        r.site_id,
+        r.timestamp,
+        r.consumption_kwh,
+        r.temperature_celsius,
+        r.humidity_percent,
+        r.solar_irradiance_wm2,
+        r.is_working_hours,
+        s.site_type,
+        s.capacity_kw
+    FROM reading r
+    JOIN site s ON s.site_id = r.site_id
+    ORDER BY r.site_id, r.timestamp
+    """
+)
+
+
+def load_from_database(connection: Connectable) -> pd.DataFrame:
+    """Lit l'historique complet `reading` + `site` depuis PostgreSQL."""
+    frame = pd.read_sql(_READING_QUERY, connection)
+    return frame[OUTPUT_COLUMNS]
+
+
+def load_from_csv(csv_path: Path) -> pd.DataFrame:
+    """Lit le jeu de donnees CSV historique (chemin de demarrage, hors base)."""
+    frame = pd.read_csv(csv_path, parse_dates=["timestamp"])
+    frame["capacity_kw"] = float("nan")
+    frame["is_working_hours"] = frame["is_working_hours"].astype(bool)
+
+    return frame[OUTPUT_COLUMNS]

ml/enervision_ml/features.py

@@ -0,0 +1,129 @@
+"""Construction des features pour le modele de consommation.
+
+Module partage entre l'entrainement et le futur scoring (cf. `docs/ML-START.md`) : la fonction
+qui construit les features doit rester strictement identique des deux cotes, sous peine de
+"train/serve skew" silencieux (le modele recoit en production des features qui ne ressemblent
+plus a ce qu'il a appris).
+"""
+
+from collections.abc import Sequence
+
+import pandas as pd
+
+# Cible de l'entrainement : consommation en kWh, jamais consumption_kw (absent des lectures
+# historiques CSV, cf. `apps/backend/app/etl/historical_import.py`).
+TARGET_COLUMN = "consumption_kwh"
+
+# Decalages horaires utilises pour les lags et moyennes glissantes : une heure avant, un jour
+# avant (meme heure), une semaine avant (meme heure, meme jour) - saisonnalites usuelles d'une
+# consommation energetique horaire.
+LAG_HOURS: Sequence[int] = (1, 24, 168)
+ROLLING_WINDOWS_HOURS: Sequence[int] = (24, 168)
+
+STATIC_FEATURE_COLUMNS: Sequence[str] = ("site_type", "capacity_kw")
+
+CALENDAR_FEATURE_COLUMNS: Sequence[str] = (
+    "hour",
+    "day_of_week",
+    "month",
+    "is_weekend",
+    "is_working_hours",
+)
+
+WEATHER_COLUMNS: Sequence[str] = (
+    "temperature_celsius",
+    "humidity_percent",
+    "solar_irradiance_wm2",
+)
+
+
+def build_features(frame: pd.DataFrame) -> pd.DataFrame:
+    """Construit la matrice de features a partir de lectures brutes triees par site.
+
+    `frame` doit porter au minimum : `site_id`, `timestamp`, `consumption_kwh`,
+    `is_working_hours`, les trois colonnes meteo, et les colonnes statiques de site
+    (`site_type`, `capacity_kw`). Une ligne par `(site_id, timestamp)`, sans doublon.
+
+    Piege : la meteo n'entre dans les features que decalee (lag/moyenne glissante), jamais a
+    l'instant cible. A l'entrainement comme au scoring, la meteo au moment predit n'est pas une
+    mesure mais une prevision que le projet n'a pas — l'utiliser telle quelle romprait le
+    contrat entre entrainement et usage reel (la feature ne serait tout simplement plus
+    disponible en production). Cf. debat d'architecture dans l'issue #89.
+    """
+    travail = frame.sort_values(["site_id", "timestamp"]).reset_index(drop=True)
+
+    calendrier = _calendar_features(travail["timestamp"])
+    decalees = _lagged_features(travail)
+
+    features = pd.concat(
+        [
+            travail[["site_id", "timestamp"]],
+            travail[list(STATIC_FEATURE_COLUMNS)],
+            calendrier,
+            travail[["is_working_hours"]],
+            decalees,
+            travail[[TARGET_COLUMN]],
+        ],
+        axis=1,
+    )
+
+    # `period_minutes` : resolution temporelle de la cible. Les lectures historiques sont toutes
+    # au pas horaire (cf. `dataset_metadata.json`, `frequency: "1h""), donc une constante pour
+    # l'instant. Exposee comme feature plutot que supposee implicitement, pour que le modele
+    # puisse un jour apprendre sur d'autres resolutions sans reentrainement de zero.
+    features["period_minutes"] = 60
+
+    return features
+
+
+def feature_columns() -> list[str]:
+    """Liste ordonnee des colonnes d'entree du modele (hors identifiants et cible)."""
+    lag_columns = [f"consumption_kwh_lag_{h}h" for h in LAG_HOURS]
+    rolling_columns = [
+        f"{colonne}_rolling_mean_{fenetre}h"
+        for colonne in (TARGET_COLUMN, *WEATHER_COLUMNS)
+        for fenetre in ROLLING_WINDOWS_HOURS
+    ]
+    weather_lag_columns = [f"{colonne}_lag_1h" for colonne in WEATHER_COLUMNS]
+
+    return [
+        *STATIC_FEATURE_COLUMNS,
+        *CALENDAR_FEATURE_COLUMNS,
+        "period_minutes",
+        *lag_columns,
+        *rolling_columns,
+        *weather_lag_columns,
+    ]
+
+
+def _calendar_features(timestamps: pd.Series) -> pd.DataFrame:
+    instants = pd.to_datetime(timestamps)
+
+    return pd.DataFrame(
+        {
+            "hour": instants.dt.hour,
+            "day_of_week": instants.dt.dayofweek,
+            "month": instants.dt.month,
+            "is_weekend": instants.dt.dayofweek.isin([5, 6]).astype(int),
+        }
+    )
+
+
+def _lagged_features(travail: pd.DataFrame) -> pd.DataFrame:
+    par_site = travail.groupby("site_id", sort=False)
+    colonnes: dict[str, pd.Series] = {}
+
+    for decalage in LAG_HOURS:
+        colonnes[f"{TARGET_COLUMN}_lag_{decalage}h"] = par_site[TARGET_COLUMN].shift(decalage)
+
+    for colonne in (TARGET_COLUMN, *WEATHER_COLUMNS):
+        decale = par_site[colonne].shift(1)
+        for fenetre in ROLLING_WINDOWS_HOURS:
+            colonnes[f"{colonne}_rolling_mean_{fenetre}h"] = decale.groupby(
+                travail["site_id"]
+            ).transform(lambda serie, fenetre=fenetre: serie.rolling(fenetre, min_periods=1).mean())
+
+    for colonne in WEATHER_COLUMNS:
+        colonnes[f"{colonne}_lag_1h"] = par_site[colonne].shift(1)
+
+    return pd.DataFrame(colonnes, index=travail.index)

ml/enervision_ml/metrics.py

@@ -0,0 +1,24 @@
+"""Metriques de regression partagees entre le modele et la baseline."""
+
+import numpy as np
+import pandas as pd
+from sklearn.metrics import mean_absolute_error, root_mean_squared_error
+
+
+def regression_metrics(y_true: pd.Series, y_pred: pd.Series) -> dict[str, float]:
+    """MAE, RMSE et MAPE (en %), sur les paires non nulles des deux series."""
+    valides = y_true.notna() & y_pred.notna()
+    reel = y_true[valides]
+    predit = y_pred[valides]
+
+    # MAPE diverge a consommation nulle : les mesures a zero (site a l'arret) sont exclues de ce
+    # seul ratio, pas des autres metriques.
+    non_nul = reel != 0
+    mape = float(np.mean(np.abs((reel[non_nul] - predit[non_nul]) / reel[non_nul])) * 100)
+
+    return {
+        "mae": float(mean_absolute_error(reel, predit)),
+        "rmse": float(root_mean_squared_error(reel, predit)),
+        "mape": mape,
+        "n_observations": int(valides.sum()),
+    }

ml/enervision_ml/train.py

@@ -0,0 +1,245 @@
+"""Entrainement du modele LightGBM de prevision de consommation energetique.
+
+CLI autonome, sur le meme gabarit que `apps/backend/app/etl/historical_import.py`
+(argparse, connexion directe a la base). Cf. `docs/ML-START.md`, section 1.
+
+    uv run python -m enervision_ml.train --csv ../ml/data/all_sites_combined.csv
+    uv run python -m enervision_ml.train  # lit ML_DATABASE_URL
+
+Le modele entraine est ecrit en fichier (`Booster.save_model()`) et suivi par MLflow (parametres,
+metriques, artefact). La base ne stocke jamais le modele lui-meme, seulement une reference vers
+lui (`prediction.model_reference`, pose par le futur service de scoring - hors perimetre ici).
+"""
+
+import argparse
+from pathlib import Path
+from typing import Any
+
+import lightgbm as lgb
+import mlflow
+import mlflow.lightgbm
+import pandas as pd
+from sqlalchemy import create_engine
+
+from enervision_ml import config
+from enervision_ml.baseline import seasonal_persistence_predictions
+from enervision_ml.data import load_from_csv, load_from_database
+from enervision_ml.features import TARGET_COLUMN, build_features, feature_columns
+from enervision_ml.metrics import regression_metrics
+
+CATEGORICAL_FEATURES = ["site_type"]
+
+LIGHTGBM_PARAMS: dict[str, Any] = {
+    "objective": "regression",
+    "metric": "mae",
+    "learning_rate": 0.05,
+    "num_leaves": 63,
+    "min_data_in_leaf": 50,
+    "feature_fraction": 0.8,
+    "bagging_fraction": 0.8,
+    "bagging_freq": 1,
+    "verbosity": -1,
+}
+
+NUM_BOOST_ROUND = 1000
+EARLY_STOPPING_ROUNDS = 50
+DEFAULT_TEST_FRACTION = 0.15
+
+
+def load_raw_frame(csv_path: Path | None) -> pd.DataFrame:
+    """Lit les lectures brutes, depuis le CSV de demarrage ou depuis PostgreSQL."""
+    if csv_path is not None:
+        return load_from_csv(csv_path)
+
+    engine = create_engine(config.database_url())
+    try:
+        return load_from_database(engine)
+    finally:
+        engine.dispose()
+
+
+def chronological_split(
+    features: pd.DataFrame, test_fraction: float
+) -> tuple[pd.DataFrame, pd.DataFrame]:
+    """Coupe par date de coupure, jamais par tirage aleatoire de lignes.
+
+    Une coupure aleatoire laisserait des lignes d'apres la coupure "voir" des lignes d'avant via
+    leurs lags/moyennes glissantes, une fuite qui masquerait un surapprentissage a l'evaluation.
+    """
+    coupure = features["timestamp"].quantile(1 - test_fraction)
+    entrainement = features[features["timestamp"] < coupure]
+    validation = features[features["timestamp"] >= coupure]
+    return entrainement, validation
+
+
+def prepare_dataset(frame: pd.DataFrame, columns: list[str]) -> tuple[pd.DataFrame, pd.Series]:
+    typee = frame.copy()
+    typee["site_type"] = typee["site_type"].astype("category")
+    return typee[columns], typee[TARGET_COLUMN]
+
+
+def train(
+    *,
+    csv_path: Path | None,
+    model_output: Path,
+    test_fraction: float = DEFAULT_TEST_FRACTION,
+    tracking_uri: str | None = None,
+) -> tuple[dict[str, float], dict[str, float]]:
+    """Execute le pipeline complet et rend (metriques du modele, metriques de la baseline)."""
+    raw = load_raw_frame(csv_path)
+    features = build_features(raw)
+    columns = feature_columns()
+
+    # Les premieres 168h par site n'ont pas de lag hebdomadaire complet : ni entrainables, ni
+    # comparables a la baseline saisonniere qui en depend.
+    utilisable = features.dropna(subset=[TARGET_COLUMN, f"{TARGET_COLUMN}_lag_168h"])
+
+    entrainement, validation = chronological_split(utilisable, test_fraction)
+    if entrainement.empty or validation.empty:
+        raise ValueError(
+            "Fenetre d'entrainement ou de validation vide : jeu de donnees trop court pour "
+            f"test_fraction={test_fraction}."
+        )
+
+    X_train, y_train = prepare_dataset(entrainement, columns)
+    X_valid, y_valid = prepare_dataset(validation, columns)
+
+    train_set = lgb.Dataset(
+        X_train,
+        label=y_train,
+        categorical_feature=CATEGORICAL_FEATURES,
+        free_raw_data=False,
+    )
+    valid_set = lgb.Dataset(
+        X_valid,
+        label=y_valid,
+        reference=train_set,
+        categorical_feature=CATEGORICAL_FEATURES,
+        free_raw_data=False,
+    )
+
+    booster = lgb.train(
+        LIGHTGBM_PARAMS,
+        train_set,
+        num_boost_round=NUM_BOOST_ROUND,
+        valid_sets=[valid_set],
+        callbacks=[
+            lgb.early_stopping(EARLY_STOPPING_ROUNDS, verbose=False),
+            lgb.log_evaluation(period=0),
+        ],
+    )
+
+    predictions = pd.Series(
+        booster.predict(X_valid, num_iteration=booster.best_iteration),
+        index=X_valid.index,
+    )
+    model_metrics = regression_metrics(y_valid, predictions)
+    baseline_metrics = regression_metrics(y_valid, seasonal_persistence_predictions(validation))
+
+    model_output.parent.mkdir(parents=True, exist_ok=True)
+    booster.save_model(str(model_output))
+
+    _log_to_mlflow(
+        tracking_uri=tracking_uri,
+        booster=booster,
+        model_metrics=model_metrics,
+        baseline_metrics=baseline_metrics,
+        n_train=len(X_train),
+        n_valid=len(X_valid),
+        test_fraction=test_fraction,
+        model_output=model_output,
+    )
+
+    return model_metrics, baseline_metrics
+
+
+def _log_to_mlflow(
+    *,
+    tracking_uri: str | None,
+    booster: lgb.Booster,
+    model_metrics: dict[str, float],
+    baseline_metrics: dict[str, float],
+    n_train: int,
+    n_valid: int,
+    test_fraction: float,
+    model_output: Path,
+) -> None:
+    uri = tracking_uri or config.mlflow_tracking_uri()
+    if uri is not None:
+        mlflow.set_tracking_uri(uri)
+    mlflow.set_experiment(config.MLFLOW_EXPERIMENT_NAME)
+
+    with mlflow.start_run():
+        mlflow.log_params(
+            {
+                **LIGHTGBM_PARAMS,
+                "num_boost_round": booster.best_iteration or NUM_BOOST_ROUND,
+                "test_fraction": test_fraction,
+                "n_train": n_train,
+                "n_valid": n_valid,
+            }
+        )
+        mlflow.log_metrics({f"model_{cle}": valeur for cle, valeur in model_metrics.items()})
+        mlflow.log_metrics({f"baseline_{cle}": valeur for cle, valeur in baseline_metrics.items()})
+        mlflow.lightgbm.log_model(booster, name="model")
+        mlflow.log_artifact(str(model_output))
+
+
+def parse_args() -> argparse.Namespace:
+    parser = argparse.ArgumentParser(description="Entrainement du modele LightGBM EnerVision")
+
+    parser.add_argument(
+        "--csv",
+        type=Path,
+        default=None,
+        help=(
+            "Chemin vers le CSV historique (chemin de demarrage). Omis, lit ML_DATABASE_URL "
+            "et se connecte directement a PostgreSQL (reading + site)."
+        ),
+    )
+    parser.add_argument(
+        "--model-output",
+        type=Path,
+        default=Path("models/lightgbm-consumption.txt"),
+        help="Chemin d'ecriture du modele entraine. Defaut : models/lightgbm-consumption.txt.",
+    )
+    parser.add_argument(
+        "--test-fraction",
+        type=float,
+        default=DEFAULT_TEST_FRACTION,
+        help=(
+            "Part la plus recente de l'historique reservee a la validation. "
+            f"Defaut : {DEFAULT_TEST_FRACTION}."
+        ),
+    )
+    parser.add_argument(
+        "--mlflow-tracking-uri",
+        default=None,
+        help="Surcharge MLFLOW_TRACKING_URI. Omis, magasin SQLite local (./mlflow.db).",
+    )
+
+    return parser.parse_args()
+
+
+def main() -> None:
+    args = parse_args()
+
+    model_metrics, baseline_metrics = train(
+        csv_path=args.csv,
+        model_output=args.model_output,
+        test_fraction=args.test_fraction,
+        tracking_uri=args.mlflow_tracking_uri,
+    )
+
+    print("Modele LightGBM :", model_metrics)
+    print("Baseline saisonniere (t-168h) :", baseline_metrics)
+
+    if model_metrics["mae"] < baseline_metrics["mae"]:
+        gain = (1 - model_metrics["mae"] / baseline_metrics["mae"]) * 100
+        print(f"LightGBM bat la baseline de {gain:.1f}% de MAE.")
+    else:
+        print("LightGBM ne bat pas la baseline saisonniere sur ce decoupage.")
+
+
+if __name__ == "__main__":
+    main()