fix(ml,backend): corrige la revue, le typage du drapeau CSV et la portée du biais
`load_from_csv` gardait un `astype(bool)` sur `is_working_hours`, joué avant `_typer` : une case vide du CSV arrivait en `NaN` et en ressortait `True`, soit une heure ouvrée inventée. Le chemin base était corrigé, pas celui-ci, et rien ne le couvrait. La ligne disparaît, et `_typer` ramène désormais les colonnes de `FLAG_COLUMNS` à `float64` quel que soit le contenu lu : sans cela le dtype dépendait de l'écriture du fichier (`0`/`1` contre `True`/`False`) et de la présence d'un trou, et l'égalité de schéma entre les deux chargeurs que promet ML-START n'était vraie que par accident du jeu de test. `Seuils.seuil_biais` valait `0` et `_verdict` exigeait `> 0` : la règle était inerte partout, CLI et DAG compris, et aucun test ne l'exerçait. Elle reste désactivée par défaut, parce qu'un seuil en kWh ne se transpose pas d'un bureau de 10 kWh à une usine de 1 000 kWh et qu'aucune valeur n'a été calibrée sur la vraie série, mais `--bias-threshold` la rend atteignable et l'ADR 0011 porte l'arbitrage. Trois tests couvrent le chemin : inerte par défaut, dérive au-delà du seuil réglé, et priorité de la MAE sur le biais. Deux lignes de doc devenues fausses au passage : la signature de `load_recent_from_database` dans ML-START, qui omettait `until` devenu obligatoire, et la ligne `bias` de 20-backend, qui laissait croire que la métrique décide du verdict.
This commit is contained in:
@@ -1,6 +1,7 @@
|
||||
from pathlib import Path
|
||||
|
||||
import pandas as pd
|
||||
import pytest
|
||||
|
||||
from enervision_ml.data import NUMERIC_COLUMNS, load_from_csv
|
||||
|
||||
@@ -53,3 +54,44 @@ def test_load_from_csv_always_types_capacity_kw_as_float(tmp_path: Path) -> None
|
||||
|
||||
assert frame["capacity_kw"].dtype == "float64"
|
||||
assert pd.isna(frame["capacity_kw"].iloc[0])
|
||||
|
||||
|
||||
@pytest.mark.parametrize("present", ["1", "True"], ids=["entier", "booleen_textuel"])
|
||||
def test_load_from_csv_keeps_a_missing_is_working_hours_as_nan(
|
||||
tmp_path: Path, present: str
|
||||
) -> None:
|
||||
# Une case vide vaut "on ne sait pas", que LightGBM sait traiter. La rendre `True` inventerait
|
||||
# une heure ouvree, et le modele apprendrait sur une valeur que personne n'a mesuree.
|
||||
csv_path = write_csv(
|
||||
tmp_path,
|
||||
f"SITE001,2026-01-01T00:00:00,10.5,15.0,50.0,0.0,{present},office",
|
||||
"SITE001,2026-01-01T01:00:00,11.5,15.2,50.5,0.0,,office",
|
||||
)
|
||||
|
||||
frame = load_from_csv(csv_path)
|
||||
|
||||
assert frame["is_working_hours"].iloc[0] == 1
|
||||
assert pd.isna(frame["is_working_hours"].iloc[1])
|
||||
|
||||
|
||||
@pytest.mark.parametrize(
|
||||
"valeurs",
|
||||
[("1", "0"), ("True", "False")],
|
||||
ids=["entier", "booleen_textuel"],
|
||||
)
|
||||
def test_load_from_csv_always_types_is_working_hours_as_float(
|
||||
tmp_path: Path, valeurs: tuple[str, str]
|
||||
) -> None:
|
||||
# Le dtype ne doit pas dependre de l'ecriture du fichier ni de la presence d'un trou : c'est
|
||||
# ce qui rend comparable le schema des deux chargeurs, cf. `test_data_integration.py`.
|
||||
present, absent = valeurs
|
||||
csv_path = write_csv(
|
||||
tmp_path,
|
||||
f"SITE001,2026-01-01T00:00:00,10.5,15.0,50.0,0.0,{present},office",
|
||||
f"SITE001,2026-01-01T01:00:00,11.5,15.2,50.5,0.0,{absent},office",
|
||||
)
|
||||
|
||||
frame = load_from_csv(csv_path)
|
||||
|
||||
assert frame["is_working_hours"].dtype == "float64"
|
||||
assert list(frame["is_working_hours"]) == [1.0, 0.0]
|
||||
|
||||
@@ -142,6 +142,21 @@ def test_load_recent_from_database_types_a_null_is_working_hours_as_float64(
|
||||
assert list(frame["is_working_hours"].isna()) == [True, False]
|
||||
|
||||
|
||||
def test_load_recent_from_database_types_is_working_hours_as_float64_even_without_a_null(
|
||||
connexion_ml: Connection,
|
||||
) -> None:
|
||||
# Sans cette garantie, le dtype dependrait du contenu de la fenetre lue : `bool` ici, `float64`
|
||||
# des qu'une seule lecture est a NULL, et le schema des deux chargeurs cesserait d'etre egal.
|
||||
site_id = insere_site(connexion_ml)
|
||||
insere_lectures(connexion_ml, site_id, heures=2, fin=ANCRAGE)
|
||||
|
||||
frame = load_recent_from_database(
|
||||
connexion_ml, since=ANCRAGE - timedelta(hours=2), until=ANCRAGE
|
||||
)
|
||||
|
||||
assert frame["is_working_hours"].dtype == "float64"
|
||||
|
||||
|
||||
def test_both_loaders_produce_the_same_columns_in_the_same_order(
|
||||
connexion_ml: Connection, tmp_path: Path
|
||||
) -> None:
|
||||
|
||||
Reference in New Issue
Block a user