Compare commits
42
Commits
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
f8d08c8686 | ||
|
|
306c5a52e5 | ||
|
|
801379f956 | ||
|
|
2686880185 | ||
|
|
ae58a896d9 | ||
|
|
5a29faaa16 | ||
|
|
bc75528616 | ||
|
|
3cd9a6b272 | ||
|
|
26f834485c | ||
|
|
777cd0ac64 | ||
|
|
c528ed239b | ||
|
|
a88e51c92a | ||
|
|
f3ea2785b3 | ||
|
|
901ceffd72 | ||
|
|
6f6f451eb4 | ||
|
|
cc3e38efa3 | ||
|
|
0a2ed5ad8f | ||
|
|
459ddf1792 | ||
|
|
de697b080d | ||
|
|
f238940867 | ||
|
|
b941880c22 | ||
|
|
9d2384a639 | ||
|
|
0c487fa7be | ||
|
|
b3efb98208 | ||
|
|
2d7b4bd74d | ||
|
|
56c6b79a5a | ||
|
|
19c38fe571 | ||
|
|
9a1af94d88 | ||
|
|
452cfdef85 | ||
|
|
96dd1f834c | ||
|
|
e66ef86729 | ||
|
|
0318ee6cc5 | ||
|
|
0ddfb1997d | ||
|
|
b96546cea3 | ||
|
|
c059f838bb | ||
|
|
f9c2a4610c | ||
|
|
b5fa7b0010 | ||
|
|
a9e124a97d | ||
|
|
edd5e82d29 | ||
|
|
aeb07e14db | ||
|
|
619024f547 | ||
|
|
7f710c9084 |
@@ -17,3 +17,39 @@ APP_LOG_LEVEL=INFO
|
|||||||
APP_SECRET_KEY=change_me
|
APP_SECRET_KEY=change_me
|
||||||
APP_CORS_ORIGINS=http://localhost:4200
|
APP_CORS_ORIGINS=http://localhost:4200
|
||||||
BACKEND_PORT=8000
|
BACKEND_PORT=8000
|
||||||
|
FRONTEND_PORT=3000
|
||||||
|
|
||||||
|
# Mailpit capture les courriels du backend, rien ne sort vers l'extérieur.
|
||||||
|
MAILPIT_SMTP_PORT=1025
|
||||||
|
MAILPIT_UI_PORT=8025
|
||||||
|
|
||||||
|
# API Mock EnerVision
|
||||||
|
APP_MOCK_API_BASE_URL=https://api-mock.charlieandre.fr
|
||||||
|
APP_MOCK_API_USERNAME=change_me
|
||||||
|
APP_MOCK_API_PASSWORD=change_me
|
||||||
|
APP_MOCK_API_TIMEOUT_SECONDS=10
|
||||||
|
|
||||||
|
# Airflow (webserver + scheduler, LocalExecutor). Base de métadonnées dédiée `airflow` dans le
|
||||||
|
# même conteneur `db` (cf. db/init/120-airflow-database.sql), pas un conteneur de plus.
|
||||||
|
AIRFLOW_PORT=8080
|
||||||
|
# Chiffre les connexions/variables stockées par Airflow. Générer la vôtre :
|
||||||
|
# python -c "from cryptography.fernet import Fernet; print(Fernet.generate_key().decode())"
|
||||||
|
AIRFLOW_FERNET_KEY=change_me
|
||||||
|
# Clé Flask du webserver Airflow (signature de session), distincte de la précédente. Générer la
|
||||||
|
# vôtre : python -c "import secrets; print(secrets.token_urlsafe(48))"
|
||||||
|
AIRFLOW_WEBSERVER_SECRET_KEY=change_me
|
||||||
|
AIRFLOW_ADMIN_USERNAME=admin
|
||||||
|
# Compte Airflow créé au premier démarrage (service `airflow-init`), sans rapport avec les
|
||||||
|
# comptes `app_user` d'EnerVision.
|
||||||
|
AIRFLOW_ADMIN_PASSWORD=change_me
|
||||||
|
AIRFLOW_ADMIN_EMAIL=admin@enervision.fr
|
||||||
|
# `APP_SECRET_KEY` du backend, que le DAG `alertes` lance en sous-processus. Distincte de
|
||||||
|
# celle de l'API : la détection ne signe aucun jeton, et Airflow exécute du code depuis son
|
||||||
|
# interface (cf. ADR 0008). Générer la vôtre :
|
||||||
|
# python -c "import secrets; print(secrets.token_urlsafe(48))"
|
||||||
|
AIRFLOW_APP_SECRET_KEY=change_me
|
||||||
|
|
||||||
|
# Stack complète derrière le reverse proxy (docker-compose.prod.yml).
|
||||||
|
# PUBLIC_HOST alimente l'origine CORS, le lien de réinitialisation et le certificat.
|
||||||
|
PUBLIC_HOST=enervision.local
|
||||||
|
ACME_EMAIL=
|
||||||
|
|||||||
@@ -38,3 +38,9 @@ updates:
|
|||||||
directory: "/apps/frontend"
|
directory: "/apps/frontend"
|
||||||
schedule:
|
schedule:
|
||||||
interval: "weekly"
|
interval: "weekly"
|
||||||
|
|
||||||
|
# Images du reverse proxy et du compagnon ACME, épinglées dans les fichiers Compose
|
||||||
|
- package-ecosystem: "docker-compose"
|
||||||
|
directory: "/"
|
||||||
|
schedule:
|
||||||
|
interval: "weekly"
|
||||||
|
|||||||
@@ -0,0 +1,101 @@
|
|||||||
|
name: Airflow
|
||||||
|
|
||||||
|
# Piège : la version de Python vient de etl/airflow/.python-version. C'est 3.12 et non 3.14
|
||||||
|
# (contrairement à backend.yml et ml.yml) : apache-airflow 2.10 ne supporte pas 3.14. Le 3.14 de
|
||||||
|
# ml/ ne vit que dans l'image Docker, dans son propre environnement (cf. etl/airflow/Dockerfile).
|
||||||
|
#
|
||||||
|
# Piège : l'image COPY les fichiers de dépendances et le code de ml/ et de apps/backend/. Une
|
||||||
|
# modification de l'un ou de l'autre peut donc casser sa construction, d'où ces chemins dans
|
||||||
|
# les déclencheurs, alors même que ce workflow ne teste ni le modèle ni l'API.
|
||||||
|
|
||||||
|
on:
|
||||||
|
push:
|
||||||
|
paths:
|
||||||
|
- "etl/airflow/**"
|
||||||
|
- "ml/pyproject.toml"
|
||||||
|
- "ml/uv.lock"
|
||||||
|
- "ml/enervision_ml/**"
|
||||||
|
- "apps/backend/pyproject.toml"
|
||||||
|
- "apps/backend/uv.lock"
|
||||||
|
- "apps/backend/app/**"
|
||||||
|
- ".github/workflows/airflow.yml"
|
||||||
|
pull_request:
|
||||||
|
paths:
|
||||||
|
- "etl/airflow/**"
|
||||||
|
- "ml/pyproject.toml"
|
||||||
|
- "ml/uv.lock"
|
||||||
|
- "ml/enervision_ml/**"
|
||||||
|
- "apps/backend/pyproject.toml"
|
||||||
|
- "apps/backend/uv.lock"
|
||||||
|
- "apps/backend/app/**"
|
||||||
|
- ".github/workflows/airflow.yml"
|
||||||
|
|
||||||
|
permissions:
|
||||||
|
contents: read
|
||||||
|
|
||||||
|
concurrency:
|
||||||
|
group: airflow-${{ github.ref }}
|
||||||
|
cancel-in-progress: true
|
||||||
|
|
||||||
|
jobs:
|
||||||
|
verification:
|
||||||
|
name: Lint et intégrité des DAGs
|
||||||
|
runs-on: ubuntu-latest
|
||||||
|
defaults:
|
||||||
|
run:
|
||||||
|
working-directory: etl/airflow
|
||||||
|
|
||||||
|
steps:
|
||||||
|
- name: Récupère le dépôt
|
||||||
|
uses: actions/checkout@v4
|
||||||
|
|
||||||
|
- name: Installe uv
|
||||||
|
uses: astral-sh/setup-uv@v5
|
||||||
|
with:
|
||||||
|
enable-cache: true
|
||||||
|
cache-dependency-glob: etl/airflow/uv.lock
|
||||||
|
|
||||||
|
- name: Installe l'interpréteur déclaré par .python-version
|
||||||
|
run: uv python install
|
||||||
|
|
||||||
|
- name: Synchronise les dépendances sans dévier du verrou
|
||||||
|
run: uv sync --all-groups --frozen
|
||||||
|
|
||||||
|
- name: Vérifie le formatage
|
||||||
|
run: uv run ruff format --check .
|
||||||
|
|
||||||
|
- name: Analyse statique
|
||||||
|
run: uv run ruff check --output-format=github .
|
||||||
|
|
||||||
|
# Aucun test ne lance de tâche ni de scheduler : DagBag charge les fichiers de dags/ et
|
||||||
|
# vérifie import, planification, plafonds d'exécution et commande de chaque tâche.
|
||||||
|
- name: Tests d'intégrité des DAGs
|
||||||
|
run: uv run pytest
|
||||||
|
|
||||||
|
image:
|
||||||
|
name: Construction de l'image
|
||||||
|
runs-on: ubuntu-latest
|
||||||
|
|
||||||
|
steps:
|
||||||
|
- name: Récupère le dépôt
|
||||||
|
uses: actions/checkout@v4
|
||||||
|
|
||||||
|
- name: Construit l'image (contexte à la racine, elle COPY ml/ et apps/backend/)
|
||||||
|
run: docker build -f etl/airflow/Dockerfile -t enervision-airflow:ci .
|
||||||
|
|
||||||
|
# Vérifie ce qui ne casse qu'à l'exécution, pas à la construction : libgomp1 absent
|
||||||
|
# (`OSError: libgomp.so.1` au premier import) ou environnement ml/ non figé.
|
||||||
|
- name: Vérifie que le pipeline ML s'importe sans réseau
|
||||||
|
run: >
|
||||||
|
docker run --rm --network none enervision-airflow:ci
|
||||||
|
bash -c "cd /opt/ml && env -u VIRTUAL_ENV uv run --no-sync python -m enervision_ml.train --help"
|
||||||
|
|
||||||
|
# `--help` sort par argparse avant `get_settings()` : ni base ni secret requis, et
|
||||||
|
# l'import du module prouve que l'environnement /opt/backend est complet. Les deux
|
||||||
|
# commandes du DAG `alertes` sont couvertes, `app.cli` tirant tout FastAPI derrière lui.
|
||||||
|
- name: Vérifie que les deux commandes du DAG alertes s'importent sans réseau
|
||||||
|
run: >
|
||||||
|
docker run --rm --network none enervision-airflow:ci
|
||||||
|
bash -c "cd /opt/backend
|
||||||
|
&& env -u VIRTUAL_ENV uv run --no-sync python -m app.detection.internal_alerts --help
|
||||||
|
&& env -u VIRTUAL_ENV uv run --no-sync python -m app.cli generate-recommendations --help"
|
||||||
@@ -66,6 +66,12 @@ ml/mlruns/
|
|||||||
ml/mlartifacts/
|
ml/mlartifacts/
|
||||||
ml/mlflow.db
|
ml/mlflow.db
|
||||||
|
|
||||||
|
# Airflow : base sqlite locale generee par les tests d'integrite des DAGs (etl/airflow/tests)
|
||||||
|
etl/airflow/tests/.airflow_home/
|
||||||
|
|
||||||
|
# TLS : certificats du reverse proxy, générés par script ou par certbot
|
||||||
|
infra/proxy/tls/*.pem
|
||||||
|
|
||||||
# IDE et OS
|
# IDE et OS
|
||||||
.idea/
|
.idea/
|
||||||
.vscode/
|
.vscode/
|
||||||
|
|||||||
@@ -1,17 +1,31 @@
|
|||||||
BACKEND := apps/backend
|
BACKEND := apps/backend
|
||||||
FRONTEND := apps/frontend
|
FRONTEND := apps/frontend
|
||||||
ML := ml
|
ML := ml
|
||||||
|
AIRFLOW := etl/airflow
|
||||||
|
COMPOSE_PROD := docker compose -f docker-compose.yml -f docker-compose.prod.yml
|
||||||
|
|
||||||
|
# Piège : sans `export`, une valeur passée en ligne de commande n'atteindrait pas docker compose.
|
||||||
|
# PUBLIC_HOST retombe sur le `.env`, que make ne lit pas, puis sur la valeur de `.env.example`.
|
||||||
|
PUBLIC_HOST ?= $(shell sed -n 's/^PUBLIC_HOST=//p' .env 2>/dev/null | tail -1)
|
||||||
|
PUBLIC_HOST := $(or $(strip $(PUBLIC_HOST)),enervision.local)
|
||||||
|
export PUBLIC_HOST
|
||||||
|
ifdef ACME_EMAIL
|
||||||
|
export ACME_EMAIL
|
||||||
|
endif
|
||||||
|
|
||||||
.DEFAULT_GOAL := help
|
.DEFAULT_GOAL := help
|
||||||
.PHONY: help install install-backend install-frontend install-ml dev dev-backend dev-frontend \
|
.PHONY: help install install-backend install-frontend install-ml install-airflow \
|
||||||
|
dev dev-backend dev-frontend \
|
||||||
lint format typecheck test test-cov test-integration check \
|
lint format typecheck test test-cov test-integration check \
|
||||||
openapi docker-build db-up db-down db-reset db-logs db-psql migrate bootstrap-admin \
|
openapi docker-build db-up db-down db-reset db-logs db-psql migrate bootstrap-admin \
|
||||||
ml-lint ml-typecheck ml-test ml-check ml-train ml-score
|
ml-lint ml-typecheck ml-test ml-check ml-train ml-score detect-alerts recommendations \
|
||||||
|
airflow-lint airflow-test airflow-check airflow-up airflow-down airflow-logs \
|
||||||
|
tls-selfsigned tls-acme tls-renew stack-up stack-down stack-logs
|
||||||
|
|
||||||
help: ## Liste les cibles disponibles
|
help: ## Liste les cibles disponibles
|
||||||
@grep -E '^[a-zA-Z_-]+:.*?## .*$$' $(MAKEFILE_LIST) | awk 'BEGIN {FS = ":.*?## "}; {printf " \033[36m%-16s\033[0m %s\n", $$1, $$2}'
|
@grep -E '^[a-zA-Z_-]+:.*?## .*$$' $(MAKEFILE_LIST) | awk 'BEGIN {FS = ":.*?## "}; {printf " \033[36m%-16s\033[0m %s\n", $$1, $$2}'
|
||||||
|
|
||||||
install: install-backend install-frontend install-ml ## Installe les dépendances backend, frontend et ML
|
install: install-backend install-frontend install-ml install-airflow ## Installe les dépendances backend, frontend, ML et Airflow
|
||||||
|
|
||||||
install-backend: ## Installe les dépendances du backend
|
install-backend: ## Installe les dépendances du backend
|
||||||
cd $(BACKEND) && uv sync --all-groups
|
cd $(BACKEND) && uv sync --all-groups
|
||||||
@@ -22,6 +36,9 @@ install-frontend: ## Installe les dépendances du frontend
|
|||||||
install-ml: ## Installe les dépendances du pipeline ML
|
install-ml: ## Installe les dépendances du pipeline ML
|
||||||
cd $(ML) && uv sync --all-groups
|
cd $(ML) && uv sync --all-groups
|
||||||
|
|
||||||
|
install-airflow: ## Installe les dépendances de lint/test des DAGs Airflow
|
||||||
|
cd $(AIRFLOW) && uv sync --all-groups
|
||||||
|
|
||||||
dev: ## Lance toute la stack (backend + frontend) en rechargement à chaud
|
dev: ## Lance toute la stack (backend + frontend) en rechargement à chaud
|
||||||
@trap 'kill 0' EXIT INT TERM; \
|
@trap 'kill 0' EXIT INT TERM; \
|
||||||
$(MAKE) --no-print-directory dev-backend & \
|
$(MAKE) --no-print-directory dev-backend & \
|
||||||
@@ -77,9 +94,62 @@ ml-train: ## Entraine le modele LightGBM. CSV=chemin optionnel, sinon lit ML_DAT
|
|||||||
ml-score: ## Score le prochain pas horaire et l'ecrit dans `prediction`. CSV=chemin optionnel
|
ml-score: ## Score le prochain pas horaire et l'ecrit dans `prediction`. CSV=chemin optionnel
|
||||||
cd $(ML) && uv run python -m enervision_ml.score $(if $(CSV),--csv $(CSV),)
|
cd $(ML) && uv run python -m enervision_ml.score $(if $(CSV),--csv $(CSV),)
|
||||||
|
|
||||||
|
detect-alerts: ## Détecte les alertes internes depuis les lectures en base. SITE= et NOW= optionnels
|
||||||
|
cd $(BACKEND) && uv run python -m app.detection.internal_alerts $(if $(SITE),--site-id $(SITE),) $(if $(NOW),--now $(NOW),)
|
||||||
|
|
||||||
|
recommendations: ## Genere les recommandations depuis les alertes en base. SITE=identifiant optionnel
|
||||||
|
cd $(BACKEND) && uv run python -m app.cli generate-recommendations $(if $(SITE),--site-id $(SITE),)
|
||||||
|
|
||||||
|
airflow-lint: ## Analyse statique des DAGs Airflow
|
||||||
|
cd $(AIRFLOW) && uv run ruff check .
|
||||||
|
|
||||||
|
airflow-test: ## Verifie que les DAGs s'importent sans erreur et ont la structure attendue
|
||||||
|
cd $(AIRFLOW) && uv run pytest
|
||||||
|
|
||||||
|
airflow-check: airflow-lint airflow-test ## Chaîne de vérification complète des DAGs Airflow
|
||||||
|
|
||||||
|
airflow-up: ## Démarre Airflow (webserver + scheduler, LocalExecutor). db-up requis avant.
|
||||||
|
docker compose up -d airflow-init airflow-webserver airflow-scheduler
|
||||||
|
@echo "airflow -> http://localhost:$${AIRFLOW_PORT:-8080}"
|
||||||
|
|
||||||
|
airflow-down: ## Arrête le webserver et le scheduler Airflow
|
||||||
|
docker compose stop airflow-webserver airflow-scheduler
|
||||||
|
|
||||||
|
airflow-logs: ## Suit les journaux du scheduler Airflow (où tournent les tâches, LocalExecutor)
|
||||||
|
docker compose logs -f airflow-scheduler
|
||||||
|
|
||||||
docker-build: ## Construit l'image du backend
|
docker-build: ## Construit l'image du backend
|
||||||
docker build -t enervision-backend:local $(BACKEND)
|
docker build -t enervision-backend:local $(BACKEND)
|
||||||
|
|
||||||
|
tls-selfsigned: ## Génère le certificat de démonstration. PUBLIC_HOST=..., FORCE=1 pour écraser
|
||||||
|
./scripts/tls-selfsigned.sh $(if $(FORCE),--force,)
|
||||||
|
|
||||||
|
stack-up: ## Démarre la stack complète derrière le reverse proxy (80/443). PUBLIC_HOST=... au besoin
|
||||||
|
@test -f infra/proxy/tls/fullchain.pem \
|
||||||
|
|| { echo "Aucun certificat dans infra/proxy/tls. Lancer d'abord make tls-selfsigned"; exit 1; }
|
||||||
|
@openssl x509 -in infra/proxy/tls/fullchain.pem -noout -checkhost "$(PUBLIC_HOST)" >/dev/null \
|
||||||
|
|| { echo "Le certificat ne couvre pas $(PUBLIC_HOST). Relancer make tls-selfsigned PUBLIC_HOST=$(PUBLIC_HOST) FORCE=1"; exit 1; }
|
||||||
|
$(COMPOSE_PROD) up -d --build
|
||||||
|
|
||||||
|
stack-down: ## Arrête la stack complète en conservant les données
|
||||||
|
$(COMPOSE_PROD) stop
|
||||||
|
|
||||||
|
stack-logs: ## Suit les journaux du reverse proxy
|
||||||
|
$(COMPOSE_PROD) logs -f proxy
|
||||||
|
|
||||||
|
tls-acme: ## Demande un certificat Let's Encrypt. PUBLIC_HOST public et ACME_EMAIL requis
|
||||||
|
@test "$(PUBLIC_HOST)" != enervision.local \
|
||||||
|
|| { echo "PUBLIC_HOST doit être un domaine public résolvable, pas le nom de démonstration"; exit 1; }
|
||||||
|
$(COMPOSE_PROD) --profile acme run --rm certbot certonly --webroot -w /var/www/certbot \
|
||||||
|
-d $(PUBLIC_HOST) \
|
||||||
|
--email $${ACME_EMAIL:?ACME_EMAIL=... requis} \
|
||||||
|
--agree-tos --no-eff-email --deploy-hook /deploy-hook.sh
|
||||||
|
$(COMPOSE_PROD) exec proxy nginx -s reload
|
||||||
|
|
||||||
|
tls-renew: ## Renouvelle les certificats Let's Encrypt et recharge le proxy
|
||||||
|
$(COMPOSE_PROD) --profile acme run --rm certbot renew --deploy-hook /deploy-hook.sh
|
||||||
|
$(COMPOSE_PROD) exec proxy nginx -s reload
|
||||||
|
|
||||||
db-up: ## Démarre la base PostgreSQL TimescaleDB
|
db-up: ## Démarre la base PostgreSQL TimescaleDB
|
||||||
docker compose up -d db
|
docker compose up -d db
|
||||||
|
|
||||||
|
|||||||
@@ -21,8 +21,9 @@ Ce que la documentation apporte à chacun : [docs/architecture/00-vue-ensemble.m
|
|||||||
| Backend | FastAPI, Python 3.14 | `apps/backend` | Initialise |
|
| Backend | FastAPI, Python 3.14 | `apps/backend` | Initialise |
|
||||||
| Frontend | Angular 22, Node 24 LTS | `apps/frontend` | Tableau de bord |
|
| Frontend | Angular 22, Node 24 LTS | `apps/frontend` | Tableau de bord |
|
||||||
| Base | PostgreSQL 17 + TimescaleDB | `db` | Initialise |
|
| Base | PostgreSQL 17 + TimescaleDB | `db` | Initialise |
|
||||||
| ETL | Apache Airflow | `etl/airflow` | A initialiser |
|
| ETL | Apache Airflow | `etl/airflow` | Trois DAGs |
|
||||||
| Infra | Terraform (k3s single-node) | `infra/terraform` | Initialise |
|
| Infra | Terraform (k3s single-node) | `infra/terraform` | Initialise |
|
||||||
|
| Reverse proxy | Nginx, TLS | `infra/proxy` | En place |
|
||||||
| CI/CD | GitHub Actions | `.github/workflows` | Backend en place |
|
| CI/CD | GitHub Actions | `.github/workflows` | Backend en place |
|
||||||
| Monitoring | Prometheus, Grafana, Alertmanager | `monitoring` | A initialiser |
|
| Monitoring | Prometheus, Grafana, Alertmanager | `monitoring` | A initialiser |
|
||||||
| ML | LightGBM, MLflow | `ml` | Entrainement initialise |
|
| ML | LightGBM, MLflow | `ml` | Entrainement initialise |
|
||||||
@@ -47,11 +48,13 @@ L'etat detaille de chaque brique et les vues d'architecture sont dans
|
|||||||
│ ├── migrations/ Migrations SQL versionnees
|
│ ├── migrations/ Migrations SQL versionnees
|
||||||
│ └── seeds/ Jeux de donnees de reference
|
│ └── seeds/ Jeux de donnees de reference
|
||||||
├── etl/airflow/
|
├── etl/airflow/
|
||||||
│ ├── dags/ DAGs d'ingestion et d'agregation
|
│ ├── dags/ DAGs d'orchestration (pipeline ML, alertes)
|
||||||
│ ├── plugins/ Operateurs et hooks maison
|
│ ├── plugins/ Operateurs et hooks maison
|
||||||
│ ├── include/ Requetes SQL et ressources des DAGs
|
│ ├── include/ Requetes SQL et ressources des DAGs
|
||||||
│ └── tests/ Tests d'integrite des DAGs
|
│ └── tests/ Tests d'integrite des DAGs
|
||||||
├── infra/terraform/
|
├── infra/
|
||||||
|
│ ├── proxy/ Reverse proxy Nginx : terminaison TLS et routage
|
||||||
|
│ └── terraform/
|
||||||
│ ├── modules/ Modules reutilisables
|
│ ├── modules/ Modules reutilisables
|
||||||
│ └── environments/ Racines Terraform, une par environnement
|
│ └── environments/ Racines Terraform, une par environnement
|
||||||
├── ml/ Pipeline d'entrainement LightGBM, suivi MLflow
|
├── ml/ Pipeline d'entrainement LightGBM, suivi MLflow
|
||||||
@@ -98,6 +101,21 @@ Verifier que la base repond et que l'extension est chargee :
|
|||||||
curl -s localhost:8000/api/v1/health/ready
|
curl -s localhost:8000/api/v1/health/ready
|
||||||
```
|
```
|
||||||
|
|
||||||
|
## Stack complète derrière le reverse proxy
|
||||||
|
|
||||||
|
Pour servir l'application comme sur la machine cible, en HTTPS et sous une seule origine.
|
||||||
|
L'overlay emploie `!override` et `!reset`, donc **Docker Compose 2.24.4 ou plus récent** :
|
||||||
|
|
||||||
|
```bash
|
||||||
|
make tls-selfsigned PUBLIC_HOST=enervision.local # certificat de démonstration
|
||||||
|
make stack-up PUBLIC_HOST=enervision.local # nginx en 80/443, rien d'autre n'est publié
|
||||||
|
```
|
||||||
|
|
||||||
|
Le navigateur avertit d'un émetteur inconnu : Let's Encrypt reste hors d'atteinte tant qu'aucun
|
||||||
|
nom de domaine public ne résout vers la machine. Routage, mode ACME et renouvellement dans
|
||||||
|
[`infra/proxy/README.md`](infra/proxy/README.md) ; la décision et ses motifs dans
|
||||||
|
[l'ADR 0007](docs/adr/0007-terminaison-tls-et-reverse-proxy-nginx.md).
|
||||||
|
|
||||||
## Conventions
|
## Conventions
|
||||||
|
|
||||||
- Branches : `feat/`, `fix/`, `chore/`, `docs/`, `test/` suivi d'un libelle court.
|
- Branches : `feat/`, `fix/`, `chore/`, `docs/`, `test/` suivi d'un libelle court.
|
||||||
|
|||||||
@@ -18,3 +18,7 @@ APP_SMTP_HOST=localhost
|
|||||||
APP_SMTP_PORT=1025
|
APP_SMTP_PORT=1025
|
||||||
APP_SMTP_USE_TLS=false
|
APP_SMTP_USE_TLS=false
|
||||||
APP_SMTP_FROM_ADDRESS=no-reply@enervision.fr
|
APP_SMTP_FROM_ADDRESS=no-reply@enervision.fr
|
||||||
|
APP_MOCK_API_BASE_URL=https://api-mock.charlieandre.fr
|
||||||
|
APP_MOCK_API_USERNAME=change_me
|
||||||
|
APP_MOCK_API_PASSWORD=change_me
|
||||||
|
APP_MOCK_API_TIMEOUT_SECONDS=10
|
||||||
|
|||||||
@@ -113,6 +113,7 @@ Le sens de dependance est unique : `endpoints` vers `services` vers `repositorie
|
|||||||
| `/api/v1/sites/{site_id}` | Décrit un site | `lecteur` |
|
| `/api/v1/sites/{site_id}` | Décrit un site | `lecteur` |
|
||||||
| `/api/v1/recommendations` | Liste les recommandations | `lecteur` |
|
| `/api/v1/recommendations` | Liste les recommandations | `lecteur` |
|
||||||
| `/api/v1/recommendations/{recommendation_id}` | Décrit une recommandation | `lecteur` |
|
| `/api/v1/recommendations/{recommendation_id}` | Décrit une recommandation | `lecteur` |
|
||||||
|
| `/api/v1/recommendations/generate` | Génère les recommandations depuis les alertes (POST) | `admin` |
|
||||||
| `/metrics` | Métriques au format Prometheus | jeton si `APP_METRICS_TOKEN` |
|
| `/metrics` | Métriques au format Prometheus | jeton si `APP_METRICS_TOKEN` |
|
||||||
| `/docs`, `/openapi.json` | Documentation, fermée en `staging` et `prod` | public sinon |
|
| `/docs`, `/openapi.json` | Documentation, fermée en `staging` et `prod` | public sinon |
|
||||||
|
|
||||||
|
|||||||
@@ -180,14 +180,23 @@ SiteServiceDep = Annotated[SiteService, Depends(get_site_service)]
|
|||||||
|
|
||||||
|
|
||||||
def get_alert_service(session: SessionDep) -> AlertService:
|
def get_alert_service(session: SessionDep) -> AlertService:
|
||||||
return AlertService(alerts=AlertRepository(session))
|
return AlertService(
|
||||||
|
alerts=AlertRepository(session),
|
||||||
|
readings=ReadingRepository(session),
|
||||||
|
predictions=PredictionRepository(session),
|
||||||
|
sites=SiteRepository(session),
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
AlertServiceDep = Annotated[AlertService, Depends(get_alert_service)]
|
AlertServiceDep = Annotated[AlertService, Depends(get_alert_service)]
|
||||||
|
|
||||||
|
|
||||||
def get_recommendation_service(session: SessionDep) -> RecommendationService:
|
def get_recommendation_service(session: SessionDep) -> RecommendationService:
|
||||||
return RecommendationService(recommendations=RecommendationRepository(session))
|
return RecommendationService(
|
||||||
|
recommendations=RecommendationRepository(session),
|
||||||
|
alerts=AlertRepository(session),
|
||||||
|
transaction=session,
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
RecommendationServiceDep = Annotated[RecommendationService, Depends(get_recommendation_service)]
|
RecommendationServiceDep = Annotated[RecommendationService, Depends(get_recommendation_service)]
|
||||||
|
|||||||
@@ -63,7 +63,7 @@ TAGS: Final[list[dict[str, Any]]] = [
|
|||||||
"name": "recommendations",
|
"name": "recommendations",
|
||||||
"description": (
|
"description": (
|
||||||
"Consultation des recommandations issues des alertes. Accessible à partir du rôle "
|
"Consultation des recommandations issues des alertes. Accessible à partir du rôle "
|
||||||
"`lecteur`."
|
"`lecteur`. Leur génération par le moteur de règles est réservée au rôle `admin`."
|
||||||
),
|
),
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
|
|||||||
@@ -1,13 +1,18 @@
|
|||||||
from fastapi import APIRouter, HTTPException, status
|
from fastapi import APIRouter, HTTPException, status
|
||||||
|
|
||||||
from app.api.deps import LecteurDep, RecommendationServiceDep
|
from app.api.deps import AdminDep, LecteurDep, RecommendationServiceDep
|
||||||
from app.api.openapi import REPONSE_VALIDATION, Reponses
|
from app.api.openapi import REPONSE_VALIDATION, REPONSES_ADMIN, Reponses
|
||||||
from app.schemas.errors import ErrorResponse
|
from app.schemas.errors import ErrorResponse
|
||||||
from app.schemas.recommendation import RecommendationResponse
|
from app.schemas.recommendation import (
|
||||||
|
RecommendationGenerationResponse,
|
||||||
|
RecommendationResponse,
|
||||||
|
)
|
||||||
from app.services.recommendation import RecommendationNotFoundError
|
from app.services.recommendation import RecommendationNotFoundError
|
||||||
|
|
||||||
router = APIRouter()
|
router = APIRouter()
|
||||||
|
|
||||||
|
REPONSES_GENERATION: Reponses = {**REPONSES_ADMIN, **REPONSE_VALIDATION}
|
||||||
|
|
||||||
REPONSES_INTROUVABLE: Reponses = {
|
REPONSES_INTROUVABLE: Reponses = {
|
||||||
**REPONSE_VALIDATION,
|
**REPONSE_VALIDATION,
|
||||||
404: {"model": ErrorResponse, "description": "Aucune recommandation ne porte cet identifiant."},
|
404: {"model": ErrorResponse, "description": "Aucune recommandation ne porte cet identifiant."},
|
||||||
@@ -38,3 +43,22 @@ async def get_recommendation(
|
|||||||
status_code=status.HTTP_404_NOT_FOUND, detail="Recommandation introuvable"
|
status_code=status.HTTP_404_NOT_FOUND, detail="Recommandation introuvable"
|
||||||
) from erreur
|
) from erreur
|
||||||
return RecommendationResponse.model_validate(recommendation)
|
return RecommendationResponse.model_validate(recommendation)
|
||||||
|
|
||||||
|
|
||||||
|
@router.post(
|
||||||
|
"/generate",
|
||||||
|
response_model=RecommendationGenerationResponse,
|
||||||
|
summary="Génère les recommandations à partir des alertes",
|
||||||
|
responses=REPONSES_GENERATION,
|
||||||
|
)
|
||||||
|
async def generate_recommendations(
|
||||||
|
_: AdminDep,
|
||||||
|
service: RecommendationServiceDep,
|
||||||
|
site_id: str | None = None,
|
||||||
|
) -> RecommendationGenerationResponse:
|
||||||
|
rapport = await service.generate(site_id=site_id)
|
||||||
|
return RecommendationGenerationResponse(
|
||||||
|
alerts_examined=rapport.alertes_examinees,
|
||||||
|
recommendations_created=rapport.recommandations_creees,
|
||||||
|
already_present=rapport.deja_presentes,
|
||||||
|
)
|
||||||
|
|||||||
@@ -22,8 +22,11 @@ from app.core.hashing import build_hasher
|
|||||||
from app.core.roles import Role
|
from app.core.roles import Role
|
||||||
from app.db.session import get_session_factory
|
from app.db.session import get_session_factory
|
||||||
from app.main import create_app
|
from app.main import create_app
|
||||||
|
from app.repositories.alert import AlertRepository
|
||||||
|
from app.repositories.recommendation import RecommendationRepository
|
||||||
from app.repositories.user import UserRepository
|
from app.repositories.user import UserRepository
|
||||||
from app.schemas.auth import PASSWORD_MIN_LENGTH, SPECIAL_CHARACTERS, valide_complexite
|
from app.schemas.auth import PASSWORD_MIN_LENGTH, SPECIAL_CHARACTERS, valide_complexite
|
||||||
|
from app.services.recommendation import RecommendationService
|
||||||
|
|
||||||
LONGUEUR_MOT_DE_PASSE_GENERE = 24
|
LONGUEUR_MOT_DE_PASSE_GENERE = 24
|
||||||
CHEMIN_CONTRAT = Path(__file__).resolve().parent.parent / "openapi.json"
|
CHEMIN_CONTRAT = Path(__file__).resolve().parent.parent / "openapi.json"
|
||||||
@@ -63,6 +66,22 @@ async def create_admin(
|
|||||||
)
|
)
|
||||||
|
|
||||||
|
|
||||||
|
async def generate_recommendations(*, site_id: str | None) -> str:
|
||||||
|
async with get_session_factory()() as session:
|
||||||
|
service = RecommendationService(
|
||||||
|
recommendations=RecommendationRepository(session),
|
||||||
|
alerts=AlertRepository(session),
|
||||||
|
transaction=session,
|
||||||
|
)
|
||||||
|
rapport = await service.generate(site_id=site_id)
|
||||||
|
|
||||||
|
return (
|
||||||
|
f"{rapport.alertes_examinees} alerte(s) examinée(s), "
|
||||||
|
f"{rapport.recommandations_creees} recommandation(s) créée(s), "
|
||||||
|
f"{rapport.deja_presentes} déjà présente(s)"
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
# Piège : le schéma ne doit dépendre ni du `.env` du poste ni des variables `APP_*`, sinon le
|
# Piège : le schéma ne doit dépendre ni du `.env` du poste ni des variables `APP_*`, sinon le
|
||||||
# fichier versionné changerait de machine en machine et le test de dérive deviendrait un oracle
|
# fichier versionné changerait de machine en machine et le test de dérive deviendrait un oracle
|
||||||
# de configuration locale. Tout ce qui atteint le schéma est donc posé ici, `_env_file` compris.
|
# de configuration locale. Tout ce qui atteint le schéma est donc posé ici, `_env_file` compris.
|
||||||
@@ -109,6 +128,14 @@ def build_parser() -> argparse.ArgumentParser:
|
|||||||
"export-openapi", help="Écrit le contrat OpenAPI sur disque"
|
"export-openapi", help="Écrit le contrat OpenAPI sur disque"
|
||||||
)
|
)
|
||||||
contrat.add_argument("--output", default=str(CHEMIN_CONTRAT))
|
contrat.add_argument("--output", default=str(CHEMIN_CONTRAT))
|
||||||
|
|
||||||
|
recommandations = sous_commandes.add_parser(
|
||||||
|
"generate-recommendations",
|
||||||
|
help="Applique le moteur de règles aux alertes en base",
|
||||||
|
)
|
||||||
|
recommandations.add_argument(
|
||||||
|
"--site-id", default=None, help="Limite le traitement aux alertes d'un site"
|
||||||
|
)
|
||||||
return parser
|
return parser
|
||||||
|
|
||||||
|
|
||||||
@@ -152,6 +179,10 @@ def main(argv: list[str] | None = None) -> int:
|
|||||||
print(export_openapi(Path(arguments.output)))
|
print(export_openapi(Path(arguments.output)))
|
||||||
return 0
|
return 0
|
||||||
|
|
||||||
|
if arguments.commande == "generate-recommendations":
|
||||||
|
print(asyncio.run(generate_recommendations(site_id=arguments.site_id)))
|
||||||
|
return 0
|
||||||
|
|
||||||
mot_de_passe = read_password(generate=arguments.generate)
|
mot_de_passe = read_password(generate=arguments.generate)
|
||||||
|
|
||||||
succes, message = asyncio.run(
|
succes, message = asyncio.run(
|
||||||
|
|||||||
@@ -34,6 +34,11 @@ class Settings(BaseSettings):
|
|||||||
database_pool_size: int = 5
|
database_pool_size: int = 5
|
||||||
database_max_overflow: int = 10
|
database_max_overflow: int = 10
|
||||||
|
|
||||||
|
mock_api_base_url: str = "https://api-mock.charlieandre.fr"
|
||||||
|
mock_api_username: str | None = None
|
||||||
|
mock_api_password: SecretStr | None = None
|
||||||
|
mock_api_timeout_seconds: float = Field(default=10.0, gt=0)
|
||||||
|
|
||||||
jwt_issuer: str = "enervision-api"
|
jwt_issuer: str = "enervision-api"
|
||||||
jwt_audience: str = "enervision-web"
|
jwt_audience: str = "enervision-web"
|
||||||
access_token_ttl_seconds: int = Field(default=900, ge=60, le=3600)
|
access_token_ttl_seconds: int = Field(default=900, ge=60, le=3600)
|
||||||
|
|||||||
@@ -0,0 +1,68 @@
|
|||||||
|
# Détection d'alertes internes EnerVision (issue #104) : script lancé à la main pour l'instant,
|
||||||
|
# comme `enervision_ml.score` côté ML, sans automatisation Airflow pour l'ordonnancer.
|
||||||
|
|
||||||
|
from __future__ import annotations
|
||||||
|
|
||||||
|
import argparse
|
||||||
|
import asyncio
|
||||||
|
import sys
|
||||||
|
from datetime import UTC, datetime
|
||||||
|
|
||||||
|
from app.core.config import get_settings
|
||||||
|
from app.db.session import get_session_factory
|
||||||
|
from app.repositories.alert import AlertRepository
|
||||||
|
from app.repositories.prediction import PredictionRepository
|
||||||
|
from app.repositories.reading import ReadingRepository
|
||||||
|
from app.repositories.site import SiteRepository
|
||||||
|
from app.services.alert import AlertService
|
||||||
|
|
||||||
|
|
||||||
|
async def run_detection(*, now: datetime | None = None, site_id: str | None = None) -> int:
|
||||||
|
"""Exécute les cinq règles de détection et enregistre les nouvelles alertes. Rend le nombre de
|
||||||
|
lignes effectivement insérées (les doublons de `source_alert_id` sont silencieusement
|
||||||
|
ignorés)."""
|
||||||
|
async with get_session_factory()() as session:
|
||||||
|
service = AlertService(
|
||||||
|
alerts=AlertRepository(session),
|
||||||
|
readings=ReadingRepository(session),
|
||||||
|
predictions=PredictionRepository(session),
|
||||||
|
sites=SiteRepository(session),
|
||||||
|
)
|
||||||
|
nouvelles = await service.detect(now=now, site_id=site_id)
|
||||||
|
await session.commit()
|
||||||
|
return len(nouvelles)
|
||||||
|
|
||||||
|
|
||||||
|
def _parse_instant(valeur: str) -> datetime:
|
||||||
|
instant = datetime.fromisoformat(valeur)
|
||||||
|
return instant if instant.tzinfo is not None else instant.replace(tzinfo=UTC)
|
||||||
|
|
||||||
|
|
||||||
|
def parse_args(argv: list[str] | None = None) -> argparse.Namespace:
|
||||||
|
parser = argparse.ArgumentParser(
|
||||||
|
prog="python -m app.detection.internal_alerts",
|
||||||
|
description="Détection d'alertes internes EnerVision",
|
||||||
|
)
|
||||||
|
parser.add_argument("--site-id", default=None, help="Limite la détection à un seul site.")
|
||||||
|
parser.add_argument(
|
||||||
|
"--now",
|
||||||
|
type=_parse_instant,
|
||||||
|
default=None,
|
||||||
|
help=(
|
||||||
|
"Instant de référence (ISO 8601, UTC si le fuseau est omis). Défaut : l'heure courante."
|
||||||
|
),
|
||||||
|
)
|
||||||
|
return parser.parse_args(argv)
|
||||||
|
|
||||||
|
|
||||||
|
def main(argv: list[str] | None = None) -> int:
|
||||||
|
args = parse_args(argv)
|
||||||
|
# Échoue tôt si `APP_SECRET_KEY`/`DATABASE_URL` manquent, avant toute requête à la base.
|
||||||
|
get_settings()
|
||||||
|
nombre = asyncio.run(run_detection(now=args.now, site_id=args.site_id))
|
||||||
|
print(f"{nombre} nouvelle(s) alerte(s) enregistrée(s).")
|
||||||
|
return 0
|
||||||
|
|
||||||
|
|
||||||
|
if __name__ == "__main__": # pragma: no cover
|
||||||
|
sys.exit(main())
|
||||||
@@ -0,0 +1,416 @@
|
|||||||
|
# Contrainte : la réponse de l'API Mock est une entrée hostile, pas une source de confiance.
|
||||||
|
# Voir OWASP API10 dans docs/architecture/owasp-traceabilite.md. Rien de ce qu'elle renvoie
|
||||||
|
# n'atteint la base sans passer par build_site_row() ou build_reading_row() : seuls les champs
|
||||||
|
# attendus sont recopiés, les grandeurs physiques sont bornées par PHYSICAL_BOUNDS et la taille
|
||||||
|
# des tableaux est plafonnée par MAX_SITES et par --limit. Une valeur hors bornes devient NULL
|
||||||
|
# et laisse sa trace dans null_reasons plutôt que de lever : le mock émet des anomalies par
|
||||||
|
# construction, et raw_data conserve de toute façon la réponse d'origine intacte.
|
||||||
|
|
||||||
|
from __future__ import annotations
|
||||||
|
|
||||||
|
import argparse
|
||||||
|
import asyncio
|
||||||
|
import json
|
||||||
|
from datetime import datetime
|
||||||
|
from typing import Any
|
||||||
|
|
||||||
|
import httpx
|
||||||
|
from sqlalchemy import text
|
||||||
|
from sqlalchemy.ext.asyncio import AsyncConnection, create_async_engine
|
||||||
|
|
||||||
|
from app.core.config import get_settings
|
||||||
|
|
||||||
|
SOURCE_HISTORY = "api_history"
|
||||||
|
|
||||||
|
MAX_SITES = 100
|
||||||
|
|
||||||
|
MAX_LIMIT = 1000
|
||||||
|
|
||||||
|
# Les quatre seules valeurs que la contrainte ck_reading_quality accepte.
|
||||||
|
ACCEPTED_QUALITIES = frozenset({"good", "partial", "degraded", "critical"})
|
||||||
|
|
||||||
|
PHYSICAL_BOUNDS: dict[str, tuple[float, float]] = {
|
||||||
|
"consumption_kw": (0.0, 100_000.0),
|
||||||
|
"consumption_kwh": (0.0, 100_000.0),
|
||||||
|
"voltage_v": (0.0, 1_000.0),
|
||||||
|
"current_a": (0.0, 10_000.0),
|
||||||
|
"power_factor": (0.0, 1.0),
|
||||||
|
"temperature_celsius": (-90.0, 60.0),
|
||||||
|
"humidity_percent": (0.0, 100.0),
|
||||||
|
}
|
||||||
|
|
||||||
|
CAPACITY_BOUNDS = (0.0, 100_000.0)
|
||||||
|
|
||||||
|
|
||||||
|
def create_mock_api_client() -> httpx.AsyncClient:
|
||||||
|
settings = get_settings()
|
||||||
|
|
||||||
|
if settings.mock_api_username is None or settings.mock_api_password is None:
|
||||||
|
raise ValueError("Les identifiants de l'API Mock ne sont pas configurés.")
|
||||||
|
|
||||||
|
return httpx.AsyncClient(
|
||||||
|
base_url=settings.mock_api_base_url.rstrip("/"),
|
||||||
|
auth=(
|
||||||
|
settings.mock_api_username,
|
||||||
|
settings.mock_api_password.get_secret_value(),
|
||||||
|
),
|
||||||
|
timeout=settings.mock_api_timeout_seconds,
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
def read_text(payload: dict[str, Any], key: str) -> str:
|
||||||
|
value = payload.get(key)
|
||||||
|
|
||||||
|
if not isinstance(value, str) or not value:
|
||||||
|
raise ValueError(f"Champ {key} absent ou invalide dans la réponse de l'API Mock.")
|
||||||
|
|
||||||
|
return value
|
||||||
|
|
||||||
|
|
||||||
|
def optional_text(value: Any) -> str | None:
|
||||||
|
return value if isinstance(value, str) else None
|
||||||
|
|
||||||
|
|
||||||
|
def coerce_measure(
|
||||||
|
value: Any,
|
||||||
|
bounds: tuple[float, float],
|
||||||
|
) -> float | None:
|
||||||
|
if isinstance(value, bool) or not isinstance(value, int | float):
|
||||||
|
return None
|
||||||
|
|
||||||
|
lower, upper = bounds
|
||||||
|
|
||||||
|
# Écarte aussi NaN et les infinis, qu'aucune comparaison de bornes ne retient.
|
||||||
|
return float(value) if lower <= value <= upper else None
|
||||||
|
|
||||||
|
|
||||||
|
def resolve_quality(
|
||||||
|
value: Any,
|
||||||
|
rejected: list[str],
|
||||||
|
) -> str | None:
|
||||||
|
quality = value if isinstance(value, str) and value in ACCEPTED_QUALITIES else None
|
||||||
|
|
||||||
|
if rejected:
|
||||||
|
return "critical" if quality == "critical" else "degraded"
|
||||||
|
|
||||||
|
return quality
|
||||||
|
|
||||||
|
|
||||||
|
def resolve_null_reasons(
|
||||||
|
value: Any,
|
||||||
|
rejected: list[str],
|
||||||
|
) -> list[str]:
|
||||||
|
reported = [str(reason) for reason in value] if isinstance(value, list) else []
|
||||||
|
|
||||||
|
return reported + rejected
|
||||||
|
|
||||||
|
|
||||||
|
async def fetch_sites(
|
||||||
|
client: httpx.AsyncClient,
|
||||||
|
) -> list[dict[str, Any]]:
|
||||||
|
response = await client.get("/api/v1/sites")
|
||||||
|
|
||||||
|
response.raise_for_status()
|
||||||
|
|
||||||
|
payload = response.json()
|
||||||
|
|
||||||
|
if not isinstance(payload, list):
|
||||||
|
raise ValueError("La réponse /api/v1/sites doit être une liste.")
|
||||||
|
|
||||||
|
if len(payload) > MAX_SITES:
|
||||||
|
raise ValueError(f"La réponse /api/v1/sites dépasse le plafond de {MAX_SITES} sites.")
|
||||||
|
|
||||||
|
return payload
|
||||||
|
|
||||||
|
|
||||||
|
def build_site_row(
|
||||||
|
site: dict[str, Any],
|
||||||
|
) -> dict[str, Any]:
|
||||||
|
return {
|
||||||
|
"site_id": read_text(site, "site_id"),
|
||||||
|
"site_type": read_text(site, "site_type"),
|
||||||
|
"site_name": read_text(site, "site_name"),
|
||||||
|
"location": optional_text(site.get("location")),
|
||||||
|
"capacity_kw": coerce_measure(site.get("capacity_kw"), CAPACITY_BOUNDS),
|
||||||
|
"status": optional_text(site.get("status")),
|
||||||
|
}
|
||||||
|
|
||||||
|
|
||||||
|
async def upsert_sites(
|
||||||
|
connection: AsyncConnection,
|
||||||
|
sites: list[dict[str, Any]],
|
||||||
|
) -> None:
|
||||||
|
rows = [build_site_row(site) for site in sites]
|
||||||
|
|
||||||
|
if not rows:
|
||||||
|
return
|
||||||
|
|
||||||
|
await connection.execute(
|
||||||
|
text(
|
||||||
|
"""
|
||||||
|
INSERT INTO site (
|
||||||
|
site_id,
|
||||||
|
site_type,
|
||||||
|
site_name,
|
||||||
|
location,
|
||||||
|
capacity_kw,
|
||||||
|
status
|
||||||
|
)
|
||||||
|
VALUES (
|
||||||
|
:site_id,
|
||||||
|
:site_type,
|
||||||
|
:site_name,
|
||||||
|
:location,
|
||||||
|
:capacity_kw,
|
||||||
|
:status
|
||||||
|
)
|
||||||
|
ON CONFLICT (site_id)
|
||||||
|
DO UPDATE SET
|
||||||
|
site_type = EXCLUDED.site_type,
|
||||||
|
site_name = EXCLUDED.site_name,
|
||||||
|
location = EXCLUDED.location,
|
||||||
|
capacity_kw = EXCLUDED.capacity_kw,
|
||||||
|
status = EXCLUDED.status
|
||||||
|
"""
|
||||||
|
),
|
||||||
|
rows,
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
async def fetch_readings(
|
||||||
|
client: httpx.AsyncClient,
|
||||||
|
site_id: str,
|
||||||
|
start_time: datetime,
|
||||||
|
end_time: datetime,
|
||||||
|
limit: int = MAX_LIMIT,
|
||||||
|
) -> list[dict[str, Any]]:
|
||||||
|
response = await client.get(
|
||||||
|
"/api/v1/readings",
|
||||||
|
params={
|
||||||
|
"site_id": site_id,
|
||||||
|
"start_time": start_time.isoformat(),
|
||||||
|
"end_time": end_time.isoformat(),
|
||||||
|
"limit": limit,
|
||||||
|
},
|
||||||
|
)
|
||||||
|
|
||||||
|
response.raise_for_status()
|
||||||
|
|
||||||
|
payload = response.json()
|
||||||
|
|
||||||
|
if not isinstance(payload, list):
|
||||||
|
raise ValueError("La réponse /api/v1/readings doit être une liste.")
|
||||||
|
|
||||||
|
if len(payload) > limit:
|
||||||
|
raise ValueError(f"La réponse /api/v1/readings dépasse la limite demandée de {limit}.")
|
||||||
|
|
||||||
|
return payload
|
||||||
|
|
||||||
|
|
||||||
|
def build_reading_row(
|
||||||
|
reading: dict[str, Any],
|
||||||
|
) -> dict[str, Any]:
|
||||||
|
measures: dict[str, float | None] = {}
|
||||||
|
rejected: list[str] = []
|
||||||
|
|
||||||
|
for name, bounds in PHYSICAL_BOUNDS.items():
|
||||||
|
received = reading.get(name)
|
||||||
|
measures[name] = coerce_measure(received, bounds)
|
||||||
|
|
||||||
|
if received is not None and measures[name] is None:
|
||||||
|
rejected.append(f"out_of_physical_bounds:{name}")
|
||||||
|
|
||||||
|
return {
|
||||||
|
"site_id": read_text(reading, "site_id"),
|
||||||
|
"timestamp": parse_datetime(read_text(reading, "timestamp")),
|
||||||
|
"source": SOURCE_HISTORY,
|
||||||
|
"dataset_id": None,
|
||||||
|
**measures,
|
||||||
|
"consumption_euros": None,
|
||||||
|
"solar_irradiance_wm2": None,
|
||||||
|
"is_working_hours": None,
|
||||||
|
"data_quality": resolve_quality(reading.get("data_quality"), rejected),
|
||||||
|
"null_reasons": resolve_null_reasons(reading.get("null_reasons"), rejected),
|
||||||
|
"imputed_values": None,
|
||||||
|
"imputation_method": None,
|
||||||
|
"raw_data": json.dumps(
|
||||||
|
reading,
|
||||||
|
ensure_ascii=False,
|
||||||
|
),
|
||||||
|
}
|
||||||
|
|
||||||
|
|
||||||
|
# Le conflit vise l'index unique uq_reading_source plutôt que la table entière : sans cible
|
||||||
|
# nommée, DO NOTHING avalerait aussi une violation de clé primaire.
|
||||||
|
READING_INSERT = text(
|
||||||
|
"""
|
||||||
|
INSERT INTO reading (
|
||||||
|
site_id,
|
||||||
|
timestamp,
|
||||||
|
source,
|
||||||
|
dataset_id,
|
||||||
|
consumption_kw,
|
||||||
|
consumption_kwh,
|
||||||
|
consumption_euros,
|
||||||
|
voltage_v,
|
||||||
|
current_a,
|
||||||
|
power_factor,
|
||||||
|
temperature_celsius,
|
||||||
|
humidity_percent,
|
||||||
|
solar_irradiance_wm2,
|
||||||
|
is_working_hours,
|
||||||
|
data_quality,
|
||||||
|
null_reasons,
|
||||||
|
imputed_values,
|
||||||
|
imputation_method,
|
||||||
|
raw_data
|
||||||
|
)
|
||||||
|
VALUES (
|
||||||
|
:site_id,
|
||||||
|
:timestamp,
|
||||||
|
:source,
|
||||||
|
:dataset_id,
|
||||||
|
:consumption_kw,
|
||||||
|
:consumption_kwh,
|
||||||
|
:consumption_euros,
|
||||||
|
:voltage_v,
|
||||||
|
:current_a,
|
||||||
|
:power_factor,
|
||||||
|
:temperature_celsius,
|
||||||
|
:humidity_percent,
|
||||||
|
:solar_irradiance_wm2,
|
||||||
|
:is_working_hours,
|
||||||
|
:data_quality,
|
||||||
|
:null_reasons,
|
||||||
|
CAST(:imputed_values AS jsonb),
|
||||||
|
:imputation_method,
|
||||||
|
CAST(:raw_data AS jsonb)
|
||||||
|
)
|
||||||
|
ON CONFLICT (site_id, timestamp, source, (coalesce(dataset_id, 0)))
|
||||||
|
DO NOTHING
|
||||||
|
"""
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
def build_reading_batch(
|
||||||
|
readings: list[dict[str, Any]],
|
||||||
|
) -> list[dict[str, Any]]:
|
||||||
|
return [build_reading_row(reading) for reading in readings]
|
||||||
|
|
||||||
|
|
||||||
|
async def import_mock_api_history(
|
||||||
|
start_time: datetime,
|
||||||
|
end_time: datetime,
|
||||||
|
limit: int,
|
||||||
|
dry_run: bool,
|
||||||
|
) -> None:
|
||||||
|
settings = get_settings()
|
||||||
|
|
||||||
|
async with create_mock_api_client() as client:
|
||||||
|
sites = await fetch_sites(client)
|
||||||
|
|
||||||
|
print(f"Sites récupérés : {len(sites)}")
|
||||||
|
|
||||||
|
all_readings: list[dict[str, Any]] = []
|
||||||
|
|
||||||
|
for site in sites:
|
||||||
|
site_id = read_text(site, "site_id")
|
||||||
|
|
||||||
|
readings = await fetch_readings(
|
||||||
|
client=client,
|
||||||
|
site_id=site_id,
|
||||||
|
start_time=start_time,
|
||||||
|
end_time=end_time,
|
||||||
|
limit=limit,
|
||||||
|
)
|
||||||
|
|
||||||
|
print(f"{site_id}: {len(readings)} lectures")
|
||||||
|
|
||||||
|
all_readings.extend(readings)
|
||||||
|
|
||||||
|
print(f"Lectures récupérées : {len(all_readings)}")
|
||||||
|
|
||||||
|
if dry_run:
|
||||||
|
print("Dry-run terminé : aucune donnée écrite.")
|
||||||
|
return
|
||||||
|
|
||||||
|
engine = create_async_engine(
|
||||||
|
str(settings.database_url),
|
||||||
|
pool_pre_ping=True,
|
||||||
|
)
|
||||||
|
|
||||||
|
try:
|
||||||
|
async with engine.begin() as connection:
|
||||||
|
await upsert_sites(
|
||||||
|
connection,
|
||||||
|
sites,
|
||||||
|
)
|
||||||
|
|
||||||
|
rows = build_reading_batch(all_readings)
|
||||||
|
|
||||||
|
if rows:
|
||||||
|
await connection.execute(
|
||||||
|
READING_INSERT,
|
||||||
|
rows,
|
||||||
|
)
|
||||||
|
|
||||||
|
finally:
|
||||||
|
await engine.dispose()
|
||||||
|
|
||||||
|
print("Import API Mock terminé.")
|
||||||
|
|
||||||
|
|
||||||
|
def parse_datetime(value: str) -> datetime:
|
||||||
|
return datetime.fromisoformat(value.replace("Z", "+00:00"))
|
||||||
|
|
||||||
|
|
||||||
|
def parse_args() -> argparse.Namespace:
|
||||||
|
parser = argparse.ArgumentParser(description=("Import historique depuis l'API Mock EnerVision"))
|
||||||
|
|
||||||
|
parser.add_argument(
|
||||||
|
"--start-time",
|
||||||
|
required=True,
|
||||||
|
type=parse_datetime,
|
||||||
|
)
|
||||||
|
|
||||||
|
parser.add_argument(
|
||||||
|
"--end-time",
|
||||||
|
required=True,
|
||||||
|
type=parse_datetime,
|
||||||
|
)
|
||||||
|
|
||||||
|
parser.add_argument(
|
||||||
|
"--limit",
|
||||||
|
type=int,
|
||||||
|
default=MAX_LIMIT,
|
||||||
|
)
|
||||||
|
|
||||||
|
parser.add_argument(
|
||||||
|
"--dry-run",
|
||||||
|
action="store_true",
|
||||||
|
)
|
||||||
|
|
||||||
|
return parser.parse_args()
|
||||||
|
|
||||||
|
|
||||||
|
def main() -> None:
|
||||||
|
args = parse_args()
|
||||||
|
|
||||||
|
if args.limit < 1 or args.limit > MAX_LIMIT:
|
||||||
|
raise ValueError(f"--limit doit être compris entre 1 et {MAX_LIMIT}.")
|
||||||
|
|
||||||
|
if args.start_time >= args.end_time:
|
||||||
|
raise ValueError("--start-time doit être antérieur à --end-time.")
|
||||||
|
|
||||||
|
asyncio.run(
|
||||||
|
import_mock_api_history(
|
||||||
|
start_time=args.start_time,
|
||||||
|
end_time=args.end_time,
|
||||||
|
limit=args.limit,
|
||||||
|
dry_run=args.dry_run,
|
||||||
|
)
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
if __name__ == "__main__":
|
||||||
|
main()
|
||||||
@@ -1,6 +1,7 @@
|
|||||||
from collections.abc import Sequence
|
from collections.abc import Sequence
|
||||||
|
|
||||||
from sqlalchemy import select
|
from sqlalchemy import select
|
||||||
|
from sqlalchemy.dialects.postgresql import insert
|
||||||
from sqlalchemy.ext.asyncio import AsyncSession
|
from sqlalchemy.ext.asyncio import AsyncSession
|
||||||
|
|
||||||
from app.models.energy import Alert
|
from app.models.energy import Alert
|
||||||
@@ -19,3 +20,36 @@ class AlertRepository:
|
|||||||
if severity is not None:
|
if severity is not None:
|
||||||
requete = requete.where(Alert.severity == severity)
|
requete = requete.where(Alert.severity == severity)
|
||||||
return (await self._session.scalars(requete)).all()
|
return (await self._session.scalars(requete)).all()
|
||||||
|
|
||||||
|
async def create_many(self, alerts: Sequence[Alert]) -> Sequence[Alert]:
|
||||||
|
# `ON CONFLICT DO NOTHING` sur `uq_alert_source_reference` : rejouer la détection sur une
|
||||||
|
# fenêtre qui recouvre une exécution précédente ne doit pas dupliquer une alerte déjà
|
||||||
|
# enregistrée. `RETURNING` ne renvoie donc que les lignes effectivement insérées.
|
||||||
|
if not alerts:
|
||||||
|
return []
|
||||||
|
valeurs = [
|
||||||
|
{
|
||||||
|
"source_alert_id": alerte.source_alert_id,
|
||||||
|
"site_id": alerte.site_id,
|
||||||
|
"source": alerte.source,
|
||||||
|
"timestamp": alerte.timestamp,
|
||||||
|
"type": alerte.type,
|
||||||
|
"severity": alerte.severity,
|
||||||
|
"message": alerte.message,
|
||||||
|
"value": alerte.value,
|
||||||
|
"threshold": alerte.threshold,
|
||||||
|
"metric": alerte.metric,
|
||||||
|
"prediction_id": alerte.prediction_id,
|
||||||
|
"raw_data": alerte.raw_data,
|
||||||
|
}
|
||||||
|
for alerte in alerts
|
||||||
|
]
|
||||||
|
requete = (
|
||||||
|
insert(Alert)
|
||||||
|
.values(valeurs)
|
||||||
|
.on_conflict_do_nothing(constraint="uq_alert_source_reference")
|
||||||
|
.returning(Alert)
|
||||||
|
)
|
||||||
|
resultat = await self._session.execute(requete)
|
||||||
|
await self._session.flush()
|
||||||
|
return resultat.scalars().all()
|
||||||
|
|||||||
@@ -1,4 +1,5 @@
|
|||||||
from collections.abc import Sequence
|
from collections.abc import Sequence
|
||||||
|
from datetime import datetime
|
||||||
|
|
||||||
from sqlalchemy import select
|
from sqlalchemy import select
|
||||||
from sqlalchemy.ext.asyncio import AsyncSession
|
from sqlalchemy.ext.asyncio import AsyncSession
|
||||||
@@ -10,6 +11,26 @@ class PredictionRepository:
|
|||||||
def __init__(self, session: AsyncSession) -> None:
|
def __init__(self, session: AsyncSession) -> None:
|
||||||
self._session = session
|
self._session = session
|
||||||
|
|
||||||
|
async def list_since(
|
||||||
|
self, *, since: datetime, site_id: str | None = None
|
||||||
|
) -> Sequence[Prediction]:
|
||||||
|
# Restreint à `available` : une prévision `insufficient_data`/`error` n'a pas de
|
||||||
|
# `predicted_value` à comparer à une lecture réelle (détection d'anomalie).
|
||||||
|
# Piège : `prediction` n'a pas d'unicité sur `(site_id, target_at)` (cf.
|
||||||
|
# `enervision_ml.score`, qui insère toujours une nouvelle ligne plutôt que d'écraser la
|
||||||
|
# précédente). `prediction_id` en dernier départage donc les égalités de `target_at` par
|
||||||
|
# ordre croissant : `_detect_anomaly` construit un dict qui garde le dernier rencontré,
|
||||||
|
# c'est-à-dire le run le plus récent plutôt qu'une ligne choisie au hasard par le plan
|
||||||
|
# d'exécution.
|
||||||
|
requete = (
|
||||||
|
select(Prediction)
|
||||||
|
.where(Prediction.target_at >= since, Prediction.status == "available")
|
||||||
|
.order_by(Prediction.site_id, Prediction.target_at, Prediction.prediction_id)
|
||||||
|
)
|
||||||
|
if site_id is not None:
|
||||||
|
requete = requete.where(Prediction.site_id == site_id)
|
||||||
|
return (await self._session.scalars(requete)).all()
|
||||||
|
|
||||||
async def latest_by_site(self) -> Sequence[Prediction]:
|
async def latest_by_site(self) -> Sequence[Prediction]:
|
||||||
# `.distinct(site_id)` compile en `DISTINCT ON (site_id)` sous PostgreSQL : une seule
|
# `.distinct(site_id)` compile en `DISTINCT ON (site_id)` sous PostgreSQL : une seule
|
||||||
# ligne par site, la plus récente grâce à l'ordre composite qui suit. Même mécanisme que
|
# ligne par site, la plus récente grâce à l'ordre composite qui suit. Même mécanisme que
|
||||||
|
|||||||
@@ -34,6 +34,21 @@ class ReadingRepository:
|
|||||||
lecture: Reading | None = await self._session.scalar(requete)
|
lecture: Reading | None = await self._session.scalar(requete)
|
||||||
return lecture
|
return lecture
|
||||||
|
|
||||||
|
async def list_since(self, *, since: datetime, site_id: str | None = None) -> Sequence[Reading]:
|
||||||
|
# Trié par site puis par heure croissante : la détection d'alertes (spike) a besoin de
|
||||||
|
# comparer chaque lecture à celle qui la précède immédiatement pour le même site.
|
||||||
|
# `reading_id` en dernier départage : `uq_reading_source` autorise deux lignes au même
|
||||||
|
# `site_id`+`timestamp` quand la `source` diffère (même piège que `latest_for_site`), sans
|
||||||
|
# quoi l'ordre entre elles ne serait pas garanti d'un appel à l'autre.
|
||||||
|
requete = (
|
||||||
|
select(Reading)
|
||||||
|
.where(Reading.timestamp >= since)
|
||||||
|
.order_by(Reading.site_id, Reading.timestamp, Reading.reading_id)
|
||||||
|
)
|
||||||
|
if site_id is not None:
|
||||||
|
requete = requete.where(Reading.site_id == site_id)
|
||||||
|
return (await self._session.scalars(requete)).all()
|
||||||
|
|
||||||
async def list_history(
|
async def list_history(
|
||||||
self,
|
self,
|
||||||
*,
|
*,
|
||||||
|
|||||||
@@ -1,11 +1,24 @@
|
|||||||
from collections.abc import Sequence
|
from collections.abc import Sequence
|
||||||
|
from dataclasses import asdict, dataclass
|
||||||
|
|
||||||
from sqlalchemy import select
|
from sqlalchemy import select
|
||||||
|
from sqlalchemy.dialects.postgresql import insert
|
||||||
from sqlalchemy.ext.asyncio import AsyncSession
|
from sqlalchemy.ext.asyncio import AsyncSession
|
||||||
|
|
||||||
from app.models.energy import Recommendation
|
from app.models.energy import Recommendation
|
||||||
|
|
||||||
|
|
||||||
|
@dataclass(frozen=True, slots=True)
|
||||||
|
class NouvelleRecommandation:
|
||||||
|
alert_id: int
|
||||||
|
action: str
|
||||||
|
explanation: str
|
||||||
|
rule_reference: str
|
||||||
|
|
||||||
|
|
||||||
|
TAILLE_DE_LOT = 1000
|
||||||
|
|
||||||
|
|
||||||
class RecommendationRepository:
|
class RecommendationRepository:
|
||||||
def __init__(self, session: AsyncSession) -> None:
|
def __init__(self, session: AsyncSession) -> None:
|
||||||
self._session = session
|
self._session = session
|
||||||
@@ -20,3 +33,19 @@ class RecommendationRepository:
|
|||||||
)
|
)
|
||||||
recommendation: Recommendation | None = await self._session.scalar(requete)
|
recommendation: Recommendation | None = await self._session.scalar(requete)
|
||||||
return recommendation
|
return recommendation
|
||||||
|
|
||||||
|
# Pourquoi : l'idempotence est déléguée à `uq_recommendation_alert_rule` plutôt qu'à une
|
||||||
|
# lecture préalable, qui laisserait une fenêtre entre le contrôle et l'insertion.
|
||||||
|
async def create_missing(self, nouvelles: Sequence[NouvelleRecommandation]) -> int:
|
||||||
|
creees = 0
|
||||||
|
# Piège : asyncpg plafonne une requête à 32 767 paramètres, soit 8 191 lignes de quatre
|
||||||
|
# colonnes. Au-delà de ce seuil un `INSERT` d'un seul tenant échouerait.
|
||||||
|
for debut in range(0, len(nouvelles), TAILLE_DE_LOT):
|
||||||
|
requete = (
|
||||||
|
insert(Recommendation)
|
||||||
|
.values([asdict(nouvelle) for nouvelle in nouvelles[debut : debut + TAILLE_DE_LOT]])
|
||||||
|
.on_conflict_do_nothing(constraint="uq_recommendation_alert_rule")
|
||||||
|
.returning(Recommendation.recommendation_id)
|
||||||
|
)
|
||||||
|
creees += len((await self._session.scalars(requete)).all())
|
||||||
|
return creees
|
||||||
|
|||||||
@@ -12,3 +12,9 @@ class RecommendationResponse(BaseModel):
|
|||||||
explanation: str
|
explanation: str
|
||||||
rule_reference: str
|
rule_reference: str
|
||||||
created_at: datetime
|
created_at: datetime
|
||||||
|
|
||||||
|
|
||||||
|
class RecommendationGenerationResponse(BaseModel):
|
||||||
|
alerts_examined: int
|
||||||
|
recommendations_created: int
|
||||||
|
already_present: int
|
||||||
|
|||||||
@@ -1,14 +1,323 @@
|
|||||||
from collections.abc import Sequence
|
from collections.abc import Sequence
|
||||||
|
from datetime import UTC, datetime, timedelta
|
||||||
|
|
||||||
from app.models.energy import Alert
|
from app.models.energy import Alert, Prediction, Reading, Site
|
||||||
from app.repositories.alert import AlertRepository
|
from app.repositories.alert import AlertRepository
|
||||||
|
from app.repositories.prediction import PredictionRepository
|
||||||
|
from app.repositories.reading import ReadingRepository
|
||||||
|
from app.repositories.site import SiteRepository
|
||||||
|
|
||||||
|
# Fenêtre de lectures/prédictions analysée à chaque exécution : assez large pour couvrir une paire
|
||||||
|
# de lectures consécutives (spike) et une coupure prolongée (outage), sans réanalyser tout
|
||||||
|
# l'historique à chaque lancement manuel du script de détection.
|
||||||
|
LOOKBACK = timedelta(hours=48)
|
||||||
|
|
||||||
|
# Cadence nominale d'une lecture : le CSV historique comme l'API Mock livrent un pas horaire.
|
||||||
|
EXPECTED_INTERVAL = timedelta(hours=1)
|
||||||
|
# Au-delà de trois pas manqués, on parle de coupure plutôt que d'un simple retard d'ingestion.
|
||||||
|
OUTAGE_THRESHOLD = EXPECTED_INTERVAL * 3
|
||||||
|
|
||||||
|
# +/-50% entre deux lectures consécutives du même site.
|
||||||
|
SPIKE_RELATIVE_THRESHOLD = 0.5
|
||||||
|
# 30% d'écart entre la consommation réelle et la prévision du même site/instant.
|
||||||
|
ANOMALY_RELATIVE_THRESHOLD = 0.3
|
||||||
|
# Une prévision quasi nulle rend l'écart relatif ininterprétable ; on l'ignore plutôt.
|
||||||
|
ANOMALY_MINIMUM_PREDICTED_VALUE = 1e-6
|
||||||
|
|
||||||
|
THRESHOLD_METRIC = "consumption_kw"
|
||||||
|
ANOMALY_METRIC = "consumption_kwh"
|
||||||
|
# `data_quality` -> sévérité du capteur défaillant. `good` est volontairement absent : il ne
|
||||||
|
# déclenche jamais d'alerte.
|
||||||
|
QUALITE_VERS_SEVERITE: dict[str, str] = {
|
||||||
|
"partial": "low",
|
||||||
|
"degraded": "medium",
|
||||||
|
"critical": "critical",
|
||||||
|
}
|
||||||
|
|
||||||
|
|
||||||
class AlertService:
|
class AlertService:
|
||||||
def __init__(self, *, alerts: AlertRepository) -> None:
|
def __init__(
|
||||||
|
self,
|
||||||
|
*,
|
||||||
|
alerts: AlertRepository,
|
||||||
|
readings: ReadingRepository,
|
||||||
|
predictions: PredictionRepository,
|
||||||
|
sites: SiteRepository,
|
||||||
|
) -> None:
|
||||||
self._alerts = alerts
|
self._alerts = alerts
|
||||||
|
self._readings = readings
|
||||||
|
self._predictions = predictions
|
||||||
|
self._sites = sites
|
||||||
|
|
||||||
async def list_all(
|
async def list_all(
|
||||||
self, *, site_id: str | None = None, severity: str | None = None
|
self, *, site_id: str | None = None, severity: str | None = None
|
||||||
) -> Sequence[Alert]:
|
) -> Sequence[Alert]:
|
||||||
return await self._alerts.list_all(site_id=site_id, severity=severity)
|
return await self._alerts.list_all(site_id=site_id, severity=severity)
|
||||||
|
|
||||||
|
async def detect(
|
||||||
|
self, *, now: datetime | None = None, site_id: str | None = None
|
||||||
|
) -> Sequence[Alert]:
|
||||||
|
"""Compare les lectures/prévisions récentes aux cinq règles internes et enregistre les
|
||||||
|
alertes déclenchées (`source='enervision'`). Idempotent grâce à `source_alert_id` :
|
||||||
|
rejouer sur une fenêtre déjà analysée ne recrée pas les mêmes lignes."""
|
||||||
|
instant = now or datetime.now(UTC)
|
||||||
|
depuis = instant - LOOKBACK
|
||||||
|
|
||||||
|
sites = await self._sites.list_all()
|
||||||
|
if site_id is not None:
|
||||||
|
sites = [site for site in sites if site.site_id == site_id]
|
||||||
|
sites_par_id = {site.site_id: site for site in sites}
|
||||||
|
if not sites_par_id:
|
||||||
|
return []
|
||||||
|
|
||||||
|
lectures = [
|
||||||
|
lecture
|
||||||
|
for lecture in await self._readings.list_since(since=depuis, site_id=site_id)
|
||||||
|
if lecture.site_id in sites_par_id
|
||||||
|
]
|
||||||
|
predictions = [
|
||||||
|
prediction
|
||||||
|
for prediction in await self._predictions.list_since(since=depuis, site_id=site_id)
|
||||||
|
if prediction.site_id in sites_par_id
|
||||||
|
]
|
||||||
|
dernieres_lectures = {
|
||||||
|
lecture.site_id: lecture
|
||||||
|
for lecture in await self._readings.latest_by_site()
|
||||||
|
if lecture.site_id in sites_par_id
|
||||||
|
}
|
||||||
|
|
||||||
|
candidates = [
|
||||||
|
*_detect_threshold(lectures, sites_par_id),
|
||||||
|
*_detect_spike(lectures),
|
||||||
|
*_detect_anomaly(lectures, predictions),
|
||||||
|
*_detect_outage(sites, dernieres_lectures, instant),
|
||||||
|
*_detect_sensor(lectures),
|
||||||
|
]
|
||||||
|
if not candidates:
|
||||||
|
return []
|
||||||
|
return await self._alerts.create_many(candidates)
|
||||||
|
|
||||||
|
|
||||||
|
def _severity_from_ratio(ratio: float) -> str:
|
||||||
|
if ratio >= 2.0:
|
||||||
|
return "critical"
|
||||||
|
if ratio >= 1.5:
|
||||||
|
return "high"
|
||||||
|
if ratio >= 1.2:
|
||||||
|
return "medium"
|
||||||
|
return "low"
|
||||||
|
|
||||||
|
|
||||||
|
def _detect_threshold(lectures: Sequence[Reading], sites_par_id: dict[str, Site]) -> list[Alert]:
|
||||||
|
# Seuil fixe = la capacité déclarée du site : dépasser `capacity_kw` est un dépassement
|
||||||
|
# matériel, pas une simple variation, et évite un seuil arbitraire non fourni par le domaine.
|
||||||
|
alertes = []
|
||||||
|
for lecture in lectures:
|
||||||
|
site = sites_par_id[lecture.site_id]
|
||||||
|
valeur = lecture.consumption_kw
|
||||||
|
if site.capacity_kw is None or site.capacity_kw <= 0 or valeur is None:
|
||||||
|
continue
|
||||||
|
if valeur <= site.capacity_kw:
|
||||||
|
continue
|
||||||
|
alertes.append(
|
||||||
|
Alert(
|
||||||
|
source_alert_id=f"threshold:{THRESHOLD_METRIC}:{lecture.timestamp.isoformat()}",
|
||||||
|
site_id=lecture.site_id,
|
||||||
|
source="enervision",
|
||||||
|
timestamp=lecture.timestamp,
|
||||||
|
type="threshold",
|
||||||
|
severity=_severity_from_ratio(valeur / site.capacity_kw),
|
||||||
|
message=(
|
||||||
|
f"Puissance appelée {valeur:.1f} kW au-dessus de la capacité du site "
|
||||||
|
f"({site.capacity_kw:.1f} kW)"
|
||||||
|
),
|
||||||
|
value=valeur,
|
||||||
|
threshold=site.capacity_kw,
|
||||||
|
metric=THRESHOLD_METRIC,
|
||||||
|
prediction_id=None,
|
||||||
|
raw_data={},
|
||||||
|
)
|
||||||
|
)
|
||||||
|
return alertes
|
||||||
|
|
||||||
|
|
||||||
|
def _detect_spike(lectures: Sequence[Reading]) -> list[Alert]:
|
||||||
|
# `lectures` est triée par site, heure puis `reading_id` (cf. `ReadingRepository.list_since`) :
|
||||||
|
# deux lignes consécutives du même site sont donc deux mesures consécutives dans le temps,
|
||||||
|
# sauf lorsqu'elles partagent le même horodatage (deux `source` différentes pour le même
|
||||||
|
# instant, permises par `uq_reading_source`) : ce n'est alors pas une variation réelle, on
|
||||||
|
# l'ignore plutôt que de générer une fausse alerte figée par son `source_alert_id`.
|
||||||
|
alertes = []
|
||||||
|
precedente: Reading | None = None
|
||||||
|
for lecture in lectures:
|
||||||
|
if (
|
||||||
|
precedente is None
|
||||||
|
or precedente.site_id != lecture.site_id
|
||||||
|
or precedente.timestamp == lecture.timestamp
|
||||||
|
):
|
||||||
|
precedente = lecture
|
||||||
|
continue
|
||||||
|
avant, apres = precedente.consumption_kw, lecture.consumption_kw
|
||||||
|
precedente = lecture
|
||||||
|
if avant is None or apres is None:
|
||||||
|
continue
|
||||||
|
if avant == 0:
|
||||||
|
# Une variation relative n'a pas de sens depuis zéro, mais un redémarrage direct à
|
||||||
|
# une consommation positive reste le signal le plus alarmant du lot : `critical`
|
||||||
|
# plutôt qu'un ratio indéfini.
|
||||||
|
if apres > 0:
|
||||||
|
alertes.append(_spike_alert(lecture, avant, apres, severity="critical"))
|
||||||
|
continue
|
||||||
|
variation = abs(apres - avant) / abs(avant)
|
||||||
|
if variation < SPIKE_RELATIVE_THRESHOLD:
|
||||||
|
continue
|
||||||
|
alertes.append(
|
||||||
|
_spike_alert(
|
||||||
|
lecture,
|
||||||
|
avant,
|
||||||
|
apres,
|
||||||
|
severity=_severity_from_ratio(variation / SPIKE_RELATIVE_THRESHOLD),
|
||||||
|
)
|
||||||
|
)
|
||||||
|
return alertes
|
||||||
|
|
||||||
|
|
||||||
|
def _spike_alert(lecture: Reading, avant: float, apres: float, *, severity: str) -> Alert:
|
||||||
|
return Alert(
|
||||||
|
source_alert_id=f"spike:{THRESHOLD_METRIC}:{lecture.timestamp.isoformat()}",
|
||||||
|
site_id=lecture.site_id,
|
||||||
|
source="enervision",
|
||||||
|
timestamp=lecture.timestamp,
|
||||||
|
type="spike",
|
||||||
|
severity=severity,
|
||||||
|
message=(
|
||||||
|
f"Variation brutale entre deux lectures consécutives ({avant:.1f} kW -> {apres:.1f} kW)"
|
||||||
|
),
|
||||||
|
value=apres,
|
||||||
|
threshold=avant,
|
||||||
|
metric=THRESHOLD_METRIC,
|
||||||
|
prediction_id=None,
|
||||||
|
raw_data={},
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
def _detect_anomaly(lectures: Sequence[Reading], predictions: Sequence[Prediction]) -> list[Alert]:
|
||||||
|
# Alignement strict (site_id, target_at == timestamp) : `enervision_ml.score` produit une
|
||||||
|
# cible à l'heure pile suivant la dernière lecture, sur la même grille horaire que `reading`.
|
||||||
|
predictions_par_cle = {
|
||||||
|
(prediction.site_id, prediction.target_at): prediction
|
||||||
|
for prediction in predictions
|
||||||
|
if prediction.target_metric == ANOMALY_METRIC
|
||||||
|
}
|
||||||
|
alertes = []
|
||||||
|
for lecture in lectures:
|
||||||
|
prediction = predictions_par_cle.get((lecture.site_id, lecture.timestamp))
|
||||||
|
reel = lecture.consumption_kwh
|
||||||
|
if prediction is None or reel is None or prediction.predicted_value is None:
|
||||||
|
continue
|
||||||
|
predite = prediction.predicted_value
|
||||||
|
if abs(predite) < ANOMALY_MINIMUM_PREDICTED_VALUE:
|
||||||
|
continue
|
||||||
|
ecart = abs(reel - predite) / abs(predite)
|
||||||
|
if ecart < ANOMALY_RELATIVE_THRESHOLD:
|
||||||
|
continue
|
||||||
|
alertes.append(
|
||||||
|
Alert(
|
||||||
|
source_alert_id=f"anomaly:{ANOMALY_METRIC}:{lecture.timestamp.isoformat()}",
|
||||||
|
site_id=lecture.site_id,
|
||||||
|
source="enervision",
|
||||||
|
timestamp=lecture.timestamp,
|
||||||
|
type="anomaly",
|
||||||
|
severity=_severity_from_ratio(ecart / ANOMALY_RELATIVE_THRESHOLD),
|
||||||
|
message=(
|
||||||
|
f"Écart de {ecart * 100:.0f}% entre la consommation mesurée ({reel:.1f} kWh) "
|
||||||
|
f"et la prévision ({predite:.1f} kWh)"
|
||||||
|
),
|
||||||
|
value=reel,
|
||||||
|
threshold=predite,
|
||||||
|
metric=ANOMALY_METRIC,
|
||||||
|
prediction_id=prediction.prediction_id,
|
||||||
|
raw_data={},
|
||||||
|
)
|
||||||
|
)
|
||||||
|
return alertes
|
||||||
|
|
||||||
|
|
||||||
|
def _detect_outage(
|
||||||
|
sites: Sequence[Site], dernieres_lectures: dict[str, Reading], now: datetime
|
||||||
|
) -> list[Alert]:
|
||||||
|
alertes = []
|
||||||
|
for site in sites:
|
||||||
|
derniere = dernieres_lectures.get(site.site_id)
|
||||||
|
if derniere is None:
|
||||||
|
alertes.append(
|
||||||
|
_outage_alert(
|
||||||
|
site.site_id,
|
||||||
|
now,
|
||||||
|
reference=None,
|
||||||
|
message="Aucune lecture n'a jamais été reçue pour ce site",
|
||||||
|
severity="critical",
|
||||||
|
)
|
||||||
|
)
|
||||||
|
continue
|
||||||
|
absence = now - derniere.timestamp
|
||||||
|
if absence < OUTAGE_THRESHOLD:
|
||||||
|
continue
|
||||||
|
alertes.append(
|
||||||
|
_outage_alert(
|
||||||
|
site.site_id,
|
||||||
|
now,
|
||||||
|
reference=derniere.timestamp,
|
||||||
|
message=(
|
||||||
|
f"Aucune lecture depuis {absence} (dernière lecture : "
|
||||||
|
f"{derniere.timestamp.isoformat()})"
|
||||||
|
),
|
||||||
|
severity=_severity_from_ratio(absence / OUTAGE_THRESHOLD),
|
||||||
|
)
|
||||||
|
)
|
||||||
|
return alertes
|
||||||
|
|
||||||
|
|
||||||
|
def _outage_alert(
|
||||||
|
site_id: str, now: datetime, *, reference: datetime | None, message: str, severity: str
|
||||||
|
) -> Alert:
|
||||||
|
return Alert(
|
||||||
|
source_alert_id=f"outage:{reference.isoformat() if reference is not None else 'jamais'}",
|
||||||
|
site_id=site_id,
|
||||||
|
source="enervision",
|
||||||
|
timestamp=now,
|
||||||
|
type="outage",
|
||||||
|
severity=severity,
|
||||||
|
message=message,
|
||||||
|
value=None,
|
||||||
|
threshold=None,
|
||||||
|
metric=None,
|
||||||
|
prediction_id=None,
|
||||||
|
raw_data={},
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
def _detect_sensor(lectures: Sequence[Reading]) -> list[Alert]:
|
||||||
|
alertes = []
|
||||||
|
for lecture in lectures:
|
||||||
|
severite = QUALITE_VERS_SEVERITE.get(lecture.data_quality or "")
|
||||||
|
if severite is None:
|
||||||
|
continue
|
||||||
|
raisons = ", ".join(lecture.null_reasons or []) or "raison non précisée"
|
||||||
|
alertes.append(
|
||||||
|
Alert(
|
||||||
|
source_alert_id=f"sensor:{lecture.timestamp.isoformat()}",
|
||||||
|
site_id=lecture.site_id,
|
||||||
|
source="enervision",
|
||||||
|
timestamp=lecture.timestamp,
|
||||||
|
type="sensor",
|
||||||
|
severity=severite,
|
||||||
|
message=f"Qualité de mesure {lecture.data_quality} ({raisons})",
|
||||||
|
value=None,
|
||||||
|
threshold=None,
|
||||||
|
metric=None,
|
||||||
|
prediction_id=None,
|
||||||
|
raw_data={},
|
||||||
|
)
|
||||||
|
)
|
||||||
|
return alertes
|
||||||
|
|||||||
@@ -1,7 +1,15 @@
|
|||||||
from collections.abc import Sequence
|
from collections.abc import Sequence
|
||||||
|
from dataclasses import dataclass
|
||||||
|
from typing import Protocol
|
||||||
|
|
||||||
from app.models.energy import Recommendation
|
from app.models.energy import Recommendation
|
||||||
|
from app.repositories.alert import AlertRepository
|
||||||
from app.repositories.recommendation import RecommendationRepository
|
from app.repositories.recommendation import RecommendationRepository
|
||||||
|
from app.services.recommendation_rules import applique_les_regles
|
||||||
|
|
||||||
|
|
||||||
|
class Transaction(Protocol):
|
||||||
|
async def commit(self) -> None: ...
|
||||||
|
|
||||||
|
|
||||||
class RecommendationError(Exception):
|
class RecommendationError(Exception):
|
||||||
@@ -12,9 +20,24 @@ class RecommendationNotFoundError(RecommendationError):
|
|||||||
pass
|
pass
|
||||||
|
|
||||||
|
|
||||||
|
@dataclass(frozen=True, slots=True)
|
||||||
|
class RapportGeneration:
|
||||||
|
alertes_examinees: int
|
||||||
|
recommandations_creees: int
|
||||||
|
deja_presentes: int
|
||||||
|
|
||||||
|
|
||||||
class RecommendationService:
|
class RecommendationService:
|
||||||
def __init__(self, *, recommendations: RecommendationRepository) -> None:
|
def __init__(
|
||||||
|
self,
|
||||||
|
*,
|
||||||
|
recommendations: RecommendationRepository,
|
||||||
|
alerts: AlertRepository,
|
||||||
|
transaction: Transaction,
|
||||||
|
) -> None:
|
||||||
self._recommendations = recommendations
|
self._recommendations = recommendations
|
||||||
|
self._alerts = alerts
|
||||||
|
self._transaction = transaction
|
||||||
|
|
||||||
async def list_all(self) -> Sequence[Recommendation]:
|
async def list_all(self) -> Sequence[Recommendation]:
|
||||||
return await self._recommendations.list_all()
|
return await self._recommendations.list_all()
|
||||||
@@ -24,3 +47,16 @@ class RecommendationService:
|
|||||||
if recommendation is None:
|
if recommendation is None:
|
||||||
raise RecommendationNotFoundError(recommendation_id)
|
raise RecommendationNotFoundError(recommendation_id)
|
||||||
return recommendation
|
return recommendation
|
||||||
|
|
||||||
|
async def generate(self, *, site_id: str | None = None) -> RapportGeneration:
|
||||||
|
alertes = await self._alerts.list_all(site_id=site_id)
|
||||||
|
nouvelles = [nouvelle for alerte in alertes for nouvelle in applique_les_regles(alerte)]
|
||||||
|
|
||||||
|
creees = await self._recommendations.create_missing(nouvelles)
|
||||||
|
await self._transaction.commit()
|
||||||
|
|
||||||
|
return RapportGeneration(
|
||||||
|
alertes_examinees=len(alertes),
|
||||||
|
recommandations_creees=creees,
|
||||||
|
deja_presentes=len(nouvelles) - creees,
|
||||||
|
)
|
||||||
|
|||||||
@@ -0,0 +1,117 @@
|
|||||||
|
# Piège : `rule_reference` est la clé d'idempotence en base, portée par la contrainte
|
||||||
|
# `uq_recommendation_alert_rule`. Renommer une référence déjà livrée ne remplace pas les
|
||||||
|
# recommandations existantes, il en crée de nouvelles à côté. Une règle qui change de sens
|
||||||
|
# prend donc une référence suffixée `-v2` - REGLES.
|
||||||
|
|
||||||
|
from collections.abc import Callable
|
||||||
|
from dataclasses import dataclass
|
||||||
|
from typing import Final
|
||||||
|
|
||||||
|
from app.models.energy import Alert
|
||||||
|
from app.repositories.recommendation import NouvelleRecommandation
|
||||||
|
from app.schemas.alert import AlertSeverity, AlertType
|
||||||
|
|
||||||
|
FACTEUR_DEPASSEMENT_MAJEUR: Final = 1.2
|
||||||
|
POURCENTAGE_DEPASSEMENT_MAJEUR: Final = round((FACTEUR_DEPASSEMENT_MAJEUR - 1) * 100)
|
||||||
|
|
||||||
|
|
||||||
|
@dataclass(frozen=True, slots=True)
|
||||||
|
class Regle:
|
||||||
|
reference: str
|
||||||
|
action: str
|
||||||
|
declencheur: Callable[[Alert], bool]
|
||||||
|
motif: Callable[[Alert], str]
|
||||||
|
|
||||||
|
|
||||||
|
def _du_type(attendu: AlertType) -> Callable[[Alert], bool]:
|
||||||
|
return lambda alerte: alerte.type == attendu
|
||||||
|
|
||||||
|
|
||||||
|
def _de_severite(attendue: AlertSeverity) -> Callable[[Alert], bool]:
|
||||||
|
return lambda alerte: alerte.severity == attendue
|
||||||
|
|
||||||
|
|
||||||
|
# Un seuil nul ou négatif rendrait le rapport `value / threshold` arbitraire : l'alerte ne
|
||||||
|
# renseigne alors aucun dépassement exploitable, et la règle ne se déclenche pas.
|
||||||
|
def _depasse_largement_le_seuil(alerte: Alert) -> bool:
|
||||||
|
if alerte.value is None or alerte.threshold is None or alerte.threshold <= 0:
|
||||||
|
return False
|
||||||
|
return alerte.value >= alerte.threshold * FACTEUR_DEPASSEMENT_MAJEUR
|
||||||
|
|
||||||
|
|
||||||
|
REGLES: Final[tuple[Regle, ...]] = (
|
||||||
|
Regle(
|
||||||
|
reference="spike-delestage-v1",
|
||||||
|
action="Délester les équipements non prioritaires sur le créneau du pic",
|
||||||
|
declencheur=_du_type(AlertType.SPIKE),
|
||||||
|
motif=lambda alerte: f"Pic de consommation signalé sur le site {alerte.site_id}",
|
||||||
|
),
|
||||||
|
Regle(
|
||||||
|
reference="threshold-reduction-v1",
|
||||||
|
action="Ramener la puissance appelée sous le seuil contractuel",
|
||||||
|
declencheur=_du_type(AlertType.THRESHOLD),
|
||||||
|
motif=lambda alerte: f"Seuil de consommation dépassé sur le site {alerte.site_id}",
|
||||||
|
),
|
||||||
|
Regle(
|
||||||
|
reference="outage-secours-v1",
|
||||||
|
action="Basculer sur l'alimentation de secours et prévenir l'exploitant",
|
||||||
|
declencheur=_du_type(AlertType.OUTAGE),
|
||||||
|
motif=lambda alerte: (
|
||||||
|
f"Risque de surcharge ou de coupure imminente sur le site {alerte.site_id}"
|
||||||
|
),
|
||||||
|
),
|
||||||
|
Regle(
|
||||||
|
reference="sensor-maintenance-v1",
|
||||||
|
action="Planifier une intervention de maintenance sur le capteur",
|
||||||
|
declencheur=_du_type(AlertType.SENSOR),
|
||||||
|
motif=lambda alerte: (
|
||||||
|
f"Capteur défaillant sur le site {alerte.site_id}, les mesures ne sont plus fiables"
|
||||||
|
),
|
||||||
|
),
|
||||||
|
Regle(
|
||||||
|
reference="anomaly-verification-v1",
|
||||||
|
action="Confronter la mesure à la prévision et vérifier le paramétrage du site",
|
||||||
|
declencheur=_du_type(AlertType.ANOMALY),
|
||||||
|
motif=lambda alerte: (
|
||||||
|
f"Écart anormal entre la mesure et le comportement attendu du site {alerte.site_id}"
|
||||||
|
),
|
||||||
|
),
|
||||||
|
Regle(
|
||||||
|
reference="escalade-astreinte-v1",
|
||||||
|
action="Escalader à l'astreinte sous une heure",
|
||||||
|
declencheur=_de_severite(AlertSeverity.CRITICAL),
|
||||||
|
motif=lambda alerte: f"Alerte de sévérité critique sur le site {alerte.site_id}",
|
||||||
|
),
|
||||||
|
Regle(
|
||||||
|
reference="contrat-puissance-v1",
|
||||||
|
action="Réévaluer la puissance souscrite au contrat",
|
||||||
|
declencheur=_depasse_largement_le_seuil,
|
||||||
|
motif=lambda alerte: (
|
||||||
|
f"Dépassement d'au moins {POURCENTAGE_DEPASSEMENT_MAJEUR} % du seuil "
|
||||||
|
f"sur le site {alerte.site_id}"
|
||||||
|
),
|
||||||
|
),
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
def applique_les_regles(alerte: Alert) -> list[NouvelleRecommandation]:
|
||||||
|
contexte = _contexte_de_mesure(alerte)
|
||||||
|
return [
|
||||||
|
NouvelleRecommandation(
|
||||||
|
alert_id=alerte.alert_id,
|
||||||
|
action=regle.action,
|
||||||
|
explanation=f"{regle.motif(alerte)}{contexte}.",
|
||||||
|
rule_reference=regle.reference,
|
||||||
|
)
|
||||||
|
for regle in REGLES
|
||||||
|
if regle.declencheur(alerte)
|
||||||
|
]
|
||||||
|
|
||||||
|
|
||||||
|
def _contexte_de_mesure(alerte: Alert) -> str:
|
||||||
|
if alerte.value is None:
|
||||||
|
return ""
|
||||||
|
grandeur = alerte.metric or "valeur"
|
||||||
|
if alerte.threshold is None:
|
||||||
|
return f" ({grandeur} mesurée à {alerte.value})"
|
||||||
|
return f" ({grandeur} mesurée à {alerte.value}, seuil {alerte.threshold})"
|
||||||
+108
-1
@@ -1453,6 +1453,90 @@
|
|||||||
}
|
}
|
||||||
}
|
}
|
||||||
},
|
},
|
||||||
|
"/api/v1/recommendations/generate": {
|
||||||
|
"post": {
|
||||||
|
"tags": [
|
||||||
|
"recommendations"
|
||||||
|
],
|
||||||
|
"summary": "Génère les recommandations à partir des alertes",
|
||||||
|
"operationId": "generate_recommendations_api_v1_recommendations_generate_post",
|
||||||
|
"security": [
|
||||||
|
{
|
||||||
|
"Jeton d'accès": []
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"parameters": [
|
||||||
|
{
|
||||||
|
"name": "site_id",
|
||||||
|
"in": "query",
|
||||||
|
"required": false,
|
||||||
|
"schema": {
|
||||||
|
"anyOf": [
|
||||||
|
{
|
||||||
|
"type": "string"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"type": "null"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"title": "Site Id"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"responses": {
|
||||||
|
"200": {
|
||||||
|
"description": "Successful Response",
|
||||||
|
"content": {
|
||||||
|
"application/json": {
|
||||||
|
"schema": {
|
||||||
|
"$ref": "#/components/schemas/RecommendationGenerationResponse"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"500": {
|
||||||
|
"description": "Erreur interne. `correlation` identifie la trace côté serveur, qui n'est pas renvoyée au client.",
|
||||||
|
"content": {
|
||||||
|
"application/json": {
|
||||||
|
"schema": {
|
||||||
|
"$ref": "#/components/schemas/InternalErrorResponse"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"401": {
|
||||||
|
"description": "Jeton absent, illisible, périmé, ou rendu caduc par un changement de rôle ou une désactivation. L'en-tête `WWW-Authenticate` porte la cause dans `error=`.",
|
||||||
|
"content": {
|
||||||
|
"application/json": {
|
||||||
|
"schema": {
|
||||||
|
"$ref": "#/components/schemas/ErrorResponse"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"403": {
|
||||||
|
"description": "Droits insuffisants, ou mot de passe provisoire à changer quand `detail` vaut `password_change_required`.",
|
||||||
|
"content": {
|
||||||
|
"application/json": {
|
||||||
|
"schema": {
|
||||||
|
"$ref": "#/components/schemas/ErrorResponse"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"422": {
|
||||||
|
"description": "Corps invalide. Le détail nomme le champ fautif et le type d'erreur, jamais la valeur envoyée.",
|
||||||
|
"content": {
|
||||||
|
"application/json": {
|
||||||
|
"schema": {
|
||||||
|
"$ref": "#/components/schemas/ValidationErrorResponse"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
},
|
||||||
"/api/v1/stats/summary": {
|
"/api/v1/stats/summary": {
|
||||||
"get": {
|
"get": {
|
||||||
"tags": [
|
"tags": [
|
||||||
@@ -2344,6 +2428,29 @@
|
|||||||
],
|
],
|
||||||
"title": "ReadingSource"
|
"title": "ReadingSource"
|
||||||
},
|
},
|
||||||
|
"RecommendationGenerationResponse": {
|
||||||
|
"properties": {
|
||||||
|
"alerts_examined": {
|
||||||
|
"type": "integer",
|
||||||
|
"title": "Alerts Examined"
|
||||||
|
},
|
||||||
|
"recommendations_created": {
|
||||||
|
"type": "integer",
|
||||||
|
"title": "Recommendations Created"
|
||||||
|
},
|
||||||
|
"already_present": {
|
||||||
|
"type": "integer",
|
||||||
|
"title": "Already Present"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"type": "object",
|
||||||
|
"required": [
|
||||||
|
"alerts_examined",
|
||||||
|
"recommendations_created",
|
||||||
|
"already_present"
|
||||||
|
],
|
||||||
|
"title": "RecommendationGenerationResponse"
|
||||||
|
},
|
||||||
"RecommendationResponse": {
|
"RecommendationResponse": {
|
||||||
"properties": {
|
"properties": {
|
||||||
"recommendation_id": {
|
"recommendation_id": {
|
||||||
@@ -3153,7 +3260,7 @@
|
|||||||
},
|
},
|
||||||
{
|
{
|
||||||
"name": "recommendations",
|
"name": "recommendations",
|
||||||
"description": "Consultation des recommandations issues des alertes. Accessible à partir du rôle `lecteur`."
|
"description": "Consultation des recommandations issues des alertes. Accessible à partir du rôle `lecteur`. Leur génération par le moteur de règles est réservée au rôle `admin`."
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"name": "stats",
|
"name": "stats",
|
||||||
|
|||||||
@@ -17,6 +17,7 @@ dependencies = [
|
|||||||
"argon2-cffi>=23.1",
|
"argon2-cffi>=23.1",
|
||||||
"anyio>=4.0",
|
"anyio>=4.0",
|
||||||
"aiosmtplib>=5.1.3",
|
"aiosmtplib>=5.1.3",
|
||||||
|
"httpx>=0.28.1",
|
||||||
"pandas>=3.0.5",
|
"pandas>=3.0.5",
|
||||||
]
|
]
|
||||||
|
|
||||||
@@ -27,7 +28,6 @@ dev = [
|
|||||||
"pytest>=9.1.1",
|
"pytest>=9.1.1",
|
||||||
"pytest-asyncio>=1.4.0",
|
"pytest-asyncio>=1.4.0",
|
||||||
"pytest-cov>=7.1.0",
|
"pytest-cov>=7.1.0",
|
||||||
"httpx>=0.28.1",
|
|
||||||
"pandas-stubs>=3.0.5.260914",
|
"pandas-stubs>=3.0.5.260914",
|
||||||
]
|
]
|
||||||
|
|
||||||
|
|||||||
@@ -51,6 +51,7 @@ ROLE_MINIMUM: Final[dict[Route, Role]] = {
|
|||||||
("GET", "/api/v1/alerts"): Role.LECTEUR,
|
("GET", "/api/v1/alerts"): Role.LECTEUR,
|
||||||
("GET", "/api/v1/recommendations"): Role.LECTEUR,
|
("GET", "/api/v1/recommendations"): Role.LECTEUR,
|
||||||
("GET", "/api/v1/recommendations/{recommendation_id}"): Role.LECTEUR,
|
("GET", "/api/v1/recommendations/{recommendation_id}"): Role.LECTEUR,
|
||||||
|
("POST", "/api/v1/recommendations/generate"): Role.ADMIN,
|
||||||
("GET", "/api/v1/stats/summary"): Role.LECTEUR,
|
("GET", "/api/v1/stats/summary"): Role.LECTEUR,
|
||||||
("GET", "/api/v1/readings"): Role.LECTEUR,
|
("GET", "/api/v1/readings"): Role.LECTEUR,
|
||||||
("GET", "/api/v1/predictions"): Role.LECTEUR,
|
("GET", "/api/v1/predictions"): Role.LECTEUR,
|
||||||
|
|||||||
@@ -10,7 +10,7 @@ from app.api.deps import get_current_principal, get_recommendation_service
|
|||||||
from app.core.principal import Principal
|
from app.core.principal import Principal
|
||||||
from app.core.roles import AccountKind, Role
|
from app.core.roles import AccountKind, Role
|
||||||
from app.models.energy import Recommendation
|
from app.models.energy import Recommendation
|
||||||
from app.services.recommendation import RecommendationNotFoundError
|
from app.services.recommendation import RapportGeneration, RecommendationNotFoundError
|
||||||
|
|
||||||
MOMENT = datetime(2024, 1, 1, tzinfo=UTC)
|
MOMENT = datetime(2024, 1, 1, tzinfo=UTC)
|
||||||
|
|
||||||
@@ -40,6 +40,7 @@ class FauxService:
|
|||||||
def __init__(self, erreur: Exception | None = None) -> None:
|
def __init__(self, erreur: Exception | None = None) -> None:
|
||||||
self._erreur = erreur
|
self._erreur = erreur
|
||||||
self.recommendation = recommendation()
|
self.recommendation = recommendation()
|
||||||
|
self.site_demande: str | None = None
|
||||||
|
|
||||||
async def list_all(self) -> list[Recommendation]:
|
async def list_all(self) -> list[Recommendation]:
|
||||||
return [self.recommendation]
|
return [self.recommendation]
|
||||||
@@ -49,6 +50,10 @@ class FauxService:
|
|||||||
raise self._erreur
|
raise self._erreur
|
||||||
return self.recommendation
|
return self.recommendation
|
||||||
|
|
||||||
|
async def generate(self, *, site_id: str | None = None) -> RapportGeneration:
|
||||||
|
self.site_demande = site_id
|
||||||
|
return RapportGeneration(alertes_examinees=2, recommandations_creees=3, deja_presentes=1)
|
||||||
|
|
||||||
|
|
||||||
@pytest.fixture
|
@pytest.fixture
|
||||||
def lecteur_connecte(app: FastAPI) -> Iterator[None]:
|
def lecteur_connecte(app: FastAPI) -> Iterator[None]:
|
||||||
@@ -142,3 +147,56 @@ async def test_get_recommendation_returns_404_when_the_session_finds_nothing(
|
|||||||
response = await client.get("/api/v1/recommendations/404")
|
response = await client.get("/api/v1/recommendations/404")
|
||||||
|
|
||||||
assert response.status_code == 404
|
assert response.status_code == 404
|
||||||
|
|
||||||
|
|
||||||
|
@pytest.fixture
|
||||||
|
def admin_connecte(app: FastAPI) -> Iterator[None]:
|
||||||
|
app.dependency_overrides[get_current_principal] = lambda: principal(Role.ADMIN)
|
||||||
|
yield
|
||||||
|
app.dependency_overrides.pop(get_current_principal, None)
|
||||||
|
|
||||||
|
|
||||||
|
@pytest.fixture
|
||||||
|
def servi_en_admin(app: FastAPI, admin_connecte: None) -> Iterator[Callable[[], FauxService]]:
|
||||||
|
def installe() -> FauxService:
|
||||||
|
service = FauxService()
|
||||||
|
app.dependency_overrides[get_recommendation_service] = lambda: service
|
||||||
|
return service
|
||||||
|
|
||||||
|
yield installe
|
||||||
|
app.dependency_overrides.pop(get_recommendation_service, None)
|
||||||
|
|
||||||
|
|
||||||
|
async def test_generate_recommendations_returns_the_generation_report(
|
||||||
|
servi_en_admin: Callable[[], FauxService], client: AsyncClient
|
||||||
|
) -> None:
|
||||||
|
servi_en_admin()
|
||||||
|
|
||||||
|
response = await client.post("/api/v1/recommendations/generate")
|
||||||
|
|
||||||
|
assert response.status_code == 200
|
||||||
|
assert response.json() == {
|
||||||
|
"alerts_examined": 2,
|
||||||
|
"recommendations_created": 3,
|
||||||
|
"already_present": 1,
|
||||||
|
}
|
||||||
|
|
||||||
|
|
||||||
|
async def test_generate_recommendations_forwards_the_requested_site(
|
||||||
|
servi_en_admin: Callable[[], FauxService], client: AsyncClient
|
||||||
|
) -> None:
|
||||||
|
service = servi_en_admin()
|
||||||
|
|
||||||
|
await client.post("/api/v1/recommendations/generate", params={"site_id": "SITE002"})
|
||||||
|
|
||||||
|
assert service.site_demande == "SITE002"
|
||||||
|
|
||||||
|
|
||||||
|
async def test_generate_recommendations_refuses_a_reader(
|
||||||
|
servi: Callable[..., FauxService], client: AsyncClient
|
||||||
|
) -> None:
|
||||||
|
servi()
|
||||||
|
|
||||||
|
response = await client.post("/api/v1/recommendations/generate")
|
||||||
|
|
||||||
|
assert response.status_code == 403
|
||||||
|
|||||||
@@ -0,0 +1,834 @@
|
|||||||
|
import json
|
||||||
|
import sys
|
||||||
|
from datetime import datetime
|
||||||
|
from types import SimpleNamespace
|
||||||
|
from typing import Any
|
||||||
|
from unittest.mock import AsyncMock, MagicMock
|
||||||
|
|
||||||
|
import httpx
|
||||||
|
import pytest
|
||||||
|
from httpx import AsyncClient, MockTransport, Request, Response
|
||||||
|
from sqlalchemy import text
|
||||||
|
from sqlalchemy.ext.asyncio import AsyncSession
|
||||||
|
|
||||||
|
import app.etl.mock_api_import as mock_api_import
|
||||||
|
from app.etl.mock_api_import import (
|
||||||
|
MAX_SITES,
|
||||||
|
READING_INSERT,
|
||||||
|
SOURCE_HISTORY,
|
||||||
|
build_reading_batch,
|
||||||
|
build_reading_row,
|
||||||
|
build_site_row,
|
||||||
|
fetch_readings,
|
||||||
|
fetch_sites,
|
||||||
|
upsert_sites,
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
def make_site() -> dict[str, Any]:
|
||||||
|
return {
|
||||||
|
"site_id": "SITE001",
|
||||||
|
"site_type": "office",
|
||||||
|
"site_name": "Bureau Paris La Défense",
|
||||||
|
"location": "Paris, France",
|
||||||
|
"capacity_kw": 200,
|
||||||
|
"status": "active",
|
||||||
|
}
|
||||||
|
|
||||||
|
|
||||||
|
def make_reading() -> dict[str, Any]:
|
||||||
|
return {
|
||||||
|
"timestamp": "2024-06-15T12:00:00Z",
|
||||||
|
"site_id": "SITE001",
|
||||||
|
"site_type": "office",
|
||||||
|
"consumption_kw": 87.34,
|
||||||
|
"consumption_kwh": 87.34,
|
||||||
|
"voltage_v": 401.2,
|
||||||
|
"current_a": 132.5,
|
||||||
|
"power_factor": 0.923,
|
||||||
|
"temperature_celsius": 22.1,
|
||||||
|
"humidity_percent": 58.4,
|
||||||
|
"null_reasons": [],
|
||||||
|
"data_quality": "good",
|
||||||
|
}
|
||||||
|
|
||||||
|
|
||||||
|
async def test_fetch_sites_returns_sites() -> None:
|
||||||
|
def handler(request: Request) -> Response:
|
||||||
|
assert request.url.path == "/api/v1/sites"
|
||||||
|
|
||||||
|
return Response(
|
||||||
|
status_code=200,
|
||||||
|
json=[make_site()],
|
||||||
|
)
|
||||||
|
|
||||||
|
transport = MockTransport(handler)
|
||||||
|
|
||||||
|
async with AsyncClient(
|
||||||
|
transport=transport,
|
||||||
|
base_url="https://mock.test",
|
||||||
|
) as client:
|
||||||
|
sites = await fetch_sites(client)
|
||||||
|
|
||||||
|
assert len(sites) == 1
|
||||||
|
assert sites[0]["site_id"] == "SITE001"
|
||||||
|
assert sites[0]["site_type"] == "office"
|
||||||
|
|
||||||
|
|
||||||
|
async def test_fetch_sites_rejects_non_list_response() -> None:
|
||||||
|
def handler(request: Request) -> Response:
|
||||||
|
return Response(
|
||||||
|
status_code=200,
|
||||||
|
json={"unexpected": "payload"},
|
||||||
|
)
|
||||||
|
|
||||||
|
transport = MockTransport(handler)
|
||||||
|
|
||||||
|
async with AsyncClient(
|
||||||
|
transport=transport,
|
||||||
|
base_url="https://mock.test",
|
||||||
|
) as client:
|
||||||
|
with pytest.raises(
|
||||||
|
ValueError,
|
||||||
|
match="La réponse /api/v1/sites doit être une liste",
|
||||||
|
):
|
||||||
|
await fetch_sites(client)
|
||||||
|
|
||||||
|
|
||||||
|
async def test_fetch_readings_sends_expected_query_parameters() -> None:
|
||||||
|
captured_params: dict[str, str] = {}
|
||||||
|
|
||||||
|
def handler(request: Request) -> Response:
|
||||||
|
nonlocal captured_params
|
||||||
|
|
||||||
|
captured_params = dict(request.url.params)
|
||||||
|
|
||||||
|
return Response(
|
||||||
|
status_code=200,
|
||||||
|
json=[make_reading()],
|
||||||
|
)
|
||||||
|
|
||||||
|
transport = MockTransport(handler)
|
||||||
|
|
||||||
|
start_time = datetime.fromisoformat("2024-06-15T12:00:00")
|
||||||
|
end_time = datetime.fromisoformat("2024-06-15T13:00:00")
|
||||||
|
|
||||||
|
async with AsyncClient(
|
||||||
|
transport=transport,
|
||||||
|
base_url="https://mock.test",
|
||||||
|
) as client:
|
||||||
|
readings = await fetch_readings(
|
||||||
|
client=client,
|
||||||
|
site_id="SITE001",
|
||||||
|
start_time=start_time,
|
||||||
|
end_time=end_time,
|
||||||
|
limit=60,
|
||||||
|
)
|
||||||
|
|
||||||
|
assert len(readings) == 1
|
||||||
|
assert captured_params["site_id"] == "SITE001"
|
||||||
|
assert captured_params["start_time"] == "2024-06-15T12:00:00"
|
||||||
|
assert captured_params["end_time"] == "2024-06-15T13:00:00"
|
||||||
|
assert captured_params["limit"] == "60"
|
||||||
|
|
||||||
|
|
||||||
|
async def test_fetch_readings_rejects_non_list_response() -> None:
|
||||||
|
def handler(request: Request) -> Response:
|
||||||
|
return Response(
|
||||||
|
status_code=200,
|
||||||
|
json={"unexpected": "payload"},
|
||||||
|
)
|
||||||
|
|
||||||
|
transport = MockTransport(handler)
|
||||||
|
|
||||||
|
async with AsyncClient(
|
||||||
|
transport=transport,
|
||||||
|
base_url="https://mock.test",
|
||||||
|
) as client:
|
||||||
|
with pytest.raises(
|
||||||
|
ValueError,
|
||||||
|
match="La réponse /api/v1/readings doit être une liste",
|
||||||
|
):
|
||||||
|
await fetch_readings(
|
||||||
|
client=client,
|
||||||
|
site_id="SITE001",
|
||||||
|
start_time=datetime.fromisoformat("2024-06-15T12:00:00"),
|
||||||
|
end_time=datetime.fromisoformat("2024-06-15T13:00:00"),
|
||||||
|
limit=60,
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
async def test_fetch_readings_raises_on_http_error() -> None:
|
||||||
|
def handler(request: Request) -> Response:
|
||||||
|
return Response(
|
||||||
|
status_code=404,
|
||||||
|
json={"detail": "Site non trouvé"},
|
||||||
|
)
|
||||||
|
|
||||||
|
transport = MockTransport(handler)
|
||||||
|
|
||||||
|
async with AsyncClient(
|
||||||
|
transport=transport,
|
||||||
|
base_url="https://mock.test",
|
||||||
|
) as client:
|
||||||
|
with pytest.raises(httpx.HTTPStatusError):
|
||||||
|
await fetch_readings(
|
||||||
|
client=client,
|
||||||
|
site_id="SITE999",
|
||||||
|
start_time=datetime.fromisoformat("2024-06-15T12:00:00"),
|
||||||
|
end_time=datetime.fromisoformat("2024-06-15T13:00:00"),
|
||||||
|
limit=60,
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
def test_build_reading_row_respects_database_contract() -> None:
|
||||||
|
reading = make_reading()
|
||||||
|
|
||||||
|
row = build_reading_row(reading)
|
||||||
|
|
||||||
|
assert row["site_id"] == "SITE001"
|
||||||
|
assert row["source"] == SOURCE_HISTORY
|
||||||
|
assert row["source"] == "api_history"
|
||||||
|
assert row["dataset_id"] is None
|
||||||
|
|
||||||
|
assert row["timestamp"] == datetime.fromisoformat("2024-06-15T12:00:00+00:00")
|
||||||
|
|
||||||
|
assert row["consumption_kw"] == 87.34
|
||||||
|
assert row["consumption_kwh"] == 87.34
|
||||||
|
assert row["data_quality"] == "good"
|
||||||
|
assert row["null_reasons"] == []
|
||||||
|
|
||||||
|
assert row["imputed_values"] is None
|
||||||
|
assert row["imputation_method"] is None
|
||||||
|
|
||||||
|
|
||||||
|
def test_build_reading_row_keeps_null_values_and_quality() -> None:
|
||||||
|
reading = make_reading()
|
||||||
|
|
||||||
|
reading["consumption_kw"] = None
|
||||||
|
reading["consumption_kwh"] = None
|
||||||
|
reading["voltage_v"] = None
|
||||||
|
reading["current_a"] = None
|
||||||
|
reading["power_factor"] = None
|
||||||
|
reading["data_quality"] = "degraded"
|
||||||
|
reading["null_reasons"] = [
|
||||||
|
"consumption_sensor_failure",
|
||||||
|
"electrical_sensor_failure",
|
||||||
|
]
|
||||||
|
|
||||||
|
row = build_reading_row(reading)
|
||||||
|
|
||||||
|
assert row["consumption_kw"] is None
|
||||||
|
assert row["consumption_kwh"] is None
|
||||||
|
assert row["voltage_v"] is None
|
||||||
|
assert row["current_a"] is None
|
||||||
|
assert row["power_factor"] is None
|
||||||
|
|
||||||
|
assert row["data_quality"] == "degraded"
|
||||||
|
assert row["null_reasons"] == [
|
||||||
|
"consumption_sensor_failure",
|
||||||
|
"electrical_sensor_failure",
|
||||||
|
]
|
||||||
|
|
||||||
|
assert row["imputed_values"] is None
|
||||||
|
assert row["imputation_method"] is None
|
||||||
|
|
||||||
|
|
||||||
|
def test_build_reading_row_keeps_raw_source_data() -> None:
|
||||||
|
reading = make_reading()
|
||||||
|
|
||||||
|
row = build_reading_row(reading)
|
||||||
|
|
||||||
|
raw_data = json.loads(row["raw_data"])
|
||||||
|
|
||||||
|
assert raw_data == reading
|
||||||
|
|
||||||
|
|
||||||
|
def test_build_reading_batch_transforms_all_readings() -> None:
|
||||||
|
first = make_reading()
|
||||||
|
|
||||||
|
second = make_reading()
|
||||||
|
second["timestamp"] = "2024-06-15T12:01:00Z"
|
||||||
|
second["consumption_kw"] = 90.5
|
||||||
|
|
||||||
|
rows = build_reading_batch([first, second])
|
||||||
|
|
||||||
|
assert len(rows) == 2
|
||||||
|
|
||||||
|
assert rows[0]["site_id"] == "SITE001"
|
||||||
|
assert rows[0]["consumption_kw"] == 87.34
|
||||||
|
|
||||||
|
assert rows[1]["site_id"] == "SITE001"
|
||||||
|
assert rows[1]["consumption_kw"] == 90.5
|
||||||
|
|
||||||
|
|
||||||
|
def test_create_mock_api_client_requires_credentials(
|
||||||
|
monkeypatch: pytest.MonkeyPatch,
|
||||||
|
) -> None:
|
||||||
|
settings = SimpleNamespace(
|
||||||
|
mock_api_username=None,
|
||||||
|
mock_api_password=None,
|
||||||
|
)
|
||||||
|
|
||||||
|
monkeypatch.setattr(
|
||||||
|
mock_api_import,
|
||||||
|
"get_settings",
|
||||||
|
lambda: settings,
|
||||||
|
)
|
||||||
|
|
||||||
|
with pytest.raises(
|
||||||
|
ValueError,
|
||||||
|
match="Les identifiants de l'API Mock ne sont pas configurés",
|
||||||
|
):
|
||||||
|
mock_api_import.create_mock_api_client()
|
||||||
|
|
||||||
|
|
||||||
|
async def test_create_mock_api_client_uses_configuration(
|
||||||
|
monkeypatch: pytest.MonkeyPatch,
|
||||||
|
) -> None:
|
||||||
|
password = MagicMock()
|
||||||
|
password.get_secret_value.return_value = "test-password"
|
||||||
|
|
||||||
|
settings = SimpleNamespace(
|
||||||
|
mock_api_base_url="https://mock.test/",
|
||||||
|
mock_api_username="test-user",
|
||||||
|
mock_api_password=password,
|
||||||
|
mock_api_timeout_seconds=10.0,
|
||||||
|
)
|
||||||
|
|
||||||
|
monkeypatch.setattr(
|
||||||
|
mock_api_import,
|
||||||
|
"get_settings",
|
||||||
|
lambda: settings,
|
||||||
|
)
|
||||||
|
|
||||||
|
client = mock_api_import.create_mock_api_client()
|
||||||
|
|
||||||
|
try:
|
||||||
|
assert str(client.base_url) == "https://mock.test"
|
||||||
|
assert client.timeout.connect == 10.0
|
||||||
|
finally:
|
||||||
|
await client.aclose()
|
||||||
|
|
||||||
|
|
||||||
|
async def test_upsert_sites_with_empty_list_does_nothing() -> None:
|
||||||
|
connection = AsyncMock()
|
||||||
|
|
||||||
|
await upsert_sites(
|
||||||
|
connection,
|
||||||
|
[],
|
||||||
|
)
|
||||||
|
|
||||||
|
connection.execute.assert_not_awaited()
|
||||||
|
|
||||||
|
|
||||||
|
async def test_import_mock_api_history_dry_run_does_not_write(
|
||||||
|
monkeypatch: pytest.MonkeyPatch,
|
||||||
|
) -> None:
|
||||||
|
def handler(request: Request) -> Response:
|
||||||
|
if request.url.path == "/api/v1/sites":
|
||||||
|
return Response(
|
||||||
|
status_code=200,
|
||||||
|
json=[make_site()],
|
||||||
|
)
|
||||||
|
|
||||||
|
if request.url.path == "/api/v1/readings":
|
||||||
|
return Response(
|
||||||
|
status_code=200,
|
||||||
|
json=[make_reading()],
|
||||||
|
)
|
||||||
|
|
||||||
|
return Response(status_code=404)
|
||||||
|
|
||||||
|
transport = MockTransport(handler)
|
||||||
|
|
||||||
|
client = AsyncClient(
|
||||||
|
transport=transport,
|
||||||
|
base_url="https://mock.test",
|
||||||
|
)
|
||||||
|
|
||||||
|
monkeypatch.setattr(
|
||||||
|
mock_api_import,
|
||||||
|
"create_mock_api_client",
|
||||||
|
lambda: client,
|
||||||
|
)
|
||||||
|
|
||||||
|
monkeypatch.setattr(
|
||||||
|
mock_api_import,
|
||||||
|
"get_settings",
|
||||||
|
lambda: SimpleNamespace(
|
||||||
|
database_url="postgresql+asyncpg://unused",
|
||||||
|
),
|
||||||
|
)
|
||||||
|
|
||||||
|
create_engine_mock = MagicMock()
|
||||||
|
|
||||||
|
monkeypatch.setattr(
|
||||||
|
mock_api_import,
|
||||||
|
"create_async_engine",
|
||||||
|
create_engine_mock,
|
||||||
|
)
|
||||||
|
|
||||||
|
await mock_api_import.import_mock_api_history(
|
||||||
|
start_time=datetime.fromisoformat("2024-06-15T12:00:00"),
|
||||||
|
end_time=datetime.fromisoformat("2024-06-15T13:00:00"),
|
||||||
|
limit=60,
|
||||||
|
dry_run=True,
|
||||||
|
)
|
||||||
|
|
||||||
|
create_engine_mock.assert_not_called()
|
||||||
|
|
||||||
|
|
||||||
|
async def test_import_mock_api_history_loads_data(
|
||||||
|
monkeypatch: pytest.MonkeyPatch,
|
||||||
|
) -> None:
|
||||||
|
def handler(request: Request) -> Response:
|
||||||
|
if request.url.path == "/api/v1/sites":
|
||||||
|
return Response(
|
||||||
|
status_code=200,
|
||||||
|
json=[make_site()],
|
||||||
|
)
|
||||||
|
|
||||||
|
if request.url.path == "/api/v1/readings":
|
||||||
|
return Response(
|
||||||
|
status_code=200,
|
||||||
|
json=[make_reading()],
|
||||||
|
)
|
||||||
|
|
||||||
|
return Response(status_code=404)
|
||||||
|
|
||||||
|
transport = MockTransport(handler)
|
||||||
|
|
||||||
|
client = AsyncClient(
|
||||||
|
transport=transport,
|
||||||
|
base_url="https://mock.test",
|
||||||
|
)
|
||||||
|
|
||||||
|
monkeypatch.setattr(
|
||||||
|
mock_api_import,
|
||||||
|
"create_mock_api_client",
|
||||||
|
lambda: client,
|
||||||
|
)
|
||||||
|
|
||||||
|
monkeypatch.setattr(
|
||||||
|
mock_api_import,
|
||||||
|
"get_settings",
|
||||||
|
lambda: SimpleNamespace(
|
||||||
|
database_url="postgresql+asyncpg://test:test@localhost/test",
|
||||||
|
),
|
||||||
|
)
|
||||||
|
|
||||||
|
connection = AsyncMock()
|
||||||
|
|
||||||
|
transaction_context = MagicMock()
|
||||||
|
transaction_context.__aenter__ = AsyncMock(
|
||||||
|
return_value=connection,
|
||||||
|
)
|
||||||
|
transaction_context.__aexit__ = AsyncMock(
|
||||||
|
return_value=None,
|
||||||
|
)
|
||||||
|
|
||||||
|
engine = MagicMock()
|
||||||
|
engine.begin.return_value = transaction_context
|
||||||
|
engine.dispose = AsyncMock()
|
||||||
|
|
||||||
|
create_engine_mock = MagicMock(
|
||||||
|
return_value=engine,
|
||||||
|
)
|
||||||
|
|
||||||
|
upsert_sites_mock = AsyncMock()
|
||||||
|
|
||||||
|
monkeypatch.setattr(
|
||||||
|
mock_api_import,
|
||||||
|
"create_async_engine",
|
||||||
|
create_engine_mock,
|
||||||
|
)
|
||||||
|
|
||||||
|
monkeypatch.setattr(
|
||||||
|
mock_api_import,
|
||||||
|
"upsert_sites",
|
||||||
|
upsert_sites_mock,
|
||||||
|
)
|
||||||
|
|
||||||
|
await mock_api_import.import_mock_api_history(
|
||||||
|
start_time=datetime.fromisoformat("2024-06-15T12:00:00"),
|
||||||
|
end_time=datetime.fromisoformat("2024-06-15T13:00:00"),
|
||||||
|
limit=60,
|
||||||
|
dry_run=False,
|
||||||
|
)
|
||||||
|
|
||||||
|
create_engine_mock.assert_called_once_with(
|
||||||
|
"postgresql+asyncpg://test:test@localhost/test",
|
||||||
|
pool_pre_ping=True,
|
||||||
|
)
|
||||||
|
|
||||||
|
upsert_sites_mock.assert_awaited_once_with(
|
||||||
|
connection,
|
||||||
|
[make_site()],
|
||||||
|
)
|
||||||
|
|
||||||
|
connection.execute.assert_awaited_once()
|
||||||
|
engine.dispose.assert_awaited_once()
|
||||||
|
|
||||||
|
|
||||||
|
def test_parse_datetime_accepts_z_suffix() -> None:
|
||||||
|
result = mock_api_import.parse_datetime(
|
||||||
|
"2024-06-15T12:00:00Z",
|
||||||
|
)
|
||||||
|
|
||||||
|
assert result == datetime.fromisoformat(
|
||||||
|
"2024-06-15T12:00:00+00:00",
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
def test_parse_args_reads_cli_parameters(
|
||||||
|
monkeypatch: pytest.MonkeyPatch,
|
||||||
|
) -> None:
|
||||||
|
monkeypatch.setattr(
|
||||||
|
sys,
|
||||||
|
"argv",
|
||||||
|
[
|
||||||
|
"mock_api_import",
|
||||||
|
"--start-time",
|
||||||
|
"2024-06-15T12:00:00Z",
|
||||||
|
"--end-time",
|
||||||
|
"2024-06-15T13:00:00Z",
|
||||||
|
"--limit",
|
||||||
|
"60",
|
||||||
|
"--dry-run",
|
||||||
|
],
|
||||||
|
)
|
||||||
|
|
||||||
|
args = mock_api_import.parse_args()
|
||||||
|
|
||||||
|
assert args.start_time == datetime.fromisoformat(
|
||||||
|
"2024-06-15T12:00:00+00:00",
|
||||||
|
)
|
||||||
|
assert args.end_time == datetime.fromisoformat(
|
||||||
|
"2024-06-15T13:00:00+00:00",
|
||||||
|
)
|
||||||
|
assert args.limit == 60
|
||||||
|
assert args.dry_run is True
|
||||||
|
|
||||||
|
|
||||||
|
def test_main_rejects_limit_out_of_bounds(
|
||||||
|
monkeypatch: pytest.MonkeyPatch,
|
||||||
|
) -> None:
|
||||||
|
monkeypatch.setattr(
|
||||||
|
sys,
|
||||||
|
"argv",
|
||||||
|
[
|
||||||
|
"mock_api_import",
|
||||||
|
"--start-time",
|
||||||
|
"2024-06-15T12:00:00Z",
|
||||||
|
"--end-time",
|
||||||
|
"2024-06-15T13:00:00Z",
|
||||||
|
"--limit",
|
||||||
|
"0",
|
||||||
|
],
|
||||||
|
)
|
||||||
|
|
||||||
|
with pytest.raises(
|
||||||
|
ValueError,
|
||||||
|
match="--limit doit être compris entre 1 et 1000",
|
||||||
|
):
|
||||||
|
mock_api_import.main()
|
||||||
|
|
||||||
|
|
||||||
|
def test_main_rejects_invalid_period(
|
||||||
|
monkeypatch: pytest.MonkeyPatch,
|
||||||
|
) -> None:
|
||||||
|
monkeypatch.setattr(
|
||||||
|
sys,
|
||||||
|
"argv",
|
||||||
|
[
|
||||||
|
"mock_api_import",
|
||||||
|
"--start-time",
|
||||||
|
"2024-06-15T14:00:00Z",
|
||||||
|
"--end-time",
|
||||||
|
"2024-06-15T13:00:00Z",
|
||||||
|
"--limit",
|
||||||
|
"60",
|
||||||
|
],
|
||||||
|
)
|
||||||
|
|
||||||
|
with pytest.raises(
|
||||||
|
ValueError,
|
||||||
|
match="--start-time doit être antérieur à --end-time",
|
||||||
|
):
|
||||||
|
mock_api_import.main()
|
||||||
|
|
||||||
|
|
||||||
|
def test_main_runs_import(
|
||||||
|
monkeypatch: pytest.MonkeyPatch,
|
||||||
|
) -> None:
|
||||||
|
start_time = datetime.fromisoformat(
|
||||||
|
"2024-06-15T12:00:00+00:00",
|
||||||
|
)
|
||||||
|
end_time = datetime.fromisoformat(
|
||||||
|
"2024-06-15T13:00:00+00:00",
|
||||||
|
)
|
||||||
|
|
||||||
|
import_mock = AsyncMock()
|
||||||
|
|
||||||
|
monkeypatch.setattr(
|
||||||
|
mock_api_import,
|
||||||
|
"parse_args",
|
||||||
|
lambda: SimpleNamespace(
|
||||||
|
start_time=start_time,
|
||||||
|
end_time=end_time,
|
||||||
|
limit=60,
|
||||||
|
dry_run=True,
|
||||||
|
),
|
||||||
|
)
|
||||||
|
|
||||||
|
monkeypatch.setattr(
|
||||||
|
mock_api_import,
|
||||||
|
"import_mock_api_history",
|
||||||
|
import_mock,
|
||||||
|
)
|
||||||
|
|
||||||
|
mock_api_import.main()
|
||||||
|
|
||||||
|
import_mock.assert_awaited_once_with(
|
||||||
|
start_time=start_time,
|
||||||
|
end_time=end_time,
|
||||||
|
limit=60,
|
||||||
|
dry_run=True,
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
async def test_fetch_sites_rejects_a_response_above_the_cap() -> None:
|
||||||
|
def handler(request: Request) -> Response:
|
||||||
|
return Response(
|
||||||
|
status_code=200,
|
||||||
|
json=[make_site() for _ in range(MAX_SITES + 1)],
|
||||||
|
)
|
||||||
|
|
||||||
|
transport = MockTransport(handler)
|
||||||
|
|
||||||
|
async with AsyncClient(
|
||||||
|
transport=transport,
|
||||||
|
base_url="https://mock.test",
|
||||||
|
) as client:
|
||||||
|
with pytest.raises(
|
||||||
|
ValueError,
|
||||||
|
match=f"dépasse le plafond de {MAX_SITES} sites",
|
||||||
|
):
|
||||||
|
await fetch_sites(client)
|
||||||
|
|
||||||
|
|
||||||
|
async def test_fetch_readings_rejects_a_response_above_the_requested_limit() -> None:
|
||||||
|
def handler(request: Request) -> Response:
|
||||||
|
return Response(
|
||||||
|
status_code=200,
|
||||||
|
json=[make_reading(), make_reading(), make_reading()],
|
||||||
|
)
|
||||||
|
|
||||||
|
transport = MockTransport(handler)
|
||||||
|
|
||||||
|
async with AsyncClient(
|
||||||
|
transport=transport,
|
||||||
|
base_url="https://mock.test",
|
||||||
|
) as client:
|
||||||
|
with pytest.raises(
|
||||||
|
ValueError,
|
||||||
|
match="dépasse la limite demandée de 2",
|
||||||
|
):
|
||||||
|
await fetch_readings(
|
||||||
|
client=client,
|
||||||
|
site_id="SITE001",
|
||||||
|
start_time=datetime.fromisoformat("2024-06-15T12:00:00"),
|
||||||
|
end_time=datetime.fromisoformat("2024-06-15T13:00:00"),
|
||||||
|
limit=2,
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
def test_build_reading_row_neutralises_values_outside_physical_bounds() -> None:
|
||||||
|
reading = make_reading()
|
||||||
|
|
||||||
|
reading["power_factor"] = 42.0
|
||||||
|
reading["temperature_celsius"] = 1e30
|
||||||
|
reading["humidity_percent"] = -1.0
|
||||||
|
|
||||||
|
row = build_reading_row(reading)
|
||||||
|
|
||||||
|
assert row["power_factor"] is None
|
||||||
|
assert row["temperature_celsius"] is None
|
||||||
|
assert row["humidity_percent"] is None
|
||||||
|
|
||||||
|
assert row["null_reasons"] == [
|
||||||
|
"out_of_physical_bounds:power_factor",
|
||||||
|
"out_of_physical_bounds:temperature_celsius",
|
||||||
|
"out_of_physical_bounds:humidity_percent",
|
||||||
|
]
|
||||||
|
|
||||||
|
assert row["data_quality"] == "degraded"
|
||||||
|
|
||||||
|
assert json.loads(row["raw_data"])["power_factor"] == 42.0
|
||||||
|
|
||||||
|
|
||||||
|
def test_build_reading_row_rejects_a_measure_that_is_not_a_number() -> None:
|
||||||
|
reading = make_reading()
|
||||||
|
|
||||||
|
reading["consumption_kw"] = "87.34"
|
||||||
|
|
||||||
|
row = build_reading_row(reading)
|
||||||
|
|
||||||
|
assert row["consumption_kw"] is None
|
||||||
|
assert "out_of_physical_bounds:consumption_kw" in row["null_reasons"]
|
||||||
|
|
||||||
|
|
||||||
|
def test_build_reading_row_drops_a_quality_the_database_refuses() -> None:
|
||||||
|
reading = make_reading()
|
||||||
|
|
||||||
|
reading["data_quality"] = "unknown"
|
||||||
|
|
||||||
|
row = build_reading_row(reading)
|
||||||
|
|
||||||
|
assert row["data_quality"] is None
|
||||||
|
|
||||||
|
|
||||||
|
def test_build_reading_row_requires_an_identifier() -> None:
|
||||||
|
reading = make_reading()
|
||||||
|
|
||||||
|
del reading["site_id"]
|
||||||
|
|
||||||
|
with pytest.raises(
|
||||||
|
ValueError,
|
||||||
|
match="Champ site_id absent ou invalide",
|
||||||
|
):
|
||||||
|
build_reading_row(reading)
|
||||||
|
|
||||||
|
|
||||||
|
def test_build_site_row_keeps_only_the_expected_columns() -> None:
|
||||||
|
site = make_site()
|
||||||
|
|
||||||
|
site["unexpected"] = "valeur hostile"
|
||||||
|
site["capacity_kw"] = -5.0
|
||||||
|
site["status"] = 12
|
||||||
|
|
||||||
|
row = build_site_row(site)
|
||||||
|
|
||||||
|
assert set(row) == {
|
||||||
|
"site_id",
|
||||||
|
"site_type",
|
||||||
|
"site_name",
|
||||||
|
"location",
|
||||||
|
"capacity_kw",
|
||||||
|
"status",
|
||||||
|
}
|
||||||
|
|
||||||
|
assert row["capacity_kw"] is None
|
||||||
|
assert row["status"] is None
|
||||||
|
|
||||||
|
|
||||||
|
async def test_upsert_sites_sends_only_the_expected_columns() -> None:
|
||||||
|
connection = AsyncMock()
|
||||||
|
|
||||||
|
site = make_site()
|
||||||
|
site["unexpected"] = "valeur hostile"
|
||||||
|
|
||||||
|
await upsert_sites(
|
||||||
|
connection,
|
||||||
|
[site],
|
||||||
|
)
|
||||||
|
|
||||||
|
rows = connection.execute.await_args.args[1]
|
||||||
|
|
||||||
|
assert "unexpected" not in rows[0]
|
||||||
|
assert rows[0]["site_id"] == "SITE001"
|
||||||
|
|
||||||
|
|
||||||
|
@pytest.mark.integration
|
||||||
|
async def test_reading_insert_is_idempotent(
|
||||||
|
session: AsyncSession,
|
||||||
|
) -> None:
|
||||||
|
reading = make_reading()
|
||||||
|
row = build_reading_row(reading)
|
||||||
|
|
||||||
|
connection = await session.connection()
|
||||||
|
|
||||||
|
await upsert_sites(
|
||||||
|
connection,
|
||||||
|
[make_site()],
|
||||||
|
)
|
||||||
|
|
||||||
|
await session.execute(
|
||||||
|
READING_INSERT,
|
||||||
|
[row],
|
||||||
|
)
|
||||||
|
|
||||||
|
await session.execute(
|
||||||
|
READING_INSERT,
|
||||||
|
[row],
|
||||||
|
)
|
||||||
|
|
||||||
|
result = await session.execute(
|
||||||
|
text(
|
||||||
|
"""
|
||||||
|
SELECT COUNT(*)
|
||||||
|
FROM reading
|
||||||
|
WHERE site_id = :site_id
|
||||||
|
AND timestamp = :timestamp
|
||||||
|
AND source = :source
|
||||||
|
"""
|
||||||
|
),
|
||||||
|
{
|
||||||
|
"site_id": row["site_id"],
|
||||||
|
"timestamp": row["timestamp"],
|
||||||
|
"source": row["source"],
|
||||||
|
},
|
||||||
|
)
|
||||||
|
|
||||||
|
assert result.scalar_one() == 1
|
||||||
|
|
||||||
|
await session.rollback()
|
||||||
|
|
||||||
|
|
||||||
|
@pytest.mark.integration
|
||||||
|
async def test_out_of_bounds_reading_is_stored_neutralised(
|
||||||
|
session: AsyncSession,
|
||||||
|
) -> None:
|
||||||
|
reading = make_reading()
|
||||||
|
reading["power_factor"] = 42.0
|
||||||
|
|
||||||
|
row = build_reading_row(reading)
|
||||||
|
|
||||||
|
connection = await session.connection()
|
||||||
|
|
||||||
|
await upsert_sites(
|
||||||
|
connection,
|
||||||
|
[make_site()],
|
||||||
|
)
|
||||||
|
|
||||||
|
await session.execute(
|
||||||
|
READING_INSERT,
|
||||||
|
[row],
|
||||||
|
)
|
||||||
|
|
||||||
|
result = await session.execute(
|
||||||
|
text(
|
||||||
|
"""
|
||||||
|
SELECT power_factor, data_quality, null_reasons, raw_data ->> 'power_factor'
|
||||||
|
FROM reading
|
||||||
|
WHERE site_id = :site_id
|
||||||
|
AND timestamp = :timestamp
|
||||||
|
AND source = :source
|
||||||
|
"""
|
||||||
|
),
|
||||||
|
{
|
||||||
|
"site_id": row["site_id"],
|
||||||
|
"timestamp": row["timestamp"],
|
||||||
|
"source": row["source"],
|
||||||
|
},
|
||||||
|
)
|
||||||
|
|
||||||
|
stored = result.one()
|
||||||
|
|
||||||
|
await session.rollback()
|
||||||
|
|
||||||
|
assert stored[0] is None
|
||||||
|
assert stored[1] == "degraded"
|
||||||
|
assert stored[2] == ["out_of_physical_bounds:power_factor"]
|
||||||
|
assert stored[3] == "42.0"
|
||||||
@@ -89,3 +89,60 @@ async def test_list_all_returns_an_empty_list_when_there_is_nothing(
|
|||||||
alertes = await depot.list_all(site_id=identifiant_site())
|
alertes = await depot.list_all(site_id=identifiant_site())
|
||||||
|
|
||||||
assert list(alertes) == []
|
assert list(alertes) == []
|
||||||
|
|
||||||
|
|
||||||
|
def _alerte_a_inserer(*, site_id: str, source_alert_id: str) -> Alert:
|
||||||
|
return Alert(
|
||||||
|
source_alert_id=source_alert_id,
|
||||||
|
site_id=site_id,
|
||||||
|
source="enervision",
|
||||||
|
timestamp=datetime(2026, 9, 16, tzinfo=UTC),
|
||||||
|
type="threshold",
|
||||||
|
severity="high",
|
||||||
|
message="Dépassement du seuil configuré",
|
||||||
|
value=812.5,
|
||||||
|
threshold=720.0,
|
||||||
|
metric="consumption_kw",
|
||||||
|
prediction_id=None,
|
||||||
|
raw_data={},
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
async def test_create_many_inserts_every_alert(session: AsyncSession) -> None:
|
||||||
|
site = await creer_site(session)
|
||||||
|
depot = AlertRepository(session)
|
||||||
|
|
||||||
|
creees = await depot.create_many(
|
||||||
|
[
|
||||||
|
_alerte_a_inserer(site_id=site.site_id, source_alert_id="threshold:a"),
|
||||||
|
_alerte_a_inserer(site_id=site.site_id, source_alert_id="threshold:b"),
|
||||||
|
]
|
||||||
|
)
|
||||||
|
identifiants = [a.alert_id for a in creees]
|
||||||
|
await session.rollback()
|
||||||
|
|
||||||
|
assert len(identifiants) == 2
|
||||||
|
assert all(identifiant is not None for identifiant in identifiants)
|
||||||
|
|
||||||
|
|
||||||
|
async def test_create_many_skips_a_duplicate_source_alert_id(session: AsyncSession) -> None:
|
||||||
|
site = await creer_site(session)
|
||||||
|
depot = AlertRepository(session)
|
||||||
|
await depot.create_many(
|
||||||
|
[_alerte_a_inserer(site_id=site.site_id, source_alert_id="threshold:rejouee")]
|
||||||
|
)
|
||||||
|
|
||||||
|
rejouees = await depot.create_many(
|
||||||
|
[_alerte_a_inserer(site_id=site.site_id, source_alert_id="threshold:rejouee")]
|
||||||
|
)
|
||||||
|
await session.rollback()
|
||||||
|
|
||||||
|
assert rejouees == []
|
||||||
|
|
||||||
|
|
||||||
|
async def test_create_many_does_nothing_for_an_empty_list(session: AsyncSession) -> None:
|
||||||
|
depot = AlertRepository(session)
|
||||||
|
|
||||||
|
creees = await depot.create_many([])
|
||||||
|
|
||||||
|
assert creees == []
|
||||||
|
|||||||
@@ -29,6 +29,85 @@ async def creer_prediction(
|
|||||||
return prediction
|
return prediction
|
||||||
|
|
||||||
|
|
||||||
|
async def test_list_since_excludes_predictions_before_the_cutoff(session: AsyncSession) -> None:
|
||||||
|
site = await creer_site(session)
|
||||||
|
depot = PredictionRepository(session)
|
||||||
|
dedans = await creer_prediction(
|
||||||
|
session, site_id=site.site_id, target_at=datetime(2026, 9, 16, tzinfo=UTC)
|
||||||
|
)
|
||||||
|
await creer_prediction(
|
||||||
|
session, site_id=site.site_id, target_at=datetime(2026, 9, 1, tzinfo=UTC)
|
||||||
|
)
|
||||||
|
|
||||||
|
resultats = await depot.list_since(
|
||||||
|
since=datetime(2026, 9, 10, tzinfo=UTC), site_id=site.site_id
|
||||||
|
)
|
||||||
|
identifiants = [p.prediction_id for p in resultats]
|
||||||
|
await session.rollback()
|
||||||
|
|
||||||
|
assert identifiants == [dedans.prediction_id]
|
||||||
|
|
||||||
|
|
||||||
|
async def test_list_since_excludes_predictions_that_are_not_available(
|
||||||
|
session: AsyncSession,
|
||||||
|
) -> None:
|
||||||
|
site = await creer_site(session)
|
||||||
|
depot = PredictionRepository(session)
|
||||||
|
await creer_prediction(
|
||||||
|
session,
|
||||||
|
site_id=site.site_id,
|
||||||
|
target_at=datetime(2026, 9, 16, tzinfo=UTC),
|
||||||
|
status="insufficient_data",
|
||||||
|
predicted_value=None,
|
||||||
|
failure_reason="pas assez d'historique",
|
||||||
|
)
|
||||||
|
|
||||||
|
resultats = await depot.list_since(since=datetime(2026, 9, 1, tzinfo=UTC), site_id=site.site_id)
|
||||||
|
await session.rollback()
|
||||||
|
|
||||||
|
assert list(resultats) == []
|
||||||
|
|
||||||
|
|
||||||
|
async def test_list_since_breaks_a_target_at_tie_by_ascending_prediction_id(
|
||||||
|
session: AsyncSession,
|
||||||
|
) -> None:
|
||||||
|
# `prediction` n'a pas d'unicité sur `(site_id, target_at)` : deux runs de scoring sans
|
||||||
|
# nouvelle lecture entre-temps produisent deux lignes `available` à la même cible. Sans ce
|
||||||
|
# départage, `_detect_anomaly` retiendrait une ligne au hasard plutôt que le run le plus
|
||||||
|
# récent.
|
||||||
|
site = await creer_site(session)
|
||||||
|
depot = PredictionRepository(session)
|
||||||
|
cible = datetime(2026, 9, 16, tzinfo=UTC)
|
||||||
|
premier_run = await creer_prediction(
|
||||||
|
session, site_id=site.site_id, target_at=cible, predicted_value=10.0
|
||||||
|
)
|
||||||
|
second_run = await creer_prediction(
|
||||||
|
session, site_id=site.site_id, target_at=cible, predicted_value=20.0
|
||||||
|
)
|
||||||
|
|
||||||
|
resultats = await depot.list_since(since=datetime(2026, 9, 1, tzinfo=UTC), site_id=site.site_id)
|
||||||
|
identifiants = [p.prediction_id for p in resultats]
|
||||||
|
await session.rollback()
|
||||||
|
|
||||||
|
assert identifiants == [premier_run.prediction_id, second_run.prediction_id]
|
||||||
|
|
||||||
|
|
||||||
|
async def test_list_since_filters_by_site_id(session: AsyncSession) -> None:
|
||||||
|
premier = await creer_site(session)
|
||||||
|
second = await creer_site(session)
|
||||||
|
depot = PredictionRepository(session)
|
||||||
|
voulue = await creer_prediction(session, site_id=premier.site_id)
|
||||||
|
await creer_prediction(session, site_id=second.site_id)
|
||||||
|
|
||||||
|
resultats = await depot.list_since(
|
||||||
|
since=datetime(2026, 8, 1, tzinfo=UTC), site_id=premier.site_id
|
||||||
|
)
|
||||||
|
identifiants = [p.prediction_id for p in resultats]
|
||||||
|
await session.rollback()
|
||||||
|
|
||||||
|
assert identifiants == [voulue.prediction_id]
|
||||||
|
|
||||||
|
|
||||||
async def test_latest_by_site_keeps_only_the_most_recent_target(session: AsyncSession) -> None:
|
async def test_latest_by_site_keeps_only_the_most_recent_target(session: AsyncSession) -> None:
|
||||||
site = await creer_site(session)
|
site = await creer_site(session)
|
||||||
depot = PredictionRepository(session)
|
depot = PredictionRepository(session)
|
||||||
|
|||||||
@@ -155,6 +155,79 @@ async def test_latest_for_site_ignores_the_readings_of_the_other_sites(
|
|||||||
assert trouvee is None
|
assert trouvee is None
|
||||||
|
|
||||||
|
|
||||||
|
async def test_list_since_orders_by_site_then_by_time_ascending(session: AsyncSession) -> None:
|
||||||
|
site = await creer_site(session)
|
||||||
|
depot = ReadingRepository(session)
|
||||||
|
plus_recente = await creer_lecture(
|
||||||
|
session, site_id=site.site_id, timestamp=datetime(2026, 9, 16, tzinfo=UTC)
|
||||||
|
)
|
||||||
|
plus_ancienne = await creer_lecture(
|
||||||
|
session, site_id=site.site_id, timestamp=datetime(2026, 9, 15, tzinfo=UTC)
|
||||||
|
)
|
||||||
|
|
||||||
|
resultats = await depot.list_since(since=datetime(2026, 9, 1, tzinfo=UTC), site_id=site.site_id)
|
||||||
|
identifiants = [r.reading_id for r in resultats]
|
||||||
|
await session.rollback()
|
||||||
|
|
||||||
|
assert identifiants == [plus_ancienne.reading_id, plus_recente.reading_id]
|
||||||
|
|
||||||
|
|
||||||
|
async def test_list_since_excludes_readings_before_the_cutoff(session: AsyncSession) -> None:
|
||||||
|
site = await creer_site(session)
|
||||||
|
depot = ReadingRepository(session)
|
||||||
|
dedans = await creer_lecture(
|
||||||
|
session, site_id=site.site_id, timestamp=datetime(2026, 9, 16, tzinfo=UTC)
|
||||||
|
)
|
||||||
|
await creer_lecture(session, site_id=site.site_id, timestamp=datetime(2026, 9, 1, tzinfo=UTC))
|
||||||
|
|
||||||
|
resultats = await depot.list_since(
|
||||||
|
since=datetime(2026, 9, 10, tzinfo=UTC), site_id=site.site_id
|
||||||
|
)
|
||||||
|
identifiants = [r.reading_id for r in resultats]
|
||||||
|
await session.rollback()
|
||||||
|
|
||||||
|
assert identifiants == [dedans.reading_id]
|
||||||
|
|
||||||
|
|
||||||
|
async def test_list_since_breaks_a_timestamp_tie_by_ascending_reading_id(
|
||||||
|
session: AsyncSession,
|
||||||
|
) -> None:
|
||||||
|
# `uq_reading_source` autorise deux lignes au même `site_id`+`timestamp` quand la `source`
|
||||||
|
# diffère (même piège que `latest_for_site`). Sans ce départage, `_detect_spike` traiterait
|
||||||
|
# cette paire comme une variation réelle selon un ordre non garanti par le plan d'exécution.
|
||||||
|
site = await creer_site(session)
|
||||||
|
depot = ReadingRepository(session)
|
||||||
|
horodatage = datetime(2026, 9, 16, tzinfo=UTC)
|
||||||
|
premiere = await creer_lecture(
|
||||||
|
session, site_id=site.site_id, timestamp=horodatage, source="api_history", consumption_kw=10
|
||||||
|
)
|
||||||
|
seconde = await creer_lecture(
|
||||||
|
session, site_id=site.site_id, timestamp=horodatage, source="api_current", consumption_kw=42
|
||||||
|
)
|
||||||
|
|
||||||
|
resultats = await depot.list_since(since=datetime(2026, 9, 1, tzinfo=UTC), site_id=site.site_id)
|
||||||
|
identifiants = [r.reading_id for r in resultats]
|
||||||
|
await session.rollback()
|
||||||
|
|
||||||
|
assert identifiants == [premiere.reading_id, seconde.reading_id]
|
||||||
|
|
||||||
|
|
||||||
|
async def test_list_since_filters_by_site_id(session: AsyncSession) -> None:
|
||||||
|
premier = await creer_site(session)
|
||||||
|
second = await creer_site(session)
|
||||||
|
depot = ReadingRepository(session)
|
||||||
|
voulue = await creer_lecture(session, site_id=premier.site_id)
|
||||||
|
await creer_lecture(session, site_id=second.site_id)
|
||||||
|
|
||||||
|
resultats = await depot.list_since(
|
||||||
|
since=datetime(2026, 8, 1, tzinfo=UTC), site_id=premier.site_id
|
||||||
|
)
|
||||||
|
identifiants = [r.reading_id for r in resultats]
|
||||||
|
await session.rollback()
|
||||||
|
|
||||||
|
assert identifiants == [voulue.reading_id]
|
||||||
|
|
||||||
|
|
||||||
async def test_list_history_orders_the_readings_by_timestamp_descending(
|
async def test_list_history_orders_the_readings_by_timestamp_descending(
|
||||||
session: AsyncSession,
|
session: AsyncSession,
|
||||||
) -> None:
|
) -> None:
|
||||||
|
|||||||
@@ -5,7 +5,8 @@ import pytest
|
|||||||
from sqlalchemy.ext.asyncio import AsyncSession
|
from sqlalchemy.ext.asyncio import AsyncSession
|
||||||
|
|
||||||
from app.models.energy import Alert, Recommendation, Site
|
from app.models.energy import Alert, Recommendation, Site
|
||||||
from app.repositories.recommendation import RecommendationRepository
|
from app.repositories import recommendation as module_recommendation
|
||||||
|
from app.repositories.recommendation import NouvelleRecommandation, RecommendationRepository
|
||||||
|
|
||||||
pytestmark = pytest.mark.integration
|
pytestmark = pytest.mark.integration
|
||||||
|
|
||||||
@@ -83,3 +84,59 @@ async def test_list_all_returns_the_recommendations_sorted_by_identifier(
|
|||||||
await session.rollback()
|
await session.rollback()
|
||||||
|
|
||||||
assert identifiants == sorted(identifiants)
|
assert identifiants == sorted(identifiants)
|
||||||
|
|
||||||
|
|
||||||
|
def nouvelle(alert_id: int, reference: str = "spike-delestage-v1") -> NouvelleRecommandation:
|
||||||
|
return NouvelleRecommandation(
|
||||||
|
alert_id=alert_id,
|
||||||
|
action="Délester les équipements non prioritaires",
|
||||||
|
explanation="Pic de consommation signalé.",
|
||||||
|
rule_reference=reference,
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
async def test_create_missing_inserts_the_proposals(session: AsyncSession) -> None:
|
||||||
|
depot = RecommendationRepository(session)
|
||||||
|
alert_id = await creer_alerte(session)
|
||||||
|
|
||||||
|
creees = await depot.create_missing(
|
||||||
|
[nouvelle(alert_id), nouvelle(alert_id, "escalade-astreinte-v1")]
|
||||||
|
)
|
||||||
|
await session.rollback()
|
||||||
|
|
||||||
|
assert creees == 2
|
||||||
|
|
||||||
|
|
||||||
|
async def test_create_missing_ignores_a_rule_already_held_for_the_alert(
|
||||||
|
session: AsyncSession,
|
||||||
|
) -> None:
|
||||||
|
depot = RecommendationRepository(session)
|
||||||
|
alert_id = await creer_alerte(session)
|
||||||
|
await depot.create_missing([nouvelle(alert_id)])
|
||||||
|
|
||||||
|
creees = await depot.create_missing([nouvelle(alert_id)])
|
||||||
|
await session.rollback()
|
||||||
|
|
||||||
|
assert creees == 0
|
||||||
|
|
||||||
|
|
||||||
|
async def test_create_missing_returns_zero_without_any_proposal(session: AsyncSession) -> None:
|
||||||
|
creees = await RecommendationRepository(session).create_missing([])
|
||||||
|
|
||||||
|
assert creees == 0
|
||||||
|
|
||||||
|
|
||||||
|
async def test_create_missing_inserts_every_proposal_across_several_batches(
|
||||||
|
session: AsyncSession, monkeypatch: pytest.MonkeyPatch
|
||||||
|
) -> None:
|
||||||
|
monkeypatch.setattr(module_recommendation, "TAILLE_DE_LOT", 2)
|
||||||
|
depot = RecommendationRepository(session)
|
||||||
|
alert_id = await creer_alerte(session)
|
||||||
|
propositions = [nouvelle(alert_id, f"regle-{index}-v1") for index in range(5)]
|
||||||
|
|
||||||
|
creees = await depot.create_missing(propositions)
|
||||||
|
enregistrees = [r for r in await depot.list_all() if r.alert_id == alert_id]
|
||||||
|
await session.rollback()
|
||||||
|
|
||||||
|
assert creees == 5
|
||||||
|
assert len(enregistrees) == 5
|
||||||
|
|||||||
@@ -1,7 +1,10 @@
|
|||||||
from datetime import UTC, datetime
|
from dataclasses import dataclass, field
|
||||||
|
from datetime import UTC, datetime, timedelta
|
||||||
|
|
||||||
from app.models.energy import Alert
|
from app.models.energy import Alert
|
||||||
from app.services.alert import AlertService
|
from app.services.alert import OUTAGE_THRESHOLD, AlertService, _severity_from_ratio
|
||||||
|
|
||||||
|
NOW = datetime(2026, 9, 16, 12, 0, tzinfo=UTC)
|
||||||
|
|
||||||
|
|
||||||
def alert(
|
def alert(
|
||||||
@@ -26,10 +29,36 @@ def alert(
|
|||||||
)
|
)
|
||||||
|
|
||||||
|
|
||||||
|
@dataclass
|
||||||
|
class FauxSite:
|
||||||
|
site_id: str
|
||||||
|
capacity_kw: float | None = None
|
||||||
|
|
||||||
|
|
||||||
|
@dataclass
|
||||||
|
class FauxLecture:
|
||||||
|
site_id: str
|
||||||
|
timestamp: datetime
|
||||||
|
consumption_kw: float | None = None
|
||||||
|
consumption_kwh: float | None = None
|
||||||
|
data_quality: str | None = None
|
||||||
|
null_reasons: list[str] | None = None
|
||||||
|
|
||||||
|
|
||||||
|
@dataclass
|
||||||
|
class FauxPrediction:
|
||||||
|
site_id: str
|
||||||
|
target_at: datetime
|
||||||
|
predicted_value: float | None
|
||||||
|
target_metric: str = "consumption_kwh"
|
||||||
|
prediction_id: int = 1
|
||||||
|
|
||||||
|
|
||||||
class FakeRepository:
|
class FakeRepository:
|
||||||
def __init__(self, alerts: list[Alert]) -> None:
|
def __init__(self, alerts: list[Alert]) -> None:
|
||||||
self._alerts = alerts
|
self._alerts = alerts
|
||||||
self.appels: list[tuple[str | None, str | None]] = []
|
self.appels: list[tuple[str | None, str | None]] = []
|
||||||
|
self.crees: list[Alert] = []
|
||||||
|
|
||||||
async def list_all(
|
async def list_all(
|
||||||
self, *, site_id: str | None = None, severity: str | None = None
|
self, *, site_id: str | None = None, severity: str | None = None
|
||||||
@@ -37,19 +66,392 @@ class FakeRepository:
|
|||||||
self.appels.append((site_id, severity))
|
self.appels.append((site_id, severity))
|
||||||
return self._alerts
|
return self._alerts
|
||||||
|
|
||||||
|
async def create_many(self, alerts: list[Alert]) -> list[Alert]:
|
||||||
|
self.crees = list(alerts)
|
||||||
|
return self.crees
|
||||||
|
|
||||||
|
|
||||||
|
@dataclass
|
||||||
|
class FauxDepotLectures:
|
||||||
|
depuis: list[FauxLecture] = field(default_factory=list)
|
||||||
|
dernieres: list[FauxLecture] = field(default_factory=list)
|
||||||
|
|
||||||
|
async def list_since(self, *, since: datetime, site_id: str | None = None) -> list[FauxLecture]:
|
||||||
|
return [lecture for lecture in self.depuis if site_id is None or lecture.site_id == site_id]
|
||||||
|
|
||||||
|
async def latest_by_site(self) -> list[FauxLecture]:
|
||||||
|
return self.dernieres
|
||||||
|
|
||||||
|
|
||||||
|
@dataclass
|
||||||
|
class FauxDepotPredictions:
|
||||||
|
predictions: list[FauxPrediction] = field(default_factory=list)
|
||||||
|
|
||||||
|
async def list_since(
|
||||||
|
self, *, since: datetime, site_id: str | None = None
|
||||||
|
) -> list[FauxPrediction]:
|
||||||
|
return [p for p in self.predictions if site_id is None or p.site_id == site_id]
|
||||||
|
|
||||||
|
|
||||||
|
@dataclass
|
||||||
|
class FauxDepotSites:
|
||||||
|
sites: list[FauxSite]
|
||||||
|
|
||||||
|
async def list_all(self) -> list[FauxSite]:
|
||||||
|
return self.sites
|
||||||
|
|
||||||
|
|
||||||
|
def service(
|
||||||
|
*,
|
||||||
|
sites: list[FauxSite],
|
||||||
|
lectures: list[FauxLecture] | None = None,
|
||||||
|
dernieres: list[FauxLecture] | None = None,
|
||||||
|
predictions: list[FauxPrediction] | None = None,
|
||||||
|
alerts: FakeRepository | None = None,
|
||||||
|
) -> tuple[AlertService, FakeRepository]:
|
||||||
|
depot_alertes = alerts or FakeRepository([])
|
||||||
|
dernieres_lectures = dernieres if dernieres is not None else (lectures or [])
|
||||||
|
return (
|
||||||
|
AlertService(
|
||||||
|
alerts=depot_alertes, # type: ignore[arg-type]
|
||||||
|
readings=FauxDepotLectures(depuis=lectures or [], dernieres=dernieres_lectures), # type: ignore[arg-type]
|
||||||
|
predictions=FauxDepotPredictions(predictions or []), # type: ignore[arg-type]
|
||||||
|
sites=FauxDepotSites(sites), # type: ignore[arg-type]
|
||||||
|
),
|
||||||
|
depot_alertes,
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
async def test_list_all_returns_the_repository_alerts() -> None:
|
async def test_list_all_returns_the_repository_alerts() -> None:
|
||||||
service = AlertService(alerts=FakeRepository([alert(1), alert(2)]))
|
svc, _ = service(sites=[], alerts=FakeRepository([alert(1), alert(2)]))
|
||||||
|
|
||||||
alertes = await service.list_all()
|
alertes = await svc.list_all()
|
||||||
|
|
||||||
assert [a.alert_id for a in alertes] == [1, 2]
|
assert [a.alert_id for a in alertes] == [1, 2]
|
||||||
|
|
||||||
|
|
||||||
async def test_list_all_relays_the_filters_to_the_repository() -> None:
|
async def test_list_all_relays_the_filters_to_the_repository() -> None:
|
||||||
depot = FakeRepository([])
|
depot = FakeRepository([])
|
||||||
service = AlertService(alerts=depot)
|
svc, _ = service(sites=[], alerts=depot)
|
||||||
|
|
||||||
await service.list_all(site_id="site-1", severity="critical")
|
await svc.list_all(site_id="site-1", severity="critical")
|
||||||
|
|
||||||
assert depot.appels == [("site-1", "critical")]
|
assert depot.appels == [("site-1", "critical")]
|
||||||
|
|
||||||
|
|
||||||
|
async def test_detect_raises_a_threshold_alert_above_site_capacity() -> None:
|
||||||
|
svc, depot = service(
|
||||||
|
sites=[FauxSite("A", capacity_kw=100.0)],
|
||||||
|
lectures=[FauxLecture("A", NOW, consumption_kw=150.0)],
|
||||||
|
)
|
||||||
|
|
||||||
|
await svc.detect(now=NOW)
|
||||||
|
|
||||||
|
(candidate,) = depot.crees
|
||||||
|
assert candidate.type == "threshold"
|
||||||
|
assert candidate.severity == "high"
|
||||||
|
assert candidate.value == 150.0
|
||||||
|
assert candidate.threshold == 100.0
|
||||||
|
assert candidate.metric == "consumption_kw"
|
||||||
|
|
||||||
|
|
||||||
|
async def test_detect_ignores_a_reading_within_capacity() -> None:
|
||||||
|
svc, depot = service(
|
||||||
|
sites=[FauxSite("A", capacity_kw=100.0)],
|
||||||
|
lectures=[FauxLecture("A", NOW, consumption_kw=80.0)],
|
||||||
|
)
|
||||||
|
|
||||||
|
await svc.detect(now=NOW)
|
||||||
|
|
||||||
|
assert depot.crees == []
|
||||||
|
|
||||||
|
|
||||||
|
async def test_detect_ignores_threshold_when_the_site_has_no_declared_capacity() -> None:
|
||||||
|
svc, depot = service(
|
||||||
|
sites=[FauxSite("A", capacity_kw=None)],
|
||||||
|
lectures=[FauxLecture("A", NOW, consumption_kw=9999.0)],
|
||||||
|
)
|
||||||
|
|
||||||
|
await svc.detect(now=NOW)
|
||||||
|
|
||||||
|
assert depot.crees == []
|
||||||
|
|
||||||
|
|
||||||
|
async def test_detect_raises_a_spike_alert_on_a_brutal_consecutive_variation() -> None:
|
||||||
|
svc, depot = service(
|
||||||
|
sites=[FauxSite("A")],
|
||||||
|
lectures=[
|
||||||
|
FauxLecture("A", NOW - timedelta(hours=1), consumption_kw=100.0),
|
||||||
|
FauxLecture("A", NOW, consumption_kw=160.0),
|
||||||
|
],
|
||||||
|
)
|
||||||
|
|
||||||
|
await svc.detect(now=NOW)
|
||||||
|
|
||||||
|
(candidate,) = [a for a in depot.crees if a.type == "spike"]
|
||||||
|
assert candidate.value == 160.0
|
||||||
|
assert candidate.threshold == 100.0
|
||||||
|
assert candidate.timestamp == NOW
|
||||||
|
|
||||||
|
|
||||||
|
async def test_detect_ignores_a_moderate_consecutive_variation() -> None:
|
||||||
|
svc, depot = service(
|
||||||
|
sites=[FauxSite("A")],
|
||||||
|
lectures=[
|
||||||
|
FauxLecture("A", NOW - timedelta(hours=1), consumption_kw=100.0),
|
||||||
|
FauxLecture("A", NOW, consumption_kw=110.0),
|
||||||
|
],
|
||||||
|
)
|
||||||
|
|
||||||
|
await svc.detect(now=NOW)
|
||||||
|
|
||||||
|
assert [a for a in depot.crees if a.type == "spike"] == []
|
||||||
|
|
||||||
|
|
||||||
|
async def test_detect_never_compares_consecutive_readings_across_two_sites() -> None:
|
||||||
|
svc, depot = service(
|
||||||
|
sites=[FauxSite("A"), FauxSite("B")],
|
||||||
|
lectures=[
|
||||||
|
FauxLecture("A", NOW - timedelta(hours=1), consumption_kw=10.0),
|
||||||
|
FauxLecture("B", NOW, consumption_kw=1000.0),
|
||||||
|
],
|
||||||
|
)
|
||||||
|
|
||||||
|
await svc.detect(now=NOW)
|
||||||
|
|
||||||
|
assert [a for a in depot.crees if a.type == "spike"] == []
|
||||||
|
|
||||||
|
|
||||||
|
async def test_detect_raises_an_anomaly_alert_far_from_the_matching_prediction() -> None:
|
||||||
|
svc, depot = service(
|
||||||
|
sites=[FauxSite("A")],
|
||||||
|
lectures=[FauxLecture("A", NOW, consumption_kwh=100.0)],
|
||||||
|
predictions=[FauxPrediction("A", target_at=NOW, predicted_value=70.0)],
|
||||||
|
)
|
||||||
|
|
||||||
|
await svc.detect(now=NOW)
|
||||||
|
|
||||||
|
(candidate,) = [a for a in depot.crees if a.type == "anomaly"]
|
||||||
|
assert candidate.value == 100.0
|
||||||
|
assert candidate.threshold == 70.0
|
||||||
|
assert candidate.metric == "consumption_kwh"
|
||||||
|
assert candidate.prediction_id == 1
|
||||||
|
|
||||||
|
|
||||||
|
async def test_detect_ignores_a_reading_close_to_its_prediction() -> None:
|
||||||
|
svc, depot = service(
|
||||||
|
sites=[FauxSite("A")],
|
||||||
|
lectures=[FauxLecture("A", NOW, consumption_kwh=100.0)],
|
||||||
|
predictions=[FauxPrediction("A", target_at=NOW, predicted_value=95.0)],
|
||||||
|
)
|
||||||
|
|
||||||
|
await svc.detect(now=NOW)
|
||||||
|
|
||||||
|
assert [a for a in depot.crees if a.type == "anomaly"] == []
|
||||||
|
|
||||||
|
|
||||||
|
async def test_detect_ignores_a_prediction_whose_target_at_does_not_match_the_reading() -> None:
|
||||||
|
svc, depot = service(
|
||||||
|
sites=[FauxSite("A")],
|
||||||
|
lectures=[FauxLecture("A", NOW, consumption_kwh=100.0)],
|
||||||
|
predictions=[FauxPrediction("A", target_at=NOW - timedelta(hours=1), predicted_value=1.0)],
|
||||||
|
)
|
||||||
|
|
||||||
|
await svc.detect(now=NOW)
|
||||||
|
|
||||||
|
assert [a for a in depot.crees if a.type == "anomaly"] == []
|
||||||
|
|
||||||
|
|
||||||
|
async def test_detect_keeps_the_most_recent_run_when_two_predictions_share_the_same_target() -> (
|
||||||
|
None
|
||||||
|
):
|
||||||
|
# `PredictionRepository.list_since` départage les égalités de `target_at` par `prediction_id`
|
||||||
|
# croissant : le repository fait donc déjà passer le run le plus récent en dernier dans la
|
||||||
|
# liste, et c'est ce dernier que le dict de `_detect_anomaly` doit retenir.
|
||||||
|
svc, depot = service(
|
||||||
|
sites=[FauxSite("A")],
|
||||||
|
lectures=[FauxLecture("A", NOW, consumption_kwh=100.0)],
|
||||||
|
predictions=[
|
||||||
|
FauxPrediction("A", target_at=NOW, predicted_value=100.0, prediction_id=1),
|
||||||
|
FauxPrediction("A", target_at=NOW, predicted_value=70.0, prediction_id=2),
|
||||||
|
],
|
||||||
|
)
|
||||||
|
|
||||||
|
await svc.detect(now=NOW)
|
||||||
|
|
||||||
|
(candidate,) = [a for a in depot.crees if a.type == "anomaly"]
|
||||||
|
assert candidate.threshold == 70.0
|
||||||
|
assert candidate.prediction_id == 2
|
||||||
|
|
||||||
|
|
||||||
|
async def test_detect_raises_an_outage_alert_past_the_threshold() -> None:
|
||||||
|
derniere = NOW - OUTAGE_THRESHOLD - timedelta(minutes=1)
|
||||||
|
svc, depot = service(
|
||||||
|
sites=[FauxSite("A")],
|
||||||
|
lectures=[],
|
||||||
|
dernieres=[FauxLecture("A", derniere)],
|
||||||
|
)
|
||||||
|
|
||||||
|
await svc.detect(now=NOW)
|
||||||
|
|
||||||
|
(candidate,) = [a for a in depot.crees if a.type == "outage"]
|
||||||
|
assert candidate.severity in {"low", "medium", "high", "critical"}
|
||||||
|
|
||||||
|
|
||||||
|
async def test_detect_ignores_a_site_still_within_the_outage_threshold() -> None:
|
||||||
|
derniere = NOW - OUTAGE_THRESHOLD + timedelta(minutes=1)
|
||||||
|
svc, depot = service(
|
||||||
|
sites=[FauxSite("A")],
|
||||||
|
lectures=[],
|
||||||
|
dernieres=[FauxLecture("A", derniere)],
|
||||||
|
)
|
||||||
|
|
||||||
|
await svc.detect(now=NOW)
|
||||||
|
|
||||||
|
assert [a for a in depot.crees if a.type == "outage"] == []
|
||||||
|
|
||||||
|
|
||||||
|
async def test_detect_raises_a_critical_outage_alert_for_a_site_never_read() -> None:
|
||||||
|
svc, depot = service(sites=[FauxSite("A")], lectures=[], dernieres=[])
|
||||||
|
|
||||||
|
await svc.detect(now=NOW)
|
||||||
|
|
||||||
|
(candidate,) = [a for a in depot.crees if a.type == "outage"]
|
||||||
|
assert candidate.severity == "critical"
|
||||||
|
assert candidate.source_alert_id == "outage:jamais"
|
||||||
|
|
||||||
|
|
||||||
|
async def test_detect_raises_a_sensor_alert_on_a_degraded_reading() -> None:
|
||||||
|
svc, depot = service(
|
||||||
|
sites=[FauxSite("A")],
|
||||||
|
lectures=[FauxLecture("A", NOW, data_quality="critical", null_reasons=["missing:x"])],
|
||||||
|
)
|
||||||
|
|
||||||
|
await svc.detect(now=NOW)
|
||||||
|
|
||||||
|
(candidate,) = [a for a in depot.crees if a.type == "sensor"]
|
||||||
|
assert candidate.severity == "critical"
|
||||||
|
|
||||||
|
|
||||||
|
async def test_detect_ignores_a_good_quality_reading_for_the_sensor_rule() -> None:
|
||||||
|
svc, depot = service(
|
||||||
|
sites=[FauxSite("A")],
|
||||||
|
lectures=[FauxLecture("A", NOW, data_quality="good")],
|
||||||
|
)
|
||||||
|
|
||||||
|
await svc.detect(now=NOW)
|
||||||
|
|
||||||
|
assert [a for a in depot.crees if a.type == "sensor"] == []
|
||||||
|
|
||||||
|
|
||||||
|
async def test_detect_scopes_to_a_single_site_when_asked() -> None:
|
||||||
|
svc, depot = service(
|
||||||
|
sites=[FauxSite("A", capacity_kw=100.0), FauxSite("B", capacity_kw=100.0)],
|
||||||
|
lectures=[
|
||||||
|
FauxLecture("A", NOW, consumption_kw=150.0),
|
||||||
|
FauxLecture("B", NOW, consumption_kw=150.0),
|
||||||
|
],
|
||||||
|
)
|
||||||
|
|
||||||
|
await svc.detect(now=NOW, site_id="A")
|
||||||
|
|
||||||
|
assert {a.site_id for a in depot.crees} == {"A"}
|
||||||
|
|
||||||
|
|
||||||
|
async def test_detect_returns_early_when_there_is_no_site() -> None:
|
||||||
|
svc, depot = service(sites=[])
|
||||||
|
|
||||||
|
resultat = await svc.detect(now=NOW)
|
||||||
|
|
||||||
|
assert resultat == []
|
||||||
|
assert depot.crees == []
|
||||||
|
|
||||||
|
|
||||||
|
async def test_detect_ignores_a_spike_pair_with_a_missing_measurement() -> None:
|
||||||
|
svc, depot = service(
|
||||||
|
sites=[FauxSite("A")],
|
||||||
|
lectures=[
|
||||||
|
FauxLecture("A", NOW - timedelta(hours=1), consumption_kw=None),
|
||||||
|
FauxLecture("A", NOW, consumption_kw=160.0),
|
||||||
|
],
|
||||||
|
)
|
||||||
|
|
||||||
|
await svc.detect(now=NOW)
|
||||||
|
|
||||||
|
assert [a for a in depot.crees if a.type == "spike"] == []
|
||||||
|
|
||||||
|
|
||||||
|
async def test_detect_ignores_a_reading_still_at_zero_after_a_previous_zero() -> None:
|
||||||
|
svc, depot = service(
|
||||||
|
sites=[FauxSite("A")],
|
||||||
|
lectures=[
|
||||||
|
FauxLecture("A", NOW - timedelta(hours=1), consumption_kw=0.0),
|
||||||
|
FauxLecture("A", NOW, consumption_kw=0.0),
|
||||||
|
],
|
||||||
|
)
|
||||||
|
|
||||||
|
await svc.detect(now=NOW)
|
||||||
|
|
||||||
|
assert [a for a in depot.crees if a.type == "spike"] == []
|
||||||
|
|
||||||
|
|
||||||
|
async def test_detect_raises_a_critical_spike_when_a_site_restarts_from_zero() -> None:
|
||||||
|
svc, depot = service(
|
||||||
|
sites=[FauxSite("A")],
|
||||||
|
lectures=[
|
||||||
|
FauxLecture("A", NOW - timedelta(hours=1), consumption_kw=0.0),
|
||||||
|
FauxLecture("A", NOW, consumption_kw=50.0),
|
||||||
|
],
|
||||||
|
)
|
||||||
|
|
||||||
|
await svc.detect(now=NOW)
|
||||||
|
|
||||||
|
(candidate,) = [a for a in depot.crees if a.type == "spike"]
|
||||||
|
assert candidate.severity == "critical"
|
||||||
|
assert candidate.value == 50.0
|
||||||
|
assert candidate.threshold == 0.0
|
||||||
|
|
||||||
|
|
||||||
|
async def test_detect_ignores_a_spike_pair_sharing_the_same_timestamp() -> None:
|
||||||
|
svc, depot = service(
|
||||||
|
sites=[FauxSite("A")],
|
||||||
|
lectures=[
|
||||||
|
FauxLecture("A", NOW, consumption_kw=100.0),
|
||||||
|
FauxLecture("A", NOW, consumption_kw=160.0),
|
||||||
|
],
|
||||||
|
)
|
||||||
|
|
||||||
|
await svc.detect(now=NOW)
|
||||||
|
|
||||||
|
assert [a for a in depot.crees if a.type == "spike"] == []
|
||||||
|
|
||||||
|
|
||||||
|
async def test_detect_ignores_an_anomaly_when_the_prediction_is_near_zero() -> None:
|
||||||
|
svc, depot = service(
|
||||||
|
sites=[FauxSite("A")],
|
||||||
|
lectures=[FauxLecture("A", NOW, consumption_kwh=5.0)],
|
||||||
|
predictions=[FauxPrediction("A", target_at=NOW, predicted_value=0.0)],
|
||||||
|
)
|
||||||
|
|
||||||
|
await svc.detect(now=NOW)
|
||||||
|
|
||||||
|
assert [a for a in depot.crees if a.type == "anomaly"] == []
|
||||||
|
|
||||||
|
|
||||||
|
def test_severity_from_ratio_covers_every_band() -> None:
|
||||||
|
assert _severity_from_ratio(1.0) == "low"
|
||||||
|
assert _severity_from_ratio(1.2) == "medium"
|
||||||
|
assert _severity_from_ratio(1.5) == "high"
|
||||||
|
assert _severity_from_ratio(2.0) == "critical"
|
||||||
|
|
||||||
|
|
||||||
|
async def test_detect_does_not_call_create_many_when_nothing_triggers() -> None:
|
||||||
|
svc, depot = service(
|
||||||
|
sites=[FauxSite("A", capacity_kw=100.0)],
|
||||||
|
lectures=[FauxLecture("A", NOW, consumption_kw=10.0, data_quality="good")],
|
||||||
|
)
|
||||||
|
|
||||||
|
resultat = await svc.detect(now=NOW)
|
||||||
|
|
||||||
|
assert resultat == []
|
||||||
|
assert depot.crees == []
|
||||||
|
|||||||
@@ -1,10 +1,14 @@
|
|||||||
|
from collections.abc import Sequence
|
||||||
from datetime import UTC, datetime
|
from datetime import UTC, datetime
|
||||||
|
|
||||||
import pytest
|
import pytest
|
||||||
|
|
||||||
from app.models.energy import Recommendation
|
from app.models.energy import Alert, Recommendation
|
||||||
|
from app.repositories.recommendation import NouvelleRecommandation
|
||||||
from app.services.recommendation import RecommendationNotFoundError, RecommendationService
|
from app.services.recommendation import RecommendationNotFoundError, RecommendationService
|
||||||
|
|
||||||
|
MOMENT = datetime(2024, 1, 1, tzinfo=UTC)
|
||||||
|
|
||||||
|
|
||||||
def recommendation(recommendation_id: int = 1) -> Recommendation:
|
def recommendation(recommendation_id: int = 1) -> Recommendation:
|
||||||
return Recommendation(
|
return Recommendation(
|
||||||
@@ -13,13 +17,33 @@ def recommendation(recommendation_id: int = 1) -> Recommendation:
|
|||||||
action="Vérifier la consommation",
|
action="Vérifier la consommation",
|
||||||
explanation="Pic détecté",
|
explanation="Pic détecté",
|
||||||
rule_reference="spike-v1",
|
rule_reference="spike-v1",
|
||||||
created_at=datetime(2024, 1, 1, tzinfo=UTC),
|
created_at=MOMENT,
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
def alerte(alert_id: int = 1, site_id: str = "SITE001", severity: str = "high") -> Alert:
|
||||||
|
return Alert(
|
||||||
|
alert_id=alert_id,
|
||||||
|
source_alert_id=f"ALR-{alert_id}",
|
||||||
|
site_id=site_id,
|
||||||
|
source="api_mock",
|
||||||
|
timestamp=MOMENT,
|
||||||
|
type="spike",
|
||||||
|
severity=severity,
|
||||||
|
message="Pic de consommation",
|
||||||
|
value=None,
|
||||||
|
threshold=None,
|
||||||
|
metric=None,
|
||||||
|
prediction_id=None,
|
||||||
|
raw_data={},
|
||||||
)
|
)
|
||||||
|
|
||||||
|
|
||||||
class FakeRepository:
|
class FakeRepository:
|
||||||
def __init__(self, recommendations: list[Recommendation]) -> None:
|
def __init__(self, recommendations: list[Recommendation], creees: int | None = None) -> None:
|
||||||
self._recommendations = recommendations
|
self._recommendations = recommendations
|
||||||
|
self._creees = creees
|
||||||
|
self.recues: list[NouvelleRecommandation] = []
|
||||||
|
|
||||||
async def list_all(self) -> list[Recommendation]:
|
async def list_all(self) -> list[Recommendation]:
|
||||||
return self._recommendations
|
return self._recommendations
|
||||||
@@ -29,27 +53,111 @@ class FakeRepository:
|
|||||||
(r for r in self._recommendations if r.recommendation_id == recommendation_id), None
|
(r for r in self._recommendations if r.recommendation_id == recommendation_id), None
|
||||||
)
|
)
|
||||||
|
|
||||||
|
async def create_missing(self, nouvelles: Sequence[NouvelleRecommandation]) -> int:
|
||||||
|
self.recues = list(nouvelles)
|
||||||
|
return len(self.recues) if self._creees is None else self._creees
|
||||||
|
|
||||||
async def test_list_all_returns_the_repository_recommendations() -> None:
|
|
||||||
service = RecommendationService(
|
class FakeAlertRepository:
|
||||||
recommendations=FakeRepository([recommendation(1), recommendation(2)])
|
def __init__(self, alertes: list[Alert]) -> None:
|
||||||
|
self._alertes = alertes
|
||||||
|
self.site_demande: str | None = None
|
||||||
|
|
||||||
|
async def list_all(
|
||||||
|
self, *, site_id: str | None = None, severity: str | None = None
|
||||||
|
) -> list[Alert]:
|
||||||
|
self.site_demande = site_id
|
||||||
|
if site_id is None:
|
||||||
|
return self._alertes
|
||||||
|
return [a for a in self._alertes if a.site_id == site_id]
|
||||||
|
|
||||||
|
|
||||||
|
class FakeTransaction:
|
||||||
|
def __init__(self) -> None:
|
||||||
|
self.commits = 0
|
||||||
|
|
||||||
|
async def commit(self) -> None:
|
||||||
|
self.commits += 1
|
||||||
|
|
||||||
|
|
||||||
|
def service(
|
||||||
|
recommendations: FakeRepository | None = None,
|
||||||
|
alerts: FakeAlertRepository | None = None,
|
||||||
|
transaction: FakeTransaction | None = None,
|
||||||
|
) -> RecommendationService:
|
||||||
|
return RecommendationService(
|
||||||
|
recommendations=recommendations or FakeRepository([]),
|
||||||
|
alerts=alerts or FakeAlertRepository([]),
|
||||||
|
transaction=transaction or FakeTransaction(),
|
||||||
)
|
)
|
||||||
|
|
||||||
recommendations = await service.list_all()
|
|
||||||
|
async def test_list_all_returns_the_repository_recommendations() -> None:
|
||||||
|
depot = FakeRepository([recommendation(1), recommendation(2)])
|
||||||
|
|
||||||
|
recommendations = await service(recommendations=depot).list_all()
|
||||||
|
|
||||||
assert [r.recommendation_id for r in recommendations] == [1, 2]
|
assert [r.recommendation_id for r in recommendations] == [1, 2]
|
||||||
|
|
||||||
|
|
||||||
async def test_get_by_id_returns_the_matching_recommendation() -> None:
|
async def test_get_by_id_returns_the_matching_recommendation() -> None:
|
||||||
service = RecommendationService(recommendations=FakeRepository([recommendation(1)]))
|
trouve = await service(recommendations=FakeRepository([recommendation(1)])).get_by_id(1)
|
||||||
|
|
||||||
trouve = await service.get_by_id(1)
|
|
||||||
|
|
||||||
assert trouve.recommendation_id == 1
|
assert trouve.recommendation_id == 1
|
||||||
|
|
||||||
|
|
||||||
async def test_get_by_id_raises_when_the_recommendation_is_unknown() -> None:
|
async def test_get_by_id_raises_when_the_recommendation_is_unknown() -> None:
|
||||||
service = RecommendationService(recommendations=FakeRepository([]))
|
|
||||||
|
|
||||||
with pytest.raises(RecommendationNotFoundError):
|
with pytest.raises(RecommendationNotFoundError):
|
||||||
await service.get_by_id(404)
|
await service().get_by_id(404)
|
||||||
|
|
||||||
|
|
||||||
|
async def test_generate_persists_one_proposal_per_triggered_rule() -> None:
|
||||||
|
depot = FakeRepository([])
|
||||||
|
|
||||||
|
rapport = await service(
|
||||||
|
recommendations=depot, alerts=FakeAlertRepository([alerte(severity="critical")])
|
||||||
|
).generate()
|
||||||
|
|
||||||
|
assert {n.rule_reference for n in depot.recues} == {
|
||||||
|
"spike-delestage-v1",
|
||||||
|
"escalade-astreinte-v1",
|
||||||
|
}
|
||||||
|
assert rapport.recommandations_creees == 2
|
||||||
|
|
||||||
|
|
||||||
|
async def test_generate_commits_once() -> None:
|
||||||
|
transaction = FakeTransaction()
|
||||||
|
|
||||||
|
await service(alerts=FakeAlertRepository([alerte()]), transaction=transaction).generate()
|
||||||
|
|
||||||
|
assert transaction.commits == 1
|
||||||
|
|
||||||
|
|
||||||
|
async def test_generate_restricts_the_alerts_to_the_requested_site() -> None:
|
||||||
|
alertes = FakeAlertRepository([alerte(1, site_id="SITE001"), alerte(2, site_id="SITE002")])
|
||||||
|
depot = FakeRepository([])
|
||||||
|
|
||||||
|
rapport = await service(recommendations=depot, alerts=alertes).generate(site_id="SITE002")
|
||||||
|
|
||||||
|
assert alertes.site_demande == "SITE002"
|
||||||
|
assert rapport.alertes_examinees == 1
|
||||||
|
assert {n.alert_id for n in depot.recues} == {2}
|
||||||
|
|
||||||
|
|
||||||
|
async def test_generate_reports_nothing_when_no_alert_matches() -> None:
|
||||||
|
rapport = await service().generate()
|
||||||
|
|
||||||
|
assert rapport.alertes_examinees == 0
|
||||||
|
assert rapport.recommandations_creees == 0
|
||||||
|
assert rapport.deja_presentes == 0
|
||||||
|
|
||||||
|
|
||||||
|
async def test_generate_counts_the_proposals_the_database_already_held() -> None:
|
||||||
|
depot = FakeRepository([], creees=0)
|
||||||
|
|
||||||
|
rapport = await service(
|
||||||
|
recommendations=depot, alerts=FakeAlertRepository([alerte()])
|
||||||
|
).generate()
|
||||||
|
|
||||||
|
assert rapport.recommandations_creees == 0
|
||||||
|
assert rapport.deja_presentes == 1
|
||||||
|
|||||||
@@ -0,0 +1,142 @@
|
|||||||
|
from datetime import UTC, datetime
|
||||||
|
|
||||||
|
import pytest
|
||||||
|
|
||||||
|
from app.models.energy import Alert
|
||||||
|
from app.services.recommendation_rules import FACTEUR_DEPASSEMENT_MAJEUR, applique_les_regles
|
||||||
|
|
||||||
|
MOMENT = datetime(2024, 1, 1, tzinfo=UTC)
|
||||||
|
|
||||||
|
|
||||||
|
def alerte(
|
||||||
|
*,
|
||||||
|
alert_id: int = 1,
|
||||||
|
type_alerte: str = "spike",
|
||||||
|
severity: str = "high",
|
||||||
|
value: float | None = None,
|
||||||
|
threshold: float | None = None,
|
||||||
|
metric: str | None = None,
|
||||||
|
site_id: str = "SITE001",
|
||||||
|
) -> Alert:
|
||||||
|
return Alert(
|
||||||
|
alert_id=alert_id,
|
||||||
|
source_alert_id=f"ALR-{alert_id}",
|
||||||
|
site_id=site_id,
|
||||||
|
source="api_mock",
|
||||||
|
timestamp=MOMENT,
|
||||||
|
type=type_alerte,
|
||||||
|
severity=severity,
|
||||||
|
message="Alerte de test",
|
||||||
|
value=value,
|
||||||
|
threshold=threshold,
|
||||||
|
metric=metric,
|
||||||
|
prediction_id=None,
|
||||||
|
raw_data={},
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
@pytest.mark.parametrize(
|
||||||
|
("type_alerte", "attendue"),
|
||||||
|
[
|
||||||
|
("spike", "spike-delestage-v1"),
|
||||||
|
("threshold", "threshold-reduction-v1"),
|
||||||
|
("outage", "outage-secours-v1"),
|
||||||
|
("sensor", "sensor-maintenance-v1"),
|
||||||
|
("anomaly", "anomaly-verification-v1"),
|
||||||
|
],
|
||||||
|
ids=["pic", "seuil", "coupure", "capteur", "anomalie"],
|
||||||
|
)
|
||||||
|
def test_each_alert_type_yields_its_own_rule(type_alerte: str, attendue: str) -> None:
|
||||||
|
proposees = applique_les_regles(alerte(type_alerte=type_alerte))
|
||||||
|
|
||||||
|
assert [p.rule_reference for p in proposees] == [attendue]
|
||||||
|
|
||||||
|
|
||||||
|
def test_a_critical_alert_adds_the_escalation_rule() -> None:
|
||||||
|
proposees = applique_les_regles(alerte(severity="critical"))
|
||||||
|
|
||||||
|
assert "escalade-astreinte-v1" in {p.rule_reference for p in proposees}
|
||||||
|
|
||||||
|
|
||||||
|
@pytest.mark.parametrize("severity", ["low", "medium", "high"], ids=["faible", "moyenne", "haute"])
|
||||||
|
def test_a_non_critical_alert_does_not_escalate(severity: str) -> None:
|
||||||
|
proposees = applique_les_regles(alerte(severity=severity))
|
||||||
|
|
||||||
|
assert "escalade-astreinte-v1" not in {p.rule_reference for p in proposees}
|
||||||
|
|
||||||
|
|
||||||
|
def test_a_large_overshoot_adds_the_contract_rule() -> None:
|
||||||
|
proposees = applique_les_regles(
|
||||||
|
alerte(value=720.0 * FACTEUR_DEPASSEMENT_MAJEUR, threshold=720.0)
|
||||||
|
)
|
||||||
|
|
||||||
|
assert "contrat-puissance-v1" in {p.rule_reference for p in proposees}
|
||||||
|
|
||||||
|
|
||||||
|
def test_an_overshoot_below_the_factor_does_not_add_the_contract_rule() -> None:
|
||||||
|
proposees = applique_les_regles(alerte(value=800.0, threshold=720.0))
|
||||||
|
|
||||||
|
assert "contrat-puissance-v1" not in {p.rule_reference for p in proposees}
|
||||||
|
|
||||||
|
|
||||||
|
@pytest.mark.parametrize(
|
||||||
|
("value", "threshold"),
|
||||||
|
[(None, 720.0), (900.0, None), (900.0, 0.0), (900.0, -10.0)],
|
||||||
|
ids=["sans mesure", "sans seuil", "seuil nul", "seuil negatif"],
|
||||||
|
)
|
||||||
|
def test_the_contract_rule_stays_silent_without_an_exploitable_threshold(
|
||||||
|
value: float | None, threshold: float | None
|
||||||
|
) -> None:
|
||||||
|
proposees = applique_les_regles(alerte(value=value, threshold=threshold))
|
||||||
|
|
||||||
|
assert "contrat-puissance-v1" not in {p.rule_reference for p in proposees}
|
||||||
|
|
||||||
|
|
||||||
|
def test_the_explanation_quotes_the_measure_and_the_threshold() -> None:
|
||||||
|
proposees = applique_les_regles(alerte(value=812.5, threshold=720.0, metric="consumption_kw"))
|
||||||
|
|
||||||
|
assert "(consumption_kw mesurée à 812.5, seuil 720.0)" in proposees[0].explanation
|
||||||
|
|
||||||
|
|
||||||
|
def test_the_explanation_quotes_the_measure_alone_when_no_threshold_is_known() -> None:
|
||||||
|
proposees = applique_les_regles(alerte(value=812.5, metric="consumption_kw"))
|
||||||
|
|
||||||
|
assert "(consumption_kw mesurée à 812.5)" in proposees[0].explanation
|
||||||
|
|
||||||
|
|
||||||
|
def test_the_explanation_omits_the_measure_when_the_alert_carries_none() -> None:
|
||||||
|
proposees = applique_les_regles(alerte())
|
||||||
|
|
||||||
|
assert "(" not in proposees[0].explanation
|
||||||
|
|
||||||
|
|
||||||
|
def test_the_explanation_names_the_site() -> None:
|
||||||
|
proposees = applique_les_regles(alerte(site_id="SITE042"))
|
||||||
|
|
||||||
|
assert "SITE042" in proposees[0].explanation
|
||||||
|
|
||||||
|
|
||||||
|
def test_every_proposal_carries_the_alert_identifier() -> None:
|
||||||
|
proposees = applique_les_regles(alerte(alert_id=77, severity="critical"))
|
||||||
|
|
||||||
|
assert {p.alert_id for p in proposees} == {77}
|
||||||
|
|
||||||
|
|
||||||
|
def test_an_alert_never_yields_the_same_rule_twice() -> None:
|
||||||
|
proposees = applique_les_regles(
|
||||||
|
alerte(severity="critical", value=900.0, threshold=720.0, metric="consumption_kw")
|
||||||
|
)
|
||||||
|
|
||||||
|
assert len(proposees) == len({p.rule_reference for p in proposees})
|
||||||
|
|
||||||
|
|
||||||
|
def test_a_critical_alert_over_the_threshold_yields_the_three_rules() -> None:
|
||||||
|
proposees = applique_les_regles(
|
||||||
|
alerte(severity="critical", value=900.0, threshold=720.0, metric="consumption_kw")
|
||||||
|
)
|
||||||
|
|
||||||
|
assert {p.rule_reference for p in proposees} == {
|
||||||
|
"spike-delestage-v1",
|
||||||
|
"escalade-astreinte-v1",
|
||||||
|
"contrat-puissance-v1",
|
||||||
|
}
|
||||||
@@ -118,3 +118,30 @@ def test_main_exports_the_contract_without_asking_for_a_password(
|
|||||||
assert code == 0
|
assert code == 0
|
||||||
assert destination.exists()
|
assert destination.exists()
|
||||||
assert str(destination) in capsys.readouterr().out
|
assert str(destination) in capsys.readouterr().out
|
||||||
|
|
||||||
|
|
||||||
|
def test_build_parser_reads_the_generate_recommendations_arguments() -> None:
|
||||||
|
arguments = cli.build_parser().parse_args(["generate-recommendations", "--site-id", "SITE002"])
|
||||||
|
|
||||||
|
assert arguments.commande == "generate-recommendations"
|
||||||
|
assert arguments.site_id == "SITE002"
|
||||||
|
|
||||||
|
|
||||||
|
def test_build_parser_defaults_the_generation_to_every_site() -> None:
|
||||||
|
arguments = cli.build_parser().parse_args(["generate-recommendations"])
|
||||||
|
|
||||||
|
assert arguments.site_id is None
|
||||||
|
|
||||||
|
|
||||||
|
def test_main_generates_the_recommendations_without_asking_for_a_password(
|
||||||
|
monkeypatch: pytest.MonkeyPatch, capsys: pytest.CaptureFixture[str]
|
||||||
|
) -> None:
|
||||||
|
async def fausse_generation(*, site_id: str | None) -> str:
|
||||||
|
return f"génération lancée pour {site_id}"
|
||||||
|
|
||||||
|
monkeypatch.setattr(cli, "generate_recommendations", fausse_generation)
|
||||||
|
|
||||||
|
code = cli.main(["generate-recommendations", "--site-id", "SITE002"])
|
||||||
|
|
||||||
|
assert code == 0
|
||||||
|
assert "SITE002" in capsys.readouterr().out
|
||||||
|
|||||||
@@ -0,0 +1,87 @@
|
|||||||
|
from datetime import UTC, datetime
|
||||||
|
|
||||||
|
import pytest
|
||||||
|
from sqlalchemy import text
|
||||||
|
from sqlalchemy.ext.asyncio import AsyncSession
|
||||||
|
|
||||||
|
from app.db.session import get_session_factory
|
||||||
|
from app.detection import internal_alerts
|
||||||
|
from app.repositories.alert import AlertRepository
|
||||||
|
from tests.repositories.test_reading import creer_lecture
|
||||||
|
from tests.repositories.test_site import creer as creer_site
|
||||||
|
|
||||||
|
|
||||||
|
def test_parse_args_defaults_to_no_site_and_no_instant() -> None:
|
||||||
|
arguments = internal_alerts.parse_args([])
|
||||||
|
|
||||||
|
assert arguments.site_id is None
|
||||||
|
assert arguments.now is None
|
||||||
|
|
||||||
|
|
||||||
|
def test_parse_args_reads_the_site_id() -> None:
|
||||||
|
arguments = internal_alerts.parse_args(["--site-id", "site-1"])
|
||||||
|
|
||||||
|
assert arguments.site_id == "site-1"
|
||||||
|
|
||||||
|
|
||||||
|
def test_parse_args_parses_the_instant_option() -> None:
|
||||||
|
arguments = internal_alerts.parse_args(["--now", "2026-09-16T12:00:00+00:00"])
|
||||||
|
|
||||||
|
assert arguments.now == datetime(2026, 9, 16, 12, tzinfo=UTC)
|
||||||
|
|
||||||
|
|
||||||
|
def test_parse_instant_treats_a_naive_datetime_as_utc() -> None:
|
||||||
|
assert internal_alerts._parse_instant("2026-09-16T12:00:00") == datetime(
|
||||||
|
2026, 9, 16, 12, tzinfo=UTC
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
def test_main_prints_how_many_alerts_were_recorded(
|
||||||
|
monkeypatch: pytest.MonkeyPatch, capsys: pytest.CaptureFixture[str]
|
||||||
|
) -> None:
|
||||||
|
async def fausse_execution(*, now: datetime | None, site_id: str | None) -> int:
|
||||||
|
return 3
|
||||||
|
|
||||||
|
monkeypatch.setattr(internal_alerts, "run_detection", fausse_execution)
|
||||||
|
|
||||||
|
code = internal_alerts.main([])
|
||||||
|
|
||||||
|
assert code == 0
|
||||||
|
assert "3 nouvelle" in capsys.readouterr().out
|
||||||
|
|
||||||
|
|
||||||
|
@pytest.mark.integration
|
||||||
|
async def test_run_detection_writes_a_threshold_alert_end_to_end(session: AsyncSession) -> None:
|
||||||
|
# `run_detection` ouvre sa propre session et commite : `session.rollback()` seul ne défait
|
||||||
|
# rien ici (contrairement au reste de la suite), d'où le nettoyage explicite ci-dessous, sur
|
||||||
|
# le modèle de `tests/api/test_matrice_acces.py`.
|
||||||
|
site = await creer_site(session, capacity_kw=100.0)
|
||||||
|
site_id = site.site_id
|
||||||
|
instant = datetime(2026, 9, 16, 12, tzinfo=UTC)
|
||||||
|
await creer_lecture(session, site_id=site_id, timestamp=instant, consumption_kw=150.0)
|
||||||
|
await session.commit()
|
||||||
|
|
||||||
|
try:
|
||||||
|
nombre = await internal_alerts.run_detection(now=instant, site_id=site_id)
|
||||||
|
|
||||||
|
alertes = await AlertRepository(session).list_all(site_id=site_id)
|
||||||
|
types = [a.type for a in alertes]
|
||||||
|
await session.rollback()
|
||||||
|
|
||||||
|
assert nombre == 1
|
||||||
|
assert types == ["threshold"]
|
||||||
|
finally:
|
||||||
|
# `site.site_id` n'est plus sûr après `session.rollback()` : le rollback expire tous les
|
||||||
|
# objets de la session (indépendamment d'`expire_on_commit`), et y accéder ici relance une
|
||||||
|
# requête hors contexte async. D'où `site_id`, capturé avant.
|
||||||
|
async with get_session_factory()() as nettoyage:
|
||||||
|
await nettoyage.execute(
|
||||||
|
text("delete from alert where site_id = :site_id"), {"site_id": site_id}
|
||||||
|
)
|
||||||
|
await nettoyage.execute(
|
||||||
|
text("delete from reading where site_id = :site_id"), {"site_id": site_id}
|
||||||
|
)
|
||||||
|
await nettoyage.execute(
|
||||||
|
text("delete from site where site_id = :site_id"), {"site_id": site_id}
|
||||||
|
)
|
||||||
|
await nettoyage.commit()
|
||||||
Generated
+2
-2
@@ -326,6 +326,7 @@ dependencies = [
|
|||||||
{ name = "argon2-cffi" },
|
{ name = "argon2-cffi" },
|
||||||
{ name = "asyncpg" },
|
{ name = "asyncpg" },
|
||||||
{ name = "fastapi" },
|
{ name = "fastapi" },
|
||||||
|
{ name = "httpx" },
|
||||||
{ name = "pandas" },
|
{ name = "pandas" },
|
||||||
{ name = "prometheus-fastapi-instrumentator" },
|
{ name = "prometheus-fastapi-instrumentator" },
|
||||||
{ name = "pydantic", extra = ["email"] },
|
{ name = "pydantic", extra = ["email"] },
|
||||||
@@ -338,7 +339,6 @@ dependencies = [
|
|||||||
|
|
||||||
[package.dev-dependencies]
|
[package.dev-dependencies]
|
||||||
dev = [
|
dev = [
|
||||||
{ name = "httpx" },
|
|
||||||
{ name = "mypy" },
|
{ name = "mypy" },
|
||||||
{ name = "pandas-stubs" },
|
{ name = "pandas-stubs" },
|
||||||
{ name = "pytest" },
|
{ name = "pytest" },
|
||||||
@@ -355,6 +355,7 @@ requires-dist = [
|
|||||||
{ name = "argon2-cffi", specifier = ">=23.1" },
|
{ name = "argon2-cffi", specifier = ">=23.1" },
|
||||||
{ name = "asyncpg", specifier = ">=0.31.0" },
|
{ name = "asyncpg", specifier = ">=0.31.0" },
|
||||||
{ name = "fastapi", specifier = ">=0.141.1" },
|
{ name = "fastapi", specifier = ">=0.141.1" },
|
||||||
|
{ name = "httpx", specifier = ">=0.28.1" },
|
||||||
{ name = "pandas", specifier = ">=3.0.5" },
|
{ name = "pandas", specifier = ">=3.0.5" },
|
||||||
{ name = "prometheus-fastapi-instrumentator", specifier = ">=8.1.0" },
|
{ name = "prometheus-fastapi-instrumentator", specifier = ">=8.1.0" },
|
||||||
{ name = "pydantic", extras = ["email"], specifier = ">=2.13.5" },
|
{ name = "pydantic", extras = ["email"], specifier = ">=2.13.5" },
|
||||||
@@ -367,7 +368,6 @@ requires-dist = [
|
|||||||
|
|
||||||
[package.metadata.requires-dev]
|
[package.metadata.requires-dev]
|
||||||
dev = [
|
dev = [
|
||||||
{ name = "httpx", specifier = ">=0.28.1" },
|
|
||||||
{ name = "mypy", specifier = ">=2.3.1" },
|
{ name = "mypy", specifier = ">=2.3.1" },
|
||||||
{ name = "pandas-stubs", specifier = ">=3.0.5.260914" },
|
{ name = "pandas-stubs", specifier = ">=3.0.5.260914" },
|
||||||
{ name = "pytest", specifier = ">=9.1.1" },
|
{ name = "pytest", specifier = ">=9.1.1" },
|
||||||
|
|||||||
@@ -34,6 +34,11 @@
|
|||||||
},
|
},
|
||||||
"configurations": {
|
"configurations": {
|
||||||
"production": {
|
"production": {
|
||||||
|
"optimization": {
|
||||||
|
"styles": {
|
||||||
|
"inlineCritical": false
|
||||||
|
}
|
||||||
|
},
|
||||||
"budgets": [
|
"budgets": [
|
||||||
{
|
{
|
||||||
"type": "initial",
|
"type": "initial",
|
||||||
|
|||||||
@@ -23,4 +23,11 @@ export const routes: Routes = [
|
|||||||
loadComponent: () =>
|
loadComponent: () =>
|
||||||
import('./features/sites/site-detail/site-detail').then((m) => m.SiteDetail),
|
import('./features/sites/site-detail/site-detail').then((m) => m.SiteDetail),
|
||||||
},
|
},
|
||||||
|
{
|
||||||
|
path: 'monitoring/sensors',
|
||||||
|
canActivate: [authGuard],
|
||||||
|
data: { role: 'admin' },
|
||||||
|
loadComponent: () =>
|
||||||
|
import('./features/monitoring/sensor-status/sensor-status').then((m) => m.SensorStatusView),
|
||||||
|
},
|
||||||
];
|
];
|
||||||
|
|||||||
@@ -0,0 +1,48 @@
|
|||||||
|
import { TestBed } from '@angular/core/testing';
|
||||||
|
import { provideHttpClient } from '@angular/common/http';
|
||||||
|
import { provideHttpClientTesting, HttpTestingController } from '@angular/common/http/testing';
|
||||||
|
import { SensorsService } from './sensors.service';
|
||||||
|
import { environment } from '../../../environments/environment';
|
||||||
|
|
||||||
|
describe('SensorsService', () => {
|
||||||
|
let service: SensorsService;
|
||||||
|
let httpMock: HttpTestingController;
|
||||||
|
|
||||||
|
beforeEach(() => {
|
||||||
|
TestBed.configureTestingModule({
|
||||||
|
providers: [provideHttpClient(), provideHttpClientTesting()],
|
||||||
|
});
|
||||||
|
service = TestBed.inject(SensorsService);
|
||||||
|
httpMock = TestBed.inject(HttpTestingController);
|
||||||
|
});
|
||||||
|
|
||||||
|
afterEach(() => httpMock.verify());
|
||||||
|
|
||||||
|
it("appelle l'endpoint /sensors/status et retourne la réponse", () => {
|
||||||
|
let result: unknown;
|
||||||
|
service.getStatus().subscribe((r) => (result = r));
|
||||||
|
|
||||||
|
const req = httpMock.expectOne(`${environment.apiUrl}/sensors/status`);
|
||||||
|
expect(req.request.method).toBe('GET');
|
||||||
|
|
||||||
|
req.flush({
|
||||||
|
timestamp: '2026-09-18T08:00:00',
|
||||||
|
sites: [
|
||||||
|
{
|
||||||
|
site_id: 'SITE001',
|
||||||
|
site_name: 'Test',
|
||||||
|
overall: 'ok',
|
||||||
|
sensors: {
|
||||||
|
consumption: { status: 'ok', since: null },
|
||||||
|
electrical: { status: 'ok', since: null },
|
||||||
|
temperature: { status: 'ok', since: null },
|
||||||
|
humidity: { status: 'ok', since: null },
|
||||||
|
network: { status: 'ok', since: null },
|
||||||
|
},
|
||||||
|
},
|
||||||
|
],
|
||||||
|
});
|
||||||
|
|
||||||
|
expect((result as { sites: unknown[] }).sites.length).toBe(1);
|
||||||
|
});
|
||||||
|
});
|
||||||
@@ -0,0 +1,13 @@
|
|||||||
|
import { Service, inject } from '@angular/core';
|
||||||
|
import { HttpClient } from '@angular/common/http';
|
||||||
|
import { environment } from '../../../environments/environment';
|
||||||
|
import {SensorStatusResponse} from '../../shared/models/sensor-status.model';
|
||||||
|
|
||||||
|
@Service()
|
||||||
|
export class SensorsService {
|
||||||
|
private http = inject(HttpClient);
|
||||||
|
|
||||||
|
getStatus() {
|
||||||
|
return this.http.get<SensorStatusResponse>(`${environment.apiUrl}/sensors/status`);
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -10,6 +10,9 @@
|
|||||||
</div>
|
</div>
|
||||||
</div>
|
</div>
|
||||||
<div class="dashboard__actions">
|
<div class="dashboard__actions">
|
||||||
|
@if (auth.principal()?.role === 'admin') {
|
||||||
|
<a routerLink="/monitoring/sensors" class="ev-link">Supervision des capteurs</a>
|
||||||
|
}
|
||||||
<a routerLink="/sites" class="ev-link">Voir les sites</a>
|
<a routerLink="/sites" class="ev-link">Voir les sites</a>
|
||||||
<ev-button
|
<ev-button
|
||||||
class="logout-button"
|
class="logout-button"
|
||||||
|
|||||||
@@ -68,6 +68,15 @@ h2 {
|
|||||||
text-align: center;
|
text-align: center;
|
||||||
}
|
}
|
||||||
|
|
||||||
|
.card--link {
|
||||||
|
cursor: pointer;
|
||||||
|
transition: border-color 0.15s ease;
|
||||||
|
|
||||||
|
&:hover {
|
||||||
|
border-color: var(--color-primary);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
.card__label {
|
.card__label {
|
||||||
font-size: 0.8rem;
|
font-size: 0.8rem;
|
||||||
color: var(--color-text-muted);
|
color: var(--color-text-muted);
|
||||||
|
|||||||
@@ -170,8 +170,11 @@ describe('Dashboard', () => {
|
|||||||
it('appelle logout et redirige vers /login au clic sur le bouton de déconnexion', () => {
|
it('appelle logout et redirige vers /login au clic sur le bouton de déconnexion', () => {
|
||||||
const statsMock = { getSummary: vi.fn().mockReturnValue(of({ total_sites: 7, sites: [] })) };
|
const statsMock = { getSummary: vi.fn().mockReturnValue(of({ total_sites: 7, sites: [] })) };
|
||||||
const alertsMock = { getAlerts: vi.fn().mockReturnValue(of([])) };
|
const alertsMock = { getAlerts: vi.fn().mockReturnValue(of([])) };
|
||||||
const authMock = { logout: vi.fn().mockReturnValue(of(undefined)), clearSession: vi.fn() };
|
const authMock = {
|
||||||
|
logout: vi.fn().mockReturnValue(of(undefined)),
|
||||||
|
clearSession: vi.fn(),
|
||||||
|
principal: vi.fn().mockReturnValue({ role: 'admin' }),
|
||||||
|
};
|
||||||
TestBed.configureTestingModule({
|
TestBed.configureTestingModule({
|
||||||
imports: [Dashboard],
|
imports: [Dashboard],
|
||||||
providers: [
|
providers: [
|
||||||
@@ -201,6 +204,7 @@ describe('Dashboard', () => {
|
|||||||
const authMock = {
|
const authMock = {
|
||||||
logout: vi.fn().mockReturnValue(throwError(() => new Error('réseau indisponible'))),
|
logout: vi.fn().mockReturnValue(throwError(() => new Error('réseau indisponible'))),
|
||||||
clearSession: vi.fn(),
|
clearSession: vi.fn(),
|
||||||
|
principal: vi.fn().mockReturnValue({ role: 'admin' }),
|
||||||
};
|
};
|
||||||
TestBed.configureTestingModule({
|
TestBed.configureTestingModule({
|
||||||
imports: [Dashboard],
|
imports: [Dashboard],
|
||||||
|
|||||||
@@ -59,8 +59,8 @@ const TON_PAR_STATUT_PREDICTION: Record<PredictionStatus, BadgeTone> = {
|
|||||||
export class Dashboard implements OnInit {
|
export class Dashboard implements OnInit {
|
||||||
private statsService = inject(StatsService);
|
private statsService = inject(StatsService);
|
||||||
private alertsService = inject(AlertsService);
|
private alertsService = inject(AlertsService);
|
||||||
|
public auth = inject(AuthService);
|
||||||
private predictionsService = inject(PredictionsService);
|
private predictionsService = inject(PredictionsService);
|
||||||
private auth = inject(AuthService);
|
|
||||||
private router = inject(Router);
|
private router = inject(Router);
|
||||||
private destroyRef = inject(DestroyRef);
|
private destroyRef = inject(DestroyRef);
|
||||||
|
|
||||||
|
|||||||
@@ -0,0 +1,51 @@
|
|||||||
|
<div class="sensor-status">
|
||||||
|
<nav class="ev-breadcrumb">
|
||||||
|
<a routerLink="/dashboard">Tableau de bord</a>
|
||||||
|
</nav>
|
||||||
|
|
||||||
|
<header class="sensor-status__header">
|
||||||
|
<a routerLink="/dashboard" class="ev-brand-link">
|
||||||
|
<ev-brand class="sensor-status__logo" />
|
||||||
|
</a>
|
||||||
|
<div>
|
||||||
|
<h1>Supervision des capteurs</h1>
|
||||||
|
<p class="sensor-status__subtitle">État de santé par capteur et par site</p>
|
||||||
|
</div>
|
||||||
|
</header>
|
||||||
|
|
||||||
|
@if (error(); as message) {
|
||||||
|
<ev-alert severity="danger" class="banner-error">{{ message }}</ev-alert>
|
||||||
|
}
|
||||||
|
|
||||||
|
@if (data(); as d) {
|
||||||
|
<div class="sites-grid">
|
||||||
|
@for (site of d.sites; track site.site_id) {
|
||||||
|
<ev-card class="site-card">
|
||||||
|
<div class="site-card__header">
|
||||||
|
<span class="site-card__name">{{ site.site_name }}</span>
|
||||||
|
<ev-badge [tone]="badgeToneForOverall(site.overall)">{{ site.overall }}</ev-badge>
|
||||||
|
</div>
|
||||||
|
|
||||||
|
<ul class="sensor-list">
|
||||||
|
@for (entry of sensorEntries; track entry[0]) {
|
||||||
|
@let diagnostic = sensorOf(site.sensors, entry[0]);
|
||||||
|
<li class="sensor-item">
|
||||||
|
<span class="sensor-dot" [class]="'sensor-dot--' + diagnostic.status"></span>
|
||||||
|
<span class="sensor-item__label">{{ entry[1] }}</span>
|
||||||
|
@if (diagnostic.status === 'failing') {
|
||||||
|
<span class="sensor-item__since">
|
||||||
|
@if (diagnostic.since; as since) {
|
||||||
|
dernière lecture le {{ since | date: 'dd/MM/yyyy HH:mm' }}
|
||||||
|
} @else {
|
||||||
|
aucune lecture reçue
|
||||||
|
}
|
||||||
|
</span>
|
||||||
|
}
|
||||||
|
</li>
|
||||||
|
}
|
||||||
|
</ul>
|
||||||
|
</ev-card>
|
||||||
|
}
|
||||||
|
</div>
|
||||||
|
}
|
||||||
|
</div>
|
||||||
@@ -0,0 +1,90 @@
|
|||||||
|
:host {
|
||||||
|
display: block;
|
||||||
|
color: var(--color-text);
|
||||||
|
padding: 2.5rem 2rem;
|
||||||
|
max-width: 1100px;
|
||||||
|
margin: 0 auto;
|
||||||
|
}
|
||||||
|
|
||||||
|
.sensor-status__header {
|
||||||
|
display: flex;
|
||||||
|
align-items: center;
|
||||||
|
gap: 0.85rem;
|
||||||
|
margin-bottom: 2rem;
|
||||||
|
|
||||||
|
h1 {
|
||||||
|
margin: 0;
|
||||||
|
font-size: 1.75rem;
|
||||||
|
font-weight: 700;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
.sensor-status__logo {
|
||||||
|
font-size: 1.3rem;
|
||||||
|
}
|
||||||
|
|
||||||
|
.sensor-status__subtitle {
|
||||||
|
margin: 0.25rem 0 0;
|
||||||
|
color: var(--color-text-muted);
|
||||||
|
}
|
||||||
|
|
||||||
|
.banner-error {
|
||||||
|
display: block;
|
||||||
|
margin: 0 0 1.5rem;
|
||||||
|
}
|
||||||
|
|
||||||
|
.sites-grid {
|
||||||
|
display: grid;
|
||||||
|
grid-template-columns: repeat(auto-fit, minmax(260px, 1fr));
|
||||||
|
gap: 1rem;
|
||||||
|
}
|
||||||
|
|
||||||
|
.site-card__header {
|
||||||
|
display: flex;
|
||||||
|
align-items: center;
|
||||||
|
justify-content: space-between;
|
||||||
|
margin-bottom: 0.75rem;
|
||||||
|
}
|
||||||
|
|
||||||
|
.site-card__name {
|
||||||
|
font-weight: 600;
|
||||||
|
}
|
||||||
|
|
||||||
|
.sensor-list {
|
||||||
|
list-style: none;
|
||||||
|
margin: 0;
|
||||||
|
padding: 0;
|
||||||
|
display: flex;
|
||||||
|
flex-direction: column;
|
||||||
|
gap: 0.5rem;
|
||||||
|
}
|
||||||
|
|
||||||
|
.sensor-item {
|
||||||
|
display: flex;
|
||||||
|
align-items: center;
|
||||||
|
gap: 0.5rem;
|
||||||
|
font-size: 0.85rem;
|
||||||
|
}
|
||||||
|
|
||||||
|
.sensor-dot {
|
||||||
|
width: 8px;
|
||||||
|
height: 8px;
|
||||||
|
border-radius: 50%;
|
||||||
|
flex-shrink: 0;
|
||||||
|
|
||||||
|
&--ok {
|
||||||
|
background: var(--color-success);
|
||||||
|
}
|
||||||
|
&--failing {
|
||||||
|
background: var(--color-danger);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
.sensor-item__label {
|
||||||
|
flex: 1;
|
||||||
|
}
|
||||||
|
|
||||||
|
.sensor-item__since {
|
||||||
|
color: var(--color-text-muted);
|
||||||
|
font-size: 0.75rem;
|
||||||
|
}
|
||||||
@@ -0,0 +1,122 @@
|
|||||||
|
import { TestBed } from '@angular/core/testing';
|
||||||
|
import { of, throwError } from 'rxjs';
|
||||||
|
import { vi } from 'vitest';
|
||||||
|
import { SensorStatusView } from './sensor-status';
|
||||||
|
import { SensorsService } from '../../../core/services/sensors.service';
|
||||||
|
import { SiteSensors } from '../../../shared/models/sensor-status.model';
|
||||||
|
import {provideRouter} from '@angular/router';
|
||||||
|
|
||||||
|
const OK_SENSORS: SiteSensors = {
|
||||||
|
consumption: { status: 'ok', since: null },
|
||||||
|
electrical: { status: 'ok', since: null },
|
||||||
|
temperature: { status: 'ok', since: null },
|
||||||
|
humidity: { status: 'ok', since: null },
|
||||||
|
network: { status: 'ok', since: null },
|
||||||
|
};
|
||||||
|
|
||||||
|
describe('SensorStatusView', () => {
|
||||||
|
let sensorsMock: { getStatus: ReturnType<typeof vi.fn> };
|
||||||
|
|
||||||
|
beforeEach(() => {
|
||||||
|
sensorsMock = { getStatus: vi.fn() };
|
||||||
|
|
||||||
|
TestBed.configureTestingModule({
|
||||||
|
imports: [SensorStatusView],
|
||||||
|
providers: [
|
||||||
|
{ provide: SensorsService, useValue: sensorsMock },
|
||||||
|
provideRouter([]),
|
||||||
|
],
|
||||||
|
});
|
||||||
|
});
|
||||||
|
|
||||||
|
it('charge et affiche les données au démarrage', () => {
|
||||||
|
sensorsMock.getStatus.mockReturnValue(
|
||||||
|
of({
|
||||||
|
timestamp: '2026-09-18T08:00:00',
|
||||||
|
sites: [
|
||||||
|
{ site_id: 'SITE001', site_name: 'Bureau Test', overall: 'ok', sensors: OK_SENSORS },
|
||||||
|
],
|
||||||
|
})
|
||||||
|
);
|
||||||
|
|
||||||
|
const fixture = TestBed.createComponent(SensorStatusView);
|
||||||
|
fixture.detectChanges();
|
||||||
|
|
||||||
|
expect(fixture.componentInstance.data()?.sites.length).toBe(1);
|
||||||
|
expect(fixture.componentInstance.error()).toBeNull();
|
||||||
|
expect(fixture.nativeElement.textContent).toContain('Bureau Test');
|
||||||
|
});
|
||||||
|
|
||||||
|
it("affiche un message d'erreur si l'appel échoue", () => {
|
||||||
|
sensorsMock.getStatus.mockReturnValue(throwError(() => new Error('boom')));
|
||||||
|
|
||||||
|
const fixture = TestBed.createComponent(SensorStatusView);
|
||||||
|
fixture.detectChanges();
|
||||||
|
|
||||||
|
expect(fixture.componentInstance.error()).toBe(
|
||||||
|
'État des capteurs indisponible, réessayez plus tard.'
|
||||||
|
);
|
||||||
|
expect(fixture.componentInstance.data()).toBeNull();
|
||||||
|
expect(fixture.nativeElement.textContent).toContain('État des capteurs indisponible');
|
||||||
|
});
|
||||||
|
|
||||||
|
it('associe le bon ton de badge à chaque statut global', () => {
|
||||||
|
sensorsMock.getStatus.mockReturnValue(of({ timestamp: '2026-09-18T08:00:00', sites: [] }));
|
||||||
|
const fixture = TestBed.createComponent(SensorStatusView);
|
||||||
|
const component = fixture.componentInstance;
|
||||||
|
|
||||||
|
expect(component.badgeToneForOverall('ok')).toBe('success');
|
||||||
|
expect(component.badgeToneForOverall('degraded')).toBe('warning');
|
||||||
|
expect(component.badgeToneForOverall('critical')).toBe('critical');
|
||||||
|
expect(component.badgeToneForOverall('inconnu')).toBe('neutral');
|
||||||
|
});
|
||||||
|
|
||||||
|
it('retourne le bon diagnostic via sensorOf', () => {
|
||||||
|
sensorsMock.getStatus.mockReturnValue(of({ timestamp: '2026-09-18T08:00:00', sites: [] }));
|
||||||
|
const fixture = TestBed.createComponent(SensorStatusView);
|
||||||
|
const component = fixture.componentInstance;
|
||||||
|
|
||||||
|
expect(component.sensorOf(OK_SENSORS, 'temperature')).toEqual({ status: 'ok', since: null });
|
||||||
|
});
|
||||||
|
|
||||||
|
it('affiche la date de la dernière lecture reçue pour un capteur en panne', () => {
|
||||||
|
const sensors: SiteSensors = {
|
||||||
|
...OK_SENSORS,
|
||||||
|
temperature: { status: 'failing', since: '2026-09-18T08:00:00' },
|
||||||
|
};
|
||||||
|
sensorsMock.getStatus.mockReturnValue(
|
||||||
|
of({
|
||||||
|
timestamp: '2026-09-18T08:00:00',
|
||||||
|
sites: [{ site_id: 'SITE001', site_name: 'Bureau Test', overall: 'degraded', sensors }],
|
||||||
|
})
|
||||||
|
);
|
||||||
|
|
||||||
|
const fixture = TestBed.createComponent(SensorStatusView);
|
||||||
|
fixture.detectChanges();
|
||||||
|
|
||||||
|
expect(fixture.nativeElement.textContent).toContain('dernière lecture le');
|
||||||
|
expect(fixture.nativeElement.textContent).toContain('18/09/2026 08:00');
|
||||||
|
});
|
||||||
|
|
||||||
|
it("annonce l'absence de lecture quand un site n'en a jamais reçu", () => {
|
||||||
|
const sensors: SiteSensors = {
|
||||||
|
consumption: { status: 'failing', since: null },
|
||||||
|
electrical: { status: 'failing', since: null },
|
||||||
|
temperature: { status: 'failing', since: null },
|
||||||
|
humidity: { status: 'failing', since: null },
|
||||||
|
network: { status: 'failing', since: null },
|
||||||
|
};
|
||||||
|
sensorsMock.getStatus.mockReturnValue(
|
||||||
|
of({
|
||||||
|
timestamp: '2026-09-18T08:00:00',
|
||||||
|
sites: [{ site_id: 'SITE001', site_name: 'Bureau Test', overall: 'critical', sensors }],
|
||||||
|
})
|
||||||
|
);
|
||||||
|
|
||||||
|
const fixture = TestBed.createComponent(SensorStatusView);
|
||||||
|
fixture.detectChanges();
|
||||||
|
|
||||||
|
expect(fixture.nativeElement.textContent).toContain('aucune lecture reçue');
|
||||||
|
expect(fixture.nativeElement.textContent).not.toContain('dernière lecture le');
|
||||||
|
});
|
||||||
|
});
|
||||||
@@ -0,0 +1,65 @@
|
|||||||
|
import { Component, OnInit, inject, signal } from '@angular/core';
|
||||||
|
import { RouterLink } from '@angular/router';
|
||||||
|
import { catchError, EMPTY, Observable } from 'rxjs';
|
||||||
|
import {Badge, BadgeTone} from '../../../shared/components/ui/badge/badge';
|
||||||
|
import {Card} from '../../../shared/components/ui/card/card';
|
||||||
|
import {Alert} from '../../../shared/components/ui/alert/alert';
|
||||||
|
import {Brand} from '../../../shared/components/ui/brand/brand';
|
||||||
|
import {SensorsService} from '../../../core/services/sensors.service';
|
||||||
|
import {SensorDiagnostic, SensorStatusResponse} from '../../../shared/models/sensor-status.model';
|
||||||
|
import { DatePipe } from '@angular/common';
|
||||||
|
|
||||||
|
const UNAVAILABLE_MESSAGE = 'État des capteurs indisponible, réessayez plus tard.';
|
||||||
|
|
||||||
|
const SENSOR_LABELS: Record<string, string> = {
|
||||||
|
consumption: 'Consommation',
|
||||||
|
electrical: 'Électrique',
|
||||||
|
temperature: 'Température',
|
||||||
|
humidity: 'Humidité',
|
||||||
|
network: 'Réseau',
|
||||||
|
};
|
||||||
|
|
||||||
|
const TON_PAR_OVERALL: Record<string, BadgeTone> = {
|
||||||
|
ok: 'success',
|
||||||
|
degraded: 'warning',
|
||||||
|
critical: 'critical',
|
||||||
|
};
|
||||||
|
|
||||||
|
@Component({
|
||||||
|
selector: 'app-sensor-status',
|
||||||
|
standalone: true,
|
||||||
|
imports: [RouterLink, Card, Alert, Badge, Brand, DatePipe],
|
||||||
|
templateUrl: './sensor-status.html',
|
||||||
|
styleUrl: './sensor-status.scss',
|
||||||
|
})
|
||||||
|
export class SensorStatusView implements OnInit {
|
||||||
|
private sensorsService = inject(SensorsService);
|
||||||
|
|
||||||
|
data = signal<SensorStatusResponse | null>(null);
|
||||||
|
error = signal<string | null>(null);
|
||||||
|
|
||||||
|
readonly sensorEntries = Object.entries(SENSOR_LABELS);
|
||||||
|
|
||||||
|
ngOnInit(): void {
|
||||||
|
this.sensorsService
|
||||||
|
.getStatus()
|
||||||
|
.pipe(catchError(() => this.reportUnavailable()))
|
||||||
|
.subscribe((response) => {
|
||||||
|
this.error.set(null);
|
||||||
|
this.data.set(response);
|
||||||
|
});
|
||||||
|
}
|
||||||
|
|
||||||
|
sensorOf(sensors: Record<string, SensorDiagnostic>, key: string): SensorDiagnostic {
|
||||||
|
return sensors[key];
|
||||||
|
}
|
||||||
|
|
||||||
|
badgeToneForOverall(overall: string): BadgeTone {
|
||||||
|
return TON_PAR_OVERALL[overall] ?? 'neutral';
|
||||||
|
}
|
||||||
|
|
||||||
|
private reportUnavailable(): Observable<never> {
|
||||||
|
this.error.set(UNAVAILABLE_MESSAGE);
|
||||||
|
return EMPTY;
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -0,0 +1,28 @@
|
|||||||
|
export type SensorStatus = 'ok' | 'failing';
|
||||||
|
export type OverallStatus = 'ok' | 'degraded' | 'critical';
|
||||||
|
|
||||||
|
export interface SensorDiagnostic {
|
||||||
|
status: SensorStatus;
|
||||||
|
since: string | null;
|
||||||
|
}
|
||||||
|
|
||||||
|
export interface SiteSensors {
|
||||||
|
consumption: SensorDiagnostic;
|
||||||
|
electrical: SensorDiagnostic;
|
||||||
|
temperature: SensorDiagnostic;
|
||||||
|
humidity: SensorDiagnostic;
|
||||||
|
network: SensorDiagnostic;
|
||||||
|
[key: string]: SensorDiagnostic;
|
||||||
|
}
|
||||||
|
|
||||||
|
export interface SiteSensorStatus {
|
||||||
|
site_id: string;
|
||||||
|
site_name: string;
|
||||||
|
sensors: SiteSensors;
|
||||||
|
overall: OverallStatus;
|
||||||
|
}
|
||||||
|
|
||||||
|
export interface SensorStatusResponse {
|
||||||
|
timestamp: string;
|
||||||
|
sites: SiteSensorStatus[];
|
||||||
|
}
|
||||||
@@ -0,0 +1,5 @@
|
|||||||
|
-- Base de metadonnees Airflow (webserver + scheduler, LocalExecutor). Separee de la base
|
||||||
|
-- applicative : les tables internes d'Airflow (dag_run, task_instance, ...) n'ont rien a faire
|
||||||
|
-- dans le schema metier. Meme conteneur Postgres que `enervision`/`enervision_test` plutot qu'un
|
||||||
|
-- service dedie, pour ne pas ajouter un conteneur de plus (issue #115).
|
||||||
|
CREATE DATABASE airflow;
|
||||||
@@ -0,0 +1,74 @@
|
|||||||
|
# Piège : `APP_ENV` et `APP_DEBUG` sont en dur et non en `${APP_ENV:-prod}` : le `.env` du poste
|
||||||
|
# vaut `local` et reprendrait le dessus, ce qui laisserait le cookie sans `__Secure-` et
|
||||||
|
# rouvrirait `/docs`. Hors `local`, l'API exige en retour une origine CORS non vide.
|
||||||
|
# Piège : les listes de ports se cumulent à la fusion des deux fichiers. `!reset` est le seul
|
||||||
|
# moyen de dépublier 8000 et 3000 : sans lui, l'API resterait joignable en clair à côté du proxy.
|
||||||
|
# Piège : pas de `:?` sur `PUBLIC_HOST`. Compose interpole tout le fichier, y compris pour
|
||||||
|
# `stop` et `logs` : la garde vit dans `make stack-up`, qui la compare au certificat servi.
|
||||||
|
|
||||||
|
name: enervision
|
||||||
|
|
||||||
|
services:
|
||||||
|
db:
|
||||||
|
ports: !override
|
||||||
|
- "127.0.0.1:${POSTGRES_PORT:-5433}:5432"
|
||||||
|
|
||||||
|
mailpit:
|
||||||
|
ports: !override
|
||||||
|
- "127.0.0.1:${MAILPIT_UI_PORT:-8025}:8025"
|
||||||
|
|
||||||
|
airflow-webserver:
|
||||||
|
ports: !override
|
||||||
|
- "127.0.0.1:${AIRFLOW_PORT:-8080}:8080"
|
||||||
|
|
||||||
|
backend:
|
||||||
|
ports: !reset null
|
||||||
|
command:
|
||||||
|
- uvicorn
|
||||||
|
- app.main:create_app
|
||||||
|
- --factory
|
||||||
|
- --host
|
||||||
|
- 0.0.0.0
|
||||||
|
- --port
|
||||||
|
- "8000"
|
||||||
|
- --proxy-headers
|
||||||
|
- --forwarded-allow-ips=*
|
||||||
|
environment:
|
||||||
|
APP_ENV: prod
|
||||||
|
APP_DEBUG: "false"
|
||||||
|
APP_TRUST_PROXY_HEADERS: "true"
|
||||||
|
APP_CORS_ORIGINS: https://${PUBLIC_HOST:-enervision.local}
|
||||||
|
APP_FRONTEND_RESET_PASSWORD_URL: https://${PUBLIC_HOST:-enervision.local}/reset-password
|
||||||
|
|
||||||
|
frontend:
|
||||||
|
ports: !reset null
|
||||||
|
|
||||||
|
proxy:
|
||||||
|
image: nginx:1.28-alpine
|
||||||
|
depends_on:
|
||||||
|
backend:
|
||||||
|
condition: service_healthy
|
||||||
|
frontend:
|
||||||
|
condition: service_started
|
||||||
|
ports:
|
||||||
|
- "80:80"
|
||||||
|
- "443:443"
|
||||||
|
volumes:
|
||||||
|
- ./infra/proxy/nginx.conf:/etc/nginx/nginx.conf:ro
|
||||||
|
- ./infra/proxy/conf.d:/etc/nginx/conf.d:ro
|
||||||
|
- ./infra/proxy/tls:/etc/nginx/tls:ro
|
||||||
|
- acme_webroot:/var/www/certbot
|
||||||
|
restart: unless-stopped
|
||||||
|
|
||||||
|
certbot:
|
||||||
|
image: certbot/certbot:v5.8.0
|
||||||
|
profiles: ["acme"]
|
||||||
|
volumes:
|
||||||
|
- letsencrypt:/etc/letsencrypt
|
||||||
|
- acme_webroot:/var/www/certbot
|
||||||
|
- ./infra/proxy/tls:/tls
|
||||||
|
- ./infra/proxy/acme-deploy-hook.sh:/deploy-hook.sh:ro
|
||||||
|
|
||||||
|
volumes:
|
||||||
|
acme_webroot:
|
||||||
|
letsencrypt:
|
||||||
+101
-1
@@ -5,6 +5,41 @@
|
|||||||
|
|
||||||
name: enervision
|
name: enervision
|
||||||
|
|
||||||
|
# Piege : LocalExecutor fait tourner les taches comme sous-processus du scheduler, jamais du
|
||||||
|
# webserver. `airflow_ml_state` (modele entraine, magasin MLflow) n'a donc besoin d'etre monte
|
||||||
|
# que sur `airflow-scheduler` en pratique, mais reste partage avec le webserver pour que ce
|
||||||
|
# dernier puisse au besoin l'inspecter sans en devenir dependant.
|
||||||
|
x-airflow-common: &airflow-common
|
||||||
|
build:
|
||||||
|
context: .
|
||||||
|
dockerfile: etl/airflow/Dockerfile
|
||||||
|
environment: &airflow-common-env
|
||||||
|
AIRFLOW__CORE__EXECUTOR: LocalExecutor
|
||||||
|
AIRFLOW__CORE__LOAD_EXAMPLES: "false"
|
||||||
|
# Piege : pas de `:?` sur les secrets Airflow. Compose interpole le fichier entier avant de
|
||||||
|
# filtrer les services : une variable requise manquante casserait aussi `make db-up`,
|
||||||
|
# `make dev`... pour quiconque n'a pas encore complete son `.env`. Le refus est porte par
|
||||||
|
# `airflow-init` (ci-dessous), dont `webserver` et `scheduler` dependent.
|
||||||
|
AIRFLOW__CORE__FERNET_KEY: ${AIRFLOW_FERNET_KEY:-}
|
||||||
|
AIRFLOW__WEBSERVER__SECRET_KEY: ${AIRFLOW_WEBSERVER_SECRET_KEY:-}
|
||||||
|
AIRFLOW__DATABASE__SQL_ALCHEMY_CONN: postgresql+psycopg2://${POSTGRES_USER}:${POSTGRES_PASSWORD}@db:5432/airflow
|
||||||
|
# Role `enervision_ml` dedie pas encore provisionne (dette assumee, cf. ADR 0003) :
|
||||||
|
# memes identifiants que le backend en attendant.
|
||||||
|
ML_DATABASE_URL: postgresql+psycopg://${POSTGRES_USER}:${POSTGRES_PASSWORD}@db:5432/${POSTGRES_DB}
|
||||||
|
MLFLOW_TRACKING_URI: sqlite:////opt/ml/state/mlflow.db
|
||||||
|
# Le DAG `alertes` lance le backend en sous-processus : il lit `DATABASE_URL`, en
|
||||||
|
# dialecte asyncpg, là où le pipeline ML lit `ML_DATABASE_URL`.
|
||||||
|
DATABASE_URL: postgresql+asyncpg://${POSTGRES_USER}:${POSTGRES_PASSWORD}@db:5432/${POSTGRES_DB}
|
||||||
|
# Clé distincte de celle de l'API : la détection ne signe ni ne vérifie aucun jeton, et
|
||||||
|
# Airflow permet d'exécuter du code depuis son interface (cf. ADR 0008).
|
||||||
|
APP_SECRET_KEY: ${AIRFLOW_APP_SECRET_KEY:-}
|
||||||
|
volumes:
|
||||||
|
- ./etl/airflow/dags:/opt/airflow/dags
|
||||||
|
- ./etl/airflow/plugins:/opt/airflow/plugins
|
||||||
|
- airflow_logs:/opt/airflow/logs
|
||||||
|
- airflow_ml_state:/opt/ml/state
|
||||||
|
restart: unless-stopped
|
||||||
|
|
||||||
services:
|
services:
|
||||||
db:
|
db:
|
||||||
image: timescale/timescaledb-ha:pg17
|
image: timescale/timescaledb-ha:pg17
|
||||||
@@ -19,6 +54,7 @@ services:
|
|||||||
- pgdata:/home/postgres/pgdata/data
|
- pgdata:/home/postgres/pgdata/data
|
||||||
- ./db/init/100-extensions.sql:/docker-entrypoint-initdb.d/100-extensions.sql:ro
|
- ./db/init/100-extensions.sql:/docker-entrypoint-initdb.d/100-extensions.sql:ro
|
||||||
- ./db/init/110-test-database.sql:/docker-entrypoint-initdb.d/110-test-database.sql:ro
|
- ./db/init/110-test-database.sql:/docker-entrypoint-initdb.d/110-test-database.sql:ro
|
||||||
|
- ./db/init/120-airflow-database.sql:/docker-entrypoint-initdb.d/120-airflow-database.sql:ro
|
||||||
healthcheck:
|
healthcheck:
|
||||||
test: ["CMD-SHELL", "pg_isready -U $${POSTGRES_USER} -d $${POSTGRES_DB}"]
|
test: ["CMD-SHELL", "pg_isready -U $${POSTGRES_USER} -d $${POSTGRES_DB}"]
|
||||||
interval: 10s
|
interval: 10s
|
||||||
@@ -50,6 +86,12 @@ services:
|
|||||||
APP_SECRET_KEY: ${APP_SECRET_KEY:?}
|
APP_SECRET_KEY: ${APP_SECRET_KEY:?}
|
||||||
APP_CORS_ORIGINS: ${APP_CORS_ORIGINS:-http://localhost:4200}
|
APP_CORS_ORIGINS: ${APP_CORS_ORIGINS:-http://localhost:4200}
|
||||||
DATABASE_URL: postgresql+asyncpg://${POSTGRES_USER}:${POSTGRES_PASSWORD}@db:5432/${POSTGRES_DB}
|
DATABASE_URL: postgresql+asyncpg://${POSTGRES_USER}:${POSTGRES_PASSWORD}@db:5432/${POSTGRES_DB}
|
||||||
|
|
||||||
|
APP_MOCK_API_BASE_URL: ${APP_MOCK_API_BASE_URL:-https://api-mock.charlieandre.fr}
|
||||||
|
APP_MOCK_API_USERNAME: ${APP_MOCK_API_USERNAME:-}
|
||||||
|
APP_MOCK_API_PASSWORD: ${APP_MOCK_API_PASSWORD:-}
|
||||||
|
APP_MOCK_API_TIMEOUT_SECONDS: ${APP_MOCK_API_TIMEOUT_SECONDS:-10}
|
||||||
|
|
||||||
APP_FRONTEND_RESET_PASSWORD_URL: ${APP_FRONTEND_RESET_PASSWORD_URL:-http://localhost:4200/reset-password}
|
APP_FRONTEND_RESET_PASSWORD_URL: ${APP_FRONTEND_RESET_PASSWORD_URL:-http://localhost:4200/reset-password}
|
||||||
APP_SMTP_HOST: mailpit
|
APP_SMTP_HOST: mailpit
|
||||||
APP_SMTP_PORT: "1025"
|
APP_SMTP_PORT: "1025"
|
||||||
@@ -62,9 +104,67 @@ services:
|
|||||||
frontend:
|
frontend:
|
||||||
build: ./apps/frontend
|
build: ./apps/frontend
|
||||||
ports:
|
ports:
|
||||||
- "${FRONTEND_PORT:-3000}:80"
|
- "${FRONTEND_PORT:-3000}:3000"
|
||||||
restart: unless-stopped
|
restart: unless-stopped
|
||||||
|
|
||||||
|
# Conteneur unique, jamais redemarre. La migration et la creation du premier compte sont
|
||||||
|
# portees par l'entrypoint de l'image (`_AIRFLOW_DB_MIGRATE`, `_AIRFLOW_WWW_USER_*`), qui porte
|
||||||
|
# aussi leur code de sortie : une migration ratee (ex. base `airflow` absente sur un volume
|
||||||
|
# `pgdata` deja peuple) fait echouer ce service, et `webserver`/`scheduler`, qui attendent son
|
||||||
|
# succes, ne demarrent pas sur une base non migree. Le mot de passe passe par l'environnement,
|
||||||
|
# jamais par `argv` (ni `ps`, ni `docker compose config`).
|
||||||
|
# Sans mot de passe, l'entrypoint refuse lui-meme de creer le compte ; la commande ci-dessous
|
||||||
|
# refuse en plus les deux cles de chiffrement vides.
|
||||||
|
airflow-init:
|
||||||
|
<<: *airflow-common
|
||||||
|
restart: "no"
|
||||||
|
environment:
|
||||||
|
<<: *airflow-common-env
|
||||||
|
_AIRFLOW_DB_MIGRATE: "true"
|
||||||
|
_AIRFLOW_WWW_USER_CREATE: "true"
|
||||||
|
_AIRFLOW_WWW_USER_USERNAME: ${AIRFLOW_ADMIN_USERNAME:-admin}
|
||||||
|
_AIRFLOW_WWW_USER_PASSWORD: ${AIRFLOW_ADMIN_PASSWORD:-}
|
||||||
|
_AIRFLOW_WWW_USER_EMAIL: ${AIRFLOW_ADMIN_EMAIL:-admin@enervision.fr}
|
||||||
|
depends_on:
|
||||||
|
db:
|
||||||
|
condition: service_healthy
|
||||||
|
command:
|
||||||
|
- bash
|
||||||
|
- -c
|
||||||
|
- |
|
||||||
|
set -euo pipefail
|
||||||
|
: "$${AIRFLOW__CORE__FERNET_KEY:?AIRFLOW_FERNET_KEY manquant dans .env}"
|
||||||
|
: "$${AIRFLOW__WEBSERVER__SECRET_KEY:?AIRFLOW_WEBSERVER_SECRET_KEY manquant dans .env}"
|
||||||
|
: "$${APP_SECRET_KEY:?AIRFLOW_APP_SECRET_KEY manquant dans .env}"
|
||||||
|
exec airflow version
|
||||||
|
|
||||||
|
airflow-webserver:
|
||||||
|
<<: *airflow-common
|
||||||
|
command: webserver
|
||||||
|
ports:
|
||||||
|
- "${AIRFLOW_PORT:-8080}:8080"
|
||||||
|
depends_on:
|
||||||
|
db:
|
||||||
|
condition: service_healthy
|
||||||
|
airflow-init:
|
||||||
|
condition: service_completed_successfully
|
||||||
|
healthcheck:
|
||||||
|
test: ["CMD", "curl", "--fail", "http://localhost:8080/health"]
|
||||||
|
interval: 30s
|
||||||
|
timeout: 10s
|
||||||
|
retries: 5
|
||||||
|
start_period: 60s
|
||||||
|
|
||||||
|
airflow-scheduler:
|
||||||
|
<<: *airflow-common
|
||||||
|
command: scheduler
|
||||||
|
depends_on:
|
||||||
|
db:
|
||||||
|
condition: service_healthy
|
||||||
|
airflow-init:
|
||||||
|
condition: service_completed_successfully
|
||||||
|
|
||||||
volumes:
|
volumes:
|
||||||
pgdata:
|
pgdata:
|
||||||
|
airflow_logs:
|
||||||
|
airflow_ml_state:
|
||||||
|
|||||||
@@ -11,3 +11,7 @@
|
|||||||
| [0002](adr/0002-authentification-jwt-et-refresh-opaque.md) | Authentification par JWT d'accès et jeton de rafraîchissement opaque |
|
| [0002](adr/0002-authentification-jwt-et-refresh-opaque.md) | Authentification par JWT d'accès et jeton de rafraîchissement opaque |
|
||||||
| [0003](adr/0003-autorisation-rbac-a-trois-roles.md) | Autorisation RBAC à trois rôles, relecture du compte à chaque requête |
|
| [0003](adr/0003-autorisation-rbac-a-trois-roles.md) | Autorisation RBAC à trois rôles, relecture du compte à chaque requête |
|
||||||
| [0004](adr/0004-journal-d-audit-en-ajout-seul.md) | Journal d'audit en ajout seul, garanti par PostgreSQL |
|
| [0004](adr/0004-journal-d-audit-en-ajout-seul.md) | Journal d'audit en ajout seul, garanti par PostgreSQL |
|
||||||
|
| [0005](adr/0005-modele-prediction-lightgbm.md) | LightGBM pour la prédiction de consommation, un modèle global |
|
||||||
|
| [0006](adr/0006-moteur-de-regles-dans-le-backend.md) | Le moteur de règles de recommandation vit dans le backend, pas dans `ml/` |
|
||||||
|
| [0007](adr/0007-terminaison-tls-et-reverse-proxy-nginx.md) | Terminaison TLS par un reverse proxy Nginx, en Docker Compose |
|
||||||
|
| [0008](adr/0008-airflow-execute-le-code-du-backend.md) | Airflow exécute le code du backend en sous-processus, dans son propre environnement |
|
||||||
|
|||||||
@@ -0,0 +1,81 @@
|
|||||||
|
# 0006 - Le moteur de règles de recommandation vit dans le backend
|
||||||
|
|
||||||
|
- Statut : accepté
|
||||||
|
- Date : 2026-09-18
|
||||||
|
|
||||||
|
## Contexte
|
||||||
|
|
||||||
|
L'issue #38 demande un « moteur de règles pour recommandations », portée par le label `ml`. Le
|
||||||
|
schéma tranche déjà la forme du résultat : `recommendation(alert_id, action, explanation,
|
||||||
|
rule_reference)`, avec `alert_id` en clé étrangère `NOT NULL` et une contrainte d'unicité
|
||||||
|
`uq_recommendation_alert_rule` sur `(alert_id, rule_reference)`. Une recommandation est donc
|
||||||
|
**dérivée d'une alerte**, jamais d'une mesure brute ni d'une prévision.
|
||||||
|
|
||||||
|
Deux emplacements se disputaient le code :
|
||||||
|
|
||||||
|
1. `ml/enervision_ml/`, sur le patron de `enervision_ml.score` livré par #37 : un script autonome
|
||||||
|
qui se connecte par `ML_DATABASE_URL`, écrit une table, et que l'API se contente de lire.
|
||||||
|
L'[ADR 0005](0005-modele-prediction-lightgbm.md) annonce d'ailleurs #38 de ce côté, en écrivant
|
||||||
|
que le scoring, le moteur de recommandations et les tests de dérive « consommeront le même
|
||||||
|
module `enervision_ml.features` ».
|
||||||
|
2. `apps/backend/app/services/`, où `apps/backend/README.md` place les « regles metier ».
|
||||||
|
|
||||||
|
## Décision
|
||||||
|
|
||||||
|
**Le moteur vit dans `apps/backend/app/services/`**, sous la forme d'un module pur
|
||||||
|
`recommendation_rules.py` (le catalogue `REGLES`) et d'une méthode `RecommendationService.generate()`
|
||||||
|
qui l'applique, persiste et valide la transaction.
|
||||||
|
|
||||||
|
Trois raisons :
|
||||||
|
|
||||||
|
- **Il n'utilise rien du ML.** Le catalogue lit `alert.type`, `alert.severity`, `alert.value` et
|
||||||
|
`alert.threshold`. Aucun modèle, aucune feature, aucun `enervision_ml.features` : la phrase de
|
||||||
|
l'ADR 0005 vaut pour le scoring (#37) et les tests de dérive (#44/#45), qui manipulent bien des
|
||||||
|
features, pas pour des règles sur alertes. Le label `ml` de #38 désigne le lot fonctionnel
|
||||||
|
« prédiction et recommandation », pas l'emplacement du code.
|
||||||
|
- **Il lit et écrit deux tables déjà couvertes par des repositories.** `AlertRepository` sait déjà
|
||||||
|
filtrer par site. Le placer dans `ml/` obligerait à réécrire ces accès en SQL brut, et à
|
||||||
|
maintenir deux représentations du même domaine.
|
||||||
|
- **Le déclencheur HTTP n'a de sens que dans l'API.** `POST /recommendations/generate` doit passer
|
||||||
|
par `require_role(Role.ADMIN)` et par la session injectée : cela suppose d'être dans
|
||||||
|
l'application FastAPI.
|
||||||
|
|
||||||
|
Le moteur reste néanmoins **déclenchable hors HTTP**, par `python -m app.cli
|
||||||
|
generate-recommendations` (cible `make recommendations`), sur le patron de `make ml-score` : rien
|
||||||
|
n'oblige à exposer un port pour régénérer des recommandations.
|
||||||
|
|
||||||
|
## Conséquences
|
||||||
|
|
||||||
|
- L'API gagne sa première route d'écriture métier. La checklist de `20-backend.md` s'applique :
|
||||||
|
entrée dans `ROLE_MINIMUM` de `tests/api/acces.py`, et `openapi.json` régénéré dans le même
|
||||||
|
commit.
|
||||||
|
- `RecommendationService` n'est plus en lecture seule : il reçoit le `Transaction` Protocol déjà
|
||||||
|
utilisé par `AuthService` et `UserService`, et commite lui-même. Les repositories continuent de
|
||||||
|
ne pas commiter.
|
||||||
|
- **L'idempotence est déléguée à la base.** `create_missing()` insère en `ON CONFLICT DO NOTHING`
|
||||||
|
sur `uq_recommendation_alert_rule` plutôt que de relire avant d'écrire, ce qui supprime la
|
||||||
|
fenêtre entre le contrôle et l'insertion. Corollaire : `rule_reference` est une clé fonctionnelle.
|
||||||
|
Une règle dont le sens change prend une référence `-v2` ; renommer une référence livrée
|
||||||
|
ferait réapparaître ses recommandations à côté des anciennes.
|
||||||
|
- **Le moteur est branché sur la détection interne, et sur elle seule.** `alert` est alimentée
|
||||||
|
par `app/detection/internal_alerts.py` (#104), lancée à la main comme `enervision_ml.score` ;
|
||||||
|
l'ingestion de l'API Mock `/alerts` reste à faire. Le rapport de génération est donc à zéro tant
|
||||||
|
que la détection n'a pas tourné, sans que le moteur soit à retoucher.
|
||||||
|
- **L'insertion est découpée en lots.** `create_missing()` écrit par paquets de `TAILLE_DE_LOT`
|
||||||
|
lignes : asyncpg plafonne une requête à 32 767 paramètres, soit 8 191 lignes de quatre colonnes,
|
||||||
|
et la détection interne peut alimenter `alert` au fil de l'eau.
|
||||||
|
- Si le projet devait un jour pondérer les recommandations par un score appris, la décision serait
|
||||||
|
à rouvrir : le moteur redeviendrait consommateur du pipeline ML.
|
||||||
|
|
||||||
|
## Alternatives écartées
|
||||||
|
|
||||||
|
- **Module et CLI dans `ml/enervision_ml/`** : cohérent avec le label `ml` et avec la lettre de
|
||||||
|
l'ADR 0005, mais impose du SQL brut là où deux repositories existent, et laisse la génération
|
||||||
|
hors de portée de l'API. Redeviendrait le bon choix si les règles se mettaient à consommer des
|
||||||
|
features ou un modèle.
|
||||||
|
- **Génération à la volée, sans persistance**, calculée à chaque `GET /recommendations` : supprime
|
||||||
|
le besoin d'écriture, mais rend la table `recommendation` et sa contrainte d'unicité inutiles,
|
||||||
|
et interdit toute trace de ce qui a été proposé et quand.
|
||||||
|
- **Table de configuration des règles en base**, plutôt qu'un catalogue en Python : plus souple,
|
||||||
|
mais déplace la logique métier hors de la revue de code et hors des tests, pour un besoin que
|
||||||
|
rien n'exprime à ce stade.
|
||||||
@@ -0,0 +1,120 @@
|
|||||||
|
# 0007 - Terminaison TLS par un reverse proxy Nginx, en Docker Compose
|
||||||
|
|
||||||
|
- Statut : accepté
|
||||||
|
- Date : 2026-09-21
|
||||||
|
|
||||||
|
## Contexte
|
||||||
|
|
||||||
|
Quatre documents désignaient le même trou. `10-infra.md` ouvrait ses questions par « Quel ingress
|
||||||
|
remplace Traefik, et qui termine le TLS ». `00-vue-ensemble.md` rangeait « TLS, HSTS et CSP » dans
|
||||||
|
« Absent, et assumé ». `owasp-traceabilite.md` laissait la ligne API8 transport ouverte.
|
||||||
|
`31-contrat-authentification.md` listait deux corrections « à faire avant la démonstration » :
|
||||||
|
servir le SPA et l'API sous la même origine, et servir en HTTPS.
|
||||||
|
|
||||||
|
Ce n'est pas un durcissement facultatif, c'est une condition de fonctionnement. Les deux fichiers
|
||||||
|
`apps/frontend/src/environments/environment*.ts` portent `apiUrl: '/api/v1'`, en relatif. En
|
||||||
|
développement, `proxy.conf.json` route `/api` vers l'API. Une fois en conteneur, plus rien ne le
|
||||||
|
fait : l'application déployée ne peut pas appeler son API. Et le cookie de rafraîchissement prend
|
||||||
|
le préfixe `__Secure-` dès que `APP_ENV` sort de `local`, donc sans HTTPS il n'est jamais posé et
|
||||||
|
l'authentification ne tient pas au rechargement de page.
|
||||||
|
|
||||||
|
La contrainte qui cadre tout le reste : **aucun nom de domaine public n'existe**. La cible
|
||||||
|
documentée est le serveur on-premise de l'école, `ssh_host = "10.0.0.10"` dans le
|
||||||
|
`terraform.tfvars.example`. Sur une adresse privée, le défi HTTP-01 de Let's Encrypt ne peut pas
|
||||||
|
aboutir, faute de DNS public et de port 80 entrant.
|
||||||
|
|
||||||
|
## Décision
|
||||||
|
|
||||||
|
**Un service `proxy` dans Docker Compose**, image officielle `nginx:1.28-alpine`, seul composant à
|
||||||
|
publier des ports sur la machine : 80 et 443. Backend et frontend ne sont plus publiés du tout, la
|
||||||
|
base et l'interface Mailpit sont ramenées sur la boucle locale. La stack complète est décrite par
|
||||||
|
l'overlay `docker-compose.prod.yml`, le `docker-compose.yml` restant la boucle de développement.
|
||||||
|
|
||||||
|
**Le SPA et l'API sont servis sous la même origine** : `/` vers le conteneur frontend, `/api/` vers
|
||||||
|
l'API en préservant le préfixe `/api/v1`. Le CORS cesse d'être un mécanisme de production et
|
||||||
|
redevient ce qu'il est, un filet pour les appels croisés qui ne devraient plus exister.
|
||||||
|
|
||||||
|
**nginx lit toujours les deux mêmes fichiers**, `/etc/nginx/tls/fullchain.pem` et `privkey.pem`.
|
||||||
|
Seule leur fabrication varie : un script `openssl` pour la démonstration, le `--deploy-hook` de
|
||||||
|
certbot quand un domaine existera. La configuration nginx ne connaît pas la différence et n'aura
|
||||||
|
pas à changer le jour de la bascule.
|
||||||
|
|
||||||
|
**Le proxy pose HSTS et CSP**, que l'application refuse de poser. Ce refus est verrouillé par
|
||||||
|
`tests/api/test_hardening.py::test_the_application_never_sets_hsts_itself` : l'application ne peut
|
||||||
|
pas savoir si elle est jointe en HTTPS, le terminateur, si.
|
||||||
|
|
||||||
|
## Pourquoi Compose et pas l'ingress k3s
|
||||||
|
|
||||||
|
Le module `infra/terraform/modules/k3s/` installe un cluster et rien d'autre. Il ne déclare que le
|
||||||
|
provider `null`, aucun namespace, aucun déploiement, aucun service, aucun ingress, et il n'a jamais
|
||||||
|
été appliqué. Passer par un ingress supposait d'abord de combler tout ce qui manque entre les deux
|
||||||
|
topologies : un registre d'images alimenté, des manifestes pour le front, l'API et la base, un
|
||||||
|
stockage persistant pour PostgreSQL. C'est le chantier que `10-infra.md` nomme « le trou entre les
|
||||||
|
deux topologies », et il ne tient pas dans le jalon.
|
||||||
|
|
||||||
|
Compose, lui, fait déjà tourner les quatre services sur un réseau commun. Le proxy y entre comme un
|
||||||
|
cinquième service, sans rien déplacer. La décision de désactiver Traefik reste valable : le choix
|
||||||
|
d'ingress n'est pas tranché ici, il est repoussé avec le reste de la bascule Kubernetes.
|
||||||
|
|
||||||
|
## Ce que le proxy n'expose pas, et pourquoi c'est structurel
|
||||||
|
|
||||||
|
`/docs`, `/redoc`, `/openapi.json`, `/static` et `/metrics` sont montés par l'API **à la racine**,
|
||||||
|
pas sous le préfixe `/api`. Avec un routage où seul `/api/` part vers l'API, ils tombent dans
|
||||||
|
`location /`, donc sur le SPA, donc hors d'atteinte publique. Aucune règle de blocage n'est
|
||||||
|
nécessaire, et il n'y en a pas : le jour où quelqu'un routera la racine vers l'API pour « réparer »
|
||||||
|
Swagger, il publiera les métriques avec.
|
||||||
|
|
||||||
|
## Conséquences
|
||||||
|
|
||||||
|
- `APP_ENV`, `APP_DEBUG`, `APP_CORS_ORIGINS`, `APP_TRUST_PROXY_HEADERS` et le TLS changent
|
||||||
|
ensemble, dans le même fichier. Hors `local`, la configuration refuse de démarrer sans origine
|
||||||
|
CORS, et le cookie devient `__Secure-ev_refresh`.
|
||||||
|
- `APP_TRUST_PROXY_HEADERS` passe à vrai, et le proxy écrit `X-Forwarded-For` avec
|
||||||
|
`$proxy_add_x_forwarded_for`, qui ajoute l'IP réelle en fin de chaîne. C'est exactement ce que
|
||||||
|
lit `get_client_ip()`. Toute autre forme ferait compter la limitation de débit par IP sur l'IP
|
||||||
|
du proxy, c'est-à-dire globalement.
|
||||||
|
- `--forwarded-allow-ips=*` reste sans conséquence : uvicorn s'en sert pour réécrire
|
||||||
|
`request.client` depuis `X-Forwarded-For`, et `get_client_ip()` est le seul lecteur de
|
||||||
|
`request.client` du backend, en dernier recours quand l'en-tête est absent.
|
||||||
|
- Une limitation de débit au frontal existe désormais, distincte de celle de l'application : 20
|
||||||
|
requêtes par seconde sur l'API, et 30 par minute sur les seules routes qui vérifient un secret,
|
||||||
|
`login`, `password`, `forgot-password` et `reset-password`. `/auth/me` et `/auth/refresh` en
|
||||||
|
sont exclues : elles partent à chaque chargement de page, et le NAT de l'école donnant une seule
|
||||||
|
adresse à toute la promotion, la zone resserrée les aurait transformées en 429 en démonstration.
|
||||||
|
- **La CSP contraint le build du frontend.** `script-src 'self'` interdit les gestionnaires
|
||||||
|
d'événements en ligne, et l'inlining du CSS critique d'Angular produisait exactement cela :
|
||||||
|
`<link rel="stylesheet" media="print" onload="this.media='all'">`. La feuille serait restée en
|
||||||
|
`media="print"`, donc l'application entière sans style. D'où `styles.inlineCritical: false` dans
|
||||||
|
`angular.json`. `style-src` garde `'unsafe-inline'`, dont Angular a besoin pour les styles de
|
||||||
|
composants injectés à l'exécution.
|
||||||
|
- **La redirection 80 vers 443 conserve `$host`.** Un client qui forge son en-tête `Host` obtient
|
||||||
|
donc une redirection vers l'hôte de son choix. Risque accepté : un navigateur ne peut pas être
|
||||||
|
amené à envoyer un `Host` étranger, aucun cache ne s'intercale, et figer un nom canonique
|
||||||
|
couperait l'accès par adresse IP, seule voie ouverte sur `10.0.0.10`.
|
||||||
|
- **Aucun `:?` dans l'overlay.** Compose interpole tout le fichier avant n'importe quelle
|
||||||
|
sous-commande : une garde y casserait `stop` et `logs` autant que `up`. `PUBLIC_HOST` retombe
|
||||||
|
donc sur `enervision.local`, et `make stack-up` vérifie à la place que le certificat présent
|
||||||
|
couvre l'hôte demandé, ce qui est la condition réelle à tenir.
|
||||||
|
- Le proxy attend une API saine et pas seulement démarrée : le `HEALTHCHECK` de l'image du backend
|
||||||
|
sert de condition à `depends_on`, faute de quoi les premiers appels à `/api/` répondent 502.
|
||||||
|
- La ligne API8 transport de `owasp-traceabilite.md` se referme.
|
||||||
|
- **Let's Encrypt n'est pas prouvé.** Le chemin ACME est livré, monté et documenté ; il n'a pas
|
||||||
|
été exercé faute de domaine. Le certificat de démonstration est auto-signé, le navigateur
|
||||||
|
avertit, et c'est la situation réelle du projet, pas un raccourci.
|
||||||
|
- Le proxy résout ses cibles par le résolveur interne de Docker plutôt que par un bloc `upstream`,
|
||||||
|
sans quoi recréer le seul conteneur backend suffirait à produire des 502 jusqu'au rechargement.
|
||||||
|
|
||||||
|
## Alternatives écartées
|
||||||
|
|
||||||
|
- **Ingress k3s avec cert-manager** : la bonne cible, et elle reste la cible. Elle suppose un
|
||||||
|
registre et des manifestes qui n'existent pas, à quatre jours du rendu.
|
||||||
|
- **Étendre le `nginx.conf` du conteneur frontend** avec un `location /api` et l'écoute TLS :
|
||||||
|
moins de pièces, mais les certificats entrent dans l'image du front et tout rebuild du front
|
||||||
|
redéploie le terminateur TLS. La séparation des cycles de vie vaut le conteneur supplémentaire.
|
||||||
|
- **Traefik ou Caddy**, qui automatisent ACME : ils déplacent le problème sans le résoudre, le
|
||||||
|
défi HTTP-01 échouant pour la même raison. Et l'issue nomme Nginx.
|
||||||
|
- **Let's Encrypt par défi DNS-01** : fonctionne derrière une IP privée, mais exige un domaine
|
||||||
|
possédé et un jeton d'API chez le fournisseur DNS. Rouvrable sans rien changer à la
|
||||||
|
configuration nginx le jour où ces deux éléments existent.
|
||||||
|
- **Un `Dockerfile` de proxy** : inutile, la configuration est montée en volume. Cela évite aussi
|
||||||
|
la dépendance à un registre authentifié, piège déjà présent dans `apps/frontend/Dockerfile`.
|
||||||
@@ -0,0 +1,79 @@
|
|||||||
|
# 0008 - Airflow exécute le code du backend en sous-processus
|
||||||
|
|
||||||
|
- Statut : accepté
|
||||||
|
- Date : 2026-09-21
|
||||||
|
|
||||||
|
## Contexte
|
||||||
|
|
||||||
|
L'issue #116 demande un DAG d'alertes. Ce qu'il a à ordonnancer existe déjà et n'est pas à
|
||||||
|
réécrire : `AlertService.detect()` et ses cinq règles (#104), puis le moteur de recommandations
|
||||||
|
(#38). Les deux vivent dans `apps/backend/app/`, et
|
||||||
|
l'[ADR 0006](0006-moteur-de-regles-dans-le-backend.md) a précisément décidé qu'ils y restent parce
|
||||||
|
qu'ils s'appuient sur les repositories ORM de l'API plutôt que sur du SQL brut. Les deux
|
||||||
|
sont décrits par la documentation comme « lancés à la main ».
|
||||||
|
|
||||||
|
L'image Airflow livrée par #115 ne porte que `ml/`, dans un environnement `uv` distinct
|
||||||
|
(`/opt/ml/.venv`, Python 3.14) de celui d'Airflow lui-même (Python 3.12, contraint par
|
||||||
|
apache-airflow 2.10). Les DAGs `ml_train` et `ml_score` shellent vers cet environnement. Rien
|
||||||
|
d'équivalent n'existe pour `apps/backend` : un `BashOperator` sur
|
||||||
|
`python -m app.detection.internal_alerts` échouerait en `ModuleNotFoundError`.
|
||||||
|
|
||||||
|
## Décision
|
||||||
|
|
||||||
|
**L'image Airflow porte un troisième environnement, `/opt/backend/.venv`**, construit depuis le
|
||||||
|
`pyproject.toml`, le `uv.lock` et le paquet `app/` du backend. Le DAG `alertes` shelle vers lui
|
||||||
|
exactement comme `ml_score` shelle vers `/opt/ml/.venv`.
|
||||||
|
|
||||||
|
Trois raisons :
|
||||||
|
|
||||||
|
- **Le patron existe et vient d'être revu.** #115 a posé `BashOperator` + `uv run --no-sync` +
|
||||||
|
`env -u VIRTUAL_ENV`, avec les tests d'intégrité qui le verrouillent. Introduire une seconde
|
||||||
|
forme d'appel dans le même dossier `dags/` coûterait plus cher à lire qu'un second environnement
|
||||||
|
dans le même `Dockerfile`.
|
||||||
|
- **Aucune surface réseau n'est ajoutée.** La détection n'a pas de route HTTP, contrairement à la
|
||||||
|
génération de recommandations (`POST /recommendations/generate`, rôle `admin`). En créer une pour
|
||||||
|
qu'Airflow l'appelle donnerait à l'ordonnanceur un compte administrateur de l'API, en plus des
|
||||||
|
identifiants PostgreSQL complets qu'il détient déjà, et ferait dépendre la production d'alertes
|
||||||
|
de la disponibilité du conteneur `backend`.
|
||||||
|
- **La logique reste où l'ADR 0006 l'a mise.** Le DAG n'apprend rien du domaine : ni les seuils, ni
|
||||||
|
les cinq règles, ni les clés d'idempotence. Il ne sait que l'heure à laquelle appeler.
|
||||||
|
|
||||||
|
## Conséquences
|
||||||
|
|
||||||
|
- **Airflow reçoit une `APP_SECRET_KEY` délibérément distincte de celle de l'API.** La
|
||||||
|
configuration du backend refuse de se construire sans elle (`app/core/config.py`), et
|
||||||
|
`internal_alerts.main()` appelle `get_settings()` avant toute requête pour échouer tôt. Mais la
|
||||||
|
détection ne signe ni ne vérifie aucun jeton, et Airflow permet d'exécuter du code arbitraire
|
||||||
|
depuis son interface : un Airflow compromis ne doit pas livrer la clé de signature des JWT. D'où
|
||||||
|
`AIRFLOW_APP_SECRET_KEY`, avec sa propre garde dans `airflow-init`.
|
||||||
|
- **`DATABASE_URL`, en dialecte asyncpg, rejoint `ML_DATABASE_URL`** dans l'environnement du
|
||||||
|
conteneur. Le cantonnement des rôles PostgreSQL reste la dette de
|
||||||
|
l'[ADR 0003](0003-autorisation-rbac-a-trois-roles.md), et cette décision l'alourdit d'un
|
||||||
|
consommateur de plus.
|
||||||
|
- **La CI Airflow se déclenche sur les changements du backend.** L'image le `COPY` : sans
|
||||||
|
`apps/backend/app/**`, `pyproject.toml` et `uv.lock` dans les déclencheurs du workflow, une
|
||||||
|
dépendance modifiée casserait la construction sans que rien ne le signale avant le déploiement.
|
||||||
|
En contrepartie, l'image grossit de ce que pèsent SQLAlchemy, asyncpg et pandas.
|
||||||
|
- **Aucune variable ne départage les deux environnements, et c'est voulu.** `uv` place par défaut
|
||||||
|
le venv d'un projet dans `<projet>/.venv` : `cd /opt/ml` ou `cd /opt/backend` suffit à choisir le
|
||||||
|
bon. L'image ne pose donc plus de `UV_PROJECT_ENVIRONMENT` global, hérité de #115 : il vaudrait
|
||||||
|
pour les deux projets, et `uv run` dans l'un résoudrait le venv de l'autre. Le symptôme n'est pas
|
||||||
|
une construction ratée mais un `ModuleNotFoundError` à la première tâche, d'où la vérification
|
||||||
|
d'import sans réseau que la CI fait maintenant sur chacun des deux.
|
||||||
|
- Airflow lui-même reste étranger au domaine : ni LightGBM, ni SQLAlchemy, ni FastAPI n'entrent
|
||||||
|
dans son interpréteur. C'est la propriété que #115 avait établie, et elle tient toujours.
|
||||||
|
|
||||||
|
## Alternatives écartées
|
||||||
|
|
||||||
|
- **Route HTTP `POST /alerts/detect` réservée `admin`, appelée par le DAG.** L'image ne bougeait
|
||||||
|
pas, mais Airflow détenait alors un compte administrateur de l'API, la détection devenait
|
||||||
|
tributaire du conteneur `backend`, et l'API gagnait une route d'écriture dont aucun client
|
||||||
|
humain n'a l'usage. À rouvrir si un jour un tiers doit déclencher la détection.
|
||||||
|
- **`DockerOperator` lançant l'image du backend.** Demande la socket Docker de l'hôte dans le
|
||||||
|
conteneur Airflow, c'est-à-dire un équivalent root sur la machine, pour un service qui permet
|
||||||
|
déjà d'exécuter du code depuis son interface. Le provider n'est d'ailleurs pas installé.
|
||||||
|
- **Réécrire les cinq règles en SQL dans le DAG.** Contredit frontalement l'ADR 0006, duplique le
|
||||||
|
domaine, et fait diverger les deux copies au premier changement de seuil.
|
||||||
|
- **Monter `apps/backend` en volume plutôt que le copier.** L'environnement ne serait plus figé à
|
||||||
|
la construction, `uv` resynchroniserait au premier lancement, et la CI ne prouverait plus rien
|
||||||
|
de ce qui tourne réellement.
|
||||||
@@ -46,6 +46,7 @@ flowchart TB
|
|||||||
navigateur["Navigateur"]
|
navigateur["Navigateur"]
|
||||||
|
|
||||||
subgraph machine["Machine on-premise"]
|
subgraph machine["Machine on-premise"]
|
||||||
|
proxy["Reverse proxy Nginx<br/>:80 et :443"]
|
||||||
front["Frontend Angular 22<br/>apps/frontend"]
|
front["Frontend Angular 22<br/>apps/frontend"]
|
||||||
api["API FastAPI<br/>apps/backend"]
|
api["API FastAPI<br/>apps/backend"]
|
||||||
db[("PostgreSQL 17<br/>TimescaleDB")]
|
db[("PostgreSQL 17<br/>TimescaleDB")]
|
||||||
@@ -54,10 +55,12 @@ flowchart TB
|
|||||||
grafana["Grafana"]
|
grafana["Grafana"]
|
||||||
end
|
end
|
||||||
|
|
||||||
navigateur --> front
|
navigateur --> proxy
|
||||||
|
proxy --> front
|
||||||
|
proxy --> api
|
||||||
front -.-> api
|
front -.-> api
|
||||||
api --> db
|
api --> db
|
||||||
airflow -.-> db
|
airflow --> db
|
||||||
prom -.-> api
|
prom -.-> api
|
||||||
grafana -.-> db
|
grafana -.-> db
|
||||||
grafana -.-> prom
|
grafana -.-> prom
|
||||||
@@ -67,6 +70,11 @@ Le lien `front -.-> api` reste en pointillé : le frontend appelle bien une API,
|
|||||||
intercepteur répond à sa place tant que les endpoints n'existent pas. Voir
|
intercepteur répond à sa place tant que les endpoints n'existent pas. Voir
|
||||||
[30-frontend.md](30-frontend.md).
|
[30-frontend.md](30-frontend.md).
|
||||||
|
|
||||||
|
Le lien `airflow --> db` est maintenant en trait plein : trois DAGs tournent, deux pour
|
||||||
|
l'entraînement et le scoring du modèle ML (issue #115), un pour la détection d'alertes et la
|
||||||
|
génération des recommandations (issue #116), cf. plus bas et [20-backend.md](20-backend.md). Le
|
||||||
|
reste du périmètre Airflow envisagé (ingestion, issues #15/#16) reste en pointillé, non construit.
|
||||||
|
|
||||||
Le lien `prom -.-> api` de même : l'API expose bien `/metrics` au format Prometheus, mais aucun
|
Le lien `prom -.-> api` de même : l'API expose bien `/metrics` au format Prometheus, mais aucun
|
||||||
collecteur ne vient le lire.
|
collecteur ne vient le lire.
|
||||||
|
|
||||||
@@ -77,15 +85,17 @@ collecteur ne vient le lire.
|
|||||||
| Backend | FastAPI, Python 3.14 | `apps/backend` | `En cours` | Factory, configuration, journalisation, 2 sondes de santé, `/metrics`, contrat OpenAPI versionné, routes `sites`, `alerts`, `recommendations`, `stats/summary`, `readings`, `sensors/status` et `predictions` en lecture (endpoints → services → repositories → models) |
|
| Backend | FastAPI, Python 3.14 | `apps/backend` | `En cours` | Factory, configuration, journalisation, 2 sondes de santé, `/metrics`, contrat OpenAPI versionné, routes `sites`, `alerts`, `recommendations`, `stats/summary`, `readings`, `sensors/status` et `predictions` en lecture (endpoints → services → repositories → models) |
|
||||||
| Frontend | Angular 22, Node 24 | `apps/frontend` | `En cours` | Tableau de bord sur route `/dashboard`, authentification complète (garde de route, intercepteur de jeton), cinq services HTTP, graphiques Chart.js. `stats`/`alerts` sur fixtures, `predictions` branché sur l'API réelle |
|
| Frontend | Angular 22, Node 24 | `apps/frontend` | `En cours` | Tableau de bord sur route `/dashboard`, authentification complète (garde de route, intercepteur de jeton), cinq services HTTP, graphiques Chart.js. `stats`/`alerts` sur fixtures, `predictions` branché sur l'API réelle |
|
||||||
| Base | PostgreSQL 17 + TimescaleDB | `db` | `Fait` | Bootstrap de l'extension, base de test, chaîne Alembic. Schéma applicatif créé (`site`, `dataset`, `reading` en hypertable, `prediction`, `alert`, `recommendation`) |
|
| Base | PostgreSQL 17 + TimescaleDB | `db` | `Fait` | Bootstrap de l'extension, base de test, chaîne Alembic. Schéma applicatif créé (`site`, `dataset`, `reading` en hypertable, `prediction`, `alert`, `recommendation`) |
|
||||||
| ML | LightGBM, MLflow | `ml` | `En cours` | Pipeline d'entraînement et de scoring (`enervision_ml.train`/`.score`, features par lags/moyennes glissantes partagées entre les deux, baseline de persistance saisonnière, suivi MLflow local), exposé en lecture via `GET /predictions`. Voir [ADR 0005](../adr/0005-modele-prediction-lightgbm.md) et [ML-START.md](../../ML-START.md). Automatisation (Airflow) et surveillance de dérive (EC06, #44/#45) pas encore construites |
|
| ML | LightGBM, MLflow | `ml` | `En cours` | Pipeline d'entraînement et de scoring (`enervision_ml.train`/`.score`, features par lags/moyennes glissantes partagées entre les deux, baseline de persistance saisonnière, suivi MLflow local), exposé en lecture via `GET /predictions`, orchestré par Airflow (`ml_train`/`ml_score`). Voir [ADR 0005](../adr/0005-modele-prediction-lightgbm.md) et [ML-START.md](../../ML-START.md). Surveillance de dérive (EC06, #44/#45) pas encore construite |
|
||||||
| Infra | Terraform, k3s single-node | `infra/terraform` | `En cours` | Module d'installation du cluster. Jamais appliqué, aucune ressource Kubernetes déclarée |
|
| Infra | Docker Compose, Nginx, Terraform, k3s single-node | `infra`, `docker-compose.prod.yml` | `En cours` | Reverse proxy et overlay de déploiement écrits et validés, jamais lancés sur le serveur ([ADR 0007](../adr/0007-terminaison-tls-et-reverse-proxy-nginx.md)). Module d'installation k3s jamais appliqué, aucune ressource Kubernetes déclarée |
|
||||||
| Monitoring | Prometheus, Grafana, Alertmanager | `monitoring` | `Cible` | Rien, hors le `/metrics` exposé par l'API |
|
| Monitoring | Prometheus, Grafana, Alertmanager | `monitoring` | `Cible` | Rien, hors le `/metrics` exposé par l'API |
|
||||||
| ETL | Apache Airflow | `etl/airflow` | `Cible` | Rien |
|
| ETL | Apache Airflow | `etl/airflow` | `En cours` | Webserver + scheduler (LocalExecutor) tournent via docker-compose, base de métadonnées Postgres dédiée. Trois DAGs en sous-processus `uv run` : `ml_train` manuel et `ml_score` `@hourly` pour le pipeline ML (issue #115), `alertes` à `15 * * * *` pour la détection et les recommandations (issue #116, [ADR 0008](../adr/0008-airflow-execute-le-code-du-backend.md)). L'ingestion (issues #15/#16) n'a pas encore de DAG |
|
||||||
| CI/CD | GitHub Actions | `.github/workflows` | `Cible` | Rien |
|
| CI/CD | GitHub Actions | `.github/workflows` | `Cible` | Rien |
|
||||||
|
|
||||||
## Flux bout en bout
|
## Flux bout en bout
|
||||||
|
|
||||||
Statut : `Cible`. Aucun maillon de cette chaîne n'existe aujourd'hui, à l'exception de la base.
|
Statut : `Cible`. Ce flux d'ingestion (Source → Airflow → hypertable) n'existe pas encore : les
|
||||||
|
deux DAGs livrés à ce jour (`ml_train`/`ml_score`, issue #115) orchestrent le pipeline ML, pas
|
||||||
|
l'ingestion. Seule la base tourne réellement parmi les maillons ci-dessous.
|
||||||
|
|
||||||
```mermaid
|
```mermaid
|
||||||
sequenceDiagram
|
sequenceDiagram
|
||||||
@@ -137,6 +147,11 @@ consolidée.
|
|||||||
jeton facultatif, sonde de disponibilité qui ne publie plus la version de TimescaleDB.
|
jeton facultatif, sonde de disponibilité qui ne publie plus la version de TimescaleDB.
|
||||||
- **CI backend bloquante** : format, lint, typage strict et tests avec seuil de couverture.
|
- **CI backend bloquante** : format, lint, typage strict et tests avec seuil de couverture.
|
||||||
- **Conteneur backend non-root**, déclaré dans `apps/backend/Dockerfile`.
|
- **Conteneur backend non-root**, déclaré dans `apps/backend/Dockerfile`.
|
||||||
|
- **Terminaison TLS au frontal** : un reverse proxy Nginx est le seul service publié, il redirige
|
||||||
|
80 vers 443, sert le SPA et l'API sous la même origine, pose **HSTS** et **CSP** que
|
||||||
|
l'application refuse délibérément de poser, et ajoute une **limitation de débit au frontal**
|
||||||
|
distincte de celle de l'application. Voir
|
||||||
|
[ADR 0007](../adr/0007-terminaison-tls-et-reverse-proxy-nginx.md).
|
||||||
- **Côté infrastructure** : la clé SSH est marquée `sensitive`, le kubeconfig reste en `600/root`
|
- **Côté infrastructure** : la clé SSH est marquée `sensitive`, le kubeconfig reste en `600/root`
|
||||||
sur la machine cible et n'est lu que par `sudo`, `*.tfvars` est ignoré par git sauf les
|
sur la machine cible et n'est lu que par `sudo`, `*.tfvars` est ignoré par git sauf les
|
||||||
`.example`.
|
`.example`.
|
||||||
@@ -150,13 +165,10 @@ consolidée.
|
|||||||
arrêteraient une application compromise. Même raison de report.
|
arrêteraient une application compromise. Même raison de report.
|
||||||
- **Portée par site** dans l'autorisation : les rôles sont globaux, un opérateur du site A peut
|
- **Portée par site** dans l'autorisation : les rôles sont globaux, un opérateur du site A peut
|
||||||
agir sur le site B. C'est la limite connue du modèle.
|
agir sur le site B. C'est la limite connue du modèle.
|
||||||
- **TLS, HSTS et CSP** : ils appartiennent au terminateur TLS, qui n'existe pas encore.
|
- **Certificat reconnu** : aucun nom de domaine public ne résout vers la machine, donc le défi
|
||||||
- **Limitation de débit au frontal** : celle de l'application protège les identifiants, pas
|
HTTP-01 de Let's Encrypt ne peut pas aboutir. Le certificat servi est auto-signé, le chemin ACME
|
||||||
l'infrastructure.
|
est livré et documenté mais pas exercé.
|
||||||
- **Analyse de dépendances et de conteneurs** dans la CI, qui relève du chantier CI/CD.
|
- **Analyse de dépendances et de conteneurs** dans la CI, qui relève du chantier CI/CD.
|
||||||
- **Le fichier `environment.ts` de production** pointe encore sur `http://localhost:8000` en HTTP
|
|
||||||
simple : dans cet état, le cookie `Secure` ne sera pas posé. Voir
|
|
||||||
[31-contrat-authentification.md](31-contrat-authentification.md).
|
|
||||||
|
|
||||||
## Décisions structurantes
|
## Décisions structurantes
|
||||||
|
|
||||||
@@ -165,3 +177,9 @@ Elles vivent dans `../adr/`, pas ici.
|
|||||||
| ADR | Objet |
|
| ADR | Objet |
|
||||||
|---|---|
|
|---|---|
|
||||||
| [0001](../adr/0001-postgresql-timescaledb.md) | PostgreSQL 17 avec l'extension TimescaleDB, et la frontière `db/` vs `alembic/` |
|
| [0001](../adr/0001-postgresql-timescaledb.md) | PostgreSQL 17 avec l'extension TimescaleDB, et la frontière `db/` vs `alembic/` |
|
||||||
|
| [0002](../adr/0002-authentification-jwt-et-refresh-opaque.md) | Authentification par JWT d'accès et jeton de rafraîchissement opaque |
|
||||||
|
| [0003](../adr/0003-autorisation-rbac-a-trois-roles.md) | Autorisation RBAC à trois rôles, avec relecture du compte à chaque requête |
|
||||||
|
| [0004](../adr/0004-journal-d-audit-en-ajout-seul.md) | Journal d'audit en ajout seul, garanti par PostgreSQL |
|
||||||
|
| [0005](../adr/0005-modele-prediction-lightgbm.md) | Modèle de prédiction de consommation : LightGBM |
|
||||||
|
| [0006](../adr/0006-moteur-de-regles-dans-le-backend.md) | Le moteur de règles de recommandation vit dans le backend, pas dans `ml/` |
|
||||||
|
| [0007](../adr/0007-terminaison-tls-et-reverse-proxy-nginx.md) | Terminaison TLS par un reverse proxy Nginx, en Docker Compose |
|
||||||
|
|||||||
@@ -1,12 +1,13 @@
|
|||||||
# Infrastructure
|
# Infrastructure
|
||||||
|
|
||||||
Deux topologies coexistent et ne servent pas la même chose. Ce document dit laquelle vaut dans
|
Trois topologies coexistent et ne servent pas la même chose. Ce document dit laquelle vaut dans
|
||||||
quel contexte, quelles décisions sont arrêtées, et ce qui manque encore entre les deux.
|
quel contexte, quelles décisions sont arrêtées, et ce qui manque encore entre elles.
|
||||||
|
|
||||||
| Topologie | Sert à | Statut |
|
| Topologie | Sert à | Statut |
|
||||||
|---|---|---|
|
|---|---|---|
|
||||||
| Docker Compose | Développer et recetter sur le poste | `Fait` |
|
| Docker Compose | Développer et recetter sur le poste | `Fait` |
|
||||||
| k3s single-node | Déployer sur le serveur on-premise | `En cours` |
|
| Docker Compose plus reverse proxy | Déployer sur la machine on-premise | `Fait` |
|
||||||
|
| k3s single-node | Cible à terme | `En cours` |
|
||||||
|
|
||||||
## Poste de développement
|
## Poste de développement
|
||||||
|
|
||||||
@@ -40,15 +41,135 @@ seule la base tourne en conteneur, l'API et `ng serve` tournent sur le poste ave
|
|||||||
des deux seul). Le service `backend` sert la stack complète et la recette. Les deux occupent le
|
des deux seul). Le service `backend` sert la stack complète et la recette. Les deux occupent le
|
||||||
port 8000, ils ne se lancent donc pas ensemble.
|
port 8000, ils ne se lancent donc pas ensemble.
|
||||||
|
|
||||||
Deux pièges sont documentés en tête du `docker-compose.yml`, ils ne se devinent pas :
|
Trois pièges sont documentés en tête du `docker-compose.yml`, ils ne se devinent pas :
|
||||||
|
|
||||||
- `PGDATA` vaut `/home/postgres/pgdata/data` pour l'image `-ha`, et non le chemin habituel de
|
- `PGDATA` vaut `/home/postgres/pgdata/data` pour l'image `-ha`, et non le chemin habituel de
|
||||||
l'image `postgres`. Monté ailleurs, le volume ne retient rien, sans le moindre message.
|
l'image `postgres`. Monté ailleurs, le volume ne retient rien, sans le moindre message.
|
||||||
- `db/init` est monté **fichier par fichier**. Monter le dossier masquerait les scripts d'init de
|
- `db/init` est monté **fichier par fichier**. Monter le dossier masquerait les scripts d'init de
|
||||||
l'image, dont `timescaledb-tune`. Ajouter un fichier dans `db/init/` impose donc une ligne dans
|
l'image, dont `timescaledb-tune`. Ajouter un fichier dans `db/init/` impose donc une ligne dans
|
||||||
le compose. Voir [`db/README.md`](../../db/README.md).
|
le compose. Voir [`db/README.md`](../../db/README.md).
|
||||||
|
- `LocalExecutor` exécute les tâches comme sous-processus du **scheduler**, jamais du webserver :
|
||||||
|
c'est le scheduler qui a besoin du volume `airflow_ml_state` (modèle, magasin MLflow).
|
||||||
|
|
||||||
## Cible de déploiement
|
### Airflow (issues #115 et #116)
|
||||||
|
|
||||||
|
Trois services, `docker compose profiles` non utilisés (démarrage explicite via `make
|
||||||
|
airflow-up`, pas dans `make dev`) :
|
||||||
|
|
||||||
|
| Service | Rôle | Points notables |
|
||||||
|
|---|---|---|
|
||||||
|
| `airflow-init` | Migre la base de métadonnées, crée le compte admin | Conteneur jetable (`restart: "no"`), ne redémarre jamais. `webserver`/`scheduler` attendent qu'il se termine avec succès |
|
||||||
|
| `airflow-webserver` | UI, port `8080` | `LocalExecutor` : n'exécute aucune tâche lui-même |
|
||||||
|
| `airflow-scheduler` | Planifie et **exécute** les tâches (`LocalExecutor`) | Les DAGs y tournent en sous-processus (`uv run --no-sync python -m ...`), c'est lui qui a besoin du volume `airflow_ml_state` |
|
||||||
|
|
||||||
|
Construits depuis `etl/airflow/Dockerfile`, contexte `.` (racine du repo, pas `etl/airflow/`) :
|
||||||
|
l'image doit pouvoir `COPY` les sources de `ml/` **et** de `apps/backend/` pour se synchroniser
|
||||||
|
deux environnements Python **3.14** (`/opt/ml/.venv` et `/opt/backend/.venv`, `uv sync --locked` à
|
||||||
|
la construction), distincts du Python 3.12 qui fait tourner Airflow lui-même. Les DAGs shellent
|
||||||
|
vers ces venvs plutôt que d'importer LightGBM, MLflow ou SQLAlchemy dans le process Airflow.
|
||||||
|
Le choix et ses contreparties sont dans
|
||||||
|
l'[ADR 0008](../adr/0008-airflow-execute-le-code-du-backend.md).
|
||||||
|
|
||||||
|
| DAG | Planification | Ce qu'il lance, et où |
|
||||||
|
|---|---|---|
|
||||||
|
| `ml_train` | manuelle | `enervision_ml.train`, dans `/opt/ml/.venv` |
|
||||||
|
| `ml_score` | `0 * * * *` | `enervision_ml.score`, dans `/opt/ml/.venv` |
|
||||||
|
| `alertes` | `15 * * * *` | `app.detection.internal_alerts` puis `app.cli generate-recommendations`, dans `/opt/backend/.venv` |
|
||||||
|
|
||||||
|
**Pourquoi `alertes` tourne à la quinzième minute.** Sa règle `anomaly` compare une lecture à la
|
||||||
|
`prediction` du même instant, que `ml_score` écrit à l'heure pile. Le décalage laisse le scoring
|
||||||
|
finir. Aucune dépendance n'est déclarée entre les deux DAGs pour autant, ni `ExternalTaskSensor` ni
|
||||||
|
tâche greffée : quatre règles de détection sur cinq ne touchent pas au modèle, et un modèle jamais
|
||||||
|
entraîné ne doit pas priver le parc de ses alertes. Le décalage est donc une convention et non une
|
||||||
|
garantie : le plafond de `ml_score` est de 30 minutes, et un scoring qui déborde de `:15` prive
|
||||||
|
`anomaly` de la `prediction` de l'heure, qu'elle ne retrouvera au passage suivant que si sa fenêtre
|
||||||
|
la couvre encore. Les quatre autres règles ne s'en aperçoivent pas.
|
||||||
|
|
||||||
|
Ses deux tâches s'enchaînent en revanche (`recommendation.alert_id` est une clé étrangère `NOT
|
||||||
|
NULL`), et toutes deux sont rejouables sans risque : l'idempotence est portée par la base,
|
||||||
|
`uq_alert_source_reference` et `uq_recommendation_alert_rule`. Chacune a 2 tentatives, 2 minutes
|
||||||
|
d'attente entre elles et un plafond de 5 minutes **par tentative** : au pire, reprises comprises,
|
||||||
|
l'enchaînement occupe 38 minutes, ce qui le garde sous le pas horaire qu'un `max_active_runs=1`
|
||||||
|
rend contraignant.
|
||||||
|
|
||||||
|
`airflow-init` s'appuie sur l'entrypoint de l'image (`_AIRFLOW_DB_MIGRATE`,
|
||||||
|
`_AIRFLOW_WWW_USER_*`) plutôt que sur un script maison : l'entrypoint porte le code de sortie, une
|
||||||
|
migration ratée (typiquement la base `airflow` absente, cf. ci-dessous) fait échouer le service et
|
||||||
|
`webserver`/`scheduler` ne démarrent pas sur une base non migrée. Le mot de passe du compte admin
|
||||||
|
passe par l'environnement, jamais par `argv` (ni `ps`, ni `docker compose config`).
|
||||||
|
|
||||||
|
Les variables `AIRFLOW_*` ne sont volontairement pas en `${VAR:?}` : Compose interpole le fichier
|
||||||
|
entier avant de filtrer les services, une variable requise manquante casserait `make db-up`,
|
||||||
|
`make dev`... pour tout poste dont le `.env` est antérieur. Elles valent `${VAR:-}` et c'est
|
||||||
|
`airflow-init` qui refuse de démarrer (clé Fernet, clé Flask, mot de passe ou
|
||||||
|
`AIRFLOW_APP_SECRET_KEY` vides).
|
||||||
|
|
||||||
|
Le conteneur reçoit deux variables du backend en plus de `ML_DATABASE_URL` : `DATABASE_URL`, en
|
||||||
|
dialecte asyncpg, et `APP_SECRET_KEY`, alimentée par `AIRFLOW_APP_SECRET_KEY`. Cette dernière est
|
||||||
|
**délibérément différente** de celle de l'API. La configuration du backend refuse de se construire
|
||||||
|
sans clé, mais la détection ne signe ni ne vérifie aucun jeton : un Airflow compromis, qui permet
|
||||||
|
déjà d'exécuter du code depuis son interface, ne doit pas livrer par-dessus la clé de signature
|
||||||
|
des JWT.
|
||||||
|
|
||||||
|
**Pourquoi `ml_train` est manuel.** Réentraîner est coûteux et sa cadence n'est pas une décision
|
||||||
|
prise. Surtout, `train.py` écrase le modèle sans comparer ses métriques à celles de l'ancien : un
|
||||||
|
cron déploierait silencieusement un modèle dégradé. Tant que ce garde-fou n'existe pas, le
|
||||||
|
déclenchement reste humain. `ml_score`, lui, est planifié à l'heure, avec `max_active_runs=1`
|
||||||
|
(pas deux scorings simultanés dans `prediction`), 2 tentatives et un plafond de 30 minutes.
|
||||||
|
|
||||||
|
CI : `.github/workflows/airflow.yml` (Python 3.12 via `etl/airflow/.python-version`) lance lint et
|
||||||
|
tests d'intégrité des DAGs, et construit l'image (elle `COPY` `ml/` et `apps/backend/`, une
|
||||||
|
modification de l'un ou de l'autre peut donc la casser, d'où leurs chemins dans les déclencheurs)
|
||||||
|
avant de vérifier que les deux environnements s'y importent sans réseau.
|
||||||
|
|
||||||
|
Piège à connaître : sur un volume `pgdata` déjà peuplé (poste de dev existant plutôt que premier
|
||||||
|
`make db-up`), `db/init/120-airflow-database.sql` ne se rejoue pas (PostgreSQL n'exécute
|
||||||
|
`docker-entrypoint-initdb.d/` que sur un volume vide). Créer la base `airflow` à la main une fois :
|
||||||
|
`docker compose exec db psql -U $POSTGRES_USER -d $POSTGRES_DB -c "CREATE DATABASE airflow;"`.
|
||||||
|
|
||||||
|
`libgomp1` est installé explicitement dans l'image (`apt-get`, en root) : l'image Airflow de base
|
||||||
|
est minimale et n'embarque pas la runtime OpenMP dont LightGBM a besoin, sans quoi l'erreur
|
||||||
|
(`OSError: libgomp.so.1`) n'apparaît qu'à la première tâche réellement exécutée, pas à la
|
||||||
|
construction de l'image.
|
||||||
|
|
||||||
|
## Machine cible, exécution Docker
|
||||||
|
|
||||||
|
Statut : `Fait`. Défini par l'overlay `docker-compose.prod.yml`, appliqué par-dessus le
|
||||||
|
`docker-compose.yml`. Écrit et validé sur le poste, **jamais encore lancé sur le serveur de
|
||||||
|
l'école**. Décision et motifs dans l'[ADR 0007](../adr/0007-terminaison-tls-et-reverse-proxy-nginx.md).
|
||||||
|
|
||||||
|
```mermaid
|
||||||
|
flowchart LR
|
||||||
|
navigateur["Navigateur"]
|
||||||
|
|
||||||
|
subgraph machine["Machine on-premise"]
|
||||||
|
proxy["service proxy<br/>nginx:1.28-alpine<br/>:80 et :443"]
|
||||||
|
front["service frontend<br/>nginx statique :3000"]
|
||||||
|
api["service backend<br/>uvicorn :8000"]
|
||||||
|
db[("service db<br/>:5432")]
|
||||||
|
mail["service mailpit"]
|
||||||
|
end
|
||||||
|
|
||||||
|
navigateur -->|"HTTPS"| proxy
|
||||||
|
proxy -->|"/"| front
|
||||||
|
proxy -->|"/api/"| api
|
||||||
|
api --> db
|
||||||
|
api --> mail
|
||||||
|
```
|
||||||
|
|
||||||
|
Le proxy est **le seul service à publier des ports** sur le réseau. Backend et frontend ne sont
|
||||||
|
plus publiés du tout, la base et l'interface Mailpit sont ramenées sur `127.0.0.1`, donc joignables
|
||||||
|
par tunnel SSH et pas autrement. Le détail du routage, les deux modes d'obtention du certificat et
|
||||||
|
la commande de validation hors exécution sont dans [`infra/proxy/README.md`](../../infra/proxy/README.md).
|
||||||
|
|
||||||
|
Deux conséquences se propagent jusqu'à l'application, et elles ne se devinent pas :
|
||||||
|
|
||||||
|
- Servir le SPA et l'API sous la même origine est ce qui rend le cookie `__Secure-ev_refresh`
|
||||||
|
utilisable. Sans cela, `apiUrl: '/api/v1'` ne mène nulle part une fois en conteneur.
|
||||||
|
- `APP_TRUST_PROXY_HEADERS` passe à vrai en même temps, sinon la limitation de débit par IP
|
||||||
|
compte sur l'IP du proxy et devient globale.
|
||||||
|
|
||||||
|
## Cible à terme, k3s
|
||||||
|
|
||||||
Statut : `En cours`. Le module `infra/terraform/modules/k3s/` installe le cluster. Il n'a jamais
|
Statut : `En cours`. Le module `infra/terraform/modules/k3s/` installe le cluster. Il n'a jamais
|
||||||
été appliqué.
|
été appliqué.
|
||||||
@@ -104,6 +225,8 @@ Ces arbitrages sont pris. Ils ne vivaient jusqu'ici que dans des commentaires de
|
|||||||
| `*.tfvars` ignoré, `*.tfvars.example` versionné | Les tfvars portent l'adresse du serveur et le chemin de la clé | `.gitignore` |
|
| `*.tfvars` ignoré, `*.tfvars.example` versionné | Les tfvars portent l'adresse du serveur et le chemin de la clé | `.gitignore` |
|
||||||
| Désinstallation gérée au `destroy` | `k3s-uninstall.sh` en `on_failure = continue` : un serveur injoignable ne bloque pas le `destroy` | `modules/k3s/main.tf` |
|
| Désinstallation gérée au `destroy` | `k3s-uninstall.sh` en `on_failure = continue` : un serveur injoignable ne bloque pas le `destroy` | `modules/k3s/main.tf` |
|
||||||
| Deux racines, `dev` et `prod` | Séparation des états et des variables par environnement | `environments/` |
|
| Deux racines, `dev` et `prod` | Séparation des états et des variables par environnement | `environments/` |
|
||||||
|
| Terminaison TLS par un reverse proxy Nginx en Compose | L'ingress k3s supposait un registre et des manifestes qui n'existent pas, à quatre jours du rendu | `docker-compose.prod.yml`, [ADR 0007](../adr/0007-terminaison-tls-et-reverse-proxy-nginx.md) |
|
||||||
|
| Certificat auto-signé par défaut, chemin ACME câblé | Aucun domaine public ne résout vers la machine : le défi HTTP-01 ne peut pas aboutir | `scripts/tls-selfsigned.sh`, `infra/proxy/acme-deploy-hook.sh` |
|
||||||
|
|
||||||
## Ports et noms
|
## Ports et noms
|
||||||
|
|
||||||
@@ -112,12 +235,16 @@ Ces arbitrages sont pris. Ils ne vivaient jusqu'ici que dans des commentaires de
|
|||||||
| PostgreSQL, côté hôte | `5433` | Redirigé vers 5432 dans le conteneur. 5432 est souvent déjà pris |
|
| PostgreSQL, côté hôte | `5433` | Redirigé vers 5432 dans le conteneur. 5432 est souvent déjà pris |
|
||||||
| PostgreSQL, côté réseau Compose | `db:5432` | Nom de service, utilisé par `DATABASE_URL` du service `backend` |
|
| PostgreSQL, côté réseau Compose | `db:5432` | Nom de service, utilisé par `DATABASE_URL` du service `backend` |
|
||||||
| API | `8000` | Identique en conteneur et hors conteneur |
|
| API | `8000` | Identique en conteneur et hors conteneur |
|
||||||
| Frontend, `ng serve` | `4200` | Valeur par défaut d'`APP_CORS_ORIGINS`. Le compose n'a aucun service frontend |
|
| Frontend, `ng serve` | `4200` | Boucle de développement. Valeur par défaut d'`APP_CORS_ORIGINS` |
|
||||||
|
| Frontend en conteneur | `3000` | Ce qu'écoute le nginx de l'image, en conteneur comme côté hôte |
|
||||||
|
| Reverse proxy | `80` et `443` | Les seuls ports publiés par `docker-compose.prod.yml`. 80 ne sert que la redirection et le défi ACME |
|
||||||
| SSH du serveur | `22` par défaut | `ssh_port`, redéfinissable |
|
| SSH du serveur | `22` par défaut | `ssh_port`, redéfinissable |
|
||||||
| Base applicative | `enervision` | Variable `POSTGRES_DB` |
|
| Base applicative | `enervision` | Variable `POSTGRES_DB` |
|
||||||
| Base de test | `enervision_test` | Créée par `db/init/110-test-database.sql`, nom attendu en dur par `apps/backend/tests/conftest.py` |
|
| Base de test | `enervision_test` | Créée par `db/init/110-test-database.sql`, nom attendu en dur par `apps/backend/tests/conftest.py` |
|
||||||
|
| Base de métadonnées Airflow | `airflow` | Créée par `db/init/120-airflow-database.sql`, même conteneur `db` |
|
||||||
|
| Webserver Airflow | `8080` | `make airflow-up`. Scheduler et webserver ne publient que ce port ; les tâches (`LocalExecutor`) tournent côté scheduler, sans port propre |
|
||||||
|
|
||||||
## Le trou entre les deux topologies
|
## Le trou vers k3s
|
||||||
|
|
||||||
Rien ne relie aujourd'hui ce qui est construit par Compose et ce qui tournerait sur k3s. Compose
|
Rien ne relie aujourd'hui ce qui est construit par Compose et ce qui tournerait sur k3s. Compose
|
||||||
construit une image backend localement ; k3s ne saurait pas où la trouver. C'est la première
|
construit une image backend localement ; k3s ne saurait pas où la trouver. C'est la première
|
||||||
@@ -125,7 +252,11 @@ question à trancher, avant toute ressource Kubernetes.
|
|||||||
|
|
||||||
## Questions ouvertes
|
## Questions ouvertes
|
||||||
|
|
||||||
- **Quel ingress** remplace Traefik, et qui termine le TLS.
|
- **Quel ingress** remplace Traefik le jour de la bascule k3s. Qui termine le TLS est tranché par
|
||||||
|
l'[ADR 0007](../adr/0007-terminaison-tls-et-reverse-proxy-nginx.md), mais la réponse vaut pour la
|
||||||
|
topologie Compose, pas pour Kubernetes.
|
||||||
|
- **Quel nom de domaine public**, sans lequel Let's Encrypt reste hors d'atteinte et le certificat
|
||||||
|
reste auto-signé.
|
||||||
- **Quel registre d'images**, et comment il est alimenté sans CI.
|
- **Quel registre d'images**, et comment il est alimenté sans CI.
|
||||||
- **Quel stockage persistant** côté Kubernetes pour PostgreSQL, et si la base tourne dans le
|
- **Quel stockage persistant** côté Kubernetes pour PostgreSQL, et si la base tourne dans le
|
||||||
cluster ou à côté.
|
cluster ou à côté.
|
||||||
|
|||||||
@@ -146,6 +146,7 @@ Deux fichiers d'environnement, deux usages : `.env` à la racine alimente `docke
|
|||||||
| GET | `/api/v1/alerts` | Liste les alertes, filtrable par `site_id` et `severity`. `lecteur` | 401, 403, 422, 500 |
|
| GET | `/api/v1/alerts` | Liste les alertes, filtrable par `site_id` et `severity`. `lecteur` | 401, 403, 422, 500 |
|
||||||
| GET | `/api/v1/recommendations` | Liste les recommandations. `lecteur` | 401, 403, 500 |
|
| GET | `/api/v1/recommendations` | Liste les recommandations. `lecteur` | 401, 403, 500 |
|
||||||
| GET | `/api/v1/recommendations/{recommendation_id}` | Décrit une recommandation. `lecteur` | 401, 403, 404, 422, 500 |
|
| GET | `/api/v1/recommendations/{recommendation_id}` | Décrit une recommandation. `lecteur` | 401, 403, 404, 422, 500 |
|
||||||
|
| POST | `/api/v1/recommendations/generate` | Applique le moteur de règles aux alertes, filtrable par `site_id`. `admin` | 401, 403, 422, 500 |
|
||||||
| GET | `/api/v1/stats/summary` | Résume la consommation instantanée du parc. `lecteur` | 401, 403, 500 |
|
| GET | `/api/v1/stats/summary` | Résume la consommation instantanée du parc. `lecteur` | 401, 403, 500 |
|
||||||
| GET | `/api/v1/readings` | Historique des lectures, filtrable par `site_id`, fenêtre `start`/`end` (24h par défaut, 90 jours maximum) et paginé par `limit`/`offset`. `lecteur` | 400, 401, 403, 422, 500 |
|
| GET | `/api/v1/readings` | Historique des lectures, filtrable par `site_id`, fenêtre `start`/`end` (24h par défaut, 90 jours maximum) et paginé par `limit`/`offset`. `lecteur` | 400, 401, 403, 422, 500 |
|
||||||
| GET | `/api/v1/sensors/status` | État de santé des capteurs par site, dérivé de la dernière lecture. `admin` | 401, 403, 500 |
|
| GET | `/api/v1/sensors/status` | État de santé des capteurs par site, dérivé de la dernière lecture. `admin` | 401, 403, 500 |
|
||||||
@@ -194,6 +195,21 @@ plutôt qu'un statut inventé : le domaine `available`/`insufficient_data`/`erro
|
|||||||
LightGBM elle-même ; elle lit ce que le pipeline de scoring a déjà écrit, cf.
|
LightGBM elle-même ; elle lit ce que le pipeline de scoring a déjà écrit, cf.
|
||||||
[ML-START.md](../../ML-START.md) section 3.
|
[ML-START.md](../../ML-START.md) section 3.
|
||||||
|
|
||||||
|
`POST /recommendations/generate` est la seule route d'écriture métier du contrat. Elle applique
|
||||||
|
le moteur de règles d'`app/services/recommendation_rules.py` aux lignes d'`alert`, sans modèle ni
|
||||||
|
feature ML : le catalogue `REGLES` associe à chaque type et à chaque gravité d'alerte une action et
|
||||||
|
son explication, et une même alerte peut en déclencher plusieurs, comme le prévoit
|
||||||
|
[40-data.md](40-data.md). L'idempotence est portée par la base, pas par le service :
|
||||||
|
`RecommendationRepository.create_missing()` insère en `ON CONFLICT DO NOTHING` sur
|
||||||
|
`uq_recommendation_alert_rule`, donc rejouer la génération sur les mêmes alertes ne crée rien et
|
||||||
|
le rapport rendu distingue `recommendations_created` de `already_present`. Le même traitement est
|
||||||
|
disponible hors HTTP par `python -m app.cli generate-recommendations` (cible `make
|
||||||
|
recommendations`), sur le patron de `make ml-score`. Le choix de loger le moteur dans le backend
|
||||||
|
plutôt que dans `ml/` est justifié par l'[ADR 0006](../adr/0006-moteur-de-regles-dans-le-backend.md).
|
||||||
|
Les alertes traitées sont celles qu'écrit la détection interne (#104, section ci-dessous) : la
|
||||||
|
génération ne rend donc de recommandations qu'une fois la détection passée. L'insertion est
|
||||||
|
découpée en lots de `TAILLE_DE_LOT` lignes, asyncpg plafonnant une requête à 32 767 paramètres.
|
||||||
|
|
||||||
`GET /readings` reprend le même gabarit mais s'en écarte sur un point : `reading` est l'hypertable,
|
`GET /readings` reprend le même gabarit mais s'en écarte sur un point : `reading` est l'hypertable,
|
||||||
donc la seule table métier pouvant porter des années d'historique, ce que `docs/architecture/
|
donc la seule table métier pouvant porter des années d'historique, ce que `docs/architecture/
|
||||||
owasp-traceabilite.md` documentait comme un risque ouvert (API4, aucune pagination plafonnée ni
|
owasp-traceabilite.md` documentait comme un risque ouvert (API4, aucune pagination plafonnée ni
|
||||||
@@ -207,6 +223,53 @@ par exemple `limit` hors bornes). Un datetime sans fuseau dans `start`/`end` est
|
|||||||
l'UTC plutôt que rejeté : le comparer tel quel à `reading.timestamp` (`timestamptz`) échouerait
|
l'UTC plutôt que rejeté : le comparer tel quel à `reading.timestamp` (`timestamptz`) échouerait
|
||||||
côté pilote, en `500` plutôt qu'un refus propre.
|
côté pilote, en `500` plutôt qu'un refus propre.
|
||||||
|
|
||||||
|
### Détection d'alertes internes
|
||||||
|
|
||||||
|
`AlertService` n'est plus lecture seule : `AlertService.detect()` compare les `reading` (et, pour
|
||||||
|
le type `anomaly`, les `prediction`) des dernières 48h (`LOOKBACK`) à cinq règles et enregistre une
|
||||||
|
ligne `alert` par déclenchement, avec `source="enervision"`. `metric`/`value`/`threshold` gardent
|
||||||
|
leur sens dans chaque règle plutôt que d'être laissés à `null` par commodité :
|
||||||
|
|
||||||
|
| `type` | Règle | `value` / `threshold` |
|
||||||
|
|---|---|---|
|
||||||
|
| `threshold` | `reading.consumption_kw` dépasse `site.capacity_kw` (site sans capacité déclarée : ignoré) | mesure / capacité du site |
|
||||||
|
| `spike` | Variation relative ≥ 50% (`SPIKE_RELATIVE_THRESHOLD`) entre deux lectures consécutives du même site, ou redémarrage direct à une valeur positive depuis zéro (`critical`) | mesure actuelle / mesure précédente |
|
||||||
|
| `anomaly` | Écart relatif ≥ 30% (`ANOMALY_RELATIVE_THRESHOLD`) entre `reading.consumption_kwh` et la `prediction` du même site dont `target_at == timestamp` | mesure réelle / valeur prédite |
|
||||||
|
| `outage` | Aucune lecture depuis plus de 3h (`OUTAGE_THRESHOLD`, 3x la cadence horaire nominale), ou site jamais lu | `null` / `null` |
|
||||||
|
| `sensor` | `reading.data_quality` ∈ `partial`/`degraded`/`critical` | `null` / `null` |
|
||||||
|
|
||||||
|
La sévérité de chaque alerte (hors `sensor`, dérivée directement de `data_quality`) suit le même
|
||||||
|
barème par ratio observé/seuil : `low` sous 1.2, `medium` sous 1.5, `high` sous 2.0, `critical`
|
||||||
|
au-delà. `AlertRepository.create_many()` insère par lot avec `ON CONFLICT DO NOTHING` sur
|
||||||
|
`uq_alert_source_reference`, et `source_alert_id` est construit de façon déterministe (règle +
|
||||||
|
horodatage) : rejouer la détection sur une fenêtre déjà analysée ne duplique donc jamais une
|
||||||
|
alerte.
|
||||||
|
|
||||||
|
**Pièges de tri corrigés en revue** : `reading`/`prediction` n'ont pas d'unicité sur leur couple
|
||||||
|
métier (`uq_reading_source` autorise deux `source` différentes au même `site_id`+`timestamp`,
|
||||||
|
`prediction` n'a aucune contrainte sur `(site_id, target_at)`, chaque run de scoring gardant sa
|
||||||
|
propre ligne). `ReadingRepository.list_since()`/`PredictionRepository.list_since()` départagent
|
||||||
|
donc les égalités par `reading_id`/`prediction_id` croissant, comme le font déjà
|
||||||
|
`latest_by_site()`/`latest_for_site()` sur les mêmes tables ; sans ce départage, l'ordre entre
|
||||||
|
lignes à égalité n'est pas garanti d'un appel à l'autre, et `_detect_spike`/`_detect_anomaly`
|
||||||
|
auraient pu comparer des lectures/choisir une prévision au hasard. `_detect_spike` ignore en plus
|
||||||
|
explicitement les paires de lectures qui partagent le même horodatage (deux `source` pour un seul
|
||||||
|
instant réel, pas une variation).
|
||||||
|
|
||||||
|
La détection s'exécute dans `apps/backend`, puisque les règles s'appuient sur les repositories ORM
|
||||||
|
de l'API plutôt que sur une connexion SQL directe (contrairement à
|
||||||
|
`app/etl/historical_import.py`) : `uv run python -m app.detection.internal_alerts [--site-id ...]
|
||||||
|
[--now ...]`, ou `make detect-alerts`. Cette issue (#104) débloquait #38 (moteur de règles pour
|
||||||
|
recommandations), dont la FK `alert_id` `NOT NULL` n'avait jusqu'ici rien à référencer côté
|
||||||
|
`source="enervision"`.
|
||||||
|
|
||||||
|
Depuis l'issue #116, le lancement n'est plus manuel : le DAG Airflow `alertes` enchaîne cette
|
||||||
|
détection et la génération des recommandations, toutes les heures à la quinzième minute. Airflow
|
||||||
|
exécute le code du backend en sous-processus, dans son propre environnement, ce que décide
|
||||||
|
l'[ADR 0008](../adr/0008-airflow-execute-le-code-du-backend.md) ; le détail de l'ordonnancement est
|
||||||
|
dans [10-infra.md](10-infra.md). La ligne de commande reste le moyen de rejouer une fenêtre
|
||||||
|
passée, ce que `--now` permet et que le DAG ne fait pas.
|
||||||
|
|
||||||
### `/health/ready`
|
### `/health/ready`
|
||||||
|
|
||||||
Cette sonde porte une garde décrite dans l'[ADR 0001](../adr/0001-postgresql-timescaledb.md) : un
|
Cette sonde porte une garde décrite dans l'[ADR 0001](../adr/0001-postgresql-timescaledb.md) : un
|
||||||
@@ -334,9 +397,12 @@ Le reste, par ordre de surface :
|
|||||||
de secret au logger, la deuxième de ne jamais mettre un jeton dans une URL.
|
de secret au logger, la deuxième de ne jamais mettre un jeton dans une URL.
|
||||||
- En-têtes posés par l'application : `X-Content-Type-Options`, `X-Frame-Options`,
|
- En-têtes posés par l'application : `X-Content-Type-Options`, `X-Frame-Options`,
|
||||||
`Referrer-Policy`, plus `Cache-Control: no-store` sur `/auth/*`. HSTS et CSP appartiennent au
|
`Referrer-Policy`, plus `Cache-Control: no-store` sur `/auth/*`. HSTS et CSP appartiennent au
|
||||||
terminateur TLS, que l'application ne connaît pas.
|
terminateur TLS, que l'application ne connaît pas : le reverse proxy les pose
|
||||||
|
([ADR 0007](../adr/0007-terminaison-tls-et-reverse-proxy-nginx.md)).
|
||||||
- Le conteneur tourne en utilisateur non-root, avec un `HEALTHCHECK` sur `/api/v1/health/live`.
|
- Le conteneur tourne en utilisateur non-root, avec un `HEALTHCHECK` sur `/api/v1/health/live`.
|
||||||
- Ni limitation de débit au frontal, ni TLS, ni journalisation des accès applicative.
|
- TLS, limitation de débit au frontal et journal d'accès sont portés par le reverse proxy.
|
||||||
|
`APP_TRUST_PROXY_HEADERS` doit alors valoir vrai, sinon le compteur par IP devient global.
|
||||||
|
- Pas de journalisation des accès applicative.
|
||||||
|
|
||||||
## Observabilité
|
## Observabilité
|
||||||
|
|
||||||
|
|||||||
@@ -97,11 +97,11 @@ En développement, `proxy.conf.json` redirige tout `/api` vers `http://localhost
|
|||||||
qui évite le CORS sur le poste, et c'est pourquoi `environment.development.ts` se contente d'un
|
qui évite le CORS sur le poste, et c'est pourquoi `environment.development.ts` se contente d'un
|
||||||
`apiUrl` relatif, `/api/v1`.
|
`apiUrl` relatif, `/api/v1`.
|
||||||
|
|
||||||
En production, il n'y a pas de proxy, mais `environment.ts` porte lui aussi un `apiUrl` relatif
|
En production, `environment.ts` porte lui aussi un `apiUrl` relatif (`/api/v1`) plutôt qu'une URL
|
||||||
(`/api/v1`) plutôt qu'une URL absolue : la dette qui pointait en dur sur
|
absolue : la dette qui pointait en dur sur `http://localhost:8000/api/v1` a été corrigée. Un build
|
||||||
`http://localhost:8000/api/v1` a été corrigée. Un build de production sert donc l'appel `/api/v1/...`
|
de production sert donc l'appel `/api/v1/...` sur son propre origin, et c'est le **reverse proxy**
|
||||||
sur son propre origin, ce qui suppose qu'un ingress ou un reverse proxy route `/api` vers le
|
qui route `/api` vers le backend : `location /api/` dans `infra/proxy/conf.d/enervision.conf`, voir
|
||||||
backend une fois déployé — question toujours ouverte dans [10-infra.md](10-infra.md).
|
[10-infra.md](10-infra.md) et l'[ADR 0007](../adr/0007-terminaison-tls-et-reverse-proxy-nginx.md).
|
||||||
|
|
||||||
## Exécution
|
## Exécution
|
||||||
|
|
||||||
@@ -118,13 +118,14 @@ le message d'erreur arrive avant toute compilation. Un poste en 22.21 ou en 24.1
|
|||||||
tester ni construire le frontend.
|
tester ni construire le frontend.
|
||||||
|
|
||||||
Le frontend a ses cibles dans le `Makefile` racine (`install-frontend`, `dev-frontend`,
|
Le frontend a ses cibles dans le `Makefile` racine (`install-frontend`, `dev-frontend`,
|
||||||
englobées par `install` et `dev`), mais **aucun service dans `docker-compose.yml`** : en
|
englobées par `install` et `dev`). En développement il tourne directement via `npm`, depuis
|
||||||
développement il tourne toujours directement via `npm`, depuis `apps/frontend`. Le port 4200
|
`apps/frontend` : le port 4200 n'apparaît dans le compose que comme valeur par défaut
|
||||||
n'apparaît dans le compose que comme valeur par défaut d'`APP_CORS_ORIGINS`, côté backend.
|
d'`APP_CORS_ORIGINS`, côté backend.
|
||||||
|
|
||||||
Un `Dockerfile` frontend existe sur la branche `feat/pipeline-cd`, mais il est mono-étage et sans
|
Le service `frontend` du `docker-compose.yml` sert le build statique par le nginx de
|
||||||
`CMD` : il construit sans rien servir. Le `README.md` de l'application demande un multi-étage
|
`apps/frontend/Dockerfile`, multi-étage, qui **écoute sur 3000**. En déploiement il n'est plus
|
||||||
avec un service statique, il reste à écrire.
|
publié du tout : le reverse proxy est seul à sortir sur le réseau, et l'atteint par le réseau
|
||||||
|
Compose.
|
||||||
|
|
||||||
## Sécurité
|
## Sécurité
|
||||||
|
|
||||||
@@ -133,6 +134,13 @@ avec un service statique, il reste à écrire.
|
|||||||
`/sites`, `authInterceptor` pose le jeton porteur sur les requêtes sortantes et déclenche le
|
`/sites`, `authInterceptor` pose le jeton porteur sur les requêtes sortantes et déclenche le
|
||||||
rafraîchissement sur 401. Détail complet dans
|
rafraîchissement sur 401. Détail complet dans
|
||||||
[31-contrat-authentification.md](31-contrat-authentification.md).
|
[31-contrat-authentification.md](31-contrat-authentification.md).
|
||||||
|
- **La CSP posée par le reverse proxy contraint le build.** `script-src 'self'` interdit les
|
||||||
|
gestionnaires d'événements en ligne ; l'inlining du CSS critique en produisait un
|
||||||
|
(`<link media="print" onload="this.media='all'">`), ce qui aurait laissé l'application sans
|
||||||
|
style derrière le proxy. D'où `optimization.styles.inlineCritical: false` dans la configuration
|
||||||
|
de production d'`angular.json`. La contrepartie est un rendu non stylé très bref au premier
|
||||||
|
affichage. `style-src` conserve `'unsafe-inline'` : Angular injecte les styles de composants à
|
||||||
|
l'exécution, et s'en passer demanderait un `ngCspNonce` que le SPA statique ne peut pas produire.
|
||||||
|
|
||||||
## Tests
|
## Tests
|
||||||
|
|
||||||
|
|||||||
@@ -129,18 +129,18 @@ n'est pas envoyé et le rafraîchissement échoue toujours.
|
|||||||
En développement, `proxy.conf.json` fait passer `/api` par `localhost:4200`, donc tout est
|
En développement, `proxy.conf.json` fait passer `/api` par `localhost:4200`, donc tout est
|
||||||
**même origine** et le cookie marche sans rien configurer.
|
**même origine** et le cookie marche sans rien configurer.
|
||||||
|
|
||||||
En production, `src/environments/environment.ts` contient encore le gabarit
|
En déploiement, les deux conditions sont désormais remplies par le reverse proxy
|
||||||
`http://localhost:8000/api/v1`, en HTTP simple et sur une autre origine. **Dans cet état, aucun
|
([ADR 0007](../adr/0007-terminaison-tls-et-reverse-proxy-nginx.md)) : `environment.ts` porte un
|
||||||
cookie `Secure` ne sera posé et l'authentification ne fonctionnera pas.**
|
`apiUrl` relatif, `/api/v1`, et le proxy sert le SPA sur `/` et l'API sur `/api/` **sous la même
|
||||||
|
origine, en HTTPS**. C'est cela, et rien d'autre, qui rend le cookie `__Secure-ev_refresh`
|
||||||
|
utilisable : servi en HTTP simple ou depuis une autre origine, il n'est jamais posé et
|
||||||
|
l'authentification ne survit pas à un rechargement de page.
|
||||||
|
|
||||||
Deux corrections, à faire avant la démonstration :
|
Ce qui reste à surveiller : le certificat est auto-signé tant qu'aucun domaine public ne résout
|
||||||
|
vers la machine. Un navigateur qui refuse l'exception refusera aussi le cookie.
|
||||||
1. passer `apiUrl` à `/api/v1` et servir le SPA et l'API sous la même origine, via un
|
|
||||||
`location /api` dans le `nginx.conf` du conteneur frontend ou via l'ingress ;
|
|
||||||
2. servir en HTTPS.
|
|
||||||
|
|
||||||
Et au moins une fois avant la soutenance, lancer le front **sans le proxy**, en cross-origin
|
Et au moins une fois avant la soutenance, lancer le front **sans le proxy**, en cross-origin
|
||||||
réel : c'est le seul moyen d'exercer le préflight CORS et `SameSite`, que le proxy masque.
|
réel : c'est le seul moyen d'exercer le préflight CORS et `SameSite`, que la même origine masque.
|
||||||
|
|
||||||
## Origines autorisées
|
## Origines autorisées
|
||||||
|
|
||||||
|
|||||||
+359
-53
@@ -6,10 +6,18 @@ système qui en découle.
|
|||||||
|
|
||||||
## Ce que couvre ce document
|
## Ce que couvre ce document
|
||||||
|
|
||||||
**Dix tables applicatives existent** : quatre pour l'authentification, six pour les données
|
**Douze tables applicatives existent** : six pour l'authentification et six pour les données
|
||||||
d'énergie, dont l'hypertable `reading`. Les sections marquées `Fait` relèvent le code. Celles
|
d'énergie, dont l'hypertable `reading`.
|
||||||
marquées `Cible` décrivent ce qui n'est pas écrit, au premier rang desquelles la chaîne
|
|
||||||
d'ingestion, les agrégats continus, la compression et la rétention.
|
Les sections marquées `Fait` relèvent du code déjà implémenté. Les sections marquées `Cible`
|
||||||
|
décrivent les éléments prévus mais pas encore réalisés.
|
||||||
|
|
||||||
|
L'ingestion des **mesures** est implémentée pour les deux sources du MVP, le dataset CSV/JSON et
|
||||||
|
l'API Mock. Celle des **alertes** de l'API Mock, `/alerts`, reste à faire : voir
|
||||||
|
l'[ADR 0006](../adr/0006-moteur-de-regles-dans-le-backend.md). Les alertes `source='enervision'`,
|
||||||
|
elles, sont produites par la détection interne, désormais ordonnancée par le DAG Airflow `alertes`
|
||||||
|
(issue #116). L'orchestration de l'ingestion, les agrégats continus, la compression et la
|
||||||
|
rétention restent des cibles.
|
||||||
|
|
||||||
## Trois emplacements, trois rôles
|
## Trois emplacements, trois rôles
|
||||||
|
|
||||||
@@ -35,8 +43,16 @@ Statut : `Fait`.
|
|||||||
- `db/init/100-extensions.sql` crée l'extension `timescaledb`.
|
- `db/init/100-extensions.sql` crée l'extension `timescaledb`.
|
||||||
- `db/init/110-test-database.sql` crée `enervision_test`, dont le nom est attendu en dur par
|
- `db/init/110-test-database.sql` crée `enervision_test`, dont le nom est attendu en dur par
|
||||||
`apps/backend/tests/conftest.py`.
|
`apps/backend/tests/conftest.py`.
|
||||||
- Cinq révisions Alembic. La première, `5353c0e4f094`, **ne crée aucune table** : elle
|
- Six révisions Alembic sont actuellement appliquées.
|
||||||
établit `alembic_version` et refuse de s'appliquer si l'extension manque :
|
- La première, `5353c0e4f094`, **ne crée aucune table** : elle établit `alembic_version`
|
||||||
|
et refuse de s'appliquer si l'extension TimescaleDB manque.
|
||||||
|
- Les révisions suivantes créent les tables liées à l'authentification :
|
||||||
|
`app_user`, `login_attempt`, `audit_log` et `refresh_token`.
|
||||||
|
- La révision `e6d2026091501` crée les six tables Data et déclare l'hypertable `reading`.
|
||||||
|
- La révision `c0adab96238c` ajoute les tables `password_reset_attempt`
|
||||||
|
et `password_reset_token`.
|
||||||
|
|
||||||
|
La garde de la première migration est :
|
||||||
|
|
||||||
```sql
|
```sql
|
||||||
IF NOT EXISTS (SELECT 1 FROM pg_extension WHERE extname = 'timescaledb') THEN
|
IF NOT EXISTS (SELECT 1 FROM pg_extension WHERE extname = 'timescaledb') THEN
|
||||||
@@ -47,37 +63,58 @@ END IF;
|
|||||||
Cette garde forme paire avec le 503 de `/api/v1/health/ready`. Un bootstrap sauté ne se voit pas
|
Cette garde forme paire avec le 503 de `/api/v1/health/ready`. Un bootstrap sauté ne se voit pas
|
||||||
au démarrage de l'API : ces deux gardes le rendent visible tôt, des deux côtés.
|
au démarrage de l'API : ces deux gardes le rendent visible tôt, des deux côtés.
|
||||||
|
|
||||||
Les trois suivantes créent les tables de l'authentification, décrites plus bas : `app_user`,
|
|
||||||
puis `login_attempt` et `audit_log`, puis `refresh_token`. La cinquième, `e6d2026091501`, crée
|
|
||||||
les six tables de données décrites en fin de document et déclare l'hypertable `reading`.
|
|
||||||
|
|
||||||
## Cycle de vie d'une mesure
|
## Cycle de vie d'une mesure
|
||||||
|
|
||||||
Statut : `Cible`, sauf l'hypertable `reading` qui existe. Ni l'ingestion, ni les agrégats
|
Statut : `Partiellement fait`.
|
||||||
continus, ni la compression, ni la rétention ne sont écrits.
|
|
||||||
|
Les mécanismes d'ingestion sont maintenant implémentés pour les deux sources de données du MVP :
|
||||||
|
|
||||||
|
- le dataset historique CSV/JSON avec `historical_import.py` ;
|
||||||
|
- l'API Mock avec `mock_api_import.py`.
|
||||||
|
|
||||||
|
Les traitements sont actuellement exécutables directement depuis le backend.
|
||||||
|
|
||||||
|
L'orchestration avec Apache Airflow reste une cible, tout comme les agrégats continus,
|
||||||
|
la compression et les politiques de rétention.
|
||||||
|
|
||||||
```mermaid
|
```mermaid
|
||||||
flowchart LR
|
flowchart LR
|
||||||
src["Source de mesures"] -.-> ing["Ingestion Airflow"]
|
csv["CSV + JSON"] --> hist["historical_import.py"]
|
||||||
ing -.-> hy[("Hypertable reading")]
|
mock["API Mock"] --> api["mock_api_import.py"]
|
||||||
|
|
||||||
|
hist --> hy[("Hypertable reading")]
|
||||||
|
api --> hy
|
||||||
|
|
||||||
|
airflow["Airflow"] -.-> hist
|
||||||
|
airflow -.-> api
|
||||||
|
|
||||||
hy -.-> agg[("Agrégat continu")]
|
hy -.-> agg[("Agrégat continu")]
|
||||||
hy -.-> comp["Compression"]
|
hy -.-> comp["Compression"]
|
||||||
hy -.-> ret["Rétention"]
|
hy -.-> ret["Rétention"]
|
||||||
agg -.-> api["API FastAPI"]
|
|
||||||
|
agg -.-> backend["API FastAPI"]
|
||||||
agg -.-> graf["Grafana"]
|
agg -.-> graf["Grafana"]
|
||||||
```
|
```
|
||||||
|
|
||||||
Les lectures de l'API et de Grafana visent l'agrégat continu, pas la table brute : c'est tout
|
Les flèches pleines représentent les traitements actuellement implémentés.
|
||||||
|
|
||||||
|
Les flèches pointillées représentent les éléments encore prévus comme cibles.
|
||||||
|
|
||||||
|
Les lectures de l'API et de Grafana viseront l'agrégat continu, pas la table brute : c'est tout
|
||||||
l'intérêt de TimescaleDB, et cela doit rester vrai quand les volumes augmenteront.
|
l'intérêt de TimescaleDB, et cela doit rester vrai quand les volumes augmenteront.
|
||||||
|
|
||||||
## Tables d'authentification
|
## Tables d'authentification
|
||||||
|
|
||||||
Statut : `Fait`. Elles ne sont pas des séries temporelles et n'ont donc rien à voir avec les
|
Statut : `Fait`.
|
||||||
hypertables ; elles vivent dans `apps/backend/alembic/`, qui porte le schéma exposé par l'API.
|
|
||||||
|
Elles ne sont pas des séries temporelles et n'ont donc rien à voir avec les hypertables ;
|
||||||
|
elles vivent dans `apps/backend/alembic/`, qui porte le schéma exposé par l'API.
|
||||||
|
|
||||||
```mermaid
|
```mermaid
|
||||||
erDiagram
|
erDiagram
|
||||||
APP_USER ||--o{ REFRESH_TOKEN : ouvre
|
APP_USER ||--o{ REFRESH_TOKEN : ouvre
|
||||||
|
APP_USER ||--o{ PASSWORD_RESET_TOKEN : recoit
|
||||||
|
|
||||||
APP_USER {
|
APP_USER {
|
||||||
uuid id PK
|
uuid id PK
|
||||||
string email UK
|
string email UK
|
||||||
@@ -88,6 +125,7 @@ erDiagram
|
|||||||
bool must_change_password
|
bool must_change_password
|
||||||
timestamptz credentials_changed_at
|
timestamptz credentials_changed_at
|
||||||
}
|
}
|
||||||
|
|
||||||
REFRESH_TOKEN {
|
REFRESH_TOKEN {
|
||||||
uuid id PK
|
uuid id PK
|
||||||
uuid family_id
|
uuid family_id
|
||||||
@@ -99,6 +137,7 @@ erDiagram
|
|||||||
text revoked_reason
|
text revoked_reason
|
||||||
uuid replaced_by
|
uuid replaced_by
|
||||||
}
|
}
|
||||||
|
|
||||||
LOGIN_ATTEMPT {
|
LOGIN_ATTEMPT {
|
||||||
bigint id PK
|
bigint id PK
|
||||||
timestamptz occurred_at
|
timestamptz occurred_at
|
||||||
@@ -106,6 +145,7 @@ erDiagram
|
|||||||
inet client_ip
|
inet client_ip
|
||||||
text outcome
|
text outcome
|
||||||
}
|
}
|
||||||
|
|
||||||
AUDIT_LOG {
|
AUDIT_LOG {
|
||||||
bigint id PK
|
bigint id PK
|
||||||
timestamptz occurred_at
|
timestamptz occurred_at
|
||||||
@@ -114,9 +154,27 @@ erDiagram
|
|||||||
text action
|
text action
|
||||||
jsonb detail
|
jsonb detail
|
||||||
}
|
}
|
||||||
|
|
||||||
|
PASSWORD_RESET_ATTEMPT {
|
||||||
|
bigint id PK
|
||||||
|
timestamptz occurred_at
|
||||||
|
string email_tried
|
||||||
|
inet client_ip
|
||||||
|
}
|
||||||
|
|
||||||
|
PASSWORD_RESET_TOKEN {
|
||||||
|
uuid id PK
|
||||||
|
uuid user_id FK
|
||||||
|
bytea token_hash UK
|
||||||
|
timestamptz issued_at
|
||||||
|
timestamptz expires_at
|
||||||
|
timestamptz consumed_at
|
||||||
|
inet client_ip
|
||||||
|
text user_agent
|
||||||
|
}
|
||||||
```
|
```
|
||||||
|
|
||||||
Quatre choix de modélisation portent une intention et se défendent seuls :
|
Six choix de modélisation portent une intention et se défendent seuls :
|
||||||
|
|
||||||
- **`app_user` et non `user`** : `user` est un mot réservé PostgreSQL, raccourci de
|
- **`app_user` et non `user`** : `user` est un mot réservé PostgreSQL, raccourci de
|
||||||
`CURRENT_USER`. Le nom rappelle en prime qu'il s'agit d'un compte applicatif, par opposition
|
`CURRENT_USER`. Le nom rappelle en prime qu'il s'agit d'un compte applicatif, par opposition
|
||||||
@@ -129,6 +187,10 @@ Quatre choix de modélisation portent une intention et se défendent seuls :
|
|||||||
- **`audit_log.actor_id` n'a aucune clé étrangère**, et `actor_email` comme `actor_role` sont
|
- **`audit_log.actor_id` n'a aucune clé étrangère**, et `actor_email` comme `actor_role` sont
|
||||||
dénormalisés. Une contrainte `ON DELETE SET NULL` déclencherait un `UPDATE` que le déclencheur
|
dénormalisés. Une contrainte `ON DELETE SET NULL` déclencherait un `UPDATE` que le déclencheur
|
||||||
d'ajout seul refuserait. Voir l'[ADR 0004](../adr/0004-journal-d-audit-en-ajout-seul.md).
|
d'ajout seul refuserait. Voir l'[ADR 0004](../adr/0004-journal-d-audit-en-ajout-seul.md).
|
||||||
|
- **`password_reset_token` ne stocke que l'empreinte du jeton**, jamais sa valeur. Une fuite de
|
||||||
|
la table ne donne donc rien à rejouer.
|
||||||
|
- **`password_reset_attempt` est séparée de `audit_log`** : son volume est piloté par le
|
||||||
|
demandeur, comme celui de `login_attempt`, donc elle doit pouvoir se purger.
|
||||||
|
|
||||||
`audit_log` porte deux déclencheurs qui refusent `UPDATE`, `DELETE` et `TRUNCATE`. Elle n'est
|
`audit_log` porte deux déclencheurs qui refusent `UPDATE`, `DELETE` et `TRUNCATE`. Elle n'est
|
||||||
donc **pas** une hypertable : une politique de rétention émettrait des `DELETE` qu'ils
|
donc **pas** une hypertable : une politique de rétention émettrait des `DELETE` qu'ils
|
||||||
@@ -137,8 +199,9 @@ piloté par l'attaquant.
|
|||||||
|
|
||||||
## Gabarit de révision créant une hypertable
|
## Gabarit de révision créant une hypertable
|
||||||
|
|
||||||
Conforme à la règle de l'ADR 0001 : table et hypertable dans la même révision. La révision
|
Conforme à la règle de l'ADR 0001 : table et hypertable dans la même révision.
|
||||||
`e6d2026091501` en est l'exemple réel, réduit ici à l'essentiel.
|
|
||||||
|
La révision `e6d2026091501` en est l'exemple réel, réduit ici à l'essentiel.
|
||||||
|
|
||||||
```python
|
```python
|
||||||
def upgrade() -> None:
|
def upgrade() -> None:
|
||||||
@@ -182,24 +245,29 @@ colonne de temps : les index déclarés dans la révision le couvrent déjà.
|
|||||||
|
|
||||||
## Questions ouvertes
|
## Questions ouvertes
|
||||||
|
|
||||||
Elles relèvent du jalon J2, « valider le périmètre retenu ». Le schéma est livré : ce qui suit
|
Elles relèvent du jalon J2, « valider le périmètre retenu ». Le schéma et l'ingestion sont
|
||||||
porte sur son exploitation, plus sur sa forme.
|
livrés : ce qui suit porte sur leur exploitation, plus sur leur forme.
|
||||||
|
|
||||||
- **Quelle granularité** à l'ingestion : la seconde, la minute, le quart d'heure.
|
- **Quelle granularité** conserver à long terme à l'ingestion : seconde, minute ou quart d'heure.
|
||||||
- **Quels agrégats continus**, et sur quelles fenêtres.
|
- **Quels agrégats continus** créer et sur quelles fenêtres.
|
||||||
- **Quelle profondeur de rétention** en données brutes, et à partir de quand on compresse.
|
- **Quelle profondeur de rétention** conserver en données brutes et à partir de quand compresser.
|
||||||
- **Multi-tenant ou non** : un site appartient-il à un client, et faut-il cloisonner les lectures.
|
- **Multi-tenant ou non** : un site appartient-il à un client et faut-il cloisonner les lectures.
|
||||||
|
|
||||||
## Modélisation détaillée des données
|
## Modélisation détaillée des données
|
||||||
|
|
||||||
Cette modélisation prend en compte les fichiers CSV historiques,
|
Cette modélisation prend en compte :
|
||||||
leurs métadonnées JSON et les données de l’API Mock.
|
|
||||||
Elle comprend six tables, depuis le stockage des mesures
|
- les fichiers CSV historiques ;
|
||||||
jusqu’aux recommandations proposées à l’utilisateur.
|
- leurs métadonnées JSON ;
|
||||||
|
- les données de l'API Mock.
|
||||||
|
|
||||||
|
Elle comprend six tables Data, depuis le stockage des mesures jusqu'aux recommandations proposées
|
||||||
|
à l'utilisateur.
|
||||||
|
|
||||||
### Schéma de données
|
### Schéma de données
|
||||||
|
|
||||||
Le diagramme ci-dessous présente les tables et leurs relations.
|
Le diagramme ci-dessous présente les tables et leurs relations.
|
||||||
|
|
||||||
La révision `e6d2026091501` les crée.
|
La révision `e6d2026091501` les crée.
|
||||||
|
|
||||||

|

|
||||||
@@ -208,21 +276,26 @@ La révision `e6d2026091501` les crée.
|
|||||||
|
|
||||||
### Description des tables
|
### Description des tables
|
||||||
|
|
||||||
Chaque table remplit un rôle précis dans le traitement et l’exploitation
|
Chaque table remplit un rôle précis dans le traitement et l'exploitation des données.
|
||||||
des données.
|
|
||||||
|
|
||||||
| Table | Rôle | Origine des informations |
|
| Table | Rôle | Origine des informations |
|
||||||
|---|---|---|
|
|---|---|---|
|
||||||
| `dataset` | Identifier les jeux historiques, retrouver leurs fichiers et conserver leurs métadonnées | Archive CSV/JSON et informations ajoutées lors de l’import |
|
| `dataset` | Identifier les jeux historiques, retrouver leurs fichiers et conserver leurs métadonnées | Archive CSV/JSON et informations ajoutées lors de l'import |
|
||||||
| `site` | Regrouper les informations des sites : identifiant, nom, type et caractéristiques disponibles | CSV et API Mock `/api/v1/sites` |
|
| `site` | Regrouper les informations des sites : identifiant, nom, type et caractéristiques disponibles | CSV et API Mock `/api/v1/sites` |
|
||||||
| `reading` | Stocker les mesures, leur provenance, leur qualité et les éventuelles valeurs imputées | CSV et API Mock `/current` et `/readings` |
|
| `reading` | Stocker les mesures, leur provenance, leur qualité et les éventuelles valeurs imputées | CSV et API Mock `/current` et `/readings` |
|
||||||
| `prediction` | Conserver les prévisions, leur période cible et la référence du modèle utilisé | Traitements ML d’EnerVision |
|
| `prediction` | Conserver les prévisions, leur période cible et la référence du modèle utilisé | Traitements ML d'EnerVision |
|
||||||
| `alert` | Enregistrer les alertes, leur type, leur gravité et leur message | API Mock `/alerts` et détections EnerVision |
|
| `alert` | Enregistrer les alertes, leur type, leur gravité et leur message | API Mock `/alerts` et détections EnerVision |
|
||||||
| `recommendation` | Proposer des actions et expliquer la règle qui les motive | Règles métier d’EnerVision |
|
| `recommendation` | Proposer des actions et expliquer la règle qui les motive | Règles métier d'EnerVision |
|
||||||
|
|
||||||
Les anomalies historiques décrites dans les JSON sont conservées
|
Les anomalies historiques décrites dans les JSON sont conservées dans `dataset.metadata`.
|
||||||
dans `dataset.metadata`. Elles servent à l’analyse des données
|
|
||||||
et ne sont pas considérées comme des alertes actuelles.
|
Elles servent à l'analyse des données et ne sont pas considérées comme des alertes actuelles.
|
||||||
|
|
||||||
|
Les lignes de `recommendation` sont écrites par le moteur de règles du backend
|
||||||
|
(`app/services/recommendation_rules.py`), déclenché par `POST /api/v1/recommendations/generate`,
|
||||||
|
par `make recommendations`, ou par la seconde tâche du DAG `alertes`, à partir des alertes déjà en
|
||||||
|
base. Le couple `(alert_id, rule_reference)` est unique : rejouer le moteur sur les mêmes alertes
|
||||||
|
n'ajoute aucune ligne.
|
||||||
|
|
||||||
### Relations entre les tables
|
### Relations entre les tables
|
||||||
|
|
||||||
@@ -234,13 +307,19 @@ et ne sont pas considérées comme des alertes actuelles.
|
|||||||
|
|
||||||
## Ingestion des données historiques
|
## Ingestion des données historiques
|
||||||
|
|
||||||
Le MVP EnerVision initialise les données énergétiques à partir du dataset fourni dans le cadre du projet.
|
Statut : `Fait`.
|
||||||
|
|
||||||
Le dataset de référence contient 122 647 mesures issues de 7 sites et couvre la période du 1er janvier 2023 au 31 décembre 2024.
|
Le MVP EnerVision initialise les données énergétiques à partir du dataset fourni dans le cadre
|
||||||
|
du projet.
|
||||||
|
|
||||||
Les fichiers sources CSV et JSON sont nécessaires uniquement pour l'initialisation des données. Ils ne sont pas versionnés dans Git et sont placés localement dans `data/raw/`.
|
Le dataset de référence contient 122 647 mesures issues de 7 sites et couvre la période
|
||||||
|
du 1er janvier 2023 au 31 décembre 2024.
|
||||||
|
|
||||||
### Architecture du flux
|
Les fichiers sources CSV et JSON sont nécessaires uniquement pour l'initialisation des données.
|
||||||
|
|
||||||
|
Ils ne sont pas versionnés dans Git et sont placés localement dans `data/raw/`.
|
||||||
|
|
||||||
|
### Architecture du flux historique
|
||||||
|
|
||||||
```text
|
```text
|
||||||
Dataset CSV + métadonnées JSON
|
Dataset CSV + métadonnées JSON
|
||||||
@@ -271,17 +350,26 @@ Dataset CSV + métadonnées JSON
|
|||||||
|
|
||||||
Le pipeline est développé en Python.
|
Le pipeline est développé en Python.
|
||||||
|
|
||||||
Pandas est utilisé pour l'extraction, la validation et la préparation des données. SQLAlchemy Async assure le chargement transactionnel dans PostgreSQL/TimescaleDB.
|
Pandas est utilisé pour l'extraction, la validation et la préparation des données.
|
||||||
|
|
||||||
|
SQLAlchemy Async assure le chargement transactionnel dans PostgreSQL/TimescaleDB.
|
||||||
|
|
||||||
Une empreinte SHA-256 permet d'identifier le dataset utilisé et d'assurer sa traçabilité.
|
Une empreinte SHA-256 permet d'identifier le dataset utilisé et d'assurer sa traçabilité.
|
||||||
|
|
||||||
Les valeurs manquantes sont conservées pendant l'ingestion afin de préserver les données sources. Aucune imputation n'est réalisée à cette étape.
|
Les valeurs manquantes sont conservées pendant l'ingestion afin de préserver les données sources.
|
||||||
|
|
||||||
|
Aucune imputation n'est réalisée à cette étape.
|
||||||
|
|
||||||
Le chargement des mesures est effectué par batches de 1 000 lignes.
|
Le chargement des mesures est effectué par batches de 1 000 lignes.
|
||||||
|
|
||||||
Les données provenant du dataset CSV sont identifiées par `source = "csv"` et associées à leur `dataset_id`.
|
Les données provenant du dataset CSV sont identifiées par :
|
||||||
|
|
||||||
### Résultats validés
|
```text
|
||||||
|
source = "csv"
|
||||||
|
dataset_id = identifiant du dataset
|
||||||
|
```
|
||||||
|
|
||||||
|
### Résultats validés pour l'historique
|
||||||
|
|
||||||
Le chargement de référence a permis d'obtenir :
|
Le chargement de référence a permis d'obtenir :
|
||||||
|
|
||||||
@@ -290,14 +378,232 @@ Le chargement de référence a permis d'obtenir :
|
|||||||
- 122 647 mesures ;
|
- 122 647 mesures ;
|
||||||
- 0 doublon détecté dans le dataset source.
|
- 0 doublon détecté dans le dataset source.
|
||||||
|
|
||||||
L'idempotence a également été vérifiée par une deuxième exécution du pipeline : aucune nouvelle mesure n'a été créée et le nombre de `reading` est resté à 122 647.
|
L'idempotence a également été vérifiée par une deuxième exécution du pipeline :
|
||||||
|
aucune nouvelle mesure n'a été créée et le nombre de `reading` est resté à 122 647.
|
||||||
|
|
||||||
La procédure détaillée d'installation, d'exécution, de validation et de contrôle du pipeline est disponible dans `etl/README.md`.
|
La procédure détaillée d'installation, d'exécution, de validation et de contrôle du pipeline
|
||||||
|
est disponible dans `etl/README.md`.
|
||||||
|
|
||||||
### Évolution prévue
|
## Ingestion depuis l'API Mock
|
||||||
|
|
||||||
L'étape suivante consiste à orchestrer les traitements Data avec Apache Airflow.
|
Statut : `Fait`.
|
||||||
|
|
||||||
L'orchestration réutilisera la logique ETL existante afin de séparer la logique de traitement de la planification, du suivi des exécutions et de la gestion des erreurs.
|
La deuxième source du pipeline Data est l'API Mock EnerVision.
|
||||||
|
|
||||||
Le pipeline servira ensuite de base à la préparation des données nécessaires au modèle de Machine Learning.
|
Le traitement est implémenté dans :
|
||||||
|
|
||||||
|
```text
|
||||||
|
apps/backend/app/etl/mock_api_import.py
|
||||||
|
```
|
||||||
|
|
||||||
|
### Endpoints utilisés
|
||||||
|
|
||||||
|
Le pipeline récupère les informations des sites depuis :
|
||||||
|
|
||||||
|
```text
|
||||||
|
GET /api/v1/sites
|
||||||
|
```
|
||||||
|
|
||||||
|
puis les mesures historiques simulées depuis :
|
||||||
|
|
||||||
|
```text
|
||||||
|
GET /api/v1/readings
|
||||||
|
```
|
||||||
|
|
||||||
|
Pour `/api/v1/readings`, les informations suivantes sont envoyées :
|
||||||
|
|
||||||
|
```text
|
||||||
|
site_id
|
||||||
|
start_time
|
||||||
|
end_time
|
||||||
|
limit
|
||||||
|
```
|
||||||
|
|
||||||
|
Les paramètres de ligne de commande disponibles pour l'import sont :
|
||||||
|
|
||||||
|
```text
|
||||||
|
--start-time
|
||||||
|
--end-time
|
||||||
|
--limit
|
||||||
|
--dry-run
|
||||||
|
```
|
||||||
|
|
||||||
|
### Flux d'ingestion API Mock
|
||||||
|
|
||||||
|
```text
|
||||||
|
API Mock
|
||||||
|
|
|
||||||
|
+-----+------+
|
||||||
|
| |
|
||||||
|
v v
|
||||||
|
/sites /readings
|
||||||
|
| |
|
||||||
|
+-----+------+
|
||||||
|
|
|
||||||
|
v
|
||||||
|
mock_api_import.py
|
||||||
|
|
|
||||||
|
v
|
||||||
|
Transformation
|
||||||
|
+ qualité data
|
||||||
|
|
|
||||||
|
v
|
||||||
|
PostgreSQL / TimescaleDB
|
||||||
|
| |
|
||||||
|
v v
|
||||||
|
site reading
|
||||||
|
```
|
||||||
|
|
||||||
|
Les informations des sites sont insérées ou mises à jour dans `site`.
|
||||||
|
|
||||||
|
Les mesures sont enregistrées dans l'hypertable `reading` avec :
|
||||||
|
|
||||||
|
```text
|
||||||
|
source = "api_history"
|
||||||
|
dataset_id = NULL
|
||||||
|
```
|
||||||
|
|
||||||
|
Les données provenant de l'API Mock ne sont donc pas associées à un enregistrement de la table
|
||||||
|
`dataset`.
|
||||||
|
|
||||||
|
La réponse source reçue depuis l'API est conservée dans :
|
||||||
|
|
||||||
|
```text
|
||||||
|
raw_data
|
||||||
|
```
|
||||||
|
|
||||||
|
### Frontière de confiance avec l'API Mock
|
||||||
|
|
||||||
|
L'API Mock de l'école n'a aucune authentification et expose un endpoint mutatif à quiconque. Sa
|
||||||
|
réponse est donc traitée comme une entrée hostile, conformément à API10 dans
|
||||||
|
[la traçabilité OWASP](owasp-traceabilite.md). Le risque premier n'est pas la fausse alerte,
|
||||||
|
c'est l'empoisonnement du jeu d'entraînement du modèle de prédiction.
|
||||||
|
|
||||||
|
Quatre garde-fous, tous dans `mock_api_import.py` :
|
||||||
|
|
||||||
|
| Garde-fou | Mise en œuvre |
|
||||||
|
|---|---|
|
||||||
|
| Timeout | `APP_MOCK_API_TIMEOUT_SECONDS`, dix secondes par défaut |
|
||||||
|
| Taille de tableau plafonnée | `MAX_SITES` sites, et au plus `--limit` mesures par site |
|
||||||
|
| Bornes physiques | `PHYSICAL_BOUNDS`, une plage par grandeur |
|
||||||
|
| Frontière d'anti-corruption | `build_site_row()` et `build_reading_row()`, qui ne recopient que les champs attendus |
|
||||||
|
|
||||||
|
Une valeur hors bornes, d'un type inattendu, `NaN` ou infinie devient `NULL`. Elle laisse sa
|
||||||
|
trace dans `null_reasons` sous la forme `out_of_physical_bounds:<colonne>`, et `data_quality`
|
||||||
|
descend à `degraded`. Une `data_quality` que `ck_reading_quality` refuserait devient `NULL`
|
||||||
|
plutôt que de faire échouer le lot entier. Dans tous les cas `raw_data` conserve la réponse
|
||||||
|
d'origine intacte : rien n'est perdu, seule son exploitation est bornée.
|
||||||
|
|
||||||
|
Le plafond de taille s'applique après désérialisation de la réponse. Borner le corps HTTP
|
||||||
|
lui-même demanderait une lecture en flux, et reste à faire.
|
||||||
|
|
||||||
|
### Qualité des données de l'API Mock
|
||||||
|
|
||||||
|
Les valeurs `NULL` ne sont pas remplacées pendant l'ingestion.
|
||||||
|
|
||||||
|
Les informations suivantes fournies par l'API sont conservées :
|
||||||
|
|
||||||
|
```text
|
||||||
|
data_quality
|
||||||
|
null_reasons
|
||||||
|
```
|
||||||
|
|
||||||
|
Cette conservation permet de distinguer une valeur manquante d'une valeur réelle égale à zéro
|
||||||
|
et de garder les informations liées aux éventuelles défaillances de capteurs.
|
||||||
|
|
||||||
|
Aucune imputation n'est réalisée pendant cette phase :
|
||||||
|
|
||||||
|
```text
|
||||||
|
imputed_values = NULL
|
||||||
|
imputation_method = NULL
|
||||||
|
```
|
||||||
|
|
||||||
|
### Validation de l'import API Mock
|
||||||
|
|
||||||
|
Un scénario de validation a été exécuté pour les 7 sites sur la période :
|
||||||
|
|
||||||
|
```text
|
||||||
|
15/06/2024 12:00 UTC
|
||||||
|
à
|
||||||
|
15/06/2024 13:00 UTC
|
||||||
|
```
|
||||||
|
|
||||||
|
avec :
|
||||||
|
|
||||||
|
```text
|
||||||
|
limit = 60
|
||||||
|
```
|
||||||
|
|
||||||
|
Résultat :
|
||||||
|
|
||||||
|
```text
|
||||||
|
7 sites
|
||||||
|
60 lectures par site
|
||||||
|
420 lectures récupérées
|
||||||
|
```
|
||||||
|
|
||||||
|
Les données ont été chargées dans PostgreSQL/TimescaleDB puis contrôlées directement en base.
|
||||||
|
|
||||||
|
Les contrôles ont confirmé :
|
||||||
|
|
||||||
|
- `source = "api_history"` ;
|
||||||
|
- `dataset_id = NULL` ;
|
||||||
|
- la conservation des valeurs `NULL` ;
|
||||||
|
- la conservation de `data_quality` ;
|
||||||
|
- la conservation de `null_reasons` ;
|
||||||
|
- la conservation de `raw_data`.
|
||||||
|
|
||||||
|
L'idempotence a été vérifiée en rejouant le même import.
|
||||||
|
|
||||||
|
Une mesure déjà présente n'est pas ajoutée une seconde fois.
|
||||||
|
|
||||||
|
Les tests automatisés couvrent également :
|
||||||
|
|
||||||
|
- la récupération des sites ;
|
||||||
|
- les paramètres envoyés à `/api/v1/readings` ;
|
||||||
|
- les réponses HTTP en erreur ;
|
||||||
|
- le format de la réponse ;
|
||||||
|
- la transformation des mesures ;
|
||||||
|
- les valeurs manquantes ;
|
||||||
|
- la qualité des données ;
|
||||||
|
- la conservation des données sources ;
|
||||||
|
- l'idempotence en base.
|
||||||
|
|
||||||
|
## Évolution prévue
|
||||||
|
|
||||||
|
La prochaine étape consiste à orchestrer les deux mécanismes d'ingestion avec Apache Airflow.
|
||||||
|
|
||||||
|
```text
|
||||||
|
CSV / JSON ----------------+
|
||||||
|
|
|
||||||
|
v
|
||||||
|
+------------------+
|
||||||
|
| Airflow |
|
||||||
|
+------------------+
|
||||||
|
|
|
||||||
|
+----------------+----------------+
|
||||||
|
| |
|
||||||
|
v v
|
||||||
|
historical_import.py mock_api_import.py
|
||||||
|
| |
|
||||||
|
+----------------+----------------+
|
||||||
|
|
|
||||||
|
v
|
||||||
|
PostgreSQL / TimescaleDB
|
||||||
|
```
|
||||||
|
|
||||||
|
Airflow servira à :
|
||||||
|
|
||||||
|
- planifier les traitements ;
|
||||||
|
- définir leur ordre d'exécution ;
|
||||||
|
- suivre leur état ;
|
||||||
|
- gérer et remonter les erreurs ;
|
||||||
|
- faciliter les exécutions récurrentes.
|
||||||
|
|
||||||
|
Airflow ne remplacera pas la logique ETL déjà implémentée.
|
||||||
|
|
||||||
|
Les scripts Python resteront responsables de l'extraction, de la validation, de la transformation
|
||||||
|
et du chargement des données.
|
||||||
|
|
||||||
|
Le pipeline servira ensuite de base à la préparation des données nécessaires au modèle
|
||||||
|
de Machine Learning.
|
||||||
|
|||||||
@@ -17,8 +17,11 @@ contredisent, c'est l'ADR qui fait foi et la vue qui est en retard.
|
|||||||
| [40-data.md](40-data.md) | Frontières `db/` et `alembic/`, cycle de vie d'une mesure, modèle |
|
| [40-data.md](40-data.md) | Frontières `db/` et `alembic/`, cycle de vie d'une mesure, modèle |
|
||||||
|
|
||||||
L'observabilité et la CI/CD n'ont pas de document propre : ce sont des sections des documents
|
L'observabilité et la CI/CD n'ont pas de document propre : ce sont des sections des documents
|
||||||
ci-dessus, tant que `monitoring/` et `etl/airflow/` ne contiennent que des `.gitkeep`. Elles en
|
ci-dessus, tant que `monitoring/` ne contient que des `.gitkeep`. Elles en sortiront le jour où
|
||||||
sortiront le jour où elles auront de la matière. Un fichier vide de plus n'aide personne.
|
elles auront de la matière. Un fichier vide de plus n'aide personne.
|
||||||
|
|
||||||
|
L'orchestration Airflow, elle, en a depuis les issues #115 et #116 : trois DAGs, leur image et
|
||||||
|
leurs contraintes sont décrits dans [10-infra.md](10-infra.md).
|
||||||
|
|
||||||
La sécurité applicative, elle, a désormais de la matière : la vue consolidée reste dans
|
La sécurité applicative, elle, a désormais de la matière : la vue consolidée reste dans
|
||||||
[00-vue-ensemble.md](00-vue-ensemble.md), le détail dans [20-backend.md](20-backend.md), la
|
[00-vue-ensemble.md](00-vue-ensemble.md), le détail dans [20-backend.md](20-backend.md), la
|
||||||
|
|||||||
@@ -41,22 +41,27 @@ lecture seule ; plusieurs lignes resteront à compléter une fois les endpoints
|
|||||||
| En-têtes `nosniff`, `DENY`, `no-referrer`, et `no-store` sur les routes d'authentification | `app/api/middleware.py` | A05 |
|
| En-têtes `nosniff`, `DENY`, `no-referrer`, et `no-store` sur les routes d'authentification | `app/api/middleware.py` | A05 |
|
||||||
| Refus de rétrograder ou désactiver le dernier administrateur actif | `app/services/user.py` | A04 Insecure Design |
|
| Refus de rétrograder ou désactiver le dernier administrateur actif | `app/services/user.py` | A04 Insecure Design |
|
||||||
| Amorçage du premier administrateur hors dépôt, mot de passe jamais dans `argv` ni dans Git | `app/cli.py` | A02, A05 |
|
| Amorçage du premier administrateur hors dépôt, mot de passe jamais dans `argv` ni dans Git | `app/cli.py` | A02, A05 |
|
||||||
|
| Réponse de l'API Mock bornée avant écriture : timeout, plafond de sites et de mesures, bornes physiques par grandeur, recopie des seuls champs attendus | `app/etl/mock_api_import.py` | API10 Unsafe Consumption of APIs |
|
||||||
| CI bloquante : format, lint avec règles Bandit, typage strict, tests avec seuil de couverture | `.github/workflows/backend.yml` | A06 Vulnerable and Outdated Components |
|
| CI bloquante : format, lint avec règles Bandit, typage strict, tests avec seuil de couverture | `.github/workflows/backend.yml` | A06 Vulnerable and Outdated Components |
|
||||||
|
| Terminaison TLS au frontal, redirection 80 vers 443, HSTS et CSP posés par le proxy, limitation de débit au frontal | `infra/proxy/conf.d/enervision.conf`, ADR 0007 | API8 Security Misconfiguration, A05 |
|
||||||
|
|
||||||
Note sur A06 : le jeu de règles `S` de ruff, déjà actif dans `pyproject.toml`, est le portage des
|
Note sur A06 : le jeu de règles `S` de ruff, déjà actif dans `pyproject.toml`, est le portage des
|
||||||
règles Bandit. Ajouter Bandit à la CI serait redondant, contrairement à ce qu'annonce l'EC01.
|
règles Bandit. Ajouter Bandit à la CI serait redondant, contrairement à ce qu'annonce l'EC01.
|
||||||
|
|
||||||
|
Note sur API8 : le transport est couvert, le certificat ne l'est qu'à moitié. Tant qu'aucun nom de
|
||||||
|
domaine public ne résout vers la machine, le défi HTTP-01 de Let's Encrypt ne peut pas aboutir et
|
||||||
|
le certificat servi reste auto-signé. Le chemin ACME est livré et documenté, pas exercé.
|
||||||
|
|
||||||
## Non couvert, et pourquoi
|
## Non couvert, et pourquoi
|
||||||
|
|
||||||
| Item | État | Raison |
|
| Item | État | Raison |
|
||||||
|---|---|---|
|
|---|---|---|
|
||||||
| **API1 Broken Object Level Authorization** | **ouvert** | Les rôles sont globaux, il n'y a pas de portée par site : `GET /sites/{site_id}` et `GET /recommendations/{recommendation_id}` répondent à tout compte `lecteur` pour n'importe quel site ou recommandation, sans vérifier une affectation compte-site qui n'existe pas encore. Un opérateur du site A pourra agir sur le site B dès que les endpoints d'écriture métier existeront. Correctif prévu : table d'affectation compte-site, contrôle d'appartenance dans la même dépendance que le contrôle de rôle. |
|
| **API1 Broken Object Level Authorization** | **ouvert** | Les rôles sont globaux, il n'y a pas de portée par site : `GET /sites/{site_id}` et `GET /recommendations/{recommendation_id}` répondent à tout compte `lecteur` pour n'importe quel site ou recommandation, sans vérifier une affectation compte-site qui n'existe pas encore. Un opérateur du site A pourra agir sur le site B dès que les endpoints d'écriture métier existeront. Correctif prévu : table d'affectation compte-site, contrôle d'appartenance dans la même dépendance que le contrôle de rôle. |
|
||||||
| **API4, lectures de séries temporelles** | **partiel** | `GET /readings` plafonne la fenêtre temporelle (90 jours) et la pagination (`limit` ≤ 2000), voir plus haut. Reste ouvert : pagination en `limit`/`offset` simple plutôt qu'en curseur (un `offset` élevé sur une fenêtre dense reste coûteux), et aucun `statement_timeout` au niveau de la connexion pour borner une requête individuelle si les plafonds au-dessus s'avéraient insuffisants. |
|
| **API4, lectures de séries temporelles** | **partiel** | `GET /readings` plafonne la fenêtre temporelle (90 jours) et la pagination (`limit` ≤ 2000), voir plus haut. Reste ouvert : pagination en `limit`/`offset` simple plutôt qu'en curseur (un `offset` élevé sur une fenêtre dense reste coûteux), et aucun `statement_timeout` au niveau de la connexion pour borner une requête individuelle si les plafonds au-dessus s'avéraient insuffisants. |
|
||||||
| **API8 Security Misconfiguration, transport** | **ouvert** | Pas de TLS, donc ni HSTS, ni cookie `Secure` réellement posé en production. Ils appartiennent au terminateur TLS, qui n'existe pas. |
|
| **API10 Unsafe Consumption of APIs** | **partiel, et spécifique à ce projet** | L'API Mock de l'école n'a aucune authentification, tourne en HTTP clair sur le réseau de l'école, et expose un endpoint mutatif à quiconque. Sa réponse est traitée comme une entrée hostile par `app/etl/mock_api_import.py`, son seul consommateur à ce jour : les quatre garde-fous attendus sont en place, voir la ligne correspondante plus haut. Reste ouvert : le plafond de taille s'applique après désérialisation de la réponse, borner le corps HTTP lui-même demanderait une lecture en flux ; et `APP_MOCK_API_BASE_URL` n'impose pas `https`, donc les identifiants Basic partiraient en clair sur une URL en `http`. La conséquence la plus sérieuse n'est pas la fausse alerte, c'est l'empoisonnement du jeu d'entraînement du modèle de prédiction. |
|
||||||
| **API10 Unsafe Consumption of APIs** | **ouvert, et spécifique à ce projet** | L'API Mock de l'école n'a aucune authentification, tourne en HTTP clair sur le réseau de l'école, et expose un endpoint mutatif à quiconque. Sa réponse doit être traitée comme une entrée hostile : bornes physiques, taille de tableau plafonnée, timeout, et frontière d'anti-corruption. La conséquence la plus sérieuse n'est pas la fausse alerte, c'est l'empoisonnement du jeu d'entraînement du modèle de prédiction. |
|
|
||||||
| **A08 Software and Data Integrity Failures** | **partiel** | La CI vérifie le code mais n'analyse ni les dépendances ni les images. `.terraform.lock.hcl` reste ignoré par git, ce qui contredit une chaîne d'approvisionnement maîtrisée. |
|
| **A08 Software and Data Integrity Failures** | **partiel** | La CI vérifie le code mais n'analyse ni les dépendances ni les images. `.terraform.lock.hcl` reste ignoré par git, ce qui contredit une chaîne d'approvisionnement maîtrisée. |
|
||||||
| **A10 Server-Side Request Forgery** | **sans objet aujourd'hui** | Aucune URL sortante n'est pilotée par une donnée utilisateur. Le jour où l'adresse d'une source devient un champ de configuration, il faudra une liste blanche de schémas et d'hôtes, sans suivi de redirection. |
|
| **A10 Server-Side Request Forgery** | **sans objet aujourd'hui** | Aucune URL sortante n'est pilotée par une donnée utilisateur. Le jour où l'adresse d'une source devient un champ de configuration, il faudra une liste blanche de schémas et d'hôtes, sans suivi de redirection. |
|
||||||
| **Cantonnement des accès ETL et ML** | **dette assumée** | Le compte applicatif porte l'identité, le rôle PostgreSQL porterait le cantonnement. Voir ADR 0003. |
|
| **Cantonnement des accès ETL et ML** | **dette assumée** | Le compte applicatif porte l'identité, le rôle PostgreSQL porterait le cantonnement. Voir ADR 0003. Plus coûteuse depuis Airflow (#115) : ce service publie le port 8080, détient les identifiants Postgres complets (`ML_DATABASE_URL`, mêmes que le backend) et permet de déclencher l'exécution de code depuis son interface. Un compte Airflow compromis atteint donc toute la base, pas seulement `reading`/`site`. Aggravée par #116 : le conteneur reçoit aussi `DATABASE_URL` et exécute le code du backend en sous-processus (ADR 0008). Atténuations en place : le compte admin Airflow est distinct des `app_user` et son mot de passe passe par l'environnement, jamais par `argv` ; et l'`APP_SECRET_KEY` donnée à Airflow est distincte de celle de l'API, pour qu'une compromission ne livre pas la clé de signature des JWT. |
|
||||||
| **Non-répudiation de l'audit** | **dette assumée** | Les déclencheurs arrêtent les accidents, pas un compte détenant `ALTER TABLE`. Voir ADR 0004. |
|
| **Non-répudiation de l'audit** | **dette assumée** | Les déclencheurs arrêtent les accidents, pas un compte détenant `ALTER TABLE`. Voir ADR 0004. |
|
||||||
|
|
||||||
## Ce qu'il faut répondre, et ne pas répondre
|
## Ce qu'il faut répondre, et ne pas répondre
|
||||||
|
|||||||
+348
-27
@@ -2,9 +2,10 @@
|
|||||||
|
|
||||||
## Objectif
|
## Objectif
|
||||||
|
|
||||||
Le pipeline ETL EnerVision permet d'intégrer les données énergétiques historiques dans PostgreSQL/TimescaleDB.
|
Le pipeline ETL EnerVision permet d'intégrer les données énergétiques dans PostgreSQL/TimescaleDB à partir de deux sources :
|
||||||
|
|
||||||
Cette première étape du pipeline Data permet de charger le dataset fourni dans le cadre du projet, contenant les mesures énergétiques de 7 sites sur la période du 1er janvier 2023 au 31 décembre 2024.
|
- le dataset historique CSV/JSON fourni dans le cadre du projet ;
|
||||||
|
- l'API Mock EnerVision.
|
||||||
|
|
||||||
Le pipeline assure :
|
Le pipeline assure :
|
||||||
|
|
||||||
@@ -12,12 +13,15 @@ Le pipeline assure :
|
|||||||
- la validation de leur structure et de leur cohérence ;
|
- la validation de leur structure et de leur cohérence ;
|
||||||
- la normalisation des données nécessaires au stockage ;
|
- la normalisation des données nécessaires au stockage ;
|
||||||
- le suivi de la qualité des données ;
|
- le suivi de la qualité des données ;
|
||||||
- la traçabilité du dataset importé ;
|
- la traçabilité des données importées ;
|
||||||
- le chargement des données dans PostgreSQL/TimescaleDB ;
|
- le chargement des données dans PostgreSQL/TimescaleDB ;
|
||||||
|
- la conservation des valeurs manquantes et des informations de qualité ;
|
||||||
- l'idempotence du chargement afin d'éviter la création de doublons.
|
- l'idempotence du chargement afin d'éviter la création de doublons.
|
||||||
|
|
||||||
## Données sources
|
## Données sources
|
||||||
|
|
||||||
|
### Dataset historique
|
||||||
|
|
||||||
Le dataset est fourni par le formateur dans le cadre du projet EnerVision.
|
Le dataset est fourni par le formateur dans le cadre du projet EnerVision.
|
||||||
|
|
||||||
Il contient les deux fichiers suivants :
|
Il contient les deux fichiers suivants :
|
||||||
@@ -29,7 +33,7 @@ dataset_metadata.json
|
|||||||
|
|
||||||
Ces fichiers sont nécessaires une seule fois pour initialiser les données historiques de l'environnement.
|
Ces fichiers sont nécessaires une seule fois pour initialiser les données historiques de l'environnement.
|
||||||
|
|
||||||
Ils ne sont pas versionnés dans Git. Chaque membre de l'équipe récupère manuellement une fois les fichiers fournis par le formateur et les place dans :
|
Ils ne sont pas versionnés dans Git. Chaque membre de l'équipe récupère manuellement les fichiers fournis par le formateur et les place dans :
|
||||||
|
|
||||||
```text
|
```text
|
||||||
data/raw/
|
data/raw/
|
||||||
@@ -47,14 +51,26 @@ data/
|
|||||||
|
|
||||||
Le fichier `.gitkeep` est versionné afin de conserver le répertoire `data/raw/` dans Git. Les fichiers CSV et JSON sont ignorés par Git.
|
Le fichier `.gitkeep` est versionné afin de conserver le répertoire `data/raw/` dans Git. Les fichiers CSV et JSON sont ignorés par Git.
|
||||||
|
|
||||||
|
### API Mock
|
||||||
|
|
||||||
|
La deuxième source est l'API Mock EnerVision.
|
||||||
|
|
||||||
|
Elle permet de récupérer :
|
||||||
|
|
||||||
|
- les informations des sites avec `GET /api/v1/sites` ;
|
||||||
|
- les mesures simulées avec `GET /api/v1/readings`.
|
||||||
|
|
||||||
|
L'API Mock est utilisée pour compléter les données historiques avec des mesures simulées récupérées sur une période donnée.
|
||||||
|
|
||||||
## Technologies utilisées
|
## Technologies utilisées
|
||||||
|
|
||||||
| Technologie | Utilisation |
|
| Technologie | Utilisation |
|
||||||
|---|---|
|
|---|---|
|
||||||
| Python | Développement du pipeline ETL |
|
| Python | Développement du pipeline ETL |
|
||||||
| Pandas | Lecture, validation et transformation des données |
|
| Pandas | Lecture, validation et transformation du dataset historique |
|
||||||
| JSON | Lecture des métadonnées du dataset |
|
| JSON | Lecture des métadonnées et conservation des données sources |
|
||||||
| hashlib / SHA-256 | Identification, intégrité et traçabilité du dataset |
|
| HTTPX | Appels HTTP asynchrones vers l'API Mock |
|
||||||
|
| hashlib / SHA-256 | Identification, intégrité et traçabilité du dataset historique |
|
||||||
| SQLAlchemy Async | Connexion et chargement asynchrone en base |
|
| SQLAlchemy Async | Connexion et chargement asynchrone en base |
|
||||||
| PostgreSQL | Stockage relationnel |
|
| PostgreSQL | Stockage relationnel |
|
||||||
| TimescaleDB | Stockage des séries temporelles énergétiques |
|
| TimescaleDB | Stockage des séries temporelles énergétiques |
|
||||||
@@ -62,11 +78,14 @@ Le fichier `.gitkeep` est versionné afin de conserver le répertoire `data/raw/
|
|||||||
| Alembic | Gestion des migrations du schéma |
|
| Alembic | Gestion des migrations du schéma |
|
||||||
| uv | Gestion et exécution de l'environnement Python |
|
| uv | Gestion et exécution de l'environnement Python |
|
||||||
| Ruff | Contrôle de la qualité du code |
|
| Ruff | Contrôle de la qualité du code |
|
||||||
|
| mypy | Vérification du typage |
|
||||||
| Pytest | Tests automatisés |
|
| Pytest | Tests automatisés |
|
||||||
|
|
||||||
## Fonctionnement du pipeline
|
## Import du dataset historique
|
||||||
|
|
||||||
Le script principal d'import se trouve dans :
|
### Fonctionnement du pipeline historique
|
||||||
|
|
||||||
|
Le script d'import se trouve dans :
|
||||||
|
|
||||||
```text
|
```text
|
||||||
apps/backend/app/etl/historical_import.py
|
apps/backend/app/etl/historical_import.py
|
||||||
@@ -96,14 +115,14 @@ CSV + métadonnées JSON
|
|||||||
PostgreSQL / TimescaleDB
|
PostgreSQL / TimescaleDB
|
||||||
```
|
```
|
||||||
|
|
||||||
### 1. Extraction
|
#### 1. Extraction
|
||||||
|
|
||||||
Le pipeline charge :
|
Le pipeline charge :
|
||||||
|
|
||||||
- `all_sites_combined.csv` avec Pandas ;
|
- `all_sites_combined.csv` avec Pandas ;
|
||||||
- `dataset_metadata.json` avec le module JSON de Python.
|
- `dataset_metadata.json` avec le module JSON de Python.
|
||||||
|
|
||||||
### 2. Validation
|
#### 2. Validation
|
||||||
|
|
||||||
Avant toute écriture en base, le pipeline contrôle notamment :
|
Avant toute écriture en base, le pipeline contrôle notamment :
|
||||||
|
|
||||||
@@ -117,7 +136,7 @@ Avant toute écriture en base, le pipeline contrôle notamment :
|
|||||||
|
|
||||||
Une incohérence détectée pendant cette étape interrompt l'import avant le chargement.
|
Une incohérence détectée pendant cette étape interrompt l'import avant le chargement.
|
||||||
|
|
||||||
### 3. Dry-run
|
#### 3. Dry-run
|
||||||
|
|
||||||
Un mode `--dry-run` permet d'exécuter les contrôles sans écrire de données dans PostgreSQL.
|
Un mode `--dry-run` permet d'exécuter les contrôles sans écrire de données dans PostgreSQL.
|
||||||
|
|
||||||
@@ -130,7 +149,7 @@ Il permet notamment de vérifier :
|
|||||||
- les valeurs NULL ;
|
- les valeurs NULL ;
|
||||||
- l'empreinte SHA-256.
|
- l'empreinte SHA-256.
|
||||||
|
|
||||||
### 4. Traçabilité
|
#### 4. Traçabilité
|
||||||
|
|
||||||
Une empreinte SHA-256 est calculée à partir du fichier CSV afin d'identifier le dataset utilisé.
|
Une empreinte SHA-256 est calculée à partir du fichier CSV afin d'identifier le dataset utilisé.
|
||||||
|
|
||||||
@@ -142,7 +161,7 @@ Empreinte SHA-256 du dataset validé :
|
|||||||
|
|
||||||
Cette empreinte participe à la traçabilité du dataset chargé.
|
Cette empreinte participe à la traçabilité du dataset chargé.
|
||||||
|
|
||||||
### 5. Transformation
|
#### 5. Transformation
|
||||||
|
|
||||||
Les timestamps sont normalisés avec la timezone :
|
Les timestamps sont normalisés avec la timezone :
|
||||||
|
|
||||||
@@ -161,7 +180,7 @@ imputed_values = NULL
|
|||||||
imputation_method = NULL
|
imputation_method = NULL
|
||||||
```
|
```
|
||||||
|
|
||||||
### 6. Chargement
|
#### 6. Chargement
|
||||||
|
|
||||||
Le chargement est réalisé avec SQLAlchemy Async dans PostgreSQL/TimescaleDB.
|
Le chargement est réalisé avec SQLAlchemy Async dans PostgreSQL/TimescaleDB.
|
||||||
|
|
||||||
@@ -188,7 +207,7 @@ dataset_id = identifiant du dataset
|
|||||||
|
|
||||||
Cette représentation respecte les contraintes définies dans le schéma de la base.
|
Cette représentation respecte les contraintes définies dans le schéma de la base.
|
||||||
|
|
||||||
## Dataset validé
|
### Dataset validé
|
||||||
|
|
||||||
Le dataset traité contient :
|
Le dataset traité contient :
|
||||||
|
|
||||||
@@ -207,7 +226,7 @@ Valeurs manquantes identifiées :
|
|||||||
| `humidity_percent` | 3 423 |
|
| `humidity_percent` | 3 423 |
|
||||||
| `solar_irradiance_wm2` | 3 964 |
|
| `solar_irradiance_wm2` | 3 964 |
|
||||||
|
|
||||||
## Exécution en dry-run
|
### Exécution historique en dry-run
|
||||||
|
|
||||||
Depuis le dossier :
|
Depuis le dossier :
|
||||||
|
|
||||||
@@ -227,7 +246,7 @@ uv run python -m app.etl.historical_import `
|
|||||||
|
|
||||||
Aucune donnée n'est écrite dans la base pendant cette exécution.
|
Aucune donnée n'est écrite dans la base pendant cette exécution.
|
||||||
|
|
||||||
## Chargement réel
|
### Chargement historique réel
|
||||||
|
|
||||||
Depuis `apps/backend/` :
|
Depuis `apps/backend/` :
|
||||||
|
|
||||||
@@ -249,7 +268,7 @@ Chargement : 2000/122647
|
|||||||
Chargement : 122647/122647
|
Chargement : 122647/122647
|
||||||
```
|
```
|
||||||
|
|
||||||
## Résultats obtenus
|
### Résultats obtenus pour le dataset historique
|
||||||
|
|
||||||
Après le chargement initial, les contrôles en base ont confirmé :
|
Après le chargement initial, les contrôles en base ont confirmé :
|
||||||
|
|
||||||
@@ -266,7 +285,7 @@ Le premier import a créé :
|
|||||||
nouvelles lectures : 122647
|
nouvelles lectures : 122647
|
||||||
```
|
```
|
||||||
|
|
||||||
## Idempotence
|
### Idempotence du dataset historique
|
||||||
|
|
||||||
Le pipeline a été exécuté une deuxième fois avec exactement le même dataset afin de vérifier son idempotence.
|
Le pipeline a été exécuté une deuxième fois avec exactement le même dataset afin de vérifier son idempotence.
|
||||||
|
|
||||||
@@ -280,7 +299,7 @@ nouvelles lectures : 0
|
|||||||
|
|
||||||
Une nouvelle exécution du même import ne crée donc pas de mesures supplémentaires pour le dataset testé.
|
Une nouvelle exécution du même import ne crée donc pas de mesures supplémentaires pour le dataset testé.
|
||||||
|
|
||||||
## Vérifications SQL
|
### Vérifications SQL du dataset historique
|
||||||
|
|
||||||
Depuis la racine du projet, vérifier le nombre d'enregistrements avec :
|
Depuis la racine du projet, vérifier le nombre d'enregistrements avec :
|
||||||
|
|
||||||
@@ -302,21 +321,251 @@ Vérifier la source des mesures avec :
|
|||||||
docker compose exec db psql -U enervision -d enervision -c "SELECT source, COUNT(*) FROM reading GROUP BY source ORDER BY source;"
|
docker compose exec db psql -U enervision -d enervision -c "SELECT source, COUNT(*) FROM reading GROUP BY source ORDER BY source;"
|
||||||
```
|
```
|
||||||
|
|
||||||
Résultat attendu :
|
Résultat attendu pour le dataset historique :
|
||||||
|
|
||||||
```text
|
```text
|
||||||
csv | 122647
|
csv | 122647
|
||||||
```
|
```
|
||||||
|
|
||||||
|
## Import depuis l'API Mock
|
||||||
|
|
||||||
|
### Fonctionnement
|
||||||
|
|
||||||
|
Le script d'import de l'API Mock se trouve dans :
|
||||||
|
|
||||||
|
```text
|
||||||
|
apps/backend/app/etl/mock_api_import.py
|
||||||
|
```
|
||||||
|
|
||||||
|
Le flux est le suivant :
|
||||||
|
|
||||||
|
```text
|
||||||
|
API Mock
|
||||||
|
|
|
||||||
|
+-----+------+
|
||||||
|
| |
|
||||||
|
v v
|
||||||
|
/sites /readings
|
||||||
|
| |
|
||||||
|
+-----+------+
|
||||||
|
|
|
||||||
|
v
|
||||||
|
mock_api_import.py
|
||||||
|
|
|
||||||
|
v
|
||||||
|
Transformation
|
||||||
|
+ qualité data
|
||||||
|
|
|
||||||
|
v
|
||||||
|
PostgreSQL / TimescaleDB
|
||||||
|
| |
|
||||||
|
v v
|
||||||
|
site reading
|
||||||
|
```
|
||||||
|
|
||||||
|
Le pipeline commence par récupérer les sites avec :
|
||||||
|
|
||||||
|
```text
|
||||||
|
GET /api/v1/sites
|
||||||
|
```
|
||||||
|
|
||||||
|
Il récupère ensuite les mesures de chaque site avec :
|
||||||
|
|
||||||
|
```text
|
||||||
|
GET /api/v1/readings
|
||||||
|
```
|
||||||
|
|
||||||
|
Les paramètres envoyés à `/api/v1/readings` sont :
|
||||||
|
|
||||||
|
```text
|
||||||
|
site_id
|
||||||
|
start_time
|
||||||
|
end_time
|
||||||
|
limit
|
||||||
|
```
|
||||||
|
|
||||||
|
Le paramètre `limit` doit être compris entre 1 et 1000.
|
||||||
|
|
||||||
|
### Configuration de l'API Mock
|
||||||
|
|
||||||
|
La connexion à l'API Mock est configurée avec les variables d'environnement suivantes :
|
||||||
|
|
||||||
|
```text
|
||||||
|
APP_MOCK_API_BASE_URL
|
||||||
|
APP_MOCK_API_USERNAME
|
||||||
|
APP_MOCK_API_PASSWORD
|
||||||
|
APP_MOCK_API_TIMEOUT_SECONDS
|
||||||
|
```
|
||||||
|
|
||||||
|
Les identifiants réels ne sont pas versionnés dans Git.
|
||||||
|
|
||||||
|
Les fichiers `.env.example` indiquent uniquement les variables nécessaires à l'exécution.
|
||||||
|
|
||||||
|
### Transformation des mesures API
|
||||||
|
|
||||||
|
Les mesures provenant de l'API Mock sont enregistrées dans `reading` avec :
|
||||||
|
|
||||||
|
```text
|
||||||
|
source = "api_history"
|
||||||
|
dataset_id = NULL
|
||||||
|
```
|
||||||
|
|
||||||
|
Les mesures provenant de l'API ne sont donc pas rattachées à un dataset historique.
|
||||||
|
|
||||||
|
Le timestamp reçu depuis l'API est converti en `datetime` avec timezone avant le chargement.
|
||||||
|
|
||||||
|
La réponse source est conservée dans :
|
||||||
|
|
||||||
|
```text
|
||||||
|
raw_data
|
||||||
|
```
|
||||||
|
|
||||||
|
afin de préserver la donnée reçue et faciliter la traçabilité.
|
||||||
|
|
||||||
|
### Qualité des données API
|
||||||
|
|
||||||
|
Les valeurs `NULL` fournies par l'API sont conservées telles quelles.
|
||||||
|
|
||||||
|
Une valeur manquante n'est pas transformée en zéro et la mesure n'est pas supprimée.
|
||||||
|
|
||||||
|
Le pipeline conserve également :
|
||||||
|
|
||||||
|
```text
|
||||||
|
data_quality
|
||||||
|
null_reasons
|
||||||
|
```
|
||||||
|
|
||||||
|
Les niveaux de qualité possibles sont :
|
||||||
|
|
||||||
|
```text
|
||||||
|
good
|
||||||
|
partial
|
||||||
|
degraded
|
||||||
|
critical
|
||||||
|
```
|
||||||
|
|
||||||
|
Ce sont les quatre seules valeurs que la contrainte `ck_reading_quality` accepte. Toute autre
|
||||||
|
valeur renvoyée par l'API est remplacée par `NULL` plutôt que de faire échouer le lot entier.
|
||||||
|
|
||||||
|
Aucune imputation n'est réalisée pendant l'ingestion :
|
||||||
|
|
||||||
|
```text
|
||||||
|
imputed_values = NULL
|
||||||
|
imputation_method = NULL
|
||||||
|
```
|
||||||
|
|
||||||
|
Cette stratégie permet de distinguer une véritable valeur nulle ou manquante d'une consommation égale à zéro et de conserver les informations liées aux défaillances de capteurs.
|
||||||
|
|
||||||
|
### Bornes physiques et frontière de confiance
|
||||||
|
|
||||||
|
La réponse de l'API Mock est traitée comme une entrée hostile : l'API n'a pas
|
||||||
|
d'authentification et expose un endpoint mutatif à quiconque. Voir API10 dans
|
||||||
|
`docs/architecture/owasp-traceabilite.md`.
|
||||||
|
|
||||||
|
Les plages acceptées sont déclarées dans `PHYSICAL_BOUNDS` :
|
||||||
|
|
||||||
|
| Grandeur | Plage acceptée |
|
||||||
|
|---|---|
|
||||||
|
| `consumption_kw` | 0 à 100 000 |
|
||||||
|
| `consumption_kwh` | 0 à 100 000 |
|
||||||
|
| `voltage_v` | 0 à 1 000 |
|
||||||
|
| `current_a` | 0 à 10 000 |
|
||||||
|
| `power_factor` | 0 à 1 |
|
||||||
|
| `temperature_celsius` | -90 à 60 |
|
||||||
|
| `humidity_percent` | 0 à 100 |
|
||||||
|
| `capacity_kw` | 0 à 100 000 |
|
||||||
|
|
||||||
|
Une valeur hors plage, d'un type inattendu, `NaN` ou infinie devient `NULL` :
|
||||||
|
|
||||||
|
```text
|
||||||
|
null_reasons += "out_of_physical_bounds:<colonne>"
|
||||||
|
data_quality = "degraded"
|
||||||
|
```
|
||||||
|
|
||||||
|
L'import ne s'interrompt pas pour autant : le mock émet des anomalies par construction, et
|
||||||
|
`raw_data` conserve la réponse d'origine.
|
||||||
|
|
||||||
|
La taille des réponses est plafonnée : au plus `MAX_SITES` sites, et au plus `--limit` mesures
|
||||||
|
par site. Au-delà, l'import échoue au lieu de charger.
|
||||||
|
|
||||||
|
Enfin, seuls les champs attendus sont recopiés vers la base. Une clé supplémentaire renvoyée par
|
||||||
|
l'API n'atteint jamais une colonne.
|
||||||
|
|
||||||
|
### Dry-run de l'API Mock
|
||||||
|
|
||||||
|
Le mode `--dry-run` permet de tester la connexion, la récupération des sites et la récupération des mesures sans écrire dans PostgreSQL.
|
||||||
|
|
||||||
|
Depuis `apps/backend/` :
|
||||||
|
|
||||||
|
```powershell
|
||||||
|
uv run python -m app.etl.mock_api_import `
|
||||||
|
--start-time "2024-06-15T12:00:00" `
|
||||||
|
--end-time "2024-06-15T13:00:00" `
|
||||||
|
--limit 60 `
|
||||||
|
--dry-run
|
||||||
|
```
|
||||||
|
|
||||||
|
### Chargement réel depuis l'API Mock
|
||||||
|
|
||||||
|
Depuis `apps/backend/` :
|
||||||
|
|
||||||
|
```powershell
|
||||||
|
uv run python -m app.etl.mock_api_import `
|
||||||
|
--start-time "2024-06-15T12:00:00" `
|
||||||
|
--end-time "2024-06-15T13:00:00" `
|
||||||
|
--limit 60
|
||||||
|
```
|
||||||
|
|
||||||
|
### Résultat validé pour l'API Mock
|
||||||
|
|
||||||
|
Le scénario de validation utilisé couvre la période :
|
||||||
|
|
||||||
|
```text
|
||||||
|
15/06/2024 12:00 UTC
|
||||||
|
à
|
||||||
|
15/06/2024 13:00 UTC
|
||||||
|
```
|
||||||
|
|
||||||
|
avec une limite de 60 lectures par site.
|
||||||
|
|
||||||
|
Résultat obtenu :
|
||||||
|
|
||||||
|
```text
|
||||||
|
sites récupérés : 7
|
||||||
|
lectures par site : 60
|
||||||
|
lectures récupérées : 420
|
||||||
|
source : api_history
|
||||||
|
dataset_id : NULL
|
||||||
|
```
|
||||||
|
|
||||||
|
Les contrôles effectués directement dans PostgreSQL/TimescaleDB ont confirmé :
|
||||||
|
|
||||||
|
- l'enregistrement des mesures dans `reading` ;
|
||||||
|
- la présence des 7 sites ;
|
||||||
|
- `source = "api_history"` ;
|
||||||
|
- `dataset_id = NULL` ;
|
||||||
|
- la conservation des valeurs `NULL` ;
|
||||||
|
- la conservation de `data_quality` ;
|
||||||
|
- la conservation de `null_reasons` ;
|
||||||
|
- la conservation de la donnée source dans `raw_data`.
|
||||||
|
|
||||||
|
### Idempotence de l'import API Mock
|
||||||
|
|
||||||
|
Le même import a été exécuté plusieurs fois afin de vérifier qu'une mesure déjà présente n'est pas créée une seconde fois.
|
||||||
|
|
||||||
|
L'idempotence repose sur la contrainte d'unicité de la table `reading` et sur la gestion des conflits lors de l'insertion.
|
||||||
|
|
||||||
|
Un test d'intégration automatisé vérifie également ce comportement.
|
||||||
|
|
||||||
## Tests et qualité
|
## Tests et qualité
|
||||||
|
|
||||||
Les tests automatisés du pipeline sont situés dans :
|
Les tests automatisés des pipelines ETL sont situés dans :
|
||||||
|
|
||||||
```text
|
```text
|
||||||
apps/backend/tests/etl/
|
apps/backend/tests/etl/
|
||||||
```
|
```
|
||||||
|
|
||||||
Ils couvrent notamment :
|
Les tests de l'import historique couvrent notamment :
|
||||||
|
|
||||||
- la validation du dataset ;
|
- la validation du dataset ;
|
||||||
- les colonnes obligatoires ;
|
- les colonnes obligatoires ;
|
||||||
@@ -328,22 +577,94 @@ Ils couvrent notamment :
|
|||||||
- la construction des mesures destinées à la BDD ;
|
- la construction des mesures destinées à la BDD ;
|
||||||
- le respect des contraintes du modèle de données.
|
- le respect des contraintes du modèle de données.
|
||||||
|
|
||||||
|
Les tests de l'import API Mock couvrent notamment :
|
||||||
|
|
||||||
|
- la récupération des sites ;
|
||||||
|
- l'appel à `/api/v1/readings` ;
|
||||||
|
- les paramètres `site_id`, `start_time`, `end_time` et `limit` ;
|
||||||
|
- la gestion des erreurs HTTP ;
|
||||||
|
- la validation du format de la réponse ;
|
||||||
|
- la transformation des mesures ;
|
||||||
|
- la conservation des valeurs `NULL` ;
|
||||||
|
- la conservation de `data_quality` et `null_reasons` ;
|
||||||
|
- `source = "api_history"` ;
|
||||||
|
- `dataset_id = NULL` ;
|
||||||
|
- la conservation de `raw_data` ;
|
||||||
|
- l'idempotence du chargement.
|
||||||
|
|
||||||
Exécuter les tests ETL :
|
Exécuter les tests ETL :
|
||||||
|
|
||||||
```powershell
|
```powershell
|
||||||
uv run pytest tests\etl -v
|
uv run pytest tests\etl -v
|
||||||
```
|
```
|
||||||
|
|
||||||
|
Exécuter les tests unitaires de l'import API Mock :
|
||||||
|
|
||||||
|
```powershell
|
||||||
|
uv run pytest tests\etl\test_mock_api_import.py -v
|
||||||
|
```
|
||||||
|
|
||||||
|
Exécuter le test d'intégration de l'import API Mock :
|
||||||
|
|
||||||
|
```powershell
|
||||||
|
uv run pytest tests\etl\test_mock_api_import.py -m integration -v
|
||||||
|
```
|
||||||
|
|
||||||
Contrôler la qualité du code :
|
Contrôler la qualité du code :
|
||||||
|
|
||||||
```powershell
|
```powershell
|
||||||
uv run ruff check app\etl tests\etl
|
uv run ruff check app\etl tests\etl
|
||||||
```
|
```
|
||||||
|
|
||||||
|
Contrôler le typage :
|
||||||
|
|
||||||
|
```powershell
|
||||||
|
uv run mypy app
|
||||||
|
```
|
||||||
|
|
||||||
|
Exécuter la suite complète avec le seuil de couverture :
|
||||||
|
|
||||||
|
```powershell
|
||||||
|
uv run pytest --cov-fail-under=85
|
||||||
|
```
|
||||||
|
|
||||||
|
Lors de la validation de l'import API Mock :
|
||||||
|
|
||||||
|
```text
|
||||||
|
8 tests unitaires passés
|
||||||
|
1 test d'intégration passé
|
||||||
|
```
|
||||||
|
|
||||||
|
La suite backend complète a également été validée avec une couverture supérieure au seuil de 85 %.
|
||||||
|
|
||||||
## Suite du pipeline Data
|
## Suite du pipeline Data
|
||||||
|
|
||||||
L'import historique constitue la première brique du pipeline Data EnerVision.
|
Deux sources de données sont maintenant prises en charge :
|
||||||
|
|
||||||
La prochaine étape consiste à orchestrer les traitements ETL avec Apache Airflow, puis à préparer les données nécessaires à l'entraînement du modèle de Machine Learning.
|
```text
|
||||||
|
Dataset CSV/JSON
|
||||||
|
|
|
||||||
|
v
|
||||||
|
historical_import.py
|
||||||
|
|
|
||||||
|
+-----------------+
|
||||||
|
|
|
||||||
|
v
|
||||||
|
PostgreSQL / TimescaleDB
|
||||||
|
^
|
||||||
|
|
|
||||||
|
+-----------------+
|
||||||
|
|
|
||||||
|
mock_api_import.py
|
||||||
|
^
|
||||||
|
|
|
||||||
|
API Mock
|
||||||
|
```
|
||||||
|
|
||||||
Airflow sera utilisé comme orchestrateur des traitements existants et ne remplacera pas la logique métier déjà implémentée dans le pipeline ETL.
|
La logique d'extraction, de transformation et de chargement est donc disponible pour les deux sources de données du MVP.
|
||||||
|
|
||||||
|
Airflow tourne désormais réellement (`etl/airflow/`, `make airflow-up`) et orchestre le pipeline ML (`ml_train`/`ml_score`, issue #115) ainsi que la détection d'alertes et la génération des recommandations (`alertes`, issue #116). Il n'orchestre pas encore ces deux imports : `historical_import.py` et `mock_api_import.py` (normalisation et chargement micro-batch, issues #15/#16) restent à faire.
|
||||||
|
|
||||||
|
Airflow permet de planifier les traitements, gérer leur ordre d'exécution, suivre leur état et remonter les erreurs. Il ne remplace pas la logique ETL Python existante : les scripts actuels restent responsables de l'extraction, de la validation, de la transformation et du chargement. `etl/airflow/dags/ml_train.py`, `ml_score.py` et `alertes.py` montrent le patron retenu (des `BashOperator` qui invoquent le script tel quel, dans l'environnement `uv` que l'image embarque pour lui).
|
||||||
|
|
||||||
|
Le pipeline Data servira ensuite à préparer les données nécessaires au modèle de Machine Learning.
|
||||||
|
|||||||
@@ -0,0 +1 @@
|
|||||||
|
3.12
|
||||||
@@ -0,0 +1,51 @@
|
|||||||
|
# Image Airflow EnerVision : ajoute ml/ et apps/backend/ dans leurs propres environnements Python
|
||||||
|
# 3.14, distincts du Python 3.12 qui fait tourner Airflow lui-meme (apache-airflow 2.10 ne supporte
|
||||||
|
# pas 3.14), pour que les DAGs puissent lancer `uv run python -m enervision_ml.train`/`.score`,
|
||||||
|
# `app.detection.internal_alerts` et `app.cli` en sous-processus. Airflow ne devient jamais un
|
||||||
|
# consommateur direct de LightGBM, de MLflow ou du SQLAlchemy du backend. Cf. ADR 0008.
|
||||||
|
FROM apache/airflow:2.10.4-python3.12
|
||||||
|
|
||||||
|
# LightGBM est compile contre libgomp (OpenMP), absent de l'image de base (minimale, sans
|
||||||
|
# toolchain de compilation). Sans lui : `OSError: libgomp.so.1: cannot open shared object file`
|
||||||
|
# au premier `import lightgbm`, seulement au moment ou une tache tourne reellement.
|
||||||
|
USER root
|
||||||
|
RUN apt-get update \
|
||||||
|
&& apt-get install --no-install-recommends -y libgomp1 \
|
||||||
|
&& apt-get clean \
|
||||||
|
&& rm -rf /var/lib/apt/lists/*
|
||||||
|
# Pre-cree, appartenant a `airflow` : docker-compose y monte un volume nomme partage entre
|
||||||
|
# `ml_train` et `ml_score` (le modele ecrit par l'un, lu par l'autre). Un volume nomme herite des
|
||||||
|
# permissions du repertoire qu'il recouvre a son premier montage ; sans ce chown prealable, il
|
||||||
|
# serait cree root:root et illisible par le conteneur, qui tourne en `airflow` (uid 50000).
|
||||||
|
# `/opt/backend` ne porte aucun volume, mais `WORKDIR` le creerait root meme sous `USER airflow`.
|
||||||
|
RUN mkdir -p /opt/ml/state /opt/backend && chown -R airflow:root /opt/ml /opt/backend
|
||||||
|
USER airflow
|
||||||
|
|
||||||
|
# L'image de base embarque deja un `uv`, mais trop ancien (0.4.29) pour le format de verrou de
|
||||||
|
# `ml/uv.lock`. On le remplace par la version deja pinnee ailleurs dans le depot
|
||||||
|
# (apps/backend/Dockerfile).
|
||||||
|
COPY --from=ghcr.io/astral-sh/uv:0.11.26 /uv /home/airflow/.local/bin/uv
|
||||||
|
|
||||||
|
# Piege : pas de `UV_PROJECT_ENVIRONMENT` global. Il vaudrait pour les deux projets, et `uv run`
|
||||||
|
# dans l'un resoudrait le venv de l'autre. Par defaut, uv prend `<projet>/.venv`, donc le bon.
|
||||||
|
ENV UV_COMPILE_BYTECODE=1 \
|
||||||
|
UV_LINK_MODE=copy
|
||||||
|
|
||||||
|
WORKDIR /opt/ml
|
||||||
|
|
||||||
|
COPY --chown=airflow:root ml/pyproject.toml ml/uv.lock ./
|
||||||
|
RUN uv sync --locked --no-install-project --no-dev
|
||||||
|
|
||||||
|
COPY --chown=airflow:root ml/enervision_ml ./enervision_ml
|
||||||
|
RUN uv sync --locked --no-dev
|
||||||
|
|
||||||
|
WORKDIR /opt/backend
|
||||||
|
|
||||||
|
# `packages = ["app"]` : le reste de apps/backend (alembic, tests) n'a rien a faire dans l'image.
|
||||||
|
COPY --chown=airflow:root apps/backend/pyproject.toml apps/backend/uv.lock ./
|
||||||
|
RUN uv sync --locked --no-install-project --no-dev
|
||||||
|
|
||||||
|
COPY --chown=airflow:root apps/backend/app ./app
|
||||||
|
RUN uv sync --locked --no-dev
|
||||||
|
|
||||||
|
WORKDIR /opt/airflow
|
||||||
@@ -0,0 +1,65 @@
|
|||||||
|
"""DAG de détection des alertes et de génération des recommandations (issue #116).
|
||||||
|
|
||||||
|
Ordonnance ce que `docs/architecture/20-backend.md` et l'ADR 0006 décrivent encore comme lancé à
|
||||||
|
la main. Toute la logique reste dans `apps/backend`, ce DAG ne fait que l'appeler, sur le patron
|
||||||
|
de `ml_score` (cf. `docs/architecture/10-infra.md`, section Airflow, et l'ADR 0008 pour
|
||||||
|
l'environnement `/opt/backend` que l'image embarque désormais).
|
||||||
|
|
||||||
|
Planifié à la quinzième minute plutôt qu'à l'heure pile : la règle `anomaly` compare une lecture
|
||||||
|
à la `prediction` du même instant, que `ml_score` (`@hourly`) vient d'écrire. Aucune dépendance
|
||||||
|
déclarée entre les deux DAGs pour autant, quatre règles sur cinq ne touchent pas au modèle et un
|
||||||
|
modèle jamais entraîné ne doit pas priver le parc de ses alertes.
|
||||||
|
"""
|
||||||
|
|
||||||
|
from __future__ import annotations
|
||||||
|
|
||||||
|
from datetime import datetime, timedelta
|
||||||
|
|
||||||
|
from airflow.models.dag import DAG
|
||||||
|
from airflow.operators.bash import BashOperator
|
||||||
|
|
||||||
|
# Le backend a son propre environnement uv dans l'image (ADR 0008). `--no-sync` et
|
||||||
|
# `env -u VIRTUAL_ENV` : cf. `ml_train.py`, même raisonnement.
|
||||||
|
COMMANDE_BACKEND = "cd /opt/backend && env -u VIRTUAL_ENV uv run --no-sync python -m"
|
||||||
|
|
||||||
|
# Les deux tâches sont idempotentes en base (`ON CONFLICT DO NOTHING` sur
|
||||||
|
# `uq_alert_source_reference` et `uq_recommendation_alert_rule`) : reprendre ne duplique rien.
|
||||||
|
TENTATIVES = 2
|
||||||
|
DELAI_ENTRE_TENTATIVES = timedelta(minutes=2)
|
||||||
|
# `execution_timeout` vaut par tentative : c'est le pire cas des deux tâches enchaînées, reprises
|
||||||
|
# et délais compris, qui doit tenir sous le pas horaire. Les tests d'intégrité en font le calcul.
|
||||||
|
PLAFOND_PAR_TACHE = timedelta(minutes=5)
|
||||||
|
|
||||||
|
with DAG(
|
||||||
|
dag_id="alertes",
|
||||||
|
description=(
|
||||||
|
"Détecte les alertes internes puis génère les recommandations "
|
||||||
|
"(app.detection.internal_alerts, app.cli)."
|
||||||
|
),
|
||||||
|
schedule="15 * * * *",
|
||||||
|
start_date=datetime(2026, 1, 1),
|
||||||
|
catchup=False,
|
||||||
|
# Deux exécutions simultanées analyseraient la même fenêtre de 48h, et la génération relit
|
||||||
|
# l'intégralité de la table `alert` à chaque passage.
|
||||||
|
max_active_runs=1,
|
||||||
|
tags=["alertes"],
|
||||||
|
) as dag:
|
||||||
|
detection = BashOperator(
|
||||||
|
task_id="detection",
|
||||||
|
bash_command=f"{COMMANDE_BACKEND} app.detection.internal_alerts",
|
||||||
|
retries=TENTATIVES,
|
||||||
|
retry_delay=DELAI_ENTRE_TENTATIVES,
|
||||||
|
execution_timeout=PLAFOND_PAR_TACHE,
|
||||||
|
)
|
||||||
|
|
||||||
|
recommandations = BashOperator(
|
||||||
|
task_id="recommandations",
|
||||||
|
bash_command=f"{COMMANDE_BACKEND} app.cli generate-recommendations",
|
||||||
|
retries=TENTATIVES,
|
||||||
|
retry_delay=DELAI_ENTRE_TENTATIVES,
|
||||||
|
execution_timeout=PLAFOND_PAR_TACHE,
|
||||||
|
)
|
||||||
|
|
||||||
|
# `recommendation.alert_id` est une clé étrangère `NOT NULL` : la génération n'a rien à lire
|
||||||
|
# tant que la détection n'a pas écrit.
|
||||||
|
detection >> recommandations
|
||||||
@@ -0,0 +1,41 @@
|
|||||||
|
"""DAG de scoring horaire du modele LightGBM (issue #115).
|
||||||
|
|
||||||
|
Planifie toutes les heures, au rythme documente par `enervision_ml.score` (score le prochain pas
|
||||||
|
horaire par site). Reutilise le modele ecrit par `ml_train` (DAG separe, declenche a la main) :
|
||||||
|
ce DAG ne reentraine jamais rien. Si aucun modele n'a encore ete entraine, la tache echoue
|
||||||
|
(`FileNotFoundError`) plutot que de rester silencieuse.
|
||||||
|
"""
|
||||||
|
|
||||||
|
from __future__ import annotations
|
||||||
|
|
||||||
|
from datetime import datetime, timedelta
|
||||||
|
|
||||||
|
from airflow.models.dag import DAG
|
||||||
|
from airflow.operators.bash import BashOperator
|
||||||
|
|
||||||
|
MODEL_PATH = "/opt/ml/state/models/lightgbm-consumption.txt"
|
||||||
|
|
||||||
|
with DAG(
|
||||||
|
dag_id="ml_score",
|
||||||
|
description="Score le prochain pas horaire par site (enervision_ml.score).",
|
||||||
|
schedule="@hourly",
|
||||||
|
start_date=datetime(2026, 1, 1),
|
||||||
|
catchup=False,
|
||||||
|
# Deux scorings qui se chevauchent inseraient en meme temps dans `prediction` (pas de contrainte
|
||||||
|
# d'unicite sur `(site_id, target_at)`, chaque run garde sa ligne).
|
||||||
|
max_active_runs=1,
|
||||||
|
tags=["ml"],
|
||||||
|
) as dag:
|
||||||
|
# `--no-sync`, `env -u VIRTUAL_ENV` : cf. `ml_train.py`, meme raisonnement.
|
||||||
|
BashOperator(
|
||||||
|
task_id="score",
|
||||||
|
bash_command=(
|
||||||
|
"cd /opt/ml && env -u VIRTUAL_ENV uv run --no-sync python -m enervision_ml.score "
|
||||||
|
f"--model {MODEL_PATH}"
|
||||||
|
),
|
||||||
|
# Un incident transitoire sur Postgres ne doit pas faire perdre le creneau horaire.
|
||||||
|
retries=2,
|
||||||
|
retry_delay=timedelta(minutes=2),
|
||||||
|
# Bien en dessous du pas horaire : un scoring pendu ne doit pas empieter sur le suivant.
|
||||||
|
execution_timeout=timedelta(minutes=30),
|
||||||
|
)
|
||||||
@@ -0,0 +1,43 @@
|
|||||||
|
"""DAG d'entrainement du modele LightGBM (issue #115).
|
||||||
|
|
||||||
|
Pas de planification : reentrainer est couteux et sa cadence n'est pas une decision prise, en
|
||||||
|
particulier tant que `train.py` ecrase le modele sans comparer ses metriques a l'ancien (cf.
|
||||||
|
`docs/architecture/10-infra.md`, section Airflow). Declenchement manuel depuis l'UI ou la CLI
|
||||||
|
Airflow en attendant. `ml_score` (DAG separe, planifie toutes les heures) reutilise le modele que
|
||||||
|
ce DAG ecrit, il ne reentraine jamais rien lui-meme.
|
||||||
|
"""
|
||||||
|
|
||||||
|
from __future__ import annotations
|
||||||
|
|
||||||
|
from datetime import datetime, timedelta
|
||||||
|
|
||||||
|
from airflow.models.dag import DAG
|
||||||
|
from airflow.operators.bash import BashOperator
|
||||||
|
|
||||||
|
MODEL_PATH = "/opt/ml/state/models/lightgbm-consumption.txt"
|
||||||
|
MLFLOW_TRACKING_URI = "sqlite:////opt/ml/state/mlflow.db"
|
||||||
|
|
||||||
|
with DAG(
|
||||||
|
dag_id="ml_train",
|
||||||
|
description="Entraine le modele LightGBM de prevision de consommation (enervision_ml.train).",
|
||||||
|
schedule=None,
|
||||||
|
start_date=datetime(2026, 1, 1),
|
||||||
|
catchup=False,
|
||||||
|
# Deux entrainements simultanes ecriraient le meme fichier modele.
|
||||||
|
max_active_runs=1,
|
||||||
|
tags=["ml"],
|
||||||
|
) as dag:
|
||||||
|
# `--no-sync` : l'environnement `/opt/ml/.venv` est fige a la construction de l'image, `uv run`
|
||||||
|
# ne le resynchronise pas (sinon `enervision-ml` est reconstruit a chaque tache).
|
||||||
|
# `env -u VIRTUAL_ENV` : l'image de base positionne celui d'Airflow, que `uv` signale a chaque
|
||||||
|
# execution sans qu'il change quoi que ce soit.
|
||||||
|
BashOperator(
|
||||||
|
task_id="train",
|
||||||
|
bash_command=(
|
||||||
|
"cd /opt/ml && env -u VIRTUAL_ENV uv run --no-sync python -m enervision_ml.train "
|
||||||
|
f"--model-output {MODEL_PATH} --mlflow-tracking-uri {MLFLOW_TRACKING_URI}"
|
||||||
|
),
|
||||||
|
# Un entrainement complet dure quelques minutes ; une connexion pendue ne doit pas
|
||||||
|
# immobiliser un slot du scheduler indefiniment.
|
||||||
|
execution_timeout=timedelta(hours=1),
|
||||||
|
)
|
||||||
@@ -0,0 +1,32 @@
|
|||||||
|
[project]
|
||||||
|
name = "enervision-airflow"
|
||||||
|
version = "0.1.0"
|
||||||
|
description = "DAGs d'orchestration EnerVision (Airflow)"
|
||||||
|
requires-python = ">=3.12,<3.13"
|
||||||
|
dependencies = [
|
||||||
|
"apache-airflow==2.10.4",
|
||||||
|
]
|
||||||
|
|
||||||
|
[dependency-groups]
|
||||||
|
dev = [
|
||||||
|
"ruff>=0.16.7",
|
||||||
|
"pytest>=9.1.1",
|
||||||
|
]
|
||||||
|
|
||||||
|
[tool.uv]
|
||||||
|
package = false
|
||||||
|
|
||||||
|
[tool.ruff]
|
||||||
|
line-length = 100
|
||||||
|
target-version = "py312"
|
||||||
|
src = ["dags", "tests"]
|
||||||
|
|
||||||
|
[tool.ruff.lint]
|
||||||
|
select = ["E", "W", "F", "I", "N", "UP", "B", "SIM", "RUF"]
|
||||||
|
|
||||||
|
[tool.ruff.format]
|
||||||
|
quote-style = "double"
|
||||||
|
|
||||||
|
[tool.pytest.ini_options]
|
||||||
|
testpaths = ["tests"]
|
||||||
|
addopts = "-q"
|
||||||
@@ -0,0 +1,16 @@
|
|||||||
|
"""Isole Airflow d'un `~/airflow` reel : `AIRFLOW_HOME` doit etre pose avant le premier `import
|
||||||
|
airflow`, donc ici plutot que dans une fixture (les fixtures s'executent trop tard, apres que les
|
||||||
|
modules de test aient deja importe `airflow`)."""
|
||||||
|
|
||||||
|
import os
|
||||||
|
from pathlib import Path
|
||||||
|
|
||||||
|
_AIRFLOW_HOME = Path(__file__).resolve().parent / ".airflow_home"
|
||||||
|
_AIRFLOW_HOME.mkdir(exist_ok=True)
|
||||||
|
|
||||||
|
os.environ.setdefault("AIRFLOW_HOME", str(_AIRFLOW_HOME))
|
||||||
|
os.environ.setdefault("AIRFLOW__CORE__LOAD_EXAMPLES", "False")
|
||||||
|
os.environ.setdefault("AIRFLOW__CORE__UNIT_TEST_MODE", "True")
|
||||||
|
os.environ.setdefault(
|
||||||
|
"AIRFLOW__DATABASE__SQL_ALCHEMY_CONN", f"sqlite:///{_AIRFLOW_HOME / 'airflow.db'}"
|
||||||
|
)
|
||||||
@@ -0,0 +1,141 @@
|
|||||||
|
"""Tests d'integrite des DAGs : s'importent sans erreur, structure attendue. Pas d'execution
|
||||||
|
reelle des taches (ca reclamerait le conteneur avec `uv`/`enervision_ml`), juste la definition."""
|
||||||
|
|
||||||
|
from datetime import timedelta
|
||||||
|
from pathlib import Path
|
||||||
|
|
||||||
|
import pytest
|
||||||
|
from airflow.models.baseoperator import BaseOperator
|
||||||
|
from airflow.models.dagbag import DagBag
|
||||||
|
|
||||||
|
DAGS_FOLDER = Path(__file__).resolve().parent.parent / "dags"
|
||||||
|
|
||||||
|
DAG_IDS = ["ml_train", "ml_score", "alertes"]
|
||||||
|
TACHES = [
|
||||||
|
("ml_train", "train"),
|
||||||
|
("ml_score", "score"),
|
||||||
|
("alertes", "detection"),
|
||||||
|
("alertes", "recommandations"),
|
||||||
|
]
|
||||||
|
|
||||||
|
|
||||||
|
@pytest.fixture(scope="module")
|
||||||
|
def dagbag() -> DagBag:
|
||||||
|
return DagBag(dag_folder=str(DAGS_FOLDER), include_examples=False)
|
||||||
|
|
||||||
|
|
||||||
|
def test_dags_folder_has_no_import_error(dagbag: DagBag) -> None:
|
||||||
|
assert dagbag.import_errors == {}
|
||||||
|
|
||||||
|
|
||||||
|
def test_every_expected_dag_is_discovered(dagbag: DagBag) -> None:
|
||||||
|
assert set(dagbag.dag_ids) == set(DAG_IDS)
|
||||||
|
|
||||||
|
|
||||||
|
def test_ml_train_has_no_schedule(dagbag: DagBag) -> None:
|
||||||
|
assert dagbag.dags["ml_train"].timetable.summary == "None"
|
||||||
|
|
||||||
|
|
||||||
|
def test_ml_score_runs_every_hour(dagbag: DagBag) -> None:
|
||||||
|
# `@hourly` est un alias Airflow pour ce cron, c'est sous cette forme que `.summary` le rend.
|
||||||
|
assert dagbag.dags["ml_score"].timetable.summary == "0 * * * *"
|
||||||
|
|
||||||
|
|
||||||
|
def test_alertes_runs_after_the_hourly_scoring(dagbag: DagBag) -> None:
|
||||||
|
# Le decalage n'est pas cosmetique : la regle `anomaly` compare une lecture a la `prediction`
|
||||||
|
# du meme instant, que `ml_score` ecrit a l'heure pile.
|
||||||
|
assert dagbag.dags["alertes"].timetable.summary == "15 * * * *"
|
||||||
|
|
||||||
|
|
||||||
|
def test_ml_train_task_calls_the_training_module(dagbag: DagBag) -> None:
|
||||||
|
tache = dagbag.dags["ml_train"].get_task("train")
|
||||||
|
assert "enervision_ml.train" in tache.bash_command
|
||||||
|
|
||||||
|
|
||||||
|
def test_ml_score_task_calls_the_scoring_module(dagbag: DagBag) -> None:
|
||||||
|
tache = dagbag.dags["ml_score"].get_task("score")
|
||||||
|
assert "enervision_ml.score" in tache.bash_command
|
||||||
|
|
||||||
|
|
||||||
|
def test_alertes_detection_task_calls_the_backend_detection(dagbag: DagBag) -> None:
|
||||||
|
tache = dagbag.dags["alertes"].get_task("detection")
|
||||||
|
assert "app.detection.internal_alerts" in tache.bash_command
|
||||||
|
|
||||||
|
|
||||||
|
def test_alertes_recommendation_task_calls_the_backend_cli(dagbag: DagBag) -> None:
|
||||||
|
tache = dagbag.dags["alertes"].get_task("recommandations")
|
||||||
|
assert "app.cli generate-recommendations" in tache.bash_command
|
||||||
|
|
||||||
|
|
||||||
|
@pytest.mark.parametrize("task_id", ["detection", "recommandations"])
|
||||||
|
def test_alertes_tasks_run_in_the_backend_environment(dagbag: DagBag, task_id: str) -> None:
|
||||||
|
# Le backend a son propre venv dans l'image, distinct de celui de ml/ (ADR 0008).
|
||||||
|
assert "/opt/backend" in dagbag.dags["alertes"].get_task(task_id).bash_command
|
||||||
|
|
||||||
|
|
||||||
|
def test_alertes_generates_recommendations_after_detecting(dagbag: DagBag) -> None:
|
||||||
|
# `recommendation.alert_id` est une cle etrangere `NOT NULL` : la generation n'a rien a lire
|
||||||
|
# tant que la detection n'a pas ecrit.
|
||||||
|
assert dagbag.dags["alertes"].get_task("detection").downstream_task_ids == {"recommandations"}
|
||||||
|
|
||||||
|
|
||||||
|
def test_ml_score_reuses_the_model_path_written_by_ml_train(dagbag: DagBag) -> None:
|
||||||
|
entrainement = dagbag.dags["ml_train"].get_task("train").bash_command
|
||||||
|
scoring = dagbag.dags["ml_score"].get_task("score").bash_command
|
||||||
|
chemin_modele = "/opt/ml/state/models/lightgbm-consumption.txt"
|
||||||
|
|
||||||
|
assert chemin_modele in entrainement
|
||||||
|
assert chemin_modele in scoring
|
||||||
|
|
||||||
|
|
||||||
|
@pytest.mark.parametrize("dag_id", DAG_IDS)
|
||||||
|
def test_no_two_runs_of_a_dag_overlap(dagbag: DagBag, dag_id: str) -> None:
|
||||||
|
# Deux entrainements ecriraient le meme fichier modele, deux scorings inseriraient en meme
|
||||||
|
# temps dans `prediction`, deux detections analyseraient la meme fenetre.
|
||||||
|
assert dagbag.dags[dag_id].max_active_runs == 1
|
||||||
|
|
||||||
|
|
||||||
|
@pytest.mark.parametrize(("dag_id", "task_id"), TACHES)
|
||||||
|
def test_every_task_has_an_execution_timeout(dagbag: DagBag, dag_id: str, task_id: str) -> None:
|
||||||
|
# Sans plafond, une connexion pendue immobilise un slot du scheduler indefiniment.
|
||||||
|
assert dagbag.dags[dag_id].get_task(task_id).execution_timeout is not None
|
||||||
|
|
||||||
|
|
||||||
|
def test_ml_score_execution_timeout_stays_below_its_hourly_step(dagbag: DagBag) -> None:
|
||||||
|
timeout = dagbag.dags["ml_score"].get_task("score").execution_timeout
|
||||||
|
assert timeout is not None
|
||||||
|
assert timeout < timedelta(hours=1)
|
||||||
|
|
||||||
|
|
||||||
|
def duree_au_pire(tache: BaseOperator) -> timedelta:
|
||||||
|
# `execution_timeout` plafonne une tentative, pas la tache : deux reprises occupent trois
|
||||||
|
# plafonds et deux delais d'attente.
|
||||||
|
assert tache.execution_timeout is not None
|
||||||
|
return (tache.retries + 1) * tache.execution_timeout + tache.retries * tache.retry_delay
|
||||||
|
|
||||||
|
|
||||||
|
def test_alertes_worst_case_stays_below_its_hourly_step(dagbag: DagBag) -> None:
|
||||||
|
# Les deux taches s'enchainent : c'est leur somme, reprises comprises, qui doit tenir dans le
|
||||||
|
# pas horaire, sinon `max_active_runs=1` fait attendre l'execution suivante.
|
||||||
|
taches = [
|
||||||
|
dagbag.dags["alertes"].get_task(task_id) for task_id in ("detection", "recommandations")
|
||||||
|
]
|
||||||
|
assert sum((duree_au_pire(tache) for tache in taches), timedelta()) < timedelta(hours=1)
|
||||||
|
|
||||||
|
|
||||||
|
def test_ml_score_retries_after_a_transient_failure(dagbag: DagBag) -> None:
|
||||||
|
assert dagbag.dags["ml_score"].get_task("score").retries >= 1
|
||||||
|
|
||||||
|
|
||||||
|
@pytest.mark.parametrize("task_id", ["detection", "recommandations"])
|
||||||
|
def test_alertes_retries_after_a_transient_failure(dagbag: DagBag, task_id: str) -> None:
|
||||||
|
# Les deux commandes sont idempotentes en base, une reprise ne duplique rien.
|
||||||
|
assert dagbag.dags["alertes"].get_task(task_id).retries >= 1
|
||||||
|
|
||||||
|
|
||||||
|
@pytest.mark.parametrize(("dag_id", "task_id"), TACHES)
|
||||||
|
def test_tasks_never_resync_the_baked_environment(
|
||||||
|
dagbag: DagBag, dag_id: str, task_id: str
|
||||||
|
) -> None:
|
||||||
|
# Sans `--no-sync`, `uv run` reconstruit le projet a chaque execution.
|
||||||
|
assert "--no-sync" in dagbag.dags[dag_id].get_task(task_id).bash_command
|
||||||
Generated
+1970
File diff suppressed because it is too large
Load Diff
@@ -0,0 +1,88 @@
|
|||||||
|
# Reverse proxy
|
||||||
|
|
||||||
|
Terminaison TLS et routage de la stack déployée. Seul composant publié sur le réseau : il
|
||||||
|
écoute en 80 et 443, et rien d'autre ne sort du réseau Compose.
|
||||||
|
|
||||||
|
- `nginx.conf` : bloc `http`, journalisation, compression, zones de limitation de débit.
|
||||||
|
- `conf.d/enervision.conf` : redirection 80 vers 443, terminaison TLS, en-têtes de sécurité,
|
||||||
|
routage.
|
||||||
|
- `tls/` : les deux fichiers que nginx lit, `fullchain.pem` et `privkey.pem`. Ignorés par git.
|
||||||
|
- `acme-deploy-hook.sh` : recopie le résultat de certbot dans `tls/`.
|
||||||
|
|
||||||
|
Pas de `Dockerfile` : l'image officielle `nginx:1.28-alpine` est utilisée telle quelle et la
|
||||||
|
configuration est montée en volume par `docker-compose.prod.yml`.
|
||||||
|
|
||||||
|
L'overlay emploie les marqueurs `!override` et `!reset`, qui demandent **Docker Compose 2.24.4
|
||||||
|
ou plus récent**. Sur une version antérieure, la fusion échoue au lieu de dépublier les ports.
|
||||||
|
|
||||||
|
## Routage
|
||||||
|
|
||||||
|
| Chemin | Destination | Remarque |
|
||||||
|
|---|---|---|
|
||||||
|
| `/.well-known/acme-challenge/` | `/var/www/certbot` sur le port 80 | Seul chemin non redirigé vers HTTPS |
|
||||||
|
| `/api/v1/auth/` + `login`, `password`, `forgot-password`, `reset-password` | `backend:8000` | Zone resserrée, 30 requêtes par minute |
|
||||||
|
| `/api/` | `backend:8000` | Préfixe `/api/v1` préservé tel quel, 20 requêtes par seconde |
|
||||||
|
| `/` | `frontend:3000` | Le SPA, qui renvoie `index.html` sur les routes inconnues |
|
||||||
|
|
||||||
|
La zone resserrée ne couvre que les routes qui vérifient un secret. `/auth/me` et `/auth/refresh`
|
||||||
|
partent à chaque chargement de page et restent dans la zone générale : derrière un NAT, où une
|
||||||
|
seule adresse porte tous les postes, les y soumettre aurait produit des 429 en usage normal.
|
||||||
|
|
||||||
|
L'interface Airflow, celle de Mailpit et la base ne passent pas par le proxy : l'overlay les
|
||||||
|
ramène sur `127.0.0.1`, donc joignables par tunnel SSH et pas autrement. Les publier derrière le
|
||||||
|
proxy demanderait une authentification propre, qui n'est pas la leur.
|
||||||
|
|
||||||
|
`/docs`, `/redoc`, `/openapi.json`, `/static` et `/metrics` sont montés par l'API **à la racine**,
|
||||||
|
pas sous `/api`. Ils tombent donc dans `location /`, donc sur le SPA : ils ne sont pas joignables
|
||||||
|
depuis l'extérieur, sans qu'aucune règle de blocage ait à être écrite. Y toucher, c'est les
|
||||||
|
exposer.
|
||||||
|
|
||||||
|
## Certificat : deux modes, un seul emplacement
|
||||||
|
|
||||||
|
nginx lit toujours `tls/fullchain.pem` et `tls/privkey.pem`. Seule leur fabrication change, la
|
||||||
|
configuration n'a jamais à bouger.
|
||||||
|
|
||||||
|
### Démonstration, certificat auto-signé
|
||||||
|
|
||||||
|
```bash
|
||||||
|
make tls-selfsigned PUBLIC_HOST=enervision.local
|
||||||
|
make stack-up
|
||||||
|
```
|
||||||
|
|
||||||
|
Le navigateur avertira d'un émetteur inconnu : c'est attendu, et c'est le seul mode exploitable
|
||||||
|
tant que la machine cible n'a pas de nom de domaine public.
|
||||||
|
|
||||||
|
### Let's Encrypt
|
||||||
|
|
||||||
|
Le défi HTTP-01 exige un nom de domaine **résolvable publiquement** et le port 80 joignable
|
||||||
|
depuis Internet. La cible documentée aujourd'hui (`ssh_host = "10.0.0.10"`, serveur de l'école)
|
||||||
|
ne remplit ni l'une ni l'autre condition : le chemin ci-dessous est livré et documenté, il n'a
|
||||||
|
pas été exercé.
|
||||||
|
|
||||||
|
```bash
|
||||||
|
make stack-up # nginx doit tourner pour servir le défi
|
||||||
|
make tls-acme PUBLIC_HOST=enervision.fr ACME_EMAIL=ops@enervision.fr
|
||||||
|
```
|
||||||
|
|
||||||
|
Renouvellement, à passer en tâche planifiée sur la machine :
|
||||||
|
|
||||||
|
```cron
|
||||||
|
17 3 * * * cd /srv/enervision && make tls-renew >> /var/log/enervision-tls.log 2>&1
|
||||||
|
```
|
||||||
|
|
||||||
|
Pour un domaine sans port 80 entrant, le défi DNS-01 est l'alternative : elle demande un
|
||||||
|
greffon certbot propre au fournisseur DNS et un jeton d'API, hors périmètre à ce jour.
|
||||||
|
|
||||||
|
## Vérifier la configuration sans démarrer la stack
|
||||||
|
|
||||||
|
`nginx -t` charge les certificats : `tls/` doit être rempli, par `make tls-selfsigned` au besoin.
|
||||||
|
|
||||||
|
```bash
|
||||||
|
docker run --rm \
|
||||||
|
-v "$PWD/infra/proxy/nginx.conf:/etc/nginx/nginx.conf:ro" \
|
||||||
|
-v "$PWD/infra/proxy/conf.d:/etc/nginx/conf.d:ro" \
|
||||||
|
-v "$PWD/infra/proxy/tls:/etc/nginx/tls:ro" \
|
||||||
|
nginx:1.28-alpine nginx -t
|
||||||
|
```
|
||||||
|
|
||||||
|
Monter `infra/proxy/` entier sur `/etc/nginx` échouerait : `mime.types` vient de l'image.
|
||||||
Executable
+11
@@ -0,0 +1,11 @@
|
|||||||
|
#!/bin/sh
|
||||||
|
# Contrainte : certbot écrit dans /etc/letsencrypt/live/<domaine>/, nginx lit /etc/nginx/tls/.
|
||||||
|
# Ce hook recopie le résultat à l'emplacement unique que la configuration nginx connaît, ce
|
||||||
|
# qui rend le mode auto-signé et le mode ACME interchangeables sans toucher à un vhost.
|
||||||
|
|
||||||
|
set -eu
|
||||||
|
|
||||||
|
cp -L "$RENEWED_LINEAGE/fullchain.pem" /tls/fullchain.pem
|
||||||
|
cp -L "$RENEWED_LINEAGE/privkey.pem" /tls/privkey.pem
|
||||||
|
chmod 644 /tls/fullchain.pem
|
||||||
|
chmod 600 /tls/privkey.pem
|
||||||
@@ -0,0 +1,69 @@
|
|||||||
|
# Piège : `X-Forwarded-For` se construit avec `$proxy_add_x_forwarded_for`, qui ajoute l'IP
|
||||||
|
# réelle en fin de chaîne. `get_client_ip()` (apps/backend/app/api/deps.py) ne lit que le
|
||||||
|
# dernier élément : toute autre forme rend la limitation de débit par IP globale, donc le
|
||||||
|
# déni de service auto-infligé que ce code cherche précisément à éviter.
|
||||||
|
# Piège : un nom d'hôte littéral dans `proxy_pass` fige l'IP du conteneur au démarrage de
|
||||||
|
# nginx, et recréer `backend` seul donnerait des 502 jusqu'au rechargement du proxy. D'où la
|
||||||
|
# variable et le résolveur interne de Docker : la résolution redevient dynamique.
|
||||||
|
# Pourquoi : la redirection 80 vers 443 conserve `$host` plutôt qu'un nom canonique, faute de
|
||||||
|
# quoi l'accès par IP cesserait de fonctionner sur la cible. Risque acté dans l'ADR 0007.
|
||||||
|
|
||||||
|
server {
|
||||||
|
listen 80 default_server;
|
||||||
|
server_name _;
|
||||||
|
|
||||||
|
location /.well-known/acme-challenge/ {
|
||||||
|
root /var/www/certbot;
|
||||||
|
}
|
||||||
|
|
||||||
|
location / {
|
||||||
|
return 301 https://$host$request_uri;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
server {
|
||||||
|
listen 443 ssl default_server;
|
||||||
|
http2 on;
|
||||||
|
server_name _;
|
||||||
|
|
||||||
|
resolver 127.0.0.11 valid=10s ipv6=off;
|
||||||
|
|
||||||
|
ssl_certificate /etc/nginx/tls/fullchain.pem;
|
||||||
|
ssl_certificate_key /etc/nginx/tls/privkey.pem;
|
||||||
|
ssl_protocols TLSv1.2 TLSv1.3;
|
||||||
|
ssl_prefer_server_ciphers off;
|
||||||
|
ssl_session_cache shared:SSL:10m;
|
||||||
|
ssl_session_timeout 1d;
|
||||||
|
ssl_session_tickets off;
|
||||||
|
|
||||||
|
# L'application refuse délibérément de poser ces deux en-têtes, verrouillé par
|
||||||
|
# tests/api/test_hardening.py. Ils appartiennent au terminateur TLS, c'est-à-dire ici.
|
||||||
|
add_header Strict-Transport-Security "max-age=31536000; includeSubDomains" always;
|
||||||
|
add_header Content-Security-Policy "default-src 'self'; script-src 'self'; style-src 'self' 'unsafe-inline'; img-src 'self' data:; font-src 'self' data:; connect-src 'self'; frame-ancestors 'none'; base-uri 'self'; form-action 'self'" always;
|
||||||
|
|
||||||
|
proxy_http_version 1.1;
|
||||||
|
proxy_set_header Host $host;
|
||||||
|
proxy_set_header X-Real-IP $remote_addr;
|
||||||
|
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
|
||||||
|
proxy_set_header X-Forwarded-Proto $scheme;
|
||||||
|
proxy_read_timeout 60s;
|
||||||
|
|
||||||
|
# Piège : la zone `auth` ne couvre que les routes qui vérifient un secret. Derrière le NAT de
|
||||||
|
# l'école, `/auth/me` et `/auth/refresh` y produiraient des 429 à chaque chargement de page.
|
||||||
|
location ~ ^/api/v1/auth/(login|password|forgot-password|reset-password)$ {
|
||||||
|
limit_req zone=auth burst=20 nodelay;
|
||||||
|
set $cible_api http://backend:8000;
|
||||||
|
proxy_pass $cible_api$request_uri;
|
||||||
|
}
|
||||||
|
|
||||||
|
location /api/ {
|
||||||
|
limit_req zone=api burst=40 nodelay;
|
||||||
|
set $cible_api http://backend:8000;
|
||||||
|
proxy_pass $cible_api$request_uri;
|
||||||
|
}
|
||||||
|
|
||||||
|
location / {
|
||||||
|
set $cible_web http://frontend:3000;
|
||||||
|
proxy_pass $cible_web$request_uri;
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -0,0 +1,40 @@
|
|||||||
|
# Contrainte : les directives `limit_req_zone` ne sont valides que dans le bloc `http`.
|
||||||
|
# Les `location` de conf.d/enervision.conf s'y réfèrent par nom, `api` et `auth`.
|
||||||
|
|
||||||
|
worker_processes auto;
|
||||||
|
error_log /var/log/nginx/error.log warn;
|
||||||
|
pid /var/run/nginx.pid;
|
||||||
|
|
||||||
|
events {
|
||||||
|
worker_connections 1024;
|
||||||
|
}
|
||||||
|
|
||||||
|
http {
|
||||||
|
include /etc/nginx/mime.types;
|
||||||
|
default_type application/octet-stream;
|
||||||
|
|
||||||
|
server_tokens off;
|
||||||
|
|
||||||
|
log_format enervision '$remote_addr - $remote_user [$time_local] "$request" '
|
||||||
|
'$status $body_bytes_sent $request_time '
|
||||||
|
'"$http_referer" "$http_user_agent"';
|
||||||
|
access_log /var/log/nginx/access.log enervision;
|
||||||
|
|
||||||
|
sendfile on;
|
||||||
|
tcp_nopush on;
|
||||||
|
keepalive_timeout 65;
|
||||||
|
client_max_body_size 2m;
|
||||||
|
|
||||||
|
gzip on;
|
||||||
|
gzip_vary on;
|
||||||
|
gzip_min_length 1024;
|
||||||
|
gzip_proxied any;
|
||||||
|
gzip_types application/javascript application/json application/xml
|
||||||
|
image/svg+xml text/css text/plain;
|
||||||
|
|
||||||
|
limit_req_zone $binary_remote_addr zone=api:10m rate=20r/s;
|
||||||
|
limit_req_zone $binary_remote_addr zone=auth:10m rate=30r/m;
|
||||||
|
limit_req_status 429;
|
||||||
|
|
||||||
|
include /etc/nginx/conf.d/*.conf;
|
||||||
|
}
|
||||||
Executable
+50
@@ -0,0 +1,50 @@
|
|||||||
|
#!/usr/bin/env bash
|
||||||
|
# Contrainte : nginx lit toujours infra/proxy/tls/{fullchain,privkey}.pem, quel que soit le
|
||||||
|
# mode d'obtention. Ce script remplit ces deux fichiers pour la démonstration, certbot les
|
||||||
|
# remplit par acme-deploy-hook.sh. La configuration nginx ne connaît pas la différence.
|
||||||
|
|
||||||
|
set -euo pipefail
|
||||||
|
|
||||||
|
RACINE="$(cd "$(dirname "${BASH_SOURCE[0]}")/.." && pwd)"
|
||||||
|
DESTINATION="$RACINE/infra/proxy/tls"
|
||||||
|
HOTE="${PUBLIC_HOST:-enervision.local}"
|
||||||
|
ADRESSE="${PUBLIC_IP:-}"
|
||||||
|
JOURS="${TLS_DAYS:-365}"
|
||||||
|
ECRASER=0
|
||||||
|
|
||||||
|
for argument in "$@"; do
|
||||||
|
case "$argument" in
|
||||||
|
--force) ECRASER=1 ;;
|
||||||
|
*)
|
||||||
|
echo "Usage : PUBLIC_HOST=exemple.local [PUBLIC_IP=10.0.0.10] $0 [--force]" >&2
|
||||||
|
exit 2
|
||||||
|
;;
|
||||||
|
esac
|
||||||
|
done
|
||||||
|
|
||||||
|
if [[ -f "$DESTINATION/fullchain.pem" && $ECRASER -eq 0 ]]; then
|
||||||
|
echo "Un certificat existe déjà dans $DESTINATION." >&2
|
||||||
|
echo "Relancer avec --force pour l'écraser." >&2
|
||||||
|
exit 1
|
||||||
|
fi
|
||||||
|
|
||||||
|
mkdir -p "$DESTINATION"
|
||||||
|
|
||||||
|
NOMS="DNS:$HOTE,DNS:localhost"
|
||||||
|
if [[ -n "$ADRESSE" ]]; then
|
||||||
|
NOMS="$NOMS,IP:$ADRESSE"
|
||||||
|
fi
|
||||||
|
|
||||||
|
openssl req -x509 -nodes -newkey rsa:2048 -sha256 -days "$JOURS" \
|
||||||
|
-subj "/CN=$HOTE" \
|
||||||
|
-addext "subjectAltName=$NOMS" \
|
||||||
|
-keyout "$DESTINATION/privkey.pem" \
|
||||||
|
-out "$DESTINATION/fullchain.pem" 2>/dev/null
|
||||||
|
|
||||||
|
chmod 600 "$DESTINATION/privkey.pem"
|
||||||
|
chmod 644 "$DESTINATION/fullchain.pem"
|
||||||
|
|
||||||
|
echo "Certificat auto-signé écrit dans $DESTINATION."
|
||||||
|
echo " Noms couverts : $NOMS"
|
||||||
|
echo " Validité : $JOURS jours"
|
||||||
|
echo "Le navigateur avertira d'un émetteur inconnu, c'est attendu hors Let's Encrypt."
|
||||||
@@ -9,7 +9,7 @@ sonar.tests=apps/frontend/src,apps/backend/tests
|
|||||||
sonar.test.inclusions=**/*.spec.ts,**/*.test.ts,**/*test_*.py,**/*test.py
|
sonar.test.inclusions=**/*.spec.ts,**/*.test.ts,**/*test_*.py,**/*test.py
|
||||||
|
|
||||||
# Liste des fichiers et dossiers à exclure de l'analyse
|
# Liste des fichiers et dossiers à exclure de l'analyse
|
||||||
sonar.exclusions=.pytest_cache,.venv,alembic,tests,**/*/node_modules/**,**/*/dist/**,**/*/build/**,**/*.spec.ts,**/*.test.ts,**/*test_*.py,**/*test.py
|
sonar.exclusions=.pytest_cache,.venv,alembic,tests,**/*/node_modules/**,**/*/dist/**,**/*/build/**,**/*.spec.ts,**/*.test.ts,**/*test_*.py,**/*test.py,**/*.spec.ts
|
||||||
|
|
||||||
# Chemin vers le rapport de couverture de code
|
# Chemin vers le rapport de couverture de code
|
||||||
# Fichier généré par Pytest
|
# Fichier généré par Pytest
|
||||||
|
|||||||
Reference in New Issue
Block a user