Différences

Ci-dessous, les différences entre deux révisions de la page.

--- database:sinp-aura:gn2pg [2024/02/20 13:57] – [Installer le Dashboard Gn2Pg] jpmilcent
+++ database:sinp-aura:gn2pg [2025/07/02 07:27] (Version actuelle) – [Requêtes SQL utiles pour Gn2Pg] jpmilcent
@@ Ligne 15: / Ligne 15: @@
   * Afficher la table : ''gn2pg_lpo.data_json''
   * Trier les données par ordre décroissant du champ ''update_ts''. La date la plus récente devrait s'afficher en premier
-  * Le champ "id_date" contient l'id_synthese à copier.
+    * La date ''update_ts'' et la valeur du champ ''id_data'' du dernier enregistrement devrait correspondre au dernier log de Gn2Pg : ''2024-11-18 15:37:53,851 - DEBUG - store_postgresql:store_1_data - 43682513''
+  * Le champ "id_data" contient l'id_synthese à copier.
   * Modifier ensuite le fichier ''~/data/gn2pg/config/lpo_config.toml'' sur le serveur hébergeant //Gn2Pg//.
     * Ajouter/Modifier le paramètre ''filter_n_up_id_synthese'' et lui associer l'id synthese précédemment copié comme valeur.
@@ Ligne 50: / Ligne 51: @@
       * afficher la version actuellement installée de Pipenv via Pipx : ''pipx list''
       * mise à jour : ''pipx upgrade pipenv''
-      * vérifier la version de Pipenv : ''pipenv --version''
+      * vérifier la version de Pipenv : ''%%pipenv --version%%''
     * Mettre à jour les dépendances des paquets Python : ''pipenv sync''
     * Se placer dans le dossier de gn2pg : '' cd ~/data/gn2pg/''
@@ Ligne 73: / Ligne 74: @@
   * Pour chaque schéma abritant les tables de Gn2Pg (ou //source//), il faut cloner le dépôt Gn2Pg. Ex. pour le SINP AURA (nous avons 2 //sources// : flavia, lpo) :
     * Se placer dans le dossier ''gn2pg/'' avec : ''cd ~/www/gn2pg/''
-    * Cloner une première fois le dépôt en tant que //lpo// avec : ''git clone https://github.com/lpoaura/GN2PG.git lpo''
+    * Cloner une première fois le dépôt en tant que //lpo// avec : ''%%git clone https://github.com/lpoaura/GN2PG.git lpo%%''
-    * Cloner une seconde fois le dépôt en tant que //flavia// avec  : ''git clone https://github.com/lpoaura/GN2PG.git flavia''
+    * Cloner une seconde fois le dépôt en tant que //flavia// avec  : ''%%git clone https://github.com/lpoaura/GN2PG.git flavia%%''
-  * Pour chaque source :
+  * Pour chaque source, nous allons réaliser manuellement les étapes présentes dans ''install/02_install_app.sh'' (pour les adapter à notre infrastructure) :
     * se placer dans le dossier de la source : ''cd ~/www/gn2pg/<source>/''
     * Copier le fichier settings.ini : ''cp install/settings.ini.sample install/settings.ini''
@@ Ligne 91: / Ligne 92: @@
       * Modifier le fichier de config : ''vi install/<source>_config.toml''
         * Vous pouvez garder seulement la section ''[db]'' et commenter les autres sections
-    * Nous n'utiliserons pas le script install/
     * Créer un fichier ''environ'' avec : ''vi environ'' <code properties>
 GUNICORN_PROC_NAME=gn2pg-<source>
@@ Ligne 98: / Ligne 98: @@
 GUNICORN_LOG_LEVEL=debug
 </code>
-    * Créer un fichier de service Sytemd pour chaque source : ''vi /etc/systemd/system/gb2pg-<source>.service'' (voir ci-dessous)
+    * Installer Poetry : ''pipx install poetry''
-    * Créer un fichier logrotate : ''vi /etc/logrotate.d/gn2pg'' (voir ci-dessous)
+    * Installer les dépendances du Dashboard de Gn2pg avec : <code bash>
-    * Créer un premier fichier de config Nginx permettant de récupérer le certificat SSL avec Certbot : '' vi /etc/nginx/site-available/gn2pg.conf '' (voir ci-dessous)
+poetry config virtualenvs.create true --local
-      * Activer le nouveau fichier de config : ''nginx_ensite gn2pg.conf''
+poetry config virtualenvs.in-project true --local
-      * Recharger Nginx : ''nginx-reload''
+poetry install --extras=dashboard
-      * Récupérer le certificat SSL : '' certbot -d gn2pg.<domaine-sinp>''
+</code>
-    * Prendre en compte les services créés : ''systemctl daemon-reload''
+    * Créer un fichier de service Sytemd : ''vi /etc/systemd/system/gb2pg-<source>.service'' (voir ci-dessous)
-    * Lancer les services : ''systemctl start gn2pg-<source>.service''
+      * Prendre en compte le service créé : ''systemctl daemon-reload''
+      * Lancer le service : ''systemctl start gn2pg-<source>.service''
+    * Si nécessaire, créer un fichier Logrotate (uniquement pour la première source) : ''vi /etc/logrotate.d/gn2pg'' (voir ci-dessous)
+    * Si nécessaire, créer un fichier de config Nginx : '' vi /etc/nginx/site-available/gn2pg.conf '' (voir ci-dessous)
+      * Lors de la création du fichier :
+        * Activer le nouveau fichier de config : ''nginx_ensite gn2pg.conf''
+        * Recharger Nginx : ''nginx-reload''
+        * Récupérer le certificat SSL : '' certbot -d gn2pg.<domaine-sinp>''
+      * Pour les sources suivantes, il faut seulement compléter le fichier config en ajoutant une nouvelle "location" et son proxy.
+        * Recharger Nginx : ''nginx-reload''
     * Tester l'accès au site en https
       * Consulter les logs en cas de problème : ''ls /var/log/gn2pg/''
@@ Ligne 235: / Ligne 244: @@
 </html>
+</code>
+===== Requêtes SQL utiles pour Gn2Pg =====
+<code sql>
+-- Nbre de données récupérées depuis une date donnée
+SELECT COUNT(*)
+FROM gn2pg_lpo.data_json
+WHERE update_ts > '2025-06-30';
+-- Nbre d'erreurs depuis une date donnée
+SELECT COUNT(*)
+FROM gn2pg_lpo.error_log
+WHERE last_ts > '2025-06-22';
+-- Principaux types d'erreur différents
+SELECT DISTINCT  split_part(error, e'\n', 1)
+FROM gn2pg_lpo.error_log;
 </code>