Ceci est une ancienne révision du document !


Import des données SINP-PACA pour GeoNature et l'Atlas

Cette manipulation est dangereuse car elle supprime tout le contenu de la base de données de GeoNature !
  • Suivre les étapes de mise à jour d'une installation de GeoNature, au niveau de l'intervention sur "db-srv" suivre ceci:
    • Sur l'instance "db-srv" connecté en tant que "geonat", suivre les étapes suivantes
    • Mettre à true le paramètre drop_apps_db du fichier ~/geonature/config/settings.ini.
    • Se placer dans le dossier ~/geonature/install/ avec la commande : cd ~/geonature/install/
    • Lancer une session détachable car la manipulation peut être longue et une perte de connexion SSH possible : screen -S install-db
    • Lancer le script d'installation de la base de données de GeoNature : ./install_db.sh
    • Vérifier l’absence d'erreurs de l'installation dans le fichier '' ~/geonature/var/log/install_db.log ''
    • ATTENTION : remettre à false le paramètre drop_apps_db du fichier ~/geonature/config/settings.ini !
  • En local, sur votre machine, récupérer le dépôt Github "sinp-paca-data" : git clone git@github.com:cbn-alpin/sinp-paca-data.git
  • Suivre les éventuelles étapes indiquées dans les fichiers README.md (CBNA) et README.md (CEN-PACA)
  • ATTENTION : sur le serveur, sauvegarder le dossier "data" : voir ci-dessous
  • Se placer à la racine du dossier sinp-paca-data
  • Transférer les scripts : rsync -av --copy-unsafe-links --exclude var --exclude .git --exclude .editorconfig --exclude .vscode --exclude .gitignore --exclude settings.ini --exclude "data/raw/*" --exclude venv --exclude .venv --exclude "import-parser/data/*" ./ geonat@db-paca-sinp:~/data/ --dry-run
    • Supprimer l'option --dry-run si tout semble ok pour effectuer le transfert réel
  • Se connecter au serveur
    • Créer les fichiers settings.ini à partir des fichiers settings.sample.ini pour : area, cbna-cbnmed, cenpaca et shared
    • Préparer l'environnement du script import-parser en suivant les indications du fichier README.md (import-parser)
      • Notes : il est nécessaire de redonner les droits d'execution à GCC pour tout le monde si l'on veut pouvoir installer correctement le venv avec sudo chmod o+x /usr/bin/gcc. Une fois l'installation terminée, retirer les à nouveau avec '' chmod o-x /usr/bin/gcc ''.
  • Notes : les données brutes nécessaires aux scripts sont automatiquement téléchargées depuis Dropbox
  • Se connecter à l'utilisateur "admin" sur le serveur : ssh geonat@db-paca-sinp
  • Créer le dossier de sauvegarde : '' mkdir -p backups/data ''
  • Sauvegarder le dossier "data" : '' mv data backups/data/$(date +%F) ''
  • Recréer le dossier "data" vide : '' mkdir data ''

Il est nécessaire d'ajouter dans le référentiel géographique de GeoNature le contour du territoire du SINP. Pour ce faire, nous allons utiliser le script area du dépôt "data" :

  • Se connecter au serveur "db" en tant qu'admin : ssh geonat@db-paca-sinp
  • Se placer dans le dossier // ~/data/area/ // de l'utilisateur geonat : cd ~/data/area
  • Créer le fichier de configuration : cp config/settings.sample.ini config/settings.ini
  • Modifier le fichier settings.ini en fonction de l'installation locale : vi config/settings.ini
  • Lancer une session détachable : screen -S import-area
  • Lancer le script : ''cd bin/ ; ./initialize.sh -v ''
  • Vérifier l’absence d'erreurs dans la session et vérifier le contenu de la base de données
  • Se connecter au serveur "db" en tant qu'admin : ssh geonat@db-paca-sinp
  • Se placer dans le dossier // ~/data/cenpaca/ // de l'utilisateur geonat : cd ~/data/cenpaca
  • Créer le fichier de configuration : cp config/settings.sample.ini config/settings.ini
  • Modifier le fichier settings.ini en fonction de l'installation locale : vi config/settings.ini
  • Lancer une session détachable : screen -S import-cenpaca
  • Lancer le script : ''cd bin/ ; ./import_initial.sh -v ''
  • Vérifier l’absence d'erreurs dans la session et vérifier le contenu de la base de données
  • Se connecter au serveur "db" en tant qu'admin : ssh geonat@db-paca-sinp
  • Se placer dans le dossier // ~/data/cbna-cbnmed/ // de l'utilisateur geonat : cd ~/data/cbna-cbnmed
  • Créer le fichier de configuration : cp config/settings.sample.ini config/settings.ini
  • Modifier le fichier settings.ini en fonction de l'installation locale : vi config/settings.ini
  • Lancer une session détachable : screen -S import-cbna-cbnmed
  • Lancer le script : ''cd bin/ ; ./import_initial.sh -v ''
  • Vérifier l’absence d'erreurs dans la session et vérifier le contenu de la base de données

Suivre la démarche décrite dans la documentation de gestion des serveurs.

  • serveurs/sinp-paca/import-donnees.1614684961.txt.gz
  • Dernière modification : 2021/03/02 11:36
  • de jpmilcent