database:utilitaires-imports

Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentes Révision précédente
Prochaine révision		 Révision précédente
database:utilitaires-imports [2026/08/20 11:00] – [Remplacement de chaîne] jpmilcentdatabase:utilitaires-imports [2026/10/14 12:07] (Version actuelle) – [Stats] jpmilcent
Ligne 90: Ligne 90:
 # Si tout est OK, la commande ne doit rien afficher... # Si tout est OK, la commande ne doit rien afficher...
 </code> </code>
 +
 +===== Extraire lignes avec trop de caractères dans une colonne =====
 +
 +<code bash>
 +# Extraire les lignes dont la colonne 38 possède plus de 500 caractères :
 +awk -F'\t' -v col=38 -v limite=500 'length($col) > limite { print "Ligne " NR " : " length($col) " caractères" }' synthese.csv > synthese.col-38-extra-chars.txt
 +</code>
 +  * ''%%-v col=38%%'' : remplacez 38 par le numéro de la colonne que vous souhaitez analyser.
 +  * ''%%-v limite=500%%'' : remplacez 500 par le nombre de caractères au-delà duquel vous souhaitez être alerté.
 +  * ''%%length($col) > limite%%'' : c'est la condition. awk ne déclenchera la suite que si la longueur du texte dans la cellule est strictement supérieure à votre limite.
 +  * ''%%{ print NR }%%'' : permet d'afficher uniquement le numéro de la ligne concernée. Dans l'exemple, nous affichons également le nombre de caractères ''%%length($col)%%''. 
  
 ===== Trouver les doublons ===== ===== Trouver les doublons =====
Ligne 217: Ligne 228:
   * Si la ligne ne contient pas le pattern, elle est renvoyée tel quel.   * Si la ligne ne contient pas le pattern, elle est renvoyée tel quel.
 ===== Stats ===== ===== Stats =====
 +  * Pour obtenir un ensemble de stats sur un fichier CSV, dont le nombre de caractères max ou de valeurs unique par colonne, utiliser : <code bash>csvstat -t synthese.csv</code>
   * Date d'observation la plus ancienne : <code bash> csvstat -t -q '"' -u 0 -e "UTF-8" -c date_min --min synthese.csv </code>   * Date d'observation la plus ancienne : <code bash> csvstat -t -q '"' -u 0 -e "UTF-8" -c date_min --min synthese.csv </code>
  
 +**Notes** : pour installer cet outil sous Debian : ''%% sudo apt install csvkit %%''
 ===== Contourner l'erreur : "sed: la taille du tampon d'entrée d'expression régulière est plus grand que INT_MAX" ===== ===== Contourner l'erreur : "sed: la taille du tampon d'entrée d'expression régulière est plus grand que INT_MAX" =====
 <code bash> <code bash>
  • database/utilitaires-imports.1787223620.txt.gz
  • Dernière modification : 2026/08/20 11:00
  • de jpmilcent