Section format_oco

  • This section moves MARS result file (for example champs_r1630.nc) to CDOCO format (1 file per time step by default). It also allows to compress files.

  • Once MARS output file(s) is in run directory (see sections rank_1), to launch format_oco:

launch_mangae config_mangae.cfg -s 2014-01-03,00:00 -e 2014-01-04,00:00 --only format_oco
  • To follow if the run is OK

    • check if format_oco is OK in f1-mangae.xml

    • in case of problem, check the log file ./logs/MANGAE2500-r1630/20140103_20140104/format_oco.log

  • Output files : ./res/MANGAE2500-r1630/tmp_20140103_20140104 (one file by time step by default)

service7>449% ls
PREVIMER_F1-MARS3D-MANGAE2500_20140103T0000Z.nc  PREVIMER_F1-MARS3D-MANGAE2500_20140103T1300Z.nc
PREVIMER_F1-MARS3D-MANGAE2500_20140103T0100Z.nc  PREVIMER_F1-MARS3D-MANGAE2500_20140103T1400Z.nc
PREVIMER_F1-MARS3D-MANGAE2500_20140103T0200Z.nc  PREVIMER_F1-MARS3D-MANGAE2500_20140103T1500Z.nc
PREVIMER_F1-MARS3D-MANGAE2500_20140103T0300Z.nc  PREVIMER_F1-MARS3D-MANGAE2500_20140103T1600Z.nc
PREVIMER_F1-MARS3D-MANGAE2500_20140103T0400Z.nc  PREVIMER_F1-MARS3D-MANGAE2500_20140103T1700Z.nc
PREVIMER_F1-MARS3D-MANGAE2500_20140103T0500Z.nc  PREVIMER_F1-MARS3D-MANGAE2500_20140103T1800Z.nc
PREVIMER_F1-MARS3D-MANGAE2500_20140103T0600Z.nc  PREVIMER_F1-MARS3D-MANGAE2500_20140103T1900Z.nc
PREVIMER_F1-MARS3D-MANGAE2500_20140103T0700Z.nc  PREVIMER_F1-MARS3D-MANGAE2500_20140103T2000Z.nc
PREVIMER_F1-MARS3D-MANGAE2500_20140103T0800Z.nc  PREVIMER_F1-MARS3D-MANGAE2500_20140103T2100Z.nc
PREVIMER_F1-MARS3D-MANGAE2500_20140103T0900Z.nc  PREVIMER_F1-MARS3D-MANGAE2500_20140103T2200Z.nc
PREVIMER_F1-MARS3D-MANGAE2500_20140103T1000Z.nc  PREVIMER_F1-MARS3D-MANGAE2500_20140103T2300Z.nc
PREVIMER_F1-MARS3D-MANGAE2500_20140103T1100Z.nc  PREVIMER_F1-MARS3D-MANGAE2500_20140104T0000Z.nc
PREVIMER_F1-MARS3D-MANGAE2500_20140103T1200Z.nc

  • To compress files, activate parameter compress == True

compress = True

For example, this option allows to divide size by 3 for biogechemical output files, and 15 for biogeochemical diag output files.

  • For output files format, instead of 1 file by time step (by default), you can chose to gather files by period : hour (H), day (D), week (W), month (M), quarter (Q) or year (Y), use option gather_by_period:

[[[rank_1]]]
  dir_res = 'MANGAE2500-r1630/rank_1'
  name_res = 'champs_r1630'
  suffix_res = '.nc'
  oco_name = 'PREVIMER_F1-MARS3D-MANGAE2500'
  oco_date = '%Y%m%dT%H%MZ'
  oco_option = ''
  gather_by_period = 'D'

#++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
 # Section format_oco
 # Mise au format OCO des sorties du rang 1
 # Entrées disponibles :
 #     depend          : liste contenant les noms des traitements dont dépend le traitement courant, liste vide si aucune dépendance
 #     description     : description du traitement (récupéré via l'option --list du script launcher.py)
 #     name            : nom du job soumis sur le calculateur (!!!! ne pas dépasser 15 caractères !!!)
 #     nmpi            : optionnel, nombre de processus MPI
 #     mpi_comp        : version du compilateur MPI (mpi_intel ou mpi_mpt), obligatoire si nmpi > 1
 #     launch          : procédure de lancement associée
 #     compress        : valeur logique d'activation de la procédure de compression native NetCDF4 des fichiers de sorties
 #     Sous-section    : une sous-section par type de fichiers �|  connecter, contenant les entrées suivantes
 #       dir_res       : emplacement du répertoire d�~@~Yexécution contenant les fichiers �|  formater ($RDIR/CONFIG)
 #       name_res      : préfixe des fichiers de résultats �|  formater
 #       suffix_res    : suffixe des fichiers de résultats �|  formater
 #       oco_name      : préfixe des fichiers de résultats formatés
 #       oco_date      : format de la date dans le nom des fichiers de résultats formatés
 #       oco_option    : option �|  rajouter au nom des fichiers de résultats formatés
 #       gather_by_period : option de regroupement des fichiers par période pré-définie
 #                         (None :aucun, 'H':par heure, 'D':par jour, 'W' par semaine, 'M': par mois, 'Q': par trimestre, 'Y': par année)
 #       global        : sous-section permettant l'édition des attributs globaux
 #       nom_variable  : sous-section permettant l'édition des attributs de la variable nom_variablele
 #++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
 [[format_oco]]
   depend = ['rank_1']
   description = 'Format rank 1 outputs to OCO norm'
   name = 'mang25_format'
   nmpi = 64
   mpi_comp = 'mpi_intel'
   launch = 'tools.results.launch_format'
   compress = True
   [[[rank_1]]]
     dir_res = 'MANGAE2500-r1630/rank_1'
     name_res = 'champs_r1630'
     suffix_res = '.nc'
     oco_name = 'PREVIMER_F1-MARS3D-MANGAE2500'
     oco_date = '%Y%m%dT%H%MZ'
     oco_option = ''
     [[[[global]]]]
       software_version = 'PREVIMER forecasting system v2'
       title = 'PREVIMER F1 MANGAE2500 forecast'
       product_name = '%(oco_name)s.nc'
       comment = 'Use of Meteo-France ARPEGE HR meteorological data'
       area = 'MANGAE'
       field_type = '1-hourly'
       contact = 'cdoco-exploit@ifremer.fr'
       quality_index = '0'