Skip to content

Minimal harverster

Yohan Boniface requested to merge harverster into main

Dans cette PR:

  • ajout d'une clé optionnelle expires aux jeux de données, acceptant les valeurs suivantes: daily, weekly, montly, quarterly, yearly, stable
  • ajout d'une colonne expires à la table meta, dont la valeur optionnelle est calculée lors de l'import si la clé expires est renseignée
  • ajout d'un helpers retrieve_dataset qui télécharge un dataset en utilisant la clé url si présente
  • ajout d'une commande insitu harvest qui télécharge les fichiers de toutes les jeux de données expirés, l'idée étant de lancer cette commande lors du cron quotidien nocturne

Y a sûrement des edges cases encore à gérer, mais ça nous fait une première version. Prochaine étape sûre: envoyer un mail au mainteneur et à l'équipe SIT quand le jeu de données a expiré et qu'il n'y a pas d'URL pour le télécharger automatiquement (c'est là qu'un bot pourrait être utile, comme ça la personne peut optionnellement répondre à ce mail avec le fichier nécessaire).

Edited by Yohan Boniface

Merge request reports