Minimal harverster
Dans cette PR:
- ajout d'une clé optionnelle
expires
aux jeux de données, acceptant les valeurs suivantes:daily
,weekly
,montly
,quarterly
,yearly
,stable
- ajout d'une colonne
expires
à la tablemeta
, dont la valeur optionnelle est calculée lors de l'import si la cléexpires
est renseignée - ajout d'un helpers
retrieve_dataset
qui télécharge un dataset en utilisant la cléurl
si présente - ajout d'une commande
insitu harvest
qui télécharge les fichiers de toutes les jeux de données expirés, l'idée étant de lancer cette commande lors du cron quotidien nocturne
Y a sûrement des edges cases encore à gérer, mais ça nous fait une première version. Prochaine étape sûre: envoyer un mail au mainteneur et à l'équipe SIT quand le jeu de données a expiré et qu'il n'y a pas d'URL pour le télécharger automatiquement (c'est là qu'un bot pourrait être utile, comme ça la personne peut optionnellement répondre à ce mail avec le fichier nécessaire).
Edited by Yohan Boniface