Skip to content

[Importeur] Ajout validateurs datetime & JSON

Vincent Lara requested to merge improve-importers into main

Contexte

Pour pouvoir importer flux-de-donnees-anct!68 (merged) il a fallu faire quelques améliorations.

Contenu de la MR

Validateur de datetime

Certains champs comportent des datetimes que l’on avait pas avant ; j’ai ajouté un validateur qui se sert du parseur de dateutil

Validateur de JSON

Pareil, ici je me suis servi de la librairie JSON standard

Paramétrisation de flatten

Dans l’import d’un NDJSON on aplatit tous les champs JSON. C’est à dire qu’on transforme un

{"a":
 {"b": 1}
}

en un champ a__b: 1.

Je voulais pouvoir importer directement le champ JSON, j’ai du rendre l’aplatissement paramétrable. On peut maintenant ajouter dans un fichier de description d’un datasets à expected le paramètre flatten: false pour ne pas aplatir les champs JSON.

Merge request reports