[Importeur] Ajout validateurs datetime & JSON
Contexte
Pour pouvoir importer flux-de-donnees-anct!68 (merged) il a fallu faire quelques améliorations.
Contenu de la MR
Validateur de datetime
Certains champs comportent des datetimes que l’on avait pas avant ; j’ai ajouté un validateur qui se sert du parseur de dateutil
Validateur de JSON
Pareil, ici je me suis servi de la librairie JSON standard
Paramétrisation de flatten
Dans l’import d’un NDJSON on aplatit tous les champs JSON. C’est à dire qu’on transforme un
{"a":
{"b": 1}
}
en un champ a__b: 1
.
Je voulais pouvoir importer directement le champ JSON, j’ai du rendre l’aplatissement paramétrable.
On peut maintenant ajouter dans un fichier de description d’un datasets à expected le paramètre flatten: false
pour ne pas aplatir les champs JSON.