Mise à disposition de documents avec update_date antérieure au jour même ?

[TaniaBDev]

Nous avons constaté que certains documents n'ont pas été récupérés avec l'export quotidien. Est-il possible que certains documents sont mis à disposition le jour J avec update_date antérieure J-x ?

Par exemple, un export (en environnement de PROD) fait le 13/06/2022 (à 13h37).
Les paramètres d'export :

{
	"query": {
		"date_start": "2022-06-08",
		"date_type": "update",
		"resolve_references": true,
		"batch_size": 1000,
		"batch": 0,
		"abridged": true,
		"jurisdiction": [
			"ca"
		],
		"type": [],
		"theme": [],
		"chamber": [],
		"formation": [],
		"location": [],
		"publication": [],
		"solution": [],
		"withFileOfType": []
	}
}

Cet export a retourné seulement 53 documents (retour d'export est ci-joint). response_20220608_0_1655120220732.txt

Quand je refais l'export aujourd'hui (avec la date date_end = "2022-06-13" en plus), j'ai 1736 documents. En regardant les détails, seulement les documents avec les dates update_date du 08/06 et 09/06 sont présents dans mon export du 13/06. Il y a 1 062 documents avec update_date = 11/06 ou 12/06 qui y sont absents. Ainsi que 621 documents avec update_date = 13/06, mais comme ce n'est pas un timestamp, il est impossible de savoir s'ils ont été apparus avant 13h37 ou après.

[SebCourvoisier]

Cf. #81 — l'intégration d'une propriété "date de publication" en tant que timestamp pourra résoudre ces cas.

[TaniaBDev]

Bonjour,
Je me permet de revenir vers vous concernant ce problème. Malgré l'ajout de la propriété update_datetime ce problème n'est toujours pas résolu.

Un exemple récent : arrêt 6368dc51f1ea8a7f744fbf98 récupéré le 8 novembre avec une erreur dans le contenu (Chambre criminelle au lieu de l'Assemblée plénière et numéro ECLI incorrect). Si je le récupère aujourd'hui le même arrêt, il est corrigé et la date de la mise à jour est le 9 novembre ("update_datetime": "2022-11-09T18:30:08.000Z"). Pourtant l'arrêt na pas été inclus dans l'export fait le 10 novembre (vers 1h de matin) avec les critères suivants :
"query": { "date_start": "2022-11-09", "date_end": "2022-11-10", "date_type": "update", "resolve_references": true, "batch_size": 1000, "batch": 0, "abridged": true, "jurisdiction": [ "cc" ], "type": [], "theme": [], "chamber": [], "formation": [], "location": [], "publication": [], "solution": [], "withFileOfType": [] }, "total": 20, "previous_batch": null, "next_batch": null, "took": 10,

Si je refais la requête même plus restreint aujourd'hui (date de la fin = 9 novembre pour exclure les arrêts mis à jour le 10 novembre), je récupère 27 documents et pas 20 :
"query": { "batch_size": 1000, "resolve_references": true, "batch": 0, "date_start": "2022-11-09", "date_end": "2022-11-09", "jurisdiction": [ "cc" ], "date_type": "update", "abridged": true, "type": [], "theme": [], "chamber": [], "formation": [], "location": [], "publication": [], "solution": [], "withFileOfType": [] }, "total": 27, "previous_batch": null, "next_batch": null, "took": 16,

Les 7 arrêts qui manquaient (avec leur update_date et update_datetime) :
` "id": "6368dc51f1ea8a7f744fbf98",
"update_date": "2022-11-09",
"update_datetime": "2022-11-09T18:30:08.000Z",

        "id": "6350f591fad421adffeefcc8",
        "update_date": "2022-11-09",
        "update_datetime": "2022-11-09T16:44:06.000Z",
		
        "id": "6350f58efad421adffeefcc4",
        "update_date": "2022-11-09",
        "update_datetime": "2022-11-09T16:36:22.000Z",
		
        "id": "6350f584fad421adffeefcbe",
        "update_date": "2022-11-09",
        "update_datetime": "2022-11-09T16:31:00.000Z",
		
        "id": "6350f597fad421adffeefcce",
        "update_date": "2022-11-09",
        "update_datetime": "2022-11-09T16:49:58.000Z",
		
        "id": "6350f595fad421adffeefccc",
        "update_date": "2022-11-09",
        "update_datetime": "2022-11-09T16:48:42.000Z",
		
        "id": "6347aefe29ffd2adfff4f507",
        "update_date": "2022-11-09",
        "update_datetime": "2022-11-09T16:28:14.000Z",`