Taille limite de l'export trop petite, ou mises à jour trop volumineuses

[atomobianco]

Des problèmes dans la conception des limites de l'API /export, ou bien je n'utilise pas les bons paramètres.
L'export est limité à 10 k decisions. Chaque jour je dois récupérer les décisions nouvelles et les décisions qui ont été mises à jour. J'utilise donc le paramètre date_type=update sur une fenêtre d'un jour. Mais le 14 Avril 2022, 21901 décisions ont été mises à jour. Donc pas moyen de les récupérer en entier ?

[anteverse]

+1 @atomobianco

Le problème est récurrent ces-derniers jours.

[matheyal]

Le soucis provient d'une limitation de la pagination "par défaut" de l'API search d'Elasticsearch.

Extrait de la doc Elasticsearch:

By default, you cannot use from and size to page through more than 10,000 hits. This limit is a safeguard set by the index.max_result_window index setting. If you need to page through more than 10,000 hits, use the search_after parameter instead.

Il faudrait donc modifier la manière dont la query d'export est construite dans la méthode buildQuery() de manière à utiliser les "point-in-time" et le paramètre search_after

[cjolif]

Voir aussi #91

[SebCourvoisier]

Le problème survient lors des phases d'évolutions fonctionnelles (comme l'intégration des décisions de cours d'appel) nécessitant la réindexation du stock. Des limitations doivent être mises en place en amont, en complément d'une solution analogue à celle qui est évoquée ci-dessus : #88 (comment).