8000 Chargement de données KO avec appel en parallèle · Issue #870 · addok/addok · GitHub
[go: up one dir, main page]
More Web Proxy on the site http://driver.im/
Skip to content
Chargement de données KO avec appel en parallèle #870
Open
@Atu60

Description

@Atu60

Bonjour,

Lorsque nous effectuons une mise à jour de la BAN et il y a des appels en parallèle alors les résultats ne sont plus pertinents.

Voici ma procédure de chargement, nous avons ajouté l'alimentation via un appel REST :

from addok.autocomplete import create_edge_ngrams
from addok.batch import process_file
from addok.db import DB
from addok.ds import DS
class Alim(View):
    def on_get(self, req, resp, **kwargs):
        file_ndjson_path= req.get_param('ndjson')
        if not file_ndjson_path:
            raise falcon.HTTPBadRequest('Missing type or file_ndjson_path')

        results = 'alim BDD terminées'
        self.to_geojson(req, resp, results)

        DB.flushdb()
        DS.flushdb()
        process_file(file_ndjson_path)
        create_edge_ngrams()
        DB.save()

Les résultats sont particulièrement peu intéressant quand nous filtrons sur les 4type de données de la BAN. Pour permettre cela nous avons mis en place 892fb3d

Avez-vous déjà eu des problème sur la cohérence des données suite a un chargement ?

Merci

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions

      0