Framework de cola de tareas distribuido con soporte de prioridades
Celery es el framework de cola de tareas distribuido que gestiona la ejecución de todos los trabajos computacionalmente intensivos del pipeline KYC (inferencia ML, procesamiento de imagen, OCR).
Usar en el worker_pool_agent como motor de ejecución de tareas. El orquestador encola tareas en Celery y los workers las procesan de forma asíncrona.
pip install celery[redis].app = Celery('verifid', broker='redis://localhost:6379/0', backend='redis://localhost:6379/1')
app.conf.task_serializer = 'json'
app.conf.result_serializer = 'json'
@app.task(bind=True, max_retries=3).task_routes = {'liveness.*': {'queue': 'realtime'}}.celery -A verifid worker -Q realtime,gpu,cpu --concurrency=4.task_acks_late=True para no perder tareas si el worker muere.task_reject_on_worker_lost=True.model_warmup.