Episode 07 / Pipelines
Late-Arriving Data
Data can reach a pipeline after the period it belongs to. Historical edits, backdated transactions, batch uploads, network lag, and delayed source systems are five causes to check.
By Mario Caesar ·
░░░░░░░░▒░░░░░░░░░░░▒▒░░░▒░░░░░░░▒░░░░░░░░░▒░░░░░░░▒░░░░░░░░░░░░░░▒░▒▒░░▒░▒░░░░░▒░░░░░░░░░░░░▒▒░
░░░░░░░░░░░░░▒░░▒░░▒▒▒▒▒▒▒░▒░░▒▒░░░░░░░▒░░░▒░░░░░░░░░░░░░░░░░░▒░▒░▒▒▒▒░░░░░░▒░░░░░▒░░░▒▒░▒▒░░░░░
▒░░░░░░░░░░░░░░░░▒▒▒░░░░░▒░░░░░░░░░░░░░░░░░░░░▒░░▒░░░░▒░░░░░▒░░▒▒▒░░░░▒░░░░░░░░▒░░░░░░░░░░░░░░▒░
░░░▒░▒░░░▒░░░░░▒▒░░░░░░░░░░░▒░░░░▒░░░░▒▒░░░░░▒░▒░░░░░▒░░▒░░░▒░░░░░░░░▒░░░▒░░░░░░░░░░░░░░░░░▒░▒░░
░▒░░▒░░░▒░░░░▒▒▒░░░░░▒░▒▒░░░░░░░░░▒░▒░░░░░░░░░░░▒░░░░▒▒░░░░░▒░▒░░░░░░░░▒░░▒▒░░▒░▒░▒░░░░░░░░░░▒░░
░▒▒░░░▒░░░░▒░▒░▒░▒░▒░▒░▒░░░░░░░░░░░░░░░▒░░▒░░░░░░▒░▒▒▒░░▒░░░░▒░▒░░░░░░░░▒░░░░░░▒░░░▒░░░░░░▒░░░░▒
░▒▒░░░░░░░░░▒░▒░░░░░░░░░▒▒▒▒▒░░▒░░░░░░▒░▒░▒▒░░▒░░░░░░░░░░░░░▒░░░░░░░░░▒░▒▒░░▒░▒░░░░░░░░░░▒▒░░░▒░
░░░▒░░░░░░░▒▒░░▒▒░░▒▒░░░░░░░░░░▒░░░░░░░░░░░░░░░░░░░░░░░░░▒░░░░▒░░░░░░░▒░▒░▒░░░░░▒░░░░▒▒▒▒░░░░░░░
░░▒░▒░▒▒░▒░░░▒░░░▒░▒░░░░░░░░▒░░░▒▒░░░░░░░░░░░░░░░▒░▒░▒░░░▒░░▒░░░░░░░▒░░▒▒░▒░▒░░░░░░▒░░░░░▒░░░░░░
░░░░░░░░▒░░░▒░▒░░░░░░░▒▒░░░▒░░▒░░░▒▒░░░░▒░░▒░░░▒░░░▒░░░▒░░░░░▒▒░░▒░░▒▒░░▒▒░░▒▒░░░░▒░▒░░░░░░░▒▒░░
░░░░▒▒░░░░░░▒░░░░░░░░░░░░░░░░░▒▒░▒░▒░▒░░░░░░░░░░▒▒▒▒▒░░░░░░▒░░░▒░░▒░░░▒░░░░▒▒░░░░░░▒░░░▒░▒░▒░░░▒
░░▒░░▒░░░░▒░░░░░▒░▒░░░▒░░░░░░▒░▒▒░░░░░░░░░░░░▒▒▒░░░░░░▒░▒░░░░░░▒▒░░▒░░░▒░▒▒░░░░░▒▒░▒▒░▒░▒▒░▒░▒░░
░░▒░░▒░░░░░░▒░░░░░░░░▒░░░░░░░░░░░░▒░░░▒▒░░░▒▒▒▒░░░░░▒░░▒▒░░▒░░▒░░░░▒░▒░░░░▒░░░░░░▒▒░░░░░░░░░▒░░▒
░▒░░░░░░░░░░▒▒░░░░░░▒░░░░░░░░░░░░▒▒░░░░░░░░▒░░░░▒░░░░░░░░▒░░░░░▒░░░▒░░░░▒▒░░░░░░▒░░░░░░░░░▒░▒░░░
▒░░▒░░░░░░░░░▒░░░▒░░░░▒░░░▒░░▒▒░▒░░▒▒░▒░░▒░░░░░░░░░░░░░▒░▒░░░░░▒▒░░░░░░░░░░░▒░░░░░░░░░░░░░░░░░░░
░░░▒▒░░░░░░░░░░░░░░▒░░░░░▒░░░░░▒░░▒░▒░░░░░░░░░░░░░▒░░░░░░░░░░░░░░░░░░░░░░░░░░▒░░▒░░░▒░░░░▒░░░░▒░
░░░░▒░░░░░░▒▒░░░░░▒░░░░▒░▒░▒░░░░░░░░░░░░░░░░░░░▒░░░░▒░░░░▒░░░░░▒░░░░░░░▒░▒▒░░░░░░▒░░░░░░░░▒▒░░░░
░░░░░░░▒░░░░░░░░░░▒░░░░░░░░░░░▒░░▒░░░░░░▒▒░▒▒░░░░░░░░▒░▒░░░░▒░░▒▒░░▒▒░▒▒░░░░░░░░░░░░░▒░▒░░░░▒░░░
▒░▒░░░░░▒▒░░░░▒░▒░░▒░▒░░▒░░░░░▒░▒░░░░▒░░░░░░░░▒░░░▒░░▒▒░▒░░░▒░░▒░░▒░░░▒░░░░▒░░▒░░░░▒░░░░▒░░░░░░░
░▒▒░░░░░░░░░░▒░▒░░▒░░░░░░░░░░░▒░░░▒░░░░░░░░▒░░░▒░░░░░░░▒░░░░░░░░░░░▒░▒░▒░░░░▒▒░░░░▒░░░░░░░░░▒▒░░
▒░░▒░░░▒░░▒░░░░░░░░░▒░░░░░░░░▒░▒▒░░░░▒░░░░░░░░░░░░░░░░░▒░░░▒░░░░▒░░▒▒░░░▒░░░░░░▒▒░░░▒▒░░░░▒░░▒▒░
░░░░▒░░░░░░▒░░░▒░░░░▒░░░░░░▒░░░░░░░░▒▒░░░▒░░░░░▒░▒▒░░░░░░░░▒░▒░░░░▒▒░░░░░▒░▒░░░░░░░▒░▒░▒░▒░░░░░░
▒░░░▒░▒░░░▒░░░░▒░▒░▒░░░▒▒░▒▒░░░░░░▒░▒░░░░░░░░░░░▒░░░▒▒░░▒▒░░░░░░░░░▒░░░░░░░░▒░░░░░░░░░░▒░░░░░▒░░
░▒░░░░░░░░░▒░░░░░░▒░░░▒▒░░░░░░░▒░░▒░░░▒░▒▒░░▒▒░▒░░░░░░░░░░░░░░░░▒░░▒░▒░░░░░░░░░░░▒░░░░░░░░░░░░▒░
░▒░░░░░░▒░░░░░░▒░░▒░░░░░░░░░▒░░░░▒░░░░░░░░░▒░░░░░░░▒░░░░░░░░░▒░░▒▒░░░▒░░░░▒░░▒▒░░░▒▒░░░░▒░░░░░░░
░▒▒░▒░▒▒▒░░░▒░░░░▒▒░▒░░░░▒▒▒▒░░▒░▒░░░░░▒░░░░░░░░░░░░░░░▒▒░▒░░░░░▒░▒░░░░░▒░░░░░░░▒░░▒░░▒░░░░▒░░▒░
░░░▒░░░▒░░▒▒▒░░▒░▒░▒░░▒▒▒░░░░░░░░░░▒░▒░▒░░▒░░░░░░░░▒░░▒▒░░░▒░░░░░░░░░░▒░▒░░░▒░░░░░▒░░░░░░░░░▒░░▒
░░░░░░░▒▒░▒░░░░▒░░░░▒░░▒░░░░░▒░░░░▒░░░░▒░░░░░░░░▒░▒░▒░░░░░░░░░░░░░░░░░░▒░▒░░░░░░░░▒░░░░░▒▒░▒░░░░
▒░▒░▒░░░░░▒▒▒░▒░░░▒░░░░░░░░░▒░▒░░░░░░░▒░░▒░░░▒▒▒░░░░▒░▒░░░▒░░▒░░▒░▒░▒░░░▒░░░░░░░░░▒▒▒░▒▒░░▒░░░░▒
░░░░▒░░░░░░░░░▒░░░░░░░░░▒░░▒░░░░░░░░▒░░░░▒░░░░▒░▒░░░░░░▒░░▒░░▒▒▒░░░░░░░░▒▒░░░▒░░░░▒░░░░▒░░░▒░▒▒░
░░▒▒░░▒░░░░░▒░░░░░░▒░▒▒░░▒░░░▒░░░░░░░░░░░░▒░░░░░▒░░░░░░░░░▒░▒░░░░▒░░░▒░░░░▒░░░░░░░▒░░░░▒░░░░░▒░▒
░░▒░░░▒░▒▒░▒░░░░░░░░▒░░░░░░░░░░░░▒░▒▒░▒░▒░░░▒░░░░░░░░░▒░░░░░░▒░░░░░░░▒▒░░▒░░░░░░░░▒░░▒▒░░▒░▒▒░░░
▒░░▒▒░░░░░░▒░░░░░░░░░░░░░░▒░░░░░░░░▒░░░░░░░▒░▒░░▒▒░░░░░▒░░▒░░░░░░░▒░░░░░░░░░░░▒░░░░░▒░░░░▒░░░░░░
░░▒░░░░░▒▒▒░░▒░░░░░▒░▒░░░░░░░▒░░░░░░▒░░▒░░░░▒░░░░░░▒░░░▒░░░░░▒░▒░░▒░░░░░░░░░░░░░▒░▒▒░░░▒░▒░░▒▒▒░
░▒░░░░▒░░░░▒░░░░░░▒░░░░░▒▒░░░░░░░▒░░▒░▒▒░░░░░░░▒░▒░░░░░░░▒▒░░▒░░░░░░▒░░░░░▒▒▒▒░░░░░░░░▒░░░░░▒░░░
░▒░░░░░▒░░░░░░░░░░░░░░░▒░░░░░░░▒░▒░░░░░░░░░▒░░░░▒░░░░▒░░░░▒░▒▒░░░░░▒░░░░░░░░░░░░░▒░░░░░▒░░░░░░░░
░▒░░░░░░░░░░░▒░░▒░▒░░░░▒░░░░░░░░▒░░░░░░░░▒░░░▒░░░▒░░░░▒░░░▒░░░░░░░▒▒░░░▒░░░░░░░░▒░░░░░░░░░░░░░░░
░░░░░░░░░░░▒▒▒░░░▒░▒▒▒░▒░░▒░░░▒░░░▒░░░░▒░░░░▒▒░░░▒░░░░░░░░░░░░░▒░▒▒░░░░░░▒▒▒░░░░░░░░░░░▒▒░▒░░▒░░
░▒░░░░░░░░▒▒░░░░░░░▒▒░░░▒░░▒░░░░░▒░░▒░░░░░░▒░▒░░░░▒░░░▒░░▒▒░▒░░░░░▒░░▒░▒▒░░░░░░░░▒░▒░░░░░░░░░░▒░
░▒░▒▒░░░▒░░░▒░░░░░▒▒▒░▒░░░░░░▒░░░▒░░▒░░░▒▒▒░░▒▒░░░░░░░▒░░▒░░▒░░░▒▒░░░▒░░░░░░░░░▒░░░░▒░▒▒░░░░░▒░░
░░░▒░░░░░░░░░░░░░▒▒░░░░░░░▒░░░░░░░▒░░░░░▒░░▒░▒░░░░░▒▒░░░░░▒░░▒░░░░░░░░▒▒▒░▒░░░▒░░░░░▒▒░░░░░▒▒░░░
░▒░░░░░░░░░░░░░░░░▒░░░░░░▒░░░░░░░░░▒▒▒▒▒░░░░░░░▒░▒░░░░░░░░▒░░░░░░░░░░░░░░░░░░░░░▒░░▒░░▒░░░░░░░▒░
░░░░░░░░░▒░░▒░░░▒░░▒▒▒▒░░▒░░▒░░▒░░░░░░▒▒░░░░░▒░░░░░▒▒░░░▒▒▒░░▒░░▒░░▒░▒░░░░▒░░▒▒░▒░▒▒░░░░░░░░░▒░░
░░░░▒▒▒░▒▒▒░░░░░░▒░░▒▒░░░░░░▒░░░░░░░░▒▒░░▒░░▒▒░▒▒░░░░░░░░░▒░░░░░░▒░░▒░░░░░░░░░░░░░░▒░░░░░░░░░▒░░
░░░▒░░░░░░░▒░░▒░░▒░░░▒▒░░░░░▒░░░░░░░░▒░░░░▒░░▒▒░░▒▒░▒░░░░░░░░░▒░░░░░░░░░░░░░░░░░░░░░░░▒░░▒░░░░░▒
░░░░▒░░░░░░░▒░░░░░░▒▒░░░░▒▒▒░░░░▒░░░░░░▒░░░░▒░░░▒░▒░░░░░░░▒░░░▒░░░░░░░░░░░░░░░░░░░░░░░░░▒░░▒░░░░
░░░░░░▒░░░░▒░░▒░░░░░░░░░░░░░▒▒░░▒░▒▒░░░░░░░▒░▒▒░░░▒░░░▒░░░░▒░░░▒░░░▒░▒░░░░░░░░░░░▒▒░▒░░░▒░░░░░░░
░░░░░░░░▒▒░░░▒░░░░░░░▒░░░░░░░░▒▒░░░░░░▒░░░░░░▒░░░░░░░░░▒░░░▒▒░░░░░░░░▒░▒░░▒░▒░░░░▒░░▒░░░░▒▒░░░▒▒
░▒▒░▒░░░░░░░░░▒░░▒░░░░▒░░░▒░░░▒░░░░░░░░░░░░░░░▒░░░░░▒░░░░░░▒░▒░░░▒▒▒░▒░░░░░░▒░░░░░░░▒░▒░▒░░▒▒░░░
░░░░░░▒░░░░░░▒▒░░▒░░░▒░▒░▒░░░▒▒░░▒░░░░░░░░░░░░░░░▒░▒░▒░░▒░░░░░░▒░░░░░░░░░░▒░░░░░▒▒░░░░░░░▒░░░░░▒
▒▒▒░░░▒░░▒░░▒░▒░▒░▒░░░░▒▒░░▒▒░░░░░░░░░░░░▒░░░░░░░░▒░░░░░░░░░░░░▒▒░░░░▒░░▒░░░░░░░░▒░░░░░░░░░░░░░░
░░░▒░▒░░░▒░░░▒░░░░░░░░░░▒░░░░▒░▒░░░░░▒░░▒░░▒░░░▒░░░░░░░░░░░░░░▒▒░▒▒░▒░░░░░░▒░░░░░░▒░░░░░░░░▒░░░░
░░░░▒▒▒▒░░▒░░░░░▒░░░▒░▒░░░░░▒░░░▒░▒░▒░░░░░░▒░░░░░░░░░░░▒░░▒░▒░▒░░▒░▒░░░▒░░░░▒░░░░░░░░░▒░░░░▒░░░░
▒░▒░░▒░▒░░░░░▒░▒░░░░▒░░░░▒░░▒░░░▒░░░░░░░░░░░░▒▒░░░░░░░▒░▒░░░░░░░▒░░░░░░░░▒▒▒░▒░▒░░▒▒░▒░░░░░░▒░▒░
▒░░░░▒▒░░░░▒░░░░░░▒░░░░░░▒░░░▒░░░░░▒░▒▒░░░▒░░▒▒░░░░░░░▒░▒░░▒░░░░░░░░▒░░░░░▒▒░░░░░░░▒░░▒▒░░▒░▒░░░
░░░░░░░░░░▒░░▒░░░░░░░░░░░░░░░░▒░░▒░░░▒░▒░░░░░░░░░░░░░▒░▒░▒▒░░░▒░░░░▒░░░▒░░░░░░░░░░░░░░▒▒░▒░░░░▒░
░░░░▒▒░░░░░░░▒▒░░░▒░░▒░░░░░▒░░░▒░░░░░░░░░░░░░▒░░▒░░░░▒░░░▒▒░░░░░▒░░▒░▒░░░░░░░░░░▒░▒░░░░▒▒░░░░▒░░
░░░▒░░░▒░░░▒░░░░░░░░░░░░▒░░░░░▒░░░░▒░▒░░░░░░░░░░▒░▒░▒░▒░▒░▒░▒░░▒▒▒░░░░░░░░▒░░░░▒░░░░░░░░▒░░░░░░░
░▒░░▒░░░░░░░▒░░▒░░░░░░░▒░░▒░░▒░░░░░░░░░░░░░▒▒░░░░░░░░░░░░░░░░░▒░░░░░░░░░░▒░░▒░▒▒░▒░░░░░░▒░░░▒░░▒
░░░░░░░░░░░░░░▒▒░░░░░░░░░░░░░▒▒░░░▒░░░░░░░░░░▒░▒░░░░▒░░▒░░░░░░░░░░░░░▒▒░▒░░░░░░░░░▒▒░░░░░░░░░░░▒
░░░░░░░░░░░░░░░▒░▒░░░░░░░░░░▒░▒░░░░░░░░░▒░▒▒░░▒░░░░░▒░▒░░▒░░░░░░░░░▒░░░░░░░▒░▒░░░░░░░▒░▒░░░░░▒░░
░░▒░░░▒░░░▒░▒░░▒░░░▒▒▒░░░▒░░░▒░░░▒░░░░▒░░▒░▒░░░░░░░░░░░░▒░▒░░░░░░░▒░░░▒░░░▒░░░░▒░▒░░░░▒░░░░░░░░░
▒▒░░▒░▒▒▒░░▒░░░░░░░░░░░░░▒░░▒░░░▒░▒░▒░░▒░░░░░▒░░░░░░░░░░░░░░░░░░▒░▒░░░▒░░░░░░▒░▒░░░▒░░░░░░░░░░░░
▒░▒░░░░░▒░░░░░▒░░░░░░░░▒▒▒░░░░▒░░░░▒▒░░░░░░░░░░░░░░░░░░░░░░░░░░░░▒▒░░░▒░░░░░▒░░▒░░▒░▒░░▒▒░▒░▒░░░
Reading the sketch
Updated historical records
A source can modify a record after the pipeline has already processed its original value.
Backdated transactions
A newly entered transaction can carry an older business date.
Batch upload delays
A source may hold records until its next batch upload or processing run.
API or network lag
Slow transmission can delay when records become available to the pipeline.
Delayed source systems
A source can deliver data after the downstream pipeline has already run.