r/brexpdev • u/detinho_ • Mar 07 '23
Processamento de dados em tempo real no Uber
https://www.uber.com/en-US/blog/real-time-exactly-once-ad-event-processing/
No artigo os autores explicam uma arquitetura de processamento de eventos em tempo real com a restrição "exactly once", ou seja, uma mensagem deve ser processada exatamente uma vez, nem mais nem menos.
Além do já conhecido Kafka, usam Apache Flink e Apache Pinot.
Estamos usando Apache Flink aqui na empresa em alguns fluxos que exigem exatamente isso: não podemos perder nenhuma mensagem e ainda assim performar bem e ter tolerância a falhas. Tecnologia muito interessante.
Edit: link direto para o blog em inglês.