O Apache Kafka tem sido usado por empresas como Netflix, Spotify, Uber, LinkedIn e Twitter. E sua arquitetura é composta por producers, consumers e o próprio cluster. O producer é qualquer aplicação que publica mensagens no cluster. O consumer é qualquer aplicação que recebe as mensagens do Kafka.
Instalando como serviço na sua máquina local, no site oficial do Kafka mostra como: https://kafka.apache.org/quickstart. Utilizando um dos tanto containers disponibilizados pela comunidade.
O Apache Kafka é uma alternativa aos sistemas de mensageria corporativos tradicionais. Inicialmente, ele era um sistema interno desenvolvido pela LinkedIn para processar 1,4 trilhão de mensagens por dia. Mas agora é uma solução de transmissão de dados open source aplicável a variadas necessidades corporativas.
Um tópico é como categorizamos grupos de mensagens dentro do Kafka. Todas as mensagens enviadas para o Kafka permanecem em um tópico. ... Assim mensagens de uma mesma chave estarão apenas em uma única partição, garantindo assim a leitura ordenada de todas as mensagens de um tópico.
O que é o Apache NiFi? O NiFi é um software para automatizar o fluxo de dados entre sistemas de software. Ele foi criado e é mantido pela Apache Foundation.
O Apache ZooKeeper é um serviço centralizado para manter informações de configuração, nomear, fornecer sincronização distribuída e oferecer serviços de grupo. Para obter mais informações sobre o ZooKeeper, consulte http://zookeeper.apache.org/ .