Apache Kafka

Apache Kafka

informație

Dezvoltat de	Apache Software Foundation și LinkedIn
Prima versiune	12 aprilie 2014
Ultima versiune	2.7.0 (19 decembrie 2020)
Depozit	github.com/apache/kafka și gitbox.apache.org/repos/asf/kafka.git
Scris in	Scala și Java
Sistem de operare	Multiplatform
Tip	Middleware orientat spre mesaje
Licență	Licență Apache versiunea 2.0
Site-ul web	kafka.apache.org

Apache Kafka este un proiect open source de mesaje de agent dezvoltat de Apache Software Foundation și scris de Scala . Obiectivele proiectului pentru a oferi o, unificat în timp real pentru latență scăzută pentru manipularea fluxului de date. Designul său este puternic influențat de jurnalele de tranzacții .

Istorie

Apache Kafka a fost inițial dezvoltat de LinkedIn și codul său a fost deschis la începutul anului 2011. Proiectul integrează Apache Incubator pe23 octombrie 2012. Înnoiembrie 2014, mai mulți ingineri care au creat Kafka la LinkedIn au creat o nouă companie numită Confluent cu software-ul Kafka ca axă.

Companiile care folosesc Kafka

Iată o listă a companiilor notabile care au folosit sau utilizează Kafka:

• portocale
• Daumkakao
• Everteam
• LinkedIn
• Netflix
• Spotify
• Tuenti
• Uber
• Mailgun
• Salesforce.com
• Shopify
• Betfair
• Meetic
• Bell Canada
• OVHcloud

Aplicații

Kafka este utilizat în principal pentru configurarea „conductei de date” în timp real, dar nu este singura sa aplicație posibilă în lumea afacerilor. De asemenea, este utilizat din ce în ce mai mult în arhitecturile de micro-servicii ca sistem de schimb, în ​​supravegherea în timp real și în IOT. Kafka își aduce capacitatea de a ingera și disemina o cantitate mare de date, împreună cu un cadru de procesare a fluxului de date , permite procesarea complexă și în timp real a datelor.

Arhitectură

Kafka include cinci API-uri de bază:

• Producer API permite aplicațiilor să trimită fluxuri de date către subiectele clusterului Kafka.
• Consumer API permite aplicațiilor să citească fluxuri de date din subiectele clusterului Kafka.
• API-ul Streams vă permite să transformați fluxurile de date într-un subiect de ieșire.
• Connect API vă permite să implementați conectori care extrag date dintr-un sistem sursă sau o aplicație către Kafka sau care împing de la Kafka la o aplicație.
• API-ul AdminClient vă permite să gestionați și să inspectați subiecte, brokeri și alte obiecte Kafka.

Fluxuri Kafka

Kafka Connect

Note și referințe

(fr) Acest articol este preluat parțial sau în întregime din articolul Wikipedia în limba engleză intitulat „  Apache Kafka  ” ( vezi lista autorilor ) .

1. „  https://projects.apache.org/json/projects/kafka.json  ” (Accesat la 8 aprilie 2020 )
2. „  Versiunea 2.7.0  ” ,19 decembrie 2020(accesat la 6 ianuarie 2021 )
3. Jurnalul: Ce ar trebui să știe fiecare inginer software despre abstractizarea unificatoare a datelor în timp real , LinkedIn Engineering Blog, accesat la 5 mai 2014
4. (ro-SUA) „  Open-sourcing Kafka, coada de mesaje distribuite LinkedIn  ” , la blog.linkedin.com (accesat la 11 octombrie 2018 )
5. Primack, Dan.
6. Doyung Yoon.
7. Cheolsoo Park și Ashwin Shankar.
8. Josh Baer.
9. „Procesarea fluxului în Uber” .
10. „Shopify - Sarama este o bibliotecă Go pentru Apache Kafka” .
11. „Schimbarea fluxului de date de piață cu Kafka” .
12. „Prezentarea utilizării Kafka pentru gestionarea evenimentelor pe site-ul Meetic”
13. https://www.ovh.com/blog/selfheal-at-webhosting-the-external-part/
14. „  Kafka, piatra de temelie a arhitecturilor Fast Data?  » , Pe Nexworld ,17 octombrie 2018(accesat pe 13 martie 2019 )

Articole similare

• Arhitectura orientată spre servicii
• Serviciul de distribuire a datelor
• Middleware orientat spre mesaje
• Apache Samza
• Apache Flink

linkuri externe

• (ro)  Site oficial