Apache Druid
Apache Druid
| Ultima versiune | 0,20,2 (29 martie 2021) |
|---|---|
| Versiune avansată | 0.16.0-incubare-rc3 (14 septembrie 2019) |
| Depozit | github.com/apache/druid |
| Asigurarea calității | Integrare continuă |
| Scris in | Java |
| Tip | Sistemul de gestionare a bazelor de date |
| Licență | Licență Apache versiunea 2.0 |
| Site-ul web | druid.io |
Druid este o bază de date distribuită , coloane orientate și open source , scrisă în Java . Druid este conceput pentru a ingera cantități uriașe de date despre evenimente și pentru a returna datele cu o latență scăzută . Numele Druid se referă la druizii multor jocuri de rol , prin analogie cu capacitatea arhitecturii sistemului de a se transforma în rezolvarea diferitelor tipuri de probleme de date.
Druidul este utilizat în mod obișnuit în aplicațiile de business intelligence și de procesare analitică online pentru a analiza volume mari de date istorice și în timp real. Druidul este utilizat în producție de companii de tehnologie precum Alibaba , Airbnb , Cisco , eBay , Netflix , PayPal , Yahoo și Wikimedia Foundation .
Istoric
Druid a fost lansat în 2011 pentru a alimenta produsul analitic al companiei Metamarkets. Proiectul a fost open source sub licența GPL înoctombrie 2012 și a trecut la o licență Apache în februarie 2015.
De-a lungul timpului, o serie de organizații și companii au integrat Druid în biroul lor de back-office și au fost adăugați angajați din numeroase organizații.
În octombrie 2015, compania comercială Imply a început să ofere un produs comercial construit în jurul Druidului.
În octombrie 2018, Spicule Ltd a lansat o versiune acceptată de Druid pe platforma Juju de la Canonical.
Arhitectură
Complet implementat, Druid rulează ca un cluster de procese specializate (numite noduri în Druid) pentru a susține o arhitectură tolerantă la erori , datele sunt stocate redundant și în absența unui singur punct de eșec Clusterul include dependențe externe pentru coordonare ( Apache ZooKeeper ), stocarea metadatelor (de ex. MySQL , PostgreSQL sau Derby ) și o facilitate de stocare profundă (de exemplu HDFS sau Amazon S3 ) pentru backupul permanent al datelor.
Gestionarea cererii
Solicitările clienților sunt trimise mai întâi către nodurile brokerilor, care apoi le redirecționează către nodurile corespunzătoare (istorice sau în timp real). Deoarece segmentele druide pot fi partiționate, o cerere primită poate necesita date de la mai multe segmente și partiții stocate pe diferite noduri ale clusterului. Brokerii pot afla care noduri au datele necesare și apoi pot combina rezultatele parțiale înainte de a returna rezultatul agregat.
Managementul clusterelor
Operațiunile legate de gestionarea datelor în nodurile istorice sunt supravegheate de noduri de coordonare. Apache ZooKeeper este folosit pentru a înregistra toate nodurile, pentru a gestiona unele aspecte ale comunicațiilor inter-noduri și pentru a organiza alegeri pentru un lider.
Caracteristici
- Ingestie de date cu latență scăzută (streaming)
- Explorarea datelor arbitrare pe felii
- Interogări analitice în mai puțin de o secundă
- Calcule aproximative și exacte
Articole similare
Referințe
- „ Eliberarea 0.20.2 ” ,29 martie 2021(accesat la 12 aprilie 2021 )
- „ https://github.com/apache/incubator-druid/releases/tag/druid-0.16.0-incubating-rc3 ” (Accesat la 22 septembrie 2019 )
- (în) Nicole Hemsoth, „ Druidul invocă forța în timp real ” [„Druidul este numit forță în timp real”] pe Datanami ,8 noiembrie 2012(accesat la 23 mai 2019 ) .
- (en) druid, „ Druid | Powered by Druid ” , druid.io (accesat pe 29 iunie 2016 ) .
- (în) Butler, „ Sub capota platformei Cisco's Analytics tetration ” (accesat la 23 mai 2019 ) .
- (în) „ Druid at Pulsar - ebay 的 专栏 - 博客 频道 - CSDN.NET ” , blog.csdn.net (accesat la 23 mai 2019 ) .
- (în) „ The Netflix Tech Blog: Announcing Suro: Backbone of Netflix’s Data Pipeline ” , techblog.netflix.com (accesat la 23 mai 2019 ) .
- (în) „ Completarea Hadoop la Yahoo: Analize interactive cu Druid ” (accesat la 23 mai 2019 ) .
- (în) Andrew Otto și Fangjin Yang, „ Analytics la Wikipedia: Conferință de date mari: Conferință de date Strata, 25-28 septembrie 2017, New York, NY ” (accesat la 23 mai 2019 ) .
- Tschetter, Eric. „Prezentarea druidului ” , Druid.io , 24 octombrie 2012.
- Higginbotham, Stacey. „Metamarket-uri open source Druid, baza sa de date în memorie” , GigaOM , 24 octombrie 2012.
- Harris, „ Baza de date Druid în timp real trece la o licență Apache ” ,20 februarie 2015(accesat la 4 august 2015 ) .
- „ Druidul devine open source-ier sub licența Apache ” (accesat la 4 august 2015 ) .
- druid, " Druid | Comunitate Druid ” , druid.io (accesat la 23 iunie 2016 ) .
- Novet, Iordania. „Sugereaza lanseaza $ 2M pentru a Open Market Source druid de date Store , “ VentureBeat , 19 octombrie 2015.
- Downie, Stephen. „Compania de date Spicule pune puterea analitică a magazinului folosit de Netflix în mâinile clienților” , EIN Presswire , 7 noiembrie 2018.
- Documentația proiectului Druid .
- Yang, Fangjin; Tschetter, Eric; Léauté, Xavier; Ray, Nelson; Merlino, Gian; Ganguli, Deep. „Druid: în timp real de analiză de date Store , “ Metamarkets , recuperate 06 februarie 2014.