Apache Hive
Apache Hive
Apache Hive este o infrastructură de depozit de date integrată pe Hadoop care permite analiza, interogarea printr-un limbaj sintactic apropiat de SQL, precum și sinteza datelor. Deși inițial dezvoltat de Facebook , Apache Hive este acum utilizat și dezvoltat de alte companii precum Netflix . Amazon menține o furcă a Apache Hive care include Amazon Elastic MapReduce în Amazon Web Services .
Funcționalitate
Apache Hive acceptă scanarea seturilor de date mari stocate în Hadoop HDFS sau sisteme de fișiere compatibile precum Amazon S3 . Oferă un limbaj asemănător SQL numit HiveQL cu schemă la citire și convertește în mod transparent cererile în
mapare / reducere , Apache Tez și Spark . Toate cele trei motoare de execuție pot rula pe Hadoop YARN. Pentru a accelera interogările, acesta oferă indici, inclusiv indici bitmap.
În mod implicit, Hive stochează metadatele într-o bază de date Apache Derby încorporată, iar alte baze de date client / server, cum ar fi MySQL, pot fi utilizate opțional.
În prezent, există patru formate de fișiere acceptate de Hive: TEXTFILE, SEQUENCEFILE, ORC și RCFile . Fișierele de parchet Apache pot fi citite prin plugin în versiuni mai târziu de 0,10 și nativ de la 0,13.
Alte caracteristici ale Hive:
- Indexarea pentru a oferi accelerație, tip de index a cărui compresie și bitmap index doar 0.10, sunt furnizate mai multe tipuri de index;
- diferite tipuri de stocare, cum ar fi text simplu, RCFile , HBase , ORC și altele;
- stocarea metadatelor dintr-un SGBD relațional, reducând considerabil timpul pentru efectuarea anumitor verificări în timpul executării interogării;
- rulează pe date comprimate stocate în ecosistemul Hadoop folosind algoritmi precum DEFLATE , BWT , snappy , etc;
- Funcții încorporate definite de utilizator (UDF) pentru a manipula date, șiruri și alte instrumente de extragere a datelor. Hive acceptă extensia UDF pentru a aborda cazurile de utilizare care nu sunt acceptate de funcțiile încorporate;
- Interogări de tip SQL (HiveQL) care sunt implicit convertite într-o secvență de instrucțiuni MapReduce sau Tez sau joburi Spark.
Arhitectură
Hive este compus din următoarele elemente:
- metastore: este responsabil pentru stocarea metadatelor pentru fiecare tabel, adică înregistrează, de exemplu, schemele, precum și locațiile. De asemenea, include metadate de partiționare pentru a ajuta driverul să urmărească distribuția bazelor de date în cadrul clusterului. În practică, datele sunt stocate ca un SGBD relațional tradițional;
- driver: joacă rolul controlerului de proces care primește instanțele HiveQL. Acesta inițiază executarea instrucțiunilor prin crearea de sesiuni și controlează progresul execuției, precum și ciclul de viață al proceselor. Păstrează metadatele necesare generate în timpul executării interogărilor HiveQL. Șoferul joacă, de asemenea, rolul de colector de date rezultat din pașii Reduce;
- compilați: compilați interogările HiveQL;
- optimizator: efectuează diverse transformări pe planul de execuție pentru a obține un DAG optimizat;
- executant: după fazele de compilare și optimizare, execută sarcinile furnizate de DAG;
- cLI, UI și Thrift Server: permiteți unui utilizator extern să interacționeze cu Hive prin trimiterea de cereri.
HiveQL
Deși bazat pe SQL, HiveQL nu respectă standardul SQL la îndemână. HiveQL oferă extensii non-SQL, de exemplu inserții multi-tabel și doar o ofertă de bază pentru indexare. De asemenea, HiveQL nu are suport pentru tranzacții și vizualizări materializate și nu are suport doar pentru subinterogare. Suportul pentru inserare, actualizare și ștergere cu funcționalitate ACID completă a fost pus la dispoziție odată cu lansarea versiunii 0.14.
Pe plan intern, compilatorul traduce instrucțiunile HiveQL într-un grafic aciclic al MapReduce sau Tez sau Spark job , care sunt apoi trimise la Hadoop pentru executare.
Note și referințe
(fr) Acest articol este preluat parțial sau în întregime din articolul Wikipedia din
limba engleză intitulat
„ Apache Hive ” ( vezi lista autorilor ) .
-
„ https://projects.apache.org/json/projects/hive.json ” (Accesat la 8 aprilie 2020 )
-
„ http://hive.apache.org/downloads.html ”
-
Venner, Jason (2009).
-
Studiu de caz de utilizare a stupului / Hadoop .
-
OSCON Data 2011, Adrian Cockcroft, „Flux de date la Netflix” pe YouTube .
-
Ghid pentru dezvoltatori Amazon Elastic MapReduce .
-
HiveQL Language Manual .
-
Apache Tez .
-
Lucrul cu studenții pentru îmbunătățirea indexării în Apache Hive .
-
Lam, Chuck (2010).
-
Optimizarea Hadoop și Big Data cu text și Hive Optimizarea Hadoop și Big Data cu text și Hive .
-
LanguageManual ORC .
-
Date mai rapide despre Hadoop cu Hive și RCFile .
-
Petabyte Scale Data Warehouse de pe Facebook folosind Hive și Hadoop .
-
Yongqiang He, Rubao Lee, Yin Huai, Zheng Shao, Namit Jain, Xiaodong Zhang și Zhiwei Xu. „RCFile: O structură rapidă și eficientă de plasare a datelor în sistemele de depozitare bazate pe MapReduce” (PDF).
-
„Parchet” . 18 decembrie 2014.
-
Massie, Matt (21 august 2013).
-
White, Tom (2010).
-
Hive Language Manual .
-
ACID și tranzacții în stup .
-
Hive O soluție de depozitare peste un cadru MapReduce .
Anexe
Vezi și tu
linkuri externe
- Site-ul oficial
-
The Free Hive Book (licențiat CC by-nc)
-
Hive A Warehousing Solution Over a MapReduce Framework - Lucrare originală prezentată de Facebook la VLDB 2009
-
Utilizarea Apache Hive cu Amazon Elastic MapReduce (Partea 1) și Partea 2 pe YouTube , prezentată de un inginer AWS
- Folosind stup + cassandra + rechin. Un manipulator de stocare de tip cassandra cql.
-
Progrese tehnice majore în Apache Hive , Yin Huai, Ashutosh Chauhan, Alan Gates, Gunther Hagleitner, Eric N. Hanson, Owen O'Malley, Jitendra Pandey, Yuan Yuan, Rubao Lee și Xiaodong Zhang, SIGMOD 2014
- Apache Hive Wiki