Apache Beam
Apache Beam
| Dezvoltat de | Apache Software Foundation |
|---|---|
| Prima versiune | 15 iunie 2016 și 21 decembrie 2016 |
| Ultima versiune | 2.14.0 (1 st august 2019) |
| Depozit | github.com/apache/beam |
| Scris in | Java , Python și Go |
| Sistem de operare | Multiplatform |
| Licență | Licență Apache versiunea 2.0 |
| Site-ul web | beam.apache.org |
Apache Beam este un model de programare unificată open source pentru definirea și rularea fluxurilor de date, inclusiv ETL , procesare batch și streaming (streaming).
Fluxurile Beam sunt definite folosind SDK-uri și executate într-unul dintre alergătorii suportați de Beam (back-end-uri de procesare distribuită), inclusiv Apache Flink , Apache Apex , Apache Samza , Apache Spark și Google Cloud Dataflow.
A fost numit uber-API pentru big data .
Istorie
Apache Beam este o implementare a modelului Dataflow. Modelul Dataflow se bazează pe lucrările anterioare privind abstracțiile de procesare distribuite pe Google, în special pe FlumeJava și Millwheel.
Google a lansat o implementare SDK deschisă a modelului Dataflow în 2014 și un mediu pentru a rula fluxurile de date la nivel local (nedistribuit), precum și în serviciul Google Cloud Platform .
În 2016, Google a donat SDK-ul de bază, precum și configurarea unui runner local și un set de I / O (conectori de date) pentru a accesa serviciile de date Google Cloud Platform către Apache Software Foundation .
Alte companii și membri ai comunității au ajutat la crearea de platforme distribuite de runtime, precum și de noi I / O pentru a se integra cu Beam Runners în bazele de date existente, baza de date cheie-valoare și mesajele de sistem. În plus, au fost propuse noi DSL - uri pentru a sprijini nevoile specifice ale modelului Beam.
10 ianuarie 2017 Apache Beam devine un proiect de nivel superior.
| Versiune | Data lansării inițiale | Ultima versiune | Data de lansare |
|---|---|---|---|
| 0.6.0 | 2017-03-11 | 0.6.0 | 2017-03-11 |
| 0,5,0 | 02.02.2017 | 0,5,0 | 02.02.2017 |
| 0.4.0 | 29.12.2016 | 0.4.0 | 29.12.2016 |
| 0.3.0 | 31-10-2016 | 0.3.0 | 31-10-2016 |
| 0.2.0 | 08.08.2016 | 0.2.0 | 08.08.2016 |
| 0.1.0 | 15.06.2016 | 0.1.0 | 15.06.2016 |
Vezi și tu
Referințe
- (fr) Acest articol este preluat parțial sau în totalitate din articolul din Wikipedia în engleză intitulat „ Apache Beam ” ( vezi lista autorilor ) .
- „ https://projects.apache.org/json/projects/beam.json ” (Accesat la 8 aprilie 2020 )
- „ Versiunea 2.14.0 ” ,1 st august 2019(accesat la 2 august 2019 )
- Alex Woodie , „ Scopul ambițios al lui Apache Beam: Unificarea dezvoltării datelor mari ” , pe Datanami ,22 aprilie 2016(accesat pe 4 august 2016 )
- " Flux de date cloud - Procesarea datelor în serie și în flux "
- Ian Pointer, „ Apache Beam vrea să fie uber-API pentru big data ” , InfoWorld ,14 aprilie 2016
- Tyler Akidau , Eric Schmidt , Sam Whittle și Robert Bradshaw , „ Modelul fluxului de date ”, Proceedings of the VLDB Endowment , vol. 8, n o 12,1 st august 2015, p. 1792–1803 ( DOI 10.14778 / 2824032.2824076 , citit online , accesat la 4 august 2016 )
- Craig Chambers , Ashish Raniwala , Frances Perry și Stephen Adams , „ FlumeJava: Easy, Efficient Data-parallel Pipelines ”, Proceedings of the 31st ACM Sigplan Conference on Programming Language Design and Implementation , ACM,1 st ianuarie 2010, p. 363–375 ( DOI 10.1145 / 1806596.1806638 , citit online , accesat la 4 august 2016 )
- Tyler Akidau , Sam Whittle , Alex Balikov și Kaya Bekiroğlu , „ MillWheel ”, Proceedings of the VLDB Endowment , vol. 6, n o 11,27 august 2013, p. 1033–1044 ( DOI 10.14778 / 2536222.2536229 , citit online , accesat la 4 august 2016 )
- Ian Pointer , „ Apache Beam vrea să fie uber-API pentru big data ” , InfoWorld (accesat la 4 august 2016 )
- https://beam.apache.org/blog/2017/01/10/beam-graduates.html