Apache Луч
.svg/1280px-Apache_Beam_logo_(3_color,_wordmark_right).svg.png){kind=logo} | |
| Оригинальный автор(ы) | |
|---|---|
| Разработчик(и) | Фонд программного обеспечения Apache |
| Первоначальный выпуск | 15 июня 2016 г. ( 2016-06-15 ) |
| Стабильный релиз | 2.58.0 (6 августа 2024 г [1] ) [±] ( 2024-08-06 ) |
| Репозиторий | Хранилище лучей |
| Написано в | Java , Python , Go |
| Операционная система | Кроссплатформенный |
| Лицензия | Лицензия Apache 2.0 |
| Веб-сайт | beam.apache.org |
.svg){kind=link}
Apache Beam — это унифицированная программная модель с открытым исходным кодом для определения и выполнения конвейеров обработки данных , включая ETL , пакетную и потоковую (непрерывную) обработку. [2] Конвейеры Beam определяются с использованием одного из предоставленных SDK и выполняются в одном из поддерживаемых Beam исполнителей ( распределенных бэкэндов обработки), включая Apache Flink , Apache Samza , Apache Spark и Google Cloud Dataflow . [3]
История
Apache Beam [3] — это одна из реализаций модели Dataflow. [4] Модель Dataflow основана на предыдущей работе Google над абстракциями распределенной обработки, в частности, над FlumeJava [5] и Millwheel. [6] [7]
В 2014 году Google выпустила открытую реализацию SDK модели Dataflow и среду для локального (нераспределенного) выполнения Dataflows, а также в сервисе Google Cloud Platform .
Хронология
Apache Beam выпускает небольшие релизы каждые 6 недель. [8]
| Версия | Дата выпуска |
|---|---|
| Текущая стабильная версия: 2.59.0 | 2024-09-11 |
| Старая версия, больше не поддерживается:2.58.1 | 2024-08-15 |
| Старая версия, больше не поддерживается:2.58.0 | 2024-08-06 |
| Старая версия, больше не поддерживается:2.57.0 | 2024-06-26 |
| Старая версия, больше не поддерживается:2.56.0 | 2024-05-01 |
| Старая версия, больше не поддерживается:2.55.0 | 2024-03-25 |
| Старая версия, больше не поддерживается:2.54.0 | 2024-02-14 |
| Старая версия, больше не поддерживается:2.53.0 | 2024-01-04 |
| Старая версия, больше не поддерживается:2.52.0 | 2023-11-17 |
| Старая версия, больше не поддерживается:2.51.0 | 2023-10-11 |
| Старая версия, больше не поддерживается:2.50.0 | 2023-08-30 |
| Старая версия, больше не поддерживается:2.49.0 | 2023-07-17 |
| Старая версия, больше не поддерживается:2.48.0 | 2023-05-31 |
| Старая версия, больше не поддерживается:2.47.0 | 2023-05-10 |
| Старая версия, больше не поддерживается:2.46.0 | 2023-03-10 |
| Старая версия, больше не поддерживается:2.45.0 | 2023-02-15 |
| Старая версия, больше не поддерживается:2.44.0 | 2023-01-12 |
| Старая версия, больше не поддерживается:2.43.0 | 2022-11-17 |
| Старая версия, больше не поддерживается:2.42.0 | 2022-10-17 |
| Старая версия, больше не поддерживается:2.41.0 | 2022-08-23 |
| Старая версия, больше не поддерживается:2.40.0 | 2022-06-27 |
| Старая версия, больше не поддерживается:2.39.0 | 2022-05-25 |
| Старая версия, больше не поддерживается:2.38.0 | 2022-04-20 |
| Старая версия, больше не поддерживается:2.37.0 | 2022-03-04 |
| Старая версия, больше не поддерживается:2.36.0 | 2022-02-07 |
| Старая версия, больше не поддерживается:2.35.0 | 2021-12-29 |
| Старая версия, больше не поддерживается:2.34.0 | 2021-11-11 |
| Старая версия, больше не поддерживается:2.33.0 | 2021-10-07 |
| Старая версия, больше не поддерживается:2.32.0 | 2021-08-25 |
| Старая версия, больше не поддерживается:2.31.0 | 2021-07-08 |
| Старая версия, больше не поддерживается:2.30.0 | 2021-06-09 |
| Старая версия, больше не поддерживается:2.29.0 | 2021-04-27 |
| Старая версия, больше не поддерживается:2.28.0 | 2021-02-22 |
| Старая версия, больше не поддерживается:2.27.0 | 2021-01-08 |
| Старая версия, больше не поддерживается:2.26.0 | 2020-12-11 |
| Старая версия, больше не поддерживается:2.25.0 | 2020-10-23 |
| Старая версия, больше не поддерживается:2.24.0 | 2020-09-18 |
| Старая версия, больше не поддерживается:2.23.0 | 2020-07-29 |
| Старая версия, больше не поддерживается:2.22.0 | 2020-06-08 |
| Старая версия, больше не поддерживается:2.21.0 | 2020-05-27 |
| Старая версия, больше не поддерживается:2.20.0 | 2020-04-15 |
| Старая версия, больше не поддерживается:2.19.0 | 2020-02-04 |
| Старая версия, больше не поддерживается:2.18.0 | 2020-01-23 |
| Старая версия, больше не поддерживается:2.17.0 | 2020-01-06 |
| Старая версия, больше не поддерживается:2.16.0 | 2019-10-07 |
| Старая версия, больше не поддерживается:2.15.0 | 2019-08-22 |
| Старая версия, больше не поддерживается:2.14.0 | 2019-08-01 |
| Старая версия, больше не поддерживается:2.13.0 | 2019-05-22 |
| Старая версия, больше не поддерживается:2.12.0 | 2019-04-25 |
| Старая версия, больше не поддерживается:2.11.0 | 2019-02-26 |
| Старая версия, больше не поддерживается:2.10.0 | 2019-02-01 |
| Старая версия, больше не поддерживается:2.9.0 | 2018-12-13 |
| Старая версия, больше не поддерживается:2.8.0 | 2018-10-29 |
| Старая версия, больше не поддерживается:2.7.0 (ДТС) | 2018-10-03 |
| Старая версия, больше не поддерживается:2.6.0 | 2018-08-08 |
| Старая версия, больше не поддерживается:2.5.0 | 2018-06-26 |
| Старая версия, больше не поддерживается:2.4.0 | 2018-03-20 |
| Старая версия, больше не поддерживается:2.3.0 | 2018-01-30 |
| Старая версия, больше не поддерживается:2.2.0 | 2017-12-02 |
| Старая версия, больше не поддерживается:2.1.0 | 2017-08-23 |
| Старая версия, больше не поддерживается:2.0.0 | 2017-05-17 |
| Старая версия, больше не поддерживается:0.6.0 | 2017-03-11 |
| Старая версия, больше не поддерживается:0.5.0 | 2017-02-02 |
| Старая версия, больше не поддерживается:0.4.0 | 2016-12-29 |
| Старая версия, больше не поддерживается:0.3.0 | 2016-10-31 |
| Старая версия, больше не поддерживается:0.2.0 | 2016-08-08 |
| Старая версия, больше не поддерживается:0.1.0 | 2016-06-15 |
Легенда: Старая версия, не поддерживается Старая версия, все еще поддерживается Последняя версия Последняя предварительная версия Будущий релиз | |
Смотрите также
Ссылки
- ^ "Блоги". beam.apache.org . Apache Software Foundation . Получено 2024-08-06 .
- ^ Вуди, Алекс (22 апреля 2016 г.). «Амбициозная цель Apache Beam: унификация разработки больших данных». Datanami . Получено 4 августа 2016 г.
- ^ ab «Cloud Dataflow — пакетная и потоковая обработка данных».
- ^ Акидау, Тайлер; Шмидт, Эрик; Уиттл, Сэм; Брэдшоу, Роберт; Чемберс, Крейг; Черняк, Слава; Фернандес-Моктесума, Рафаэль Дж.; Лакс, Реувен; МакВити, Сэм; Миллс, Дэниел; Перри, Фрэнсис (1 августа 2015 г.). "Модель потока данных" (PDF) . Труды фонда VLDB . 8 (12): 1792– 1803. doi :10.14778/2824032.2824076 . Получено 4 августа 2016 г.
- ^ Чемберс, Крейг; Ранивала, Ашиш; Перри, Фрэнсис; Адамс, Стивен; Генри, Роберт Р.; Брэдшоу, Роберт; Вайценбаум, Натан (1 января 2010 г.). «FlumeJava: Простые и эффективные параллельные конвейеры данных». Труды 31-й конференции ACM SIGPLAN по проектированию и реализации языков программирования (PDF) . ACM. стр. 363–375 . doi :10.1145/1806596.1806638. ISBN 9781450300193. S2CID 14888571. Архивировано из оригинала (PDF) 23 сентября 2016 г. . Получено 4 августа 2016 г. .
- ^ Akidau, Tyler; Whittle, Sam; Balikov, Alex; Bekiroğlu, Kaya; Chernyak, Slava; Haberman, Josh; Lax, Reuven; McVeety, Sam; Mills, Daniel; Nordstrom, Paul (27 августа 2013 г.). "MillWheel" (PDF) . Труды VLDB Endowment . 6 (11): 1033– 1044. doi :10.14778/2536222.2536229. Архивировано из оригинала (PDF) 1 февраля 2016 г. Получено 4 августа 2016 г.
- ↑ Pointer, Ian (14 апреля 2016 г.). «Apache Beam хочет стать сверх-API для больших данных». InfoWorld . Получено 4 августа 2016 г.
- ^ "Политики". beam.apache.org . Получено 21 апреля 2022 г. .
