Амазон Кинезис
Служба обработки данных в реальном времени от Amazon Web Services
Амазон Кинезис
Разработчик(и)Веб-сервисы Amazon
Первоначальный выпускНоябрь 2013 г. [1]
Операционная системаВеб-сервисы Amazon
ПлатформаОблачные вычисления
ТипБольшие данные и потоковые данные
ЛицензияСобственное программное обеспечение
Веб-сайтaws.amazon.com/kinesis/

Amazon Kinesis — это семейство сервисов, предоставляемых Amazon Web Services (AWS) для обработки и анализа потоковых данных в реальном времени в больших масштабах. Запущенный в ноябре 2013 года, он предлагает разработчикам возможность создавать приложения, которые могут потреблять и обрабатывать данные из нескольких источников одновременно. [2] Kinesis поддерживает несколько вариантов использования, включая аналитику в реальном времени, сбор данных журналов и событий, а также обработку данных в реальном времени, генерируемых устройствами IoT.

История

Amazon Kinesis был запущен Amazon Web Services (AWS) в ноябре 2013 года как управляемый сервис для обработки и анализа потоковых данных в реальном времени в больших масштабах. [3] Сервис был представлен для удовлетворения растущей потребности предприятий в обработке и анализе данных по мере их генерации, а не пакетами, что позволяет получать информацию и принимать решения в реальном времени.

С момента запуска семейство сервисов Amazon Kinesis расширилось и теперь включает четыре основных компонента: Kinesis Data Streams, Kinesis Data Firehose, Kinesis Data Analytics и Kinesis Video Streams. [4] Каждый из этих компонентов служит определенной цели при обработке и анализе потоковых данных в реальном времени.

В августе 2015 года AWS объявила о доступности Kinesis Data Firehose, полностью управляемого сервиса для доставки потоковых данных в реальном времени в такие пункты назначения, как Amazon S3, Amazon Redshift и Amazon Elasticsearch. [5] Год спустя, в августе 2016 года, AWS запустила Kinesis Data Analytics, что позволило клиентам анализировать потоковые данные в реальном времени с помощью стандартных SQL-запросов. [6]

AWS представила Kinesis Video Streams — полностью управляемый сервис для безопасного захвата, обработки и хранения видеопотоков для приложений аналитики и машинного обучения, представленный AWS в ноябре 2017 года. [7]

Компоненты

Amazon Kinesis состоит из четырех основных сервисов: Kinesis Data Streams, Kinesis Data Firehose, Kinesis Data Analytics и Kinesis Video Streams. [4]

Потоки данных Kinesis

Kinesis Data Streams — масштабируемая и надежная служба потоковой передачи данных в реальном времени, которая собирает и обрабатывает гигабайты данных в секунду из нескольких источников. [8] Она позволяет хранить и обрабатывать данные в реальном времени, что делает ее полезной для приложений, требующих немедленной информации, таких как мониторинг и оповещения.

Kinesis Data Firehose

Kinesis Data Firehose — это полностью управляемый сервис для доставки потоковых данных в режиме реального времени в такие пункты назначения, как Amazon S3 , Amazon Redshift , Amazon Elasticsearch и хранилища данных партнеров AWS . [9] С помощью Data Firehose пользователи могут настраивать и масштабировать доставку данных без ручного вмешательства.

Аналитика данных Kinesis

Kinesis Data Analytics позволяет анализировать потоковые данные в режиме реального времени с использованием стандартного SQL или Apache Flink .

Видеопотоки Kinesis

Kinesis Video Streams — это полностью управляемый сервис для безопасного захвата, обработки и хранения видеопотоков для аналитики и машинного обучения. [10] Он поддерживает несколько видеокодеков и потоковых протоколов, что делает его пригодным для различных вариантов использования, таких как безопасность и наблюдение, устройства IoT с поддержкой видео и прямая трансляция событий.

Интеграция

Amazon Kinesis можно легко интегрировать с другими сервисами AWS, такими как AWS Lambda , Amazon S3 , Amazon Redshift и Amazon OpenSearch. Эта интеграция позволяет разработчикам создавать сквозные приложения для потоковой обработки данных, используя преимущества обширной экосистемы AWS. [11]

Варианты использования

Вот некоторые распространенные варианты использования Amazon Kinesis: [2]

  • Аналитика в реальном времени: анализ потоковых данных в реальном времени для мгновенного получения информации и принятия решений на основе данных.
  • Сбор данных журналов и событий: сбор, обработка и анализ данных журналов и событий, созданных приложениями, инфраструктурой и устройствами. [12]
  • Обработка данных IoT: обработка и анализ больших объемов данных, генерируемых устройствами IoT в режиме реального времени. [13]
  • Машинное обучение: прием и обработка видеопотоков для приложений машинного обучения, таких как распознавание объектов, распознавание лиц и анализ настроений.

Ценообразование

Amazon Kinesis следует модели ценообразования с оплатой по мере использования, при этом стоимость зависит от выбранного сервиса, объема данных и требуемой вычислительной мощности. [14] AWS предоставляет бесплатный уровень для Kinesis Data Streams и Kinesis Data Firehose, что позволяет пользователям начать работу с сервисами бесплатно. [15]

Смотрите также

Ссылки

  1. ^ Джефф Барр (14.11.2013). "Amazon Kinesis - Обработка потоков в реальном времени" . Получено 24.03.2023 .
  2. ^ ab Makota, Tarik; Maguire, Brian; Gagne, Danny; Chakrabarti, Rajeev (2021-03-31). Масштабируемая потоковая передача данных с Amazon Kinesis: Разработка и обеспечение безопасности высокодоступных, экономичных приложений потоковой передачи данных с Amazon Kinesis. Packt Publishing Ltd. ISBN 978-1-80056-433-6.
  3. ^ Джефф Барр (14.11.2013). "Amazon Kinesis - Обработка потоков в реальном времени" . Получено 24.03.2023 .
  4. ^ ab "Amazon Kinesis". Amazon Web Services . Получено 2023-03-24 .
  5. ^ Джефф Барр (2015-08-05). "Amazon Kinesis Firehose – Простой и высокомасштабируемый прием данных" . Получено 2023-03-24 .
  6. ^ Джефф Барр (2016-08-11). «Amazon Kinesis Analytics – Обработка потоковых данных в реальном времени с помощью SQL» . Получено 2023-03-24 .
  7. ^ Джефф Барр (27.11.2017). «Amazon Kinesis Video Streams – Serverless Video Ingestion and Storage for Vision-Enabled Apps» . Получено 24.03.2023 .
  8. ^ "AWS запускает Amazon Kinesis Data Streams On-Demand". InfoQ . Получено 25.03.2023 .
  9. ^ "Amazon выпускает Kinesis Firehose". InfoQ . Получено 25.03.2023 .
  10. ^ "Amazon Kinesis Video Streams". Amazon Web Services . Получено 2023-03-24 .
  11. ^ "Amazon Kinesis Integrations". Amazon Web Services . Получено 2023-03-24 .
  12. ^ Шривастава, Маянк; Ядав, Праддуман (2021-10-22). «Создание решения для анализа журналов на AWS». 5-я Международная конференция по информационным системам и компьютерным сетям (ISCON) 2021 г. стр.  1– 5. doi :10.1109/ISCON52037.2021.9702374. ISBN 978-1-6654-0341-2. S2CID  246870198.
  13. ^ Куадри, Насрин Султана; Ядав, Кусум (2018-04-25). «Эффективная классификация данных для устройств Интернета вещей с использованием платформы AWS Kinesis». 2018 21-я Национальная компьютерная конференция Саудовского компьютерного общества (NCC) . стр.  1–5 . doi :10.1109/NCG.2018.8593105. ISBN 978-1-5386-4110-1. S2CID  57364493.
  14. ^ "Цены Amazon Kinesis". Amazon Web Services . Получено 24.03.2023 .
  15. ^ "AWS Free Tier". Amazon Web Services . Получено 2023-03-24 .
  • Официальный сайт
  • Документация Amazon Kinesis
Взято с "https://en.wikipedia.org/w/index.php?title=Amazon_Kinesis&oldid=1196016671"