はじめに
以下のような方にお勧めの記事になっています。
- Kinesisサービスを学びたい
- Kinesis Streams、Firehose、Flinkの違いを理解したい
- 最適なデータ処理サービスを選びたい
- AWS認定試験（SAA）を対策したい
AWSには複数のストリーミングデータ処理サービスがあり、「Kinesis Data Streams」「Firehose」「Flink（Kinesis Data Analytics）」の違いや使い分けで悩むことがあるかもしれません。
本記事では、それぞれのサービスの特徴を解説し、具体的な使い分けポイントやユースケースを紹介します。
Kinesisとは？
AWS Kinesisは、リアルタイムで大量のデータを収集・処理・分析するためのフルマネージドサービスです。
主に「ストリーミングデータ」を扱い、データ分析やシステム連携に活用されます。
各サービスの解説
各サービスについて簡単に解説します。
Kinesis Data Streams
リアルタイムでデータを取り込み、処理するためのサービスです。
特徴として、データをシャード（分割単位）で保存し、他サービスと連携が可能です。
Kinesis Data Firehose
データをバッチ転送し、指定の保存先に配信するサービスです。
特徴として、S3やRedshiftなどへ自動的にデータを転送します。簡単な変換（Lambda連携）も可能です。
Kinesis Data Analytics（Flink）
リアルタイムのデータ分析や高度なストリーミング処理を行うことができます。
特徴として、SQLやFlinkアプリを使用し、集計やフィルタリング、状態管理が可能。
Streams・Firehose・Flinkの比較
各サービスのそれぞれの特徴は以下の通りです。
| サービス | 用途 | データ処理速度 | 保存先 | コスト |
|---|---|---|---|---|
| Streams | データ収集、リアルタイム処理 | ミリ秒単位のリアルタイム処理 | 外部アプリやLambda、Analyticsへ転送 | 使用量に応じてコストが変動 |
| Firehose | バッチ転送、データ保存 | 数十秒～1分単位のバッチ転送 | S3, RedShift, Elasticsearch等 | 保存先とデータ処理量によって変動 |
| Analytics（Flink） | リアルタイム分析、複雑な処理 | ミリ秒単位、複雑な状態管理を含む処理 | 解析結果をストリームやS3へ出力 | 処理の複雑さや維持コストが発生 |
Streamsはデータ取得や取り込みを行うことが多いです。リアルタイム処理を行う場合、LambdaやFlinkを組み合わせて使用するとコスト最適化も図れます。
FirehoseもStreamsと同様でデータ取得を行うことができるが60秒ごとの取得なのでリアルタイム処理には不向きです。
なので、基本的にリアルタイム処理ではStreamsとFlinkを組み合わせて使用して、リアルタイム性を求めない場合はFirehoseの方がデータ転送で便利でコスト効率がいいです。
ユースケース
リアルタイム性が求められる場合
即時処理を行い、ミリ秒単位でデータ処理が必要な場合は、Kinesis Data Streams ＋ Flink / Lambdaを使用しましょう。
- アプリケーションログをリアルタイムで収集し、即座にフィルタリング・分析。
- IoTデバイスから送られるセンサーデータの異常検知やアラート通知。
一定間隔で処理が求められる場合
一定間隔でバッチ処理を行いデータを転送、ストレージに保存する必要がある場合は、Kinesis Data Firehoseを使用しましょう。
- Webサーバーログを60秒ごとにS3に保存し、データレイクで活用。
- アプリケーションデータをRedshiftにバッチ転送して分析用に集約。
複雑なリアルタイム分析が必要な場合
集計や状態管理を含む複雑な処理が必要な場合は、Kinesis Data Streams ＋ Flinkを使用しましょう。
- 1分ごとの売上データを集計し、ダッシュボードへリアルタイム出力。
- センサーデータの状態を保持しつつ、異常値やパターンを即時検知。
まとめ
同じような機能が多いですが、用途を理解して使用することで大幅にコスト最適化を行うことができます。
- リアルタイム性重視：Streams + Flink / Lambda
- バッチ保存・転送：Firehose
- 高度なリアルタイム分析：Streams + Flink
要件に合わせたサービスを使用して、効率的なデータ処理の基盤を構築しましょう。
