はじめに
本記事は以下のような方におすすめの内容になっています。
- AWSのデータ処理サービスを学んでいる
- AWS認定の試験対策をしている
- LambdaとFlinkの使い分けで悩んでいる
AWS LambdaとFlinkの基本的な特徴と違いを解説し、どちらを選ぶべきかを判断するポイントを紹介します。
さらに、具体的なユースケースを通じて、それぞれのサービスがどのような場面で役立つのかをわかりやすく説明します。この記事を読めば、AWSでのデータ処理においてLambdaとFlinkを適切に使い分ける方法が理解できるようになります。
設定手順については書いていないので別記事を参考にしてください。
LambdaとFlinkの基本理解
LambdaとFlinkについて簡単に解説します。
Lambda
AWS Lambdaはサーバーレスアーキテクチャの代表的なサービスで、AWSリソース上でイベント実行時に実行できる処理を作成することができます。
- サーバー管理が不要
- 短時間の簡単な処理に最適
Flink（Kinesis Data Analytics）
リアルタイムストリーム処理のためのサービスです。
- 状態管理が可能で、データの過去の状態を保持、処理できる
- 複雑なデータ変換、集計、フィルタリングがリアルタイムで可能
- SQLやJava/Scalaを使った柔軟な分析処理
LambdaとFlinkのどちらを選択する？
LambdaとFlinkは目的やデータ処理の要件によって場面が異なります。
簡単にまとめると簡単な処理はLambda、複雑な処理はFlinkといった感じで使い分けるといいです。
以下は参考にしてください。
| 比較内容 | Lambda | Flink（Kinesis Data Analytics） |
|---|---|---|
| 処理の複雑さ | シンプルなデータ変換やイベント処理 | 複雑な集計、フィルタリング、ストリーム結合 |
| リアルタイム性 | 秒単位のリアルタイム処理 | ミリ秒単位の高度なリアルタイム分析 |
| 状態管理 | ステートレス | ステートフル |
| データ量 | 小～中規模データに最適 | 大規模なデータに対応 |
| コスト | 短時間処理により、コストが抑えやすい | 長時間のストリーミングにより、コストがかかる |
| 用途 | データ変換、イベントによる簡単な処理 | 複雑なリアルタイム分析、モニタリング |
ユースケース
LambdaとFlinkのユースケースを一部紹介します。
Lambda
S3データのフォーマット変換
S3にファイルがアップロードされたら、Lambda関数を実行してフォーマットの変換をおこなう。
ex) JSON→CSV
用途：他システムで使用する形式に変換
IoTセンサーデータのフィルタリング
IoTから送られた情報の不要な部分（不要なセンサー値や異常データ等）をフィルタリングして軽量化
用途：DynamoDB, S3へ保存前に軽量化
Flink
リアルタイムデータ集計（ウィンドウ処理）
1分毎にデータストリームを集計、平均値・合計値算出
用途：金融取引やアクセスログのリアルタイム分析
異常データのリアルタイム検知
リアルタイムでデータ監視、しきい値を超えたら即時検出
用途：機器の異常モニタリングやセキュリティイベント検出。
まとめ
LambdaとFlinkは、AWSでのデータ処理において目的や要件に応じて使い分けることが大切です。
- Lambda は、サーバーレスでシンプルなデータ変換やフィルタリングなど「短時間の簡単な処理」に最適です。
- Flink（Kinesis Data Analytics） は、状態管理が必要な「複雑なリアルタイムデータ分析」や「ウィンドウ処理」に最適です。
データの量、処理の複雑さ、リアルタイム性の要件に合わせて、適切なサービスを選択しましょう！
