フローの構成要素
フローは、AppFlowにおけるデータ連携の実行単位です。「どの外部サービスから」「どのデータを」「どこに」「どのように」転送するかを定義します。
1. フローとは
フローは、AppFlowにおけるデータ連携の実行単位です。「どの外部サービスから」「どのデータを」「どこに」「どのように」転送するかを定義します。例えば、「Salesforceの商談データから、過去30日分のレコードを取得し、必要なフィールドだけを選択してS3にParquet形式で保存する」という一連の処理が1つのフローになります。
以下は、フローを構成する4つの要素と処理の流れを示した図です。
フローは以下の4つの要素で構成されます。
2. ソース(Source)
データの取得元となる外部サービスとオブジェクト(テーブルやエンティティ)を指定します。例えば、Salesforceの「商談(Opportunity)」オブジェクトや、Googleスプレッドシートの特定のシートなどを指定します。
3. フィルター
取得するデータの条件を指定します。例えば、「作成日が過去30日以内のレコードのみ取得する」「ステータスが"完了"のレコードのみ取得する」といった条件を設定できます。フィルターを適切に設定することで、不要なデータの転送を避け、コストとパフォーマンスを最適化できます。
4. マッピング(フィールドマッピング)
ソース側のフィールド(列)をデスティネーション側のどのフィールドに対応させるかを定義します。フィールドの選択だけでなく、以下のような変換も行えます。
| 変換の種類 | 説明 | 例 |
|---|---|---|
| フィールドの選択 | 必要なフィールドのみを転送する | 全50フィールド中、分析に必要な10フィールドのみを選択 |
| フィールド名の変更 | デスティネーション側で別の名前を付ける | 外部サービス側の「OpportunityName」をS3側で「deal_name」に変更 |
| 値のマスキング | 個人情報などの機密データをマスクする | メールアドレスの一部を「***」に置換 |
| 値の切り捨て | 文字列の長さを制限する | 備考フィールドを先頭100文字に切り捨て |
| バリデーション | データの妥当性を検証する | 必須フィールドがnullの場合はレコードを除外 |
5. デスティネーション(Destination)
データの格納先を指定します。主に以下のAWSサービスをデスティネーションとして利用できます。
| デスティネーション | 用途 |
|---|---|
| Amazon S3 | データレイクへの蓄積。後続のGlue・Athenaによる分析に利用 |
| Amazon Redshift | データウェアハウスへの直接ロード |
| Amazon EventBridge | イベント駆動のワークフローのトリガー |
データ分析基盤では、Amazon S3をデスティネーションに設定するのが最も一般的なパターンです。S3に格納したデータを、必要に応じてGlueなどで変換し、Athenaなどで分析するという流れになります。