フローの構成要素

フローは、AppFlowにおけるデータ連携の実行単位です。「どの外部サービスから」「どのデータを」「どこに」「どのように」転送するかを定義します。

1. フローとは

フローは、AppFlowにおけるデータ連携の実行単位です。「どの外部サービスから」「どのデータを」「どこに」「どのように」転送するかを定義します。例えば、「Salesforceの商談データから、過去30日分のレコードを取得し、必要なフィールドだけを選択してS3にParquet形式で保存する」という一連の処理が1つのフローになります。

以下は、フローを構成する4つの要素と処理の流れを示した図です。

フローは以下の4つの要素で構成されます。

2. ソース(Source)

データの取得元となる外部サービスとオブジェクト(テーブルやエンティティ)を指定します。例えば、Salesforceの「商談(Opportunity)」オブジェクトや、Googleスプレッドシートの特定のシートなどを指定します。

3. フィルター

取得するデータの条件を指定します。例えば、「作成日が過去30日以内のレコードのみ取得する」「ステータスが"完了"のレコードのみ取得する」といった条件を設定できます。フィルターを適切に設定することで、不要なデータの転送を避け、コストとパフォーマンスを最適化できます。

4. マッピング(フィールドマッピング)

ソース側のフィールド(列)をデスティネーション側のどのフィールドに対応させるかを定義します。フィールドの選択だけでなく、以下のような変換も行えます。

変換の種類 説明 例
フィールドの選択 必要なフィールドのみを転送する 全50フィールド中、分析に必要な10フィールドのみを選択
フィールド名の変更 デスティネーション側で別の名前を付ける 外部サービス側の「OpportunityName」をS3側で「deal_name」に変更
値のマスキング 個人情報などの機密データをマスクする メールアドレスの一部を「***」に置換
値の切り捨て 文字列の長さを制限する 備考フィールドを先頭100文字に切り捨て
バリデーション データの妥当性を検証する 必須フィールドがnullの場合はレコードを除外

5. デスティネーション(Destination)

データの格納先を指定します。主に以下のAWSサービスをデスティネーションとして利用できます。

デスティネーション 用途
Amazon S3 データレイクへの蓄積。後続のGlue・Athenaによる分析に利用
Amazon Redshift データウェアハウスへの直接ロード
Amazon EventBridge イベント駆動のワークフローのトリガー

データ分析基盤では、Amazon S3をデスティネーションに設定するのが最も一般的なパターンです。S3に格納したデータを、必要に応じてGlueなどで変換し、Athenaなどで分析するという流れになります。