設計のポイント
AppFlowを設計する際の主要な検討項目を以下にまとめます。
| 設計項目 | 検討内容 | 推奨・注意事項 |
|---|---|---|
| トリガーの種類 | オンデマンド / スケジュール / イベント駆動 | 分析の鮮度要件に応じて選択。日次バッチなら日単位のスケジュールで十分 |
| 出力形式 | JSON / CSV / Parquet | Athenaでの分析にはParquet形式を推奨 |
| 増分転送 | 全量転送 / 増分転送 | 定期実行の場合は増分転送を推奨。コストと実行時間を削減できる |
| フィールドマッピング | 全フィールド / 必要なフィールドのみ | 分析に必要なフィールドのみを選択し、不要なデータの転送を避ける |
| S3のパス設計 | 出力先のフォルダ構成 | 日付やデータ種別でフォルダを分け、後続のGlue処理がしやすい構成にする |
| エラーハンドリング | エラー時の挙動 | CloudWatch Logsでの監視とアラームの設定を推奨 |