設計のポイント

Glueを設計する際の主要な検討項目を以下にまとめます。

設計項目 検討内容 推奨・注意事項
ジョブの種類 Spark / Python Shell の選択 大量データにはSpark、軽量処理にはPython Shell
データ形式 出力フォーマットの選択 分析用途にはParquet形式を推奨
パーティション データの分割戦略 日付(year/month/day)でのパーティション分割が一般的
リソース割り当て ワーカータイプ・ワーカー数・DPUの選択 最小限から開始し、処理時間に応じて調整
エラーハンドリング ジョブ失敗時の対応 CloudWatchアラームで監視し、リトライ設定を行う
ブックマーク 増分処理の有効化 毎回全データを処理せず、新規・更新データのみを処理