設計のポイント
Glueを設計する際の主要な検討項目を以下にまとめます。
| 設計項目 | 検討内容 | 推奨・注意事項 |
|---|---|---|
| ジョブの種類 | Spark / Python Shell の選択 | 大量データにはSpark、軽量処理にはPython Shell |
| データ形式 | 出力フォーマットの選択 | 分析用途にはParquet形式を推奨 |
| パーティション | データの分割戦略 | 日付(year/month/day)でのパーティション分割が一般的 |
| リソース割り当て | ワーカータイプ・ワーカー数・DPUの選択 | 最小限から開始し、処理時間に応じて調整 |
| エラーハンドリング | ジョブ失敗時の対応 | CloudWatchアラームで監視し、リトライ設定を行う |
| ブックマーク | 増分処理の有効化 | 毎回全データを処理せず、新規・更新データのみを処理 |