データの収集

データ分析の出発点は、日々の業務やシステムの稼働によって生まれるデータです。

企業のシステムでは、ユーザの操作や業務処理によって常にデータが生成されています。例えば、ECサイトの注文データはAmazon RDSなどのデータベースに格納され、システムの稼働状況はCloudTrailログやVPCフローログとして記録されます。

1. データソース

データソースとは、データ分析のもととなるインプットデータのことです。主に以下のようなデータがデータソースとして使われます。

1.1 データベース

Amazon RDS、Amazon DynamoDBなど、アプリケーションが利用する業務データです。売上データや顧客情報、在庫情報といった、日々の業務処理で蓄積されるデータがデータソースとして利用されます。例えば、RDSに蓄積された売上の推移データや顧客の購買履歴は、マーケティング施策や需要予測の重要な基盤となります。

1.2 ログ・イベント

CloudTrailログ、VPCフローログ、ALBアクセスログ、WAFログなど、AWSサービスが出力する運用データです。アクセスログからは利用傾向の分析、操作ログからは不正操作の検知、エラーログからは障害の原因特定など、システム運用の改善に不可欠なデータソースです。

1.3 ストリーミング

Amazon Kinesis Data StreamsやAmazon MSK(Kafka)などを通じて、リアルタイムに発生するイベントデータです。IoTセンサーデータやクリックストリームなど、継続的に発生するデータの取り込みに使われます。

1.4 外部システム

オンプレミスのデータベース(JDBC接続)やSaaSのAPIなど、AWS外部のシステムからのデータです。例えば、Salesforceの営業データやGoogle Analyticsのアクセスデータなど、社外のサービスに蓄積されたデータもデータソースとして活用できます。

2. 収集に関連するAWSサービス

データベースやログ・イベント、ストリーミングのデータは、システムの利用に伴って自然に蓄積されていきます。一方、外部システムのデータをAWSに取り込む場合は、APIを利用した連携の仕組みを独自に構築する必要があり、開発・運用の手間がかかります。AWSでは、こうした外部データの取り込みを支援するサービスが提供されています。

Amazon AppFlow

SaaSアプリケーションとAWSの間でデータを連携するフルマネージドサービスです。SalesforceやGoogle Analytics、Slackなどの外部SaaSからデータを自動的に取得し、S3などのAWSサービスに格納できます。

例えば、SalesforceのデータをAWSで分析したい場合、通常はSalesforceのAPIを呼び出してデータを取得するプログラムを自前で開発・運用する必要があります。AppFlowを使えば、コードを書くことなく、設定したスケジュールで自動的にSalesforceからデータを取得し、S3に格納できます。