ケーススタディ1 - Flowlogistic
会社概要
Flowlogisticは、物流およびサプライチェーン分野におけるリーディングプロバイダーです。世界中の企業が資源を管理し、最終目的地まで輸送できるよう支援しています。同社は急速に成長を遂げ、鉄道、トラック、航空機、海上輸送など、サービス提供範囲を拡大しています。
会社概要
同社は地域密着型のトラック運送会社として創業し、その後、他の物流市場へと事業を拡大しました。しかし、インフラの更新が遅れたため、注文や出荷の管理・追跡がボトルネックとなっていました。業務改善のため、Flowlogisticは小包レベルでリアルタイムに出荷を追跡する独自の技術を開発しました。しかし、Apache Kafkaをベースとした既存の技術スタックでは処理量に対応できないため、この技術を導入することができませんでした。さらに、Flowlogisticは注文と出荷に関する詳細な分析を行い、最適なリソース配分方法を検討したいと考えています。
解決策のコンセプト
Flowlogisticはクラウドを使用して2つのコンセプトを実現したいと考えています。
* 自社独自の技術を活用したリアルタイム在庫追跡システムにより、積荷の位置をリアルタイムで表示する。
* 構造化データと非構造化データの両方を含むすべての注文と出荷ログの分析を実行して、リソースを最適に展開する方法、情報を拡大する市場を決定します。
彼らはまた、予測分析を用いて、出荷の遅延が発生する時期をより早く把握したいと考えている。
既存の技術環境
Flowlogisticアーキテクチャは単一のデータセンターに存在します。
* データベース
2つのクラスターに8台の物理サーバーを配置
- SQL Server - ユーザーデータ、在庫、静的データ
物理サーバー3台
- Cassandra - メタデータ、メッセージの追跡
10台のKafkaサーバー - メッセージ集約とバッチ挿入の追跡
* アプリケーションサーバー - 顧客向けフロントエンド、注文/税関向けミドルウェア
20台の物理サーバーに分散された60台の仮想マシン
- Tomcat - Javaサービス
- Nginx - 静的コンテンツ
- バッチサーバー
* 収納機器
- 仮想マシン(VM)ホスト向けiSCSI
- ファイバーチャネルストレージエリアネットワーク(FC SAN) - SQLサーバーストレージ
- ネットワーク接続ストレージ(NAS)のイメージストレージ、ログ、バックアップ
* Apache Hadoop/Sparkサーバー10台
- コアデータレイク
- データ分析の作業負荷
* その他サーバー20台
- Jenkins、監視、バスティオンホスト、
ビジネス要件
* 拡張可能な生産環境を備え、信頼性が高く再現性のある環境を構築する。
分析のためにデータを一元化されたデータレイクに集約する
* 過去のデータを使用して、将来の出荷に関する予測分析を実行します。
独自の技術を用いて、世界中のすべての貨物を正確に追跡します。
* 新しいリソースを迅速に提供することで、ビジネスの俊敏性とイノベーションのスピードを向上させる
クラウドにおけるパフォーマンスを考慮したアーキテクチャの分析と最適化
* 他のすべての要件を満たしている場合は、クラウドに完全移行する
技術要件
ストリーミングデータとバッチデータの両方を処理する
* 既存のHadoopワークロードを移行する
* 会社の変化するニーズに対応できるよう、アーキテクチャが拡張性と柔軟性を備えていることを確認する。
可能な限りマネージドサービスを利用する
* データの転送時および保存時の暗号化
* 本番データセンターとクラウド環境の間にVPNを接続する SEOステートメント 当社は急速に成長してきたため、インフラストラクチャをアップグレードできないことが、さらなる成長と効率性を阻害しています。当社は世界中に商品を輸送することには効率的ですが、データの移動には非効率的です。
顧客がどこにいて、何を発送しているのかをより簡単に把握できるように、情報を整理する必要があります。
CTO声明
ITはこれまで当社にとって優先事項ではなかったため、データ量の増加に伴い、テクノロジーへの投資が十分ではありませんでした。IT管理を担当する優秀なスタッフはいますが、彼らはインフラ管理に追われ、データの整理、分析ツールの構築、CFOの追跡テクノロジーの実装方法の検討といった、本当に重要な業務に時間を割くことができません。
最高財務責任者(CFO)声明
当社の競争優位性の一つは、出荷や納品の遅延に対して自らにペナルティを課している点です。
出荷状況の常時把握は、当社の収益と利益に直接影響します。さらに、サーバー環境の構築に資金を投入したくありません。
Flowlogistic はリアルタイム在庫追跡システムを展開しています。追跡デバイスはすべてパッケージ追跡メッセージを送信しますが、これらのメッセージは Apache Kafka クラスターではなく、単一の Google Cloud Pub/Sub トピックに送信されます。サブスクライバーアプリケーションは、リアルタイムレポート用にメッセージを処理して、履歴分析のために Google BigQuery に保存します。パッケージデータを時系列で分析できるようにしたい場合、どの方法を採用すべきでしょうか?
Cloud Dataproc クラスタを管理しています。クラスタで進行中の作業を失うことなく、コストを最小限に抑えながらジョブの実行を高速化する必要があります。どうすればよいでしょうか。
あなたは、以下の条件を満たすクラウドネイティブな履歴データ処理システムを設計しています。
- 分析対象のデータはCSV、Avro、PDF形式で、
Cloud Dataproc、BigQuery、Compute Engineなど、複数の分析ツールからアクセス可能です。
ストリーミングデータパイプラインは、毎日新しいデータを保存します。
パフォーマンスはソリューションの要素ではありません。
ソリューション設計においては、可用性を最大限に高める必要がある。
このソリューションにおけるデータストレージはどのように設計すべきでしょうか?
次のどれがスパースベクトルの値の例ですか? (回答を 2 つ選択してください。)
会社のデータ プラットフォームは、上流ソースからの予約データとユーザー プロファイル データの CSV ファイル ダンプを Cloud Storage に取り込みます。データ アナリスト チームは、両方のデータセットで使用可能なメール フィールドでこれらのデータセットを結合して分析を実行したいと考えています。ただし、個人を特定できる情報 (PII) にアナリストがアクセスできないようにする必要があります。アナリスト用に BigQuery に読み込む前に、両方のデータセットのメール フィールドを匿名化する必要があります。どうすればよいでしょうか。
社内の IT アプリケーションの 1 つと Google BigQuery を統合して、ユーザーがアプリケーションのインターフェースから BigQuery にクエリを実行できるようにします。個々のユーザーに BigQuery への認証を行わせたり、データセットへのアクセス権を与えたりすることは望ましくありません。IT アプリケーションから BigQuery に安全にアクセスする必要があります。
何をすべきでしょうか?
YARN ResourceManager と HDFS NameNode インターフェースは、Cloud Dataproc クラスタで利用できます ____。
Dataproc クラスタ インスタンス上のソフトウェアをカスタマイズする方法ではないものはどれですか。
あなたの会社は、さまざまなクライアントのデータ処理を担当しています。各クライアントは独自の分析ツール スイートを使用することを希望しており、一部のツールでは Google BigQuery 経由で直接クエリにアクセスできます。クライアントが互いのデータを見ることができないようにデータを保護する必要があります。データへの適切なアクセスを確保する必要があります。実行すべき 3 つの手順はどれですか。(3 つ選択してください。)