今回も、Professional Cloud Data Engineer認定取得するために、私が勉強した内容をアウトプットしていきます。
今回は、Dataprocセカンダリワーカー、Dataprocの拡張フレキシビリティモード、Video Intelligence APIのラベル検出機能について説明します！
ぜひ、最後までご覧いただけると嬉しいです！
Dataprocセカンダリワーカー
この記事では、Google CloudのマネージドHadoopサービスであるDataprocにおけるセカンダリVM（ワーカーノード）の役割と活用方法について解説します。Dataprocクラスタでは、ワーカーを柔軟に構成することで、ジョブの実行効率やコストの最適化が可能です。とくにセカンダリワーカーは、一時的なスケールアウトに対応し、コストを抑えながら高いパフォーマンスを発揮できるのが特長です。本記事では、セカンダリワーカーの用途、導入方法、活用時の注意点などについて具体的に紹介します。Dataprocの運用コストを最適化したい方は、ぜひ参考にしてください。
Dataprocの概要
Dataproc は、Google Cloud 上で提供される、Apache Spark や Apache Hadoop クラスタを簡単、高速、かつ低コストで実行できるフルマネージドサービスです。
データ処理や分析のワークロードを効率的に管理し、スケーラブルな環境を提供することで、ビッグデータ活用のハードルを大きく下げます。
Apache Sparkの概要
Apache Sparkは、大量のデータを高速に処理できるオープンソースのデータ処理エンジンです。特徴の一つは「インメモリ処理」で、データを一時的にメモリ上に保持して処理するため、ディスクに読み書きするよりも高速です。バッチ処理だけでなく、リアルタイム処理や機械学習にも対応しています。複数のコンピュータを使って並列に処理できるため、大規模データにも適しています。データ分析やビッグデータ処理の現場で広く使われています。
インメモリ処理
インメモリ処理とは、大量のデータをコンピュータのメインメモリ（RAM）上に展開して処理する技術のことです。例えるなら、机の上に作業道具を全て広げて仕事をするようなものです。ハードディスクなどの補助記憶装置に比べて圧倒的に高速にデータへアクセスできるため、処理速度が飛躍的に向上します。これにより、複雑なデータ分析や機械学習などの処理を短時間で実行できるようになります。
Apache Hadoopの概要
Apache Hadoopは、大量のデータを分散して保存・処理するためのオープンソースのフレームワークです。データは「Hadoop Distributed File System (HDFS)」という仕組みで複数のコンピュータに分けて保存されます。処理には「MapReduce」という仕組みを使い、データを分けて並列に処理し、結果をまとめます。これにより、大量のデータでも効率よく処理できます。主にビッグデータの保存や分析に使われています。
Hadoop Distributed File System (HDFS)
HDFSは、とても大きなデータを、たくさんのコンピューターに分けて保存するための仕組みです。例えるなら、巨大な図書館の本を、複数の部屋に分散して保管するようなものです。もし1つの部屋（コンピューター）が使えなくなっても、他の部屋に同じ本のコピーがあるので安心です。これにより、安価なコンピューターをたくさん使って、巨大なデータを安全かつ効率的に扱うことができます。
MapReduce
MapReduceは、HDFSに保存された膨大なデータを、大勢で手分けして処理するための方法です。「Map（マップ）」という工程で、各コンピューターが担当分のデータをそれぞれ処理します。例えば、大量のアンケート用紙を何人かで分担して集計するようなイメージです。その後、「Reduce（リデュース）」という工程で、それぞれの処理結果を一つにまとめ上げます。これにより、1台のコンピューターでは時間のかかる処理も、たくさんのコンピューターで協力することで高速に終わらせることができます。
Apache SparkとApache Hadoopの違い
Apache SparkとApache Hadoopは、どちらも大規模データ処理のためのフレームワークですが、主な違いは処理速度と汎用性です。Sparkはインメモリ処理を得意とし、HadoopのMapReduceよりも高速に動作し、バッチ処理に加えてストリーミングや機械学習など多様な処理に対応します。一方、Hadoopはディスクベースの処理が基本で、特にHDFSによる分散ストレージとMapReduceによるバッチ処理に強みを持っています。
| 特徴 | Apache Spark | Apache Hadoop (MapReduce) |
|---|---|---|
| 処理速度 | 高速（主にインメモリ処理） | 比較的低速（主にディスクベース処理） |
| 主な用途 | バッチ、ストリーミング、機械学習、グラフ処理など多目的 | 主にバッチ処理、大規模データの分散ストレージ(HDFS) |
| データ処理 | 反復処理や対話型クエリに強い | 大規模なシーケンシャルデータ処理に強い |
| 汎用性 | 高い | バッチ処理中心 |
| エコシステム | Spark SQL, Spark Streaming, MLlib, GraphX など | HDFS, MapReduce, YARN, Hive, Pig など |
Apach SparkとApach Hadoopの比較
Dataprocセカンダリワーカーのポイント
目的
セカンダリVMは、Dataprocクラスタのワーカーノードの処理能力を低コストで追加するために使用されます。主にコスト削減を目的としています。
種類
- プリエンプティブルVM：大幅な割引価格で利用できますが、Google Cloud側の都合でいつでも（最大24時間以内に）プリエンプション（中断）される可能性があります。中断耐性のあるジョブに適しています。
- スポットVM：プリエンプティブルVMと同様に大幅な割引価格で利用でき、中断される可能性があります。プリエンプティブルVMの新しい世代の機能と位置づけられ、より柔軟な価格設定や中断通知（可能な場合）があります。
- 非プリエンプティブル ワーカー：通常のVMと同じ価格ですが、Dataprocの管理下にあるセカンダリワーカーとして扱われます。中断されることはありませんが、プライマリワーカーとは区別されます。
特徴と注意点
- コスト削減
特にプリエンプティブルVMやスポットVMは、標準のVMに比べて大幅に安価です。 - 中断のリスク
プリエンプティブルVMとスポットVMは、コンピューティングリソースの需要が高い場合などに、予期せず停止（中断）される可能性があります。 - 用途
中断されてもジョブ全体が失敗しない、あるいは簡単に再実行できるようなバッチ処理やフォールトトレラントな（障害耐性のある）ワークロードに適しています。 - HDFSへの影響
デフォルトでは、プリエンプティブル／スポットワーカーはHDFS（分散ファイルシステム）のデータを格納しません。これは、中断時にデータが失われるのを防ぐためです（設定変更は可能ですが非推奨）。そのため、主に計算処理能力の追加（CPU／メモリリソースの提供）を目的として利用されます。 - ステートフルな処理には不向き
状態を保持する必要があるアプリケーションや、長時間の実行が必要で中断されると困る処理には向いていません。
利用方法
- Dataprocクラスタを作成する際、または既存のクラスタを更新する際に、ワーカーノードの種類としてプリエンプティブルVM、スポットVM、または非プリエンプティブル セカンダリワーカーを指定して追加できます。
- プライマリワーカー（中断されない通常のワーカー）と組み合わせて利用することが一般的です。
Dataprocセカンダリワーカーのまとめ
DataprocのセカンダリVM（特にプリエンプティブル／スポットVM）は、ワークロードの特性を理解した上で利用すれば、クラスタのコンピューティングコストを効果的に削減できる強力な手段です。ただし、中断されるリスクがあるため、中断されても問題ないジョブや、中断を許容できる設計のシステムでの利用が推奨されます。
Dataproc の拡張フレキシビリティモード
この記事では、Google Cloud Dataprocの拡張フレキシビリティモード (Enhanced Flexibility Mode, EFM) について説明します。この機能は、特にスポットVMやプリエンプティブルVM（まとめてセカンダリワーカーと呼ばれることが多い）を利用する際の、Dataprocジョブの回復力とクラスタの柔軟性を向上させることを目的としています。
Dataprocの拡張フレキシビリティモードのポイント
拡張フレキシビリティモードの概要
Dataproc の拡張フレキシビリティモードは、ジョブの安定性を高めるための機能です。特に、スポットVM（プリエンプティブルVM）などのセカンダリワーカーが予期せず中断・削除されても、ジョブの失敗を最小限に抑えるよう設計されています。これにより、コスト効率の高いVMを使いつつも、処理の信頼性を確保できます。主にSparkジョブ（Spark SQL、Spark Core、PySparkなど）で効果を発揮します。大規模な分散処理環境での活用に適しています。
Sparkジョブ
Sparkジョブは、大量のデータを高速に処理するための分散処理プログラムです。Google Cloud Dataprocでは、これを使ってデータの分析、変換、機械学習などを実行できます。拡張フレキシビリティモードを使うと、クラスタを常に起動しておかなくても、必要なときだけリソースを自動で立ち上げてジョブを実行できます。これによりコスト効率よく、柔軟にデータ処理が行えます。
拡張フレキシビリティモードの仕組み
拡張フレキシビリティモードでは、Sparkジョブの途中で発生するデータ（シャッフルデータ）の管理を工夫しています。セカンダリワーカーが急にいなくなっても、その影響を素早く検知し、必要な部分だけをやり直すことでジョブ全体の失敗を防ぎます。
また、YARNという仕組みを使って、ノードを安全にクラスタから外す準備をします。これにより、VMが停止する前にタスクを他のノードへ移すことができ、ジョブが途中で止まるリスクを減らせます。
YARN
YARN（Yet Another Resource Negotiator）は、Hadoopのリソース管理とジョブスケジューリングを担うコンポーネントです。クラスタ内の計算資源（CPUやメモリ）を効率的に管理し、複数のアプリケーションに適切に割り当てる役割を果たします。MapReduceに限らず、さまざまな処理フレームワークを統合的に実行できるのが特徴です。
拡張フレキシビリティモードの利点
- コスト効率の向上：スポットVMやプリエンプティブルVMは安価ですが、中断リスクがあります。拡張フレキシビリティモードを使うことで、これらのVMをより積極的に、かつ安全に利用できるようになり、コスト削減効果を高められます。
- ジョブの回復性向上：セカンダリワーカーが予期せず失われた場合でも、ジョブが失敗する可能性を大幅に減らします。
- 迅速なスケールダウン：クラスタのサイズを縮小（スケールダウン）する際に、実行中のジョブへの影響を最小限に抑えながら、より迅速にワーカーノードを削除できます。
適用シナリオ
- スポットVMやプリエンプティブルVMを多用してコストを抑えたい場合。
- クラスタのオートスケーリングを利用する場合や、手動で頻繁にクラスタサイズを変更する場合。
- 長時間実行されるSparkジョブの安定性を高めたい場合。
注意点と制約
- 対応コンポーネント：主にSparkジョブ向けに設計されており、他のフレームワーク（MapReduceなど）では効果が限定的、または利用できない場合があります。
- パフォーマンス：一部のケースでは、ジョブの回復性を確保するためのオーバーヘッドにより、わずかなパフォーマンス低下が発生する可能性があります。
- 設定：拡張フレキシビリティモードはデフォルトでは無効です。Dataprocクラスタの作成時に明示的に有効にする必要があります。
Dataprocの拡張フレキシビリティモードのまとめ
拡張フレキシビリティモードは、DataprocでスポットVMやプリエンプティブルVMといった低コストなセカンダリワーカーを活用する上で非常に重要な機能です。これらのVMの中断リスクによるジョブの失敗を軽減し、コスト効率と運用安定性の両立を支援します。特にSparkジョブを実行するクラスタでコスト削減を目指す場合に、拡張フレキシビリティモードの利用を検討する価値があります。
Video Intelligence APIのラベル検出機能
Video Intelligence APIのラベル検出機能の概要
Google CloudのVideo Intelligence APIの「ラベル検出」機能は、動画コンテンツを自動で分析し、映像内に登場する数千種類のオブジェクトや場所、活動、属性などを識別する機能です。たとえば、「犬」「車」「建物」「スポーツ」「音楽」といった一般的なラベルを検出し、動画の内容を理解・分類するのに役立ちます。手動でタグ付けする手間を省き、大量の動画データの整理や検索を効率化できます。
Video Intelligence APIのラベル検出機能の検出レベル
Video Intelligence APIのラベル検出機能では、動画全体、ショット単位（シーンチェンジごとのセグメント）、さらには個々のフレーム単位でラベルを検出することができます。これにより、動画全体のテーマを把握するだけでなく、特定の場面や瞬間に映っている対象を詳細に分析することが可能です。分析の粒度を柔軟に調整できるため、用途に応じたきめ細かな動画理解が実現できます。
Video Intelligence APIのラベル検出機能が提供する情報
検出された各ラベルについて、以下の情報が提供されます。
- ラベル名 (Description)：検出されたエンティティの名前（例：”dog”）。
- エンティティID (Entity ID)：Google Knowledge Graphにおける一意のID（利用可能な場合）。
- 信頼度スコア (Confidence Score)：そのラベルが動画（またはセグメント／フレーム）内に存在することを示す信頼性の度合い（0から1の値）。
- カテゴリエンティティ (Category Entities)：ラベルが属する可能性のある、より広範なカテゴリ（例：”animal”）。
- セグメント/フレーム情報 (Segments/Frames)：ラベルが検出された具体的な時間範囲（開始時間と終了時間）またはフレームのタイムオフセット。
Video Intelligence APIのラベル検出機能の利用方法
Google CloudのVideo Intelligence APIでラベル検出機能を利用するには、APIリクエストを作成する際に、features フィールドに LABEL_DETECTION を指定します。リクエストでは、分析したい動画ファイルのパス（通常はGoogle Cloud Storageに保存されたファイルのURI）を設定します。APIは動画の内容を解析し、シーンごとに検出されたラベル（例：動物、乗り物、風景など）を含むアノテーション結果をJSON形式で返します。この結果を使って、動画の内容を自動で分類・タグ付けすることが可能です。
Video Intelligence APIのラベル検出機能のユースケース
Video Intelligence APIのラベル検出機能のユースケースには、以下のようなものがあります。
- 動画コンテンツのインデックス作成と検索性の向上
- コンテンツの自動分類とタグ付け
- 動画内広告のターゲティング
- コンテンツモデレーション（不適切コンテンツの検出補助）
- 動画の内容に基づいた推薦システムの構築
Video Intelligence APIのラベル検出機能のまとめ
Google CloudのVideo Intelligence APIのラベル検出機能は、動画内のオブジェクトやシーンを自動で分析・分類する技術です。動画全体、ショット、フレーム単位で詳細なラベル付けが可能で、検出結果にはラベル名や信頼度スコア、検出時間などの情報が含まれます。APIを活用することで、動画の自動タグ付けや検索性の向上、ターゲティング広告や推薦システムの構築など、さまざまな用途に応用できます。
まとめ
今回は、下記３点について説明しました。
- Dataprocセカンダリワーカー
- Dataprocの拡張フレキシビリティモード
- Video Intelligence APIのラベル検出機能
本記事では、Google CloudのDataprocにおけるセカンダリワーカーと拡張フレキシビリティモードの活用法、さらにVideo Intelligence APIのラベル検出機能について解説しました。セカンダリワーカーと拡張フレキシビリティモードを組み合わせることで、コスト効率と安定性を両立でき、特にSparkジョブに有効です。また、Video Intelligence APIにより、動画の自動解析と高度なコンテンツ管理が可能になります。
これからも、Macのシステムエンジニアとして、日々、習得した知識や経験を発信していきますので、是非、ブックマーク登録してくれると嬉しいです！
それでは、次回のブログで！
