Google Cloud上でのデータパイプライン設計・BigQuery・Dataflow・Pub/Subを活用したデータエンジニアリング能力を証明するGCPのデータ系最高峰資格。
PDEの中心はBigQuery。SQL・パーティション・クラスタリング・外部テーブル・Authorized Views・列レベルのセキュリティ・コスト最適化を全て実際に使えるレベルまで学ぶ。BigQuery公式ドキュメントを全読み。
ストリーミング（Pub/Sub→Dataflow→BigQuery）とバッチ処理（Cloud Storage→Dataflow→BigQuery）のパイプラインを実際に構築する。Apache Beam / Apache Sparkの基礎知識も必要。
PDEにはML（機械学習）の問題も含まれる。Vertex AI・AutoML・BigQuery MLを使った基本的なMLパイプライン構築の知識が必要。データエンジニアとしてMLエンジニアと協力できるレベルを目指す。
TutorialsDojoのPDE問題集が最良の演習材料。データセキュリティ（IAM・VPC SC）・コスト最適化・監視（Cloud Monitoring・Cloud Logging）の問題も重点的に練習する。
BigQueryは世界最高水準のデータウェアハウスサービス。PDE保有者はBigQueryを設計・運用できる証明として、データ分析基盤を構築する企業に高く評価されます。
生成AIブームでデータ基盤の重要性が急増。GCPのVertex AIと連携したMLデータパイプラインを設計できるPDE保有者の需要はここ数年で急増しています。
データエンジニアはIT職種の中でも特に高収入。PDE保有者は年収1000〜1500万円のポジションへの道が現実的に開けます。
合格者のリアルな声をお届けします
PDEを取得してデータエンジニアリングチームのリードを任されました。BigQuery・Dataflow・Pub/Subを使ったリアルタイムパイプラインを設計できるようになりました。
PDEの知識でデータウェアハウス移行プロジェクトを成功させました。プロジェクト後に昇進し、データプラットフォームチームのマネージャーになりました。
PDEとPCAの両方を持ちフリーランスに転向。データと設計の両方ができるエンジニアはニーズが高く、週3稼働で以前の年収を超えています。
PDE取得後に大手EC企業のデータ基盤刷新プロジェクトにアサイン。億単位のユーザー行動データを扱う仕事は、スケール感が全く違います。
PDEを学ぶ過程でMLOpsの基礎も身につきました。モデルのデプロイからモニタリングまでできるMLエンジニアになり、スタートアップのCTOに就任しました。
※ イメージです。実際の効果は個人差があります