この記事では、KubeflowのパイプラインをNotebookから実行する方法を説明する。Kubeflowがローカル環境に構築されている場合、ServiceAccountの設定から実際にパイプラインを実行する手順を記述する。
以下の公式のドキュメントが実行できなかったので、ローカルのkubeflow notebookで実行できる手順をまとめた。
www.kubeflow.org
どうやらデフォルトで提供されるServiceAccountには、Kubeflow Pipelineを操作するための十分な権限がない。
このため、必要な権限を付与した新しいServiceAccountを作成し、Notebook上からパイプラインを実行する方法をまとめた。
また、作成したServiceAccountを適切に設定し、ローカルのnamespaceと合わせることで、Kubeflowダッシュボードからも実行状況を確認できるようにする。
これにより、notebookで生成したpipelineのyamlをいちいちダウンロードしてからダッシュボードにアップロードして実行みたいなめんどくさい手順を経ずに、直接notebookからpipelineを登録・実行できるようになる。
- 前提条件
- 1. ServiceAccountの作成
- 2. Tokenの発行
- 3. NotebookでKubeflowパイプラインを実行
- pipelineの作成
- Kubeflowのエンドポイントとトークンの設定
- Experiment, Pipelineの取得
- パイプラインの実行
- Experiment設定せず直接pipelineを実行する方法