事前学習済みファイルからモデルを公開する

Palantir は、プラットフォーム外で生成された重みを包含するモデルの作成を可能にします。これらのファイルには、オープンソースのモデルの重み、ローカル開発環境で訓練されたモデル、Code Workspacesアプリケーションで訓練されたモデル、旧システムからのモデルの重みなどが含まれる可能性があります。

Palantir モデルが作成されると、Palantir は以下を提供します：

• バッチパイプラインとリアルタイムのモデルホスティングとの統合。
• 完全なバージョン管理、粒度の高い権限付与、および管理されたモデルデータフロー。
• Modeling Objectivesを介したモデル管理とライブデプロイメント。
• オントロジーへのバインディング、モデル上の関数とホワットイフシナリオ分析を通じたオペレーショナライズを可能にします。

モデルファイルからモデルを作成する

モデルファイルからモデルを作成するには、以下が必要です：

• Palantir にアップロードできるモデルファイル
• モデルをロードして推論を実行する方法を Palantir に指示するモデルアダプタ

1. モデルファイルを非構造化データセットにアップロードする

まず、モデルファイルを Palantir プラットフォームの非構造化データセットにアップロードします。プロジェクトで**+新規 > データセット**を選択して新しいデータセットを作成します。

次に、新しいデータをインポートを選択し、モデルにアップロードするためにユーザーのコンピュータからファイルを選択します。

必要に応じて、同じデータセットに多くの異なるファイルをアップロードできます。データセットは非構造化で、つまり表形式のスキーマを持たないことを意味します。

2. モデルアダプタのロジックを定義するためのモデル訓練リポジトリを作成する

ユーザーの非構造化データセットからモデルファイルを読み取るロジックを管理する新しいコードリポジトリを作成します。このロジックは、ファイルをモデルアダプタにラップし、それらをモデルとして公開します。コードリポジトリアプリケーションで、モデルインテグレーションリポジトリをモデル訓練言語テンプレートで初期化することを選択します。

モデル訓練テンプレートとモデルアダプタAPIの完全なドキュメンテーションを参照してください。

3. 重みをモデルに公開する

非構造化データセットのモデルファイルを Palantir モデルとして公開するには、次の作業を完了する変換を作成する必要があります：

1. 非構造化データセットから保存されたモデルファイルをロードする
2. モデルアダプタをインスタンス化する
3. モデルアダプタをモデルリソースとして公開する

モデルのロードと公開のロジックをリポジトリの model_training フォルダー内に配置できます。

追加情報として、以下のドキュメンテーションを確認することをお勧めします：

• 完全なモデルアダプタAPI定義
• 非構造化データセットからのファイルの読み取り方法
• モデル訓練テンプレートでモデルアダプタを作成し公開する方法
• ローカルで訓練されたモデルの例のラッピング

モデル訓練のロジックを定義したら、ビルドを選択して、モデルファイルを読み取り、モデルを公開するロジックを実行します。

Copied!
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
from transforms.api import transform, Input
from palantir_models.transforms import ModelOutput, copy_model_to_driver

import palantir_models as pm
import palantir_models_serializers as pms

@transform(
    model_files=Input("<Model Files Dataset>"), # モデルのファイルデータセットを入力として設定
    model_output=ModelOutput("<Your Model Path>") # モデルの出力パスを設定
)
def compute(model_files, model_output):
    model = copy_model_to_driver(model_files.filesystem()) # モデルをドライバーにコピー
    wrapped_model = ExampleModelAdapter(model) # モデルをExampleModelAdapterでラップ
    model_output.publish(
        model_adapter=wrapped_model # ラップしたモデルを公開
    )

class ExampleModelAdapter(pm.ModelAdapter): # ExampleModelAdapterクラスを定義

    @pm.auto_serialize( # 自動シリアライズを設定
        model=pms.DillSerializer() # DillSerializerを使用
    )
    def __init__(self, model): # 初期化メソッド
        self.model = model # モデルを設定

    def api(cls): # このモデルのAPIを実装
        pass  

    def predict(self, df_in): # 推論のロジックを実装
        pass 

4. 公開されたモデルの利用

モデルの公開に成功したら、そのモデルを推論のために利用することができます。以下のドキュメンテーションを参考にしてください：

• ライブ推論のためのモデリング目的でモデルをデプロイする
• バッチパイプラインのモデリング目的でアップロードしたモデルを使用する
• モデルで推論を行うPythonトランスフォームを設定する