모델 어댑터 전체보기
모델 어댑터는 Foundry가 임의의 모델과 상호 운용할 수 있게 하는 일반화된 프레임워크입니다. 모델 어댑터는 모델을 구성하는 두 가지 구성 요소 중 하나입니다:
- 모델 아티팩트: 훈련된 모델이 저장된 모델 파일, 파라미터, 가중치, 컨테이너 또는 인증서입니다.
- 모델 어댑터: Foundry가 모델 아티팩트와 상호 작용하여 모델을 로드, 초기화 및 추론을 수행하는 데 필요한 로직과 환경 종속성입니다.
모델 어댑터를 사용하여 Foundry가 다음과 상호 운용할 수 있습니다:
- Foundry에서 훈련된 모델
- Foundry 외부에서 훈련된 모델 파일
- Foundry 외부에서 컨테이너화되고 Foundry Docker 레지스트리에 푸시된 모델
- Foundry 외부에서 훈련 및 호스팅된 모델
어댑터 구성 요소
Palantir은 해당 모델 버젼의 모델 어댑터 클래스와 상호 작용하여 모든 모델과 동일한 방식으로 상호 작용합니다.
초기화
모델은 한 번 만들어지고 플랫폼 내의 여러 위치에서 사용할 수 있으므로, 어댑터는 가중치 또는 기본 컨테이너로부터 모델 인스턴스를 초기화하는 방법을 알아야 합니다.
플랫폼 내에서 훈련된 가중치의 경우, 사용자는 대부분의 모델 유형에서 작동해야 하는 내장 직렬화 도구를 활용하기 위해 @auto_serialize 주석을 사용해야 합니다. 직렬화 / 역직렬화 로직을 명시적으로 지정해야 하는 고급 사례의 경우, 참조: load() 및 _save() 메소드.
컨테이너 및 외부 모델의 경우, 어댑터는 init_container() 또는 init_external() 메소드를 사용하여 관련 구성으로 초기화되어 추론에 사용할 수 있습니다.
API
각 어댑터는 API 설명을 선언해야 합니다. 플랫폼은 이 설명을 사용하여 예상 입력, 출력, 열 이름 및 유형을 포함하여 다양한 모델 소비 패턴에 대한 다른 애플리케이션과의 통합을 가능하게 합니다.
지원되는 유형과 API 정의의 예제는 API 출처를 참조하세요.
추론
초기화되면 어댑터는 일괄 처리 또는 대화형 작업부하에 대한 추론을 위해 사용할 수 있습니다. 추론 로직은 predict() 메소드의 일부로 정의해야 합니다.
플랫폼은 제공된 API 정의를 사용하여 정의된 이름과 유형으로 predict() 메소드를 호출하여 추론을 수행합니다.
모델 어댑터 생성에 대한 자세한 내용은 모델 어댑터 생성 문서를 참조하세요. 또한 모델 어댑터 출처 페이지에서 전체 파이썬 API를 참조할 수 있습니다.