Foundry에서 언어 모델 가져오기
Foundry는 코드 없이 오픈 소스 언어 모델을 Foundry 워크플로에 가져올 수 있게 해줍니다. 이러한 언어 모델은 배치 및 실시간 배포에 사용하기 위해 Modelling Objective에 제출할 수 있습니다.
다른 언어 모델을 사용하려면 새로운 언어 모델에 대한 지원 추가하기도 쉽게 할 수 있습니다. 아래에 사용된 모델 어댑터에 대한 자세한 정보는 언어 모델 어댑터 문서를 참조하세요.
언어 모델 가져오기
지원되는 오픈 소스 모델은 아래 단계를 따라 코드를 작성하지 않고 통합할 수 있습니다.
- 언어 모델을 추가할 새로운 또는 기존의 Modelling Objective를 생성하거나 열기. Modelling Objective에서 모델 추가하기를 선택합니다.
- 오픈 소스 모델 가져오기 옵션을 선택합니다.
- 사용 가능한 모델 중 하나를 선택한 다음 다음을 선택합니다.
-
생성된 모델 리소스가 Foundry에 저장될 위치를 선택하고, 샌드박스 배포 및 리소스 프로필을 생성할지 여부를 결정합니다.
Foundry는 사용 가능한 오픈 소스 언어 모델에 대한 기본 모델 어댑터를 제공합니다. 그러나 사용자 지정 모델 어댑터도 구성할 수 있습니다.
- 샌드박스 배포를 생성한 경우, 해당 샌드박스 배포로 리디렉션되어 추론을 시작합니다.
새로운 실시간 배포에 대한 첫 번째 쿼리는 이후 요청보다 더 오래 걸릴 수 있습니다.
각 언어 모델의 사용 방법은 사용된 모델 어댑터에 따라 다릅니다.