본 번역은 검증되지 않았습니다. AIP를 통해 영문원문으로부터 번역되었습니다.

Functions 내의 언어 모델

Palantir은 Functions 내에서 사용할 수 있는 일련의 언어 모델을 제공합니다. Palantir에서 제공하는 LLMs에 대해 자세히 알아보기.

:::callout{title=사전 요구 사항 theme=neutral} Palantir에서 제공하는 언어 모델을 사용하려면 먼저 등록에서 AIP가 활성화되어 있어야 합니다. 또한 AIP 개발자 기능을 사용할 수 있는 권한이 있어야 합니다. :::

언어 모델 가져오기

언어 모델을 사용하려면 다음 단계에 따라 Functions를 작성하는 Code Repositories에 특정 모델을 가져와야 합니다.

Model Imports 사이드 패널을 열어 기존에 가져온 모델을 모두 확인합니다.

새로운 언어 모델을 가져오려면 Resource Imports 패널의 오른쪽 상단에 있는 Add를 선택하고 Models를 선택합니다. 이렇게 하면 사용 가능한 Palantir에서 제공하는 모델을 볼 수 있는 새 창이 열립니다.

Model import dialog showing a few Palantir-provided LLMs.

이전에 Modeling Objectives 앱을 통해 생성된 사용자 지정 모델을 볼 수 있는 탭도 있습니다. 이러한 모델을 사용하는 방법에 대한 자세한 정보는 Functions on models 문서에서 확인할 수 있습니다.
가져오려는 모델을 선택한 다음 Confirm selection을 클릭하여 이러한 모델을 저장소에 가져옵니다. 작업 러너가 localDev 작업을 실행하여 이러한 모델과 상호작용하는 코드 바인딩을 생성합니다.
언어 모델을 가져온 후 저장소에서 다음 가져오기 문을 추가하여 해당 언어 모델을 사용할 수 있습니다. 단, GPT_4를 저장소에 가져온 언어 모델의 이름으로 대체합니다:

Copied!1
2
// 영어로 된 코드입니다. 필요한 경우 주석을 한국어로 작성해 주세요.
import { GPT_4 } from "@foundry/models-api/language-models" // "@foundry/models-api/language-models"에서 GPT_4 모듈을 가져옵니다.

언어 모델을 사용하는 Function 작성하기

이 단계에서는 우리가 가져온 언어 모델을 사용하는 Function을 작성할 수 있습니다. 이 예시에서는 위에서 설명한 것처럼 GPT_4를 가져왔다고 가정합니다.

우리는 우리의 파일에 다음의 import 문을 추가하여 시작합니다:

Copied!1
2
3
// 영어를 한국어로 번역
// "@foundry/models-api/language-models" 패키지에서 GPT_4를 가져옵니다.
import { GPT_4 } from "@foundry/models-api/language-models"

각 언어 모델은 강력한 타입 입력 및 출력을 사용하여 생성된 메소드를 사용할 수 있습니다. 예를 들어, GPT_4 모델은 사용자가 메시지 집합과 함께 모델의 동작을 수정하는 추가 파라미터(온도 또는 최대 토큰 수와 같은)를 전달할 수 있는 createChatCompletion 메소드를 제공합니다.

다음의 예시에서는 제공된 GPT_4 모델을 사용하여 사용자가 제공한 텍스트에 대한 간단한 감성 분석을 실행합니다. 이 함수는 텍스트를 "좋음", "나쁨" 또는 "불확실"로 분류합니다.

Copied!1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
@Function()
public async sentimentAnalysis(userPrompt: string): Promise<string> {
    // 사용자가 제공한 텍스트의 감정을 평가하세요.
    // 좋음, 나쁨, 불확실 중에서 답변할 수 있습니다.
    // 텍스트가 좋거나 나쁘다고 확실히 판단될 때만 좋음 또는 나쁨을 선택하세요.
    // 텍스트가 중립이거나 판단할 수 없는 경우 불확실을 선택하세요.
    const systemPrompt = "Provide an estimation of the sentiment the text the user has provided. \
    You may respond with either Good, Bad, or Uncertain. Only choose Good or Bad if you are overwhelmingly \
    sure that the text is either good or bad. If the text is neutral, or you are unable to determine, choose Uncertain."

    const systemMessage = { role: "SYSTEM", content: systemPrompt };
    const userMessage = { role: "USER", content: userPrompt };
    // GPT-4를 사용하여 대화 완성을 생성하고 결과를 가져옵니다.
    const gptResponse = await GPT_4.createChatCompletion({messages: [systemMessage, userMessage], params: { temperature: 0.7 } });
    // GPT-4 응답에서 메시지 내용을 반환하거나 "불확실"을 반환합니다.
    return gptResponse.choices[0].message.content ?? "Uncertain";
}

이 Function은 플랫폼 전체에서 사용할 수 있습니다.

임베딩

생성적 언어 모델과 함께, Palantir은 임베딩을 생성하는 데 사용할 수 있는 모델도 제공합니다. 간단한 예시는 다음과 같습니다:

Copied!1
2
3
4
5
6
7
@Function()
public async generateEmbeddingsForText(inputs: string[]): Promise<Double[][]> {
    // TextEmbeddingAda_002에서 임베딩을 생성하고 그 결과를 반환합니다.
    const response = await TextEmbeddingAda_002.createEmbeddings({ inputs });
    // 생성된 임베딩을 반환합니다.
    return response.embeddings;
}

이것은 가장 일반적으로 시맨틱 검색 워크플로를 수행하는 데 사용됩니다.

성능 고려 사항

특정 모델에는 요율 제한이 적용될 수 있으며, 이는 특정 시간 동안 전달될 수 있는 토큰 수를 제한합니다. 이는 Functions에 적용되는 표준 제한과 함께 강제됩니다.

참고: AIP 기능 사용 가능성은 변경될 수 있으며 고객 간에 차이가 있을 수 있습니다.