랭스미스(Lang Smith)란?

랭스미스(Lang Smith)란?

LangSmith는 LLM 애플리케이션을 구축하기 위한 플랫폼입니다. 이를 통해 애플리케이션을 모니터링하고 데이터셋을 통해 성능을 평가할 수 있습니다.

랭스미스 기능

1. LLM 모델의 대답 및 성능 모니터링 기능
2. 데이터셋 저장 기능
3. 데이터셋을 통한 성능 평가 기능

사용 방법

1. 랭스미스 API 키 발급 ( 설정 > Create Api Key )

2. 환경 변수 설정

os.environ["LANGCHAIN_TRACING_V2"]="true"
os.environ["LANGCHAIN_ENDPOINT"]="https://api.smith.langchain.com"
os.environ["LANGCHAIN_API_KEY"]="{개인API키}"
os.environ["LANGCHAIN_PROJECT"]="{프로젝트명}"  

3. 클라이언트 선언

from langsmith import Client
client = Client()

4.QA데이터셋 생성

import pandas as pd
df = pd.read_csv("데이터셋")

dataset = client.upload_dataframe(
    df=df,
    input_keys=['질문'], #df의 input 컬럼명
    output_keys=['대답'], #df의 output 컬럼명
    name="생성할 데이터셋 이름",
    description="데이터셋에 대한 설명",
    data_type="kv" #key, value 데이터셋
)

5.테스트

from langchain.smith import RunEvalConfig, run_on_dataset

evaluation_config = RunEvalConfig(
    evaluators=["qa"],
    input_key = "query",
    prediction_key="result",
    reference_key="답변",
)

LLM = ChatOpenAI(model_name = "gpt-3.5-turbo"],
                    temperature = 0,
                    openai_api_key= "OPENAI_API_KEY") # OPENAI API KEY 필요

run_on_dataset(
    client=client,
    dataset_name="랭스미스의 데이터셋 이름",
    llm_or_chain_factory=LLM
    evaluation=evaluation_config,
)

6. 성능확인

 

LangSmith에서 성능과 모델의 답변을 확인 할 수 있습니다.

 

Reference

https://docs.smith.langchain.com/

Getting started with LangSmith | 🦜️🛠️ LangSmith

https://api.python.langchain.com/en/latest/evaluation/langchain.evaluation.schema.EvaluatorType.html#langchain.evaluation.schema.EvaluatorType

langchain.evaluation.schema.EvaluatorType — 🦜🔗 LangChain 0.1.14