LLaMA 13B 기반의 오픈소스 언어 모델 Vicuna 공개 : 클리앙* 공식 : https://vicuna.lmsys.org/ * 레딧 토론 : https://old.reddit.com/r/MachineLearning/comments/1271po7/ ShareGPT에서 모은 사용자가 공유한 대화에 대해 LLaMA를 파인튜닝(fine-tuning)하여 학습한 오픈소스 챗봇인 Vicuna-13B를 소개합니다. GPT-4를 잣대로 삼아 예비 평가한 결과, Vicuna-13B는 90%* 이상의 사례에서 LLaMA와 스탠포드 알파카 같은 다른 모델보다 우수한 성능을 보이면서 OpenAI ChatGPT와 Google Bard의 90%* 이상의 품질을 달성하는 것으로 나타났습니다. Vicuna-13B의 훈련 비용은 약 300달러입니다. 온라인 데모와 함께 훈련 및 제공 코드는 비상업적 목적으로 누구나 사용할 수 있도록 공개됩니다. (* GPT-4를 사용한 비과학적인 오락성 평가에 따른 것입니다. 보다 엄격한 평가가 필요합니다.) Vicuna는 ShareGPT.com에서 수집한 약 7만 건의 사용자 공유 대화를 공개 API로 사용하여 LLaMA 기본 모델을 파인튜닝하여 만들어졌습니다. 데이터 품질을 보장하기 위해 HTML을 다시 마크다운으로 변환하고 부적절하거나 품질이 낮은 샘플을 걸러냈습니다. 또한 긴 대화는 모델의 최대 컨텍스트 길이에 맞게 더 작은 세그먼트로 나눕니다. [후략] * 온라인 데모 : https://chat.lmsys.org/ (본문 DeepL 번역기 사용)