실험으로 학습 방향 결정

클라우드 학습 환경 구축

첫 시험은 개발용 PC 한 대에서 시작했습니다. 작은 규모의 학습이었는데도 여덟 시간이 지나도 끝나지 않았습니다. 탄소 자료를 꾸준히 학습시키려면 PC 한 대로는 부족하다는 것이 분명해졌고, 학습은 클라우드 GPU에서 하기로 정했습니다.

미세조정 실험 결과

다음 질문은 탄소 지식을 어떻게 모델 안에 넣을 것인가였습니다. 먼저 질문과 답을 짝지은 자료로 모델을 미세조정(QLoRA)하는 방식을 네 차례 실험했습니다. 자료의 양과 형식을 바꿔 가며 확인했지만, 이 방식만으로는 모델에 탄소 지식이 쌓이지 않았습니다. 이 방식은 답하는 방식을 다듬는 데는 쓸 수 있어도, 새로운 지식을 넣기에는 맞지 않는다는 것을 실험으로 확인했습니다.

학습과 검색의 역할 분담

그래서 역할을 나눴습니다. 탄소 지식은 모델 자체를 탄소 자료로 계속 학습시켜 쌓아 가고, 답의 근거는 검증된 자료 저장소에서 검색해 확인합니다. 검색을 붙인 구조도 실측으로 확인했습니다. 모델이 근거로 든 문서가 실제로 저장소에 있는 문서인지까지 따져 본 뒤 이 구조를 정했습니다.

같은 달, 이 AI는 SABI AI라는 이름을 얻었습니다.