지식을 층으로 쌓는 학습 구조 확정

층 쌓기 원칙

SABI AI는 출발 모델 위에 탄소 지식을 한 층씩 쌓아 키웁니다. 100층을 올리려면 1층부터 순서대로 올려야 하듯, 새 학습은 언제나 앞에서 배운 것 위에서 시작합니다. 회차마다 처음부터 다시 배우게 하면 앞의 학습이 남지 않기 때문입니다. 새 층을 쌓을 때는 앞에서 배운 것과 원래의 한국어·대화 능력을 잃지 않도록 복습 자료를 함께 넣습니다. 9월 말, 처음부터 세워 둔 이 원칙을 문장으로 못 박았습니다.

학습 재료의 기준

무엇을 쌓을지도 정했습니다. 학습 재료는 출처의 등급을 나눠 고시·법령·공식 방법론 같은 자료를 중심에 둡니다. 사용 허락이 분명하지 않은 자료는 검색용으로만 두고 학습에는 넣지 않습니다. 사업계획서처럼 언제든 바뀌는 회사 내부 문서도 학습에서 뺐습니다.

공개 연구 근거와 사전 고정

층을 어떻게 쌓을지는 공개 연구를 근거로 정했습니다. 작은 보조 가중치만 덧붙여 학습하는 방식(LoRA)보다 모델 전체를 학습시키는 방식이 새 지식을 더 잘 담는다는 연구(Biderman 외, 2024), 작은 자료라도 여러 형식으로 다시 써서 학습시키면 지식이 더 잘 들어간다는 연구(Yang 외, 2024, EntiGraph)가 근거였습니다. 우리가 직접 실측할 것은 하나로 좁혔습니다. 우리 자료에서 지식이 실제로 모델 안에 들어가는지입니다. 그리고 결과를 보기 전에 통과 기준과 예상 결과를 먼저 파일로 고정했습니다. 결과를 보고 나서 기준을 맞추는 일이 없도록 하기 위해서입니다.

이 구조로 시작한 학습에서, 10월 처음으로 지식이 모델 안에 들어간 것이 확인됐습니다.