시험을 먼저 봉인하는 평가 체계 구축

학습 전 기준 측정과 시험 봉인

본격적인 학습에 앞서 먼저 한 일은 출발 모델의 실력을 재는 것이었습니다. 출발점을 모르면 학습으로 얼마나 자랐는지도 알 수 없기 때문입니다. 일반 한국어 능력(HAERAE)과 지시를 따르는 능력(IFEval)부터 탄소 분야 지식까지 기준값을 남겼습니다.

다음은 시험 문항이었습니다. 탄소 분야 시험 96문항을 만들어 봉인했습니다. 봉인한 문항과 정답은 학습 재료에 섞이지 않도록 파일 경로와 문장 유사도 두 겹으로 막았습니다. 학습 재료에서 무엇을 빼고 무엇을 남길지는 GPT-3, Llama 2, ChipNeMo 같은 공개 연구의 기준을 따랐습니다. 시험 문항과 정답, 그 변형만 빼고, 근거가 되는 원천 문서는 학습에 씁니다.

학습 중 시험

시험은 학습이 끝난 뒤에만 보지 않습니다. 학습 도중에도 일정한 간격으로 짧은 시험을 보고, 기준선 아래로 떨어지면 경고하거나 학습을 멈추게 했습니다. 실제로 9월, 학습 중 측정에서 지시를 따르는 능력이 크게 떨어진 것을 잡아내 학습을 중단했습니다. 학습 손실 수치만 보면 아무 문제가 없어 보였던 때였습니다. 그 뒤로 손상 여부는 손실 수치가 아니라 실제 시험으로만 판정합니다.

시험과 채점기 재검증

시험 자체도 점검 대상입니다. 문항이 우리 쪽 자료에 유리하게 기울지 않도록, 우리 내부 자료에 기댄 문항은 따로 떼어 판정했습니다. 채점기도 다시 검증해 결함을 찾아 고쳤습니다. 고치면 오히려 우리 쪽 판정이 불리해지는 결함이었지만, 정확한 판정을 위해 바로 고쳤습니다. 이렇게 9월 중순, 출발점과 목표, 그리고 떨어지면 안 되는 기준선을 처음 확정했습니다. 이후 모든 학습은 이 평가 체계 위에서 판정합니다.

평가의 틀이 갖춰지자, 다음은 학습을 어떤 구조로 쌓아 갈지였습니다.