Siesta란 무엇인가요?
Siesta는 MEA Ecosystem의 일부인 MEA AI 팀 산하에서 개발 중인 인도네시아어 오케스트레이터 언어 모델입니다. 주된 목표는 만능 어시스턴트가 되는 것이 아니라 한 가지에 특화되는 것입니다: 대화할 때마다 일관된 성격을 지니면서, 공감적이고 인간적으로 느껴지는 대화를 만드는 것입니다.
대부분의 언어 모델은 항상 중립적이고, 항상 정중하며, 일관된 캐릭터를 절대 드러내지 않도록 설계됩니다. 이는 특정 용도에는 합리적이지만, 사람들은 성격을 가진 상대와 대화하는 데 익숙합니다 — 기뻐할 수도, 짜증 낼 수도, 때로는 짧게만 대답할 수도 있는 상대 말이죠. 바로 그 캐릭터의 부재가 AI와의 상호작용을 종종 인위적으로 느껴지게 만듭니다. 이 연구의 바탕이 되는 질문은 단순합니다: 모델이 어떤 주제로 대화하든, 누구와 대화하든 상관없이 일관된 정체성을 유지할 수 있을까요?
왜 처음부터 다시 만들었나요?
지금의 아키텍처에 도달하기 전, 팀은 더 일반적으로 쓰이는 방법을 먼저 시도했습니다: 이미 존재하는 대형 모델을 파인튜닝하는 방식입니다. 전반적인 성능 면에서 결과는 꽤 좋았지만, 원하는 특정 요구에는 맞지 않는다는 느낌이었습니다. 결국 파인튜닝으로 만든 모든 데이터셋과 모델을 삭제하고, 개발을 처음부터 다시 시작했습니다.
이 결정에는 대가가 따랐습니다 — 처음부터 만든다는 것은 "기본으로 갖춰진 지능"이 없다는 뜻이며, 모든 것을 처음부터 직접 학습시켜야 합니다. 하지만 바로 거기에 완전한 통제력이 있습니다: 모델의 "정체성"이 누구인지를 기초 단계부터 결정할 수 있으며, 이미 다른 사람의 학습 데이터로 성격이 형성된 모델 위에 성격을 레이어처럼 얹는 것이 아닙니다.
오케스트레이터 모델의 정체성 일관성
이 논문은 완전한 기술 문서가 아닙니다 — 내부 아키텍처 세부 사항과 데이터 스키마는 의도적으로 공개하지 않았습니다. 탐구하는 것은: 모델이 어떻게 일관된 정체성을 유지할 수 있는지, 왜 성격이 명시적인 지시가 아니라 데이터 구성을 통해 형성되는지, 그리고 하위 지원 모델로의 모든 위임 과정을 상호작용 표면에서 숨기는 오케스트레이션 아키텍처입니다.
전체 논문 읽기 →이상적이지 않은 자원으로 구축되었습니다
이것은 한 사람이 진행한 독립 연구로, 연구소에서 흔히 쓰는 대형 컴퓨팅 클러스터가 아니라 제한된 할당량의 소비자용 GPU와 TPU로 진행되었습니다. 이런 제약은 전체 과정에서 많은 설계 결정을 형성했으며, 가장 구체적인 교훈 중 하나는 모델 규모를 키우는 실험에서 나왔습니다.
더 큰 모델 아키텍처(40억+ 파라미터)는 기본적으로 훨씬 작았던 이전 세대들과 동일하며 — 파라미터 수만 늘어난 것입니다. 처음의 가정은: 작은 규모에서 안전하다고 입증된 학습 레시피가 큰 규모에서도 그대로 안전할 것이라는 것이었습니다. 실제로는 항상 그렇지는 않았습니다. 작은 모델에서는 안정적이었던 고정(flat) 학습률이, 훨씬 큰 모델에서는 오히려 손실(loss)이 낮아지는 대신 올라가게 만들었습니다. 큰 모델은 학습률 스케줄의 형태에 훨씬 더 민감한 것으로 나타났고, 처음부터 끝까지 고정된 숫자가 아니라 초반의 워밍업 후 점진적인 감쇠를 따르는 더 신중한 접근이 필요했습니다.
실패나 아직 끝나지 않은 과정을 포함한 이런 교훈들은 결과를 실제보다 더 매끄럽게 보이려고 숨기지 않고, 있는 그대로 논문에 의도적으로 기록되었습니다.
왜 보류하지 않고 프리프린트로 공개했나요?
이 연구는 여전히 진행 중이며, 지금 공개된 버전은 아직 긴 여정 중 한 지점에서의 Siesta를 담고 있습니다 — 완성된 모델에 대한 보고서가 아닙니다. 논문 안에는 몇 가지 한계가 명시적으로 인정되어 있으며, 여기에는 정체성 일관성에 대한 주장이 아직 정성적으로만 평가되었고 공식적인 평가 방법론을 거치지 않았다는 점도 포함됩니다.
아직 완벽하지 않은 상태에서 이 단계에 공개하기로 한 것은 의식적인 결정입니다. Zenodo의 프리프린트는 이 논문에 영구적인 DOI와 인용 가능성, 명확한 시간 기록을 부여하는 동시에, 앞으로 새로운 발전이 있을 때 버전 관리 시스템을 통해 계속 업데이트할 수 있게 해줍니다.
다음은 무엇인가요?
현재 Siesta의 로드맵은 여러 갈래로 병렬 진행되고 있습니다 — 아직 디버깅 단계에 있는 더 큰 규모의 모델부터, 소규모 모델 버전을 오픈소스로 공개할 가능성(이 계획은 향후 진행 상황에 따라 바뀔 수 있습니다)까지요. 향후 개발 방향과 아직 열려 있는 질문들에 대한 더 자세한 내용은 논문 마지막 부분에서 다룹니다.
이 논문은 MEA AI 팀의 첫 연구 발표이며, 아마도 마지막은 아닐 것입니다.