바뀐 부분 중 하나는 Michi에 있습니다. Michi는 사용자가 사용하는 언어를 메시지가 Siesta에게 전달되기 전에 감지하는 역할을 하는 컴포넌트입니다. 그 범위가 조정되었는데 — 애초 수십 개 언어를 지원할 계획이었던 것이 이제 14개 언어로 집중되었고 — 사전학습 자체도 이전 버전에서는 아직 비어 있던 상태였던 것이 이제 완료되었습니다.
한편, 훨씬 더 큰 규모의 모델 — 40억 개가 넘는 파라미터를 가진 v6 세대 — 개발은 여전히 계속 진행 중이며, 그 과정에 장애물이 없지는 않습니다. 컨텍스트 크기 설정과 여러 TPU 칩에 연산 부하를 동시에 분산하는 방법을 둘러싼 몇 가지 기술적 난관이 아직 해결되어야 합니다.
Siesta 연구의 전체 배경이 아직 낯설다면, 처음부터 이야기를 다루는 이전 글이 있습니다.