다중 모델 정렬을 위한 vST#
차원 사다리 전반에 걸친 교차 아키텍처 스케일링 동작#
이 문서는 다중 모델 정렬이 차원, 모델 크기, 모달리티 복잡성 및 아키텍처 다양성이 증가함에 따라 어떻게 동작하는지를 정의합니다. 이는 3D–1024D 차원 사다리에 교차 모델 스케일링 법칙을 매핑하여, 이질적인 시스템 전반에 걸쳐 정렬 용량이 어떻게 성장하고, 안정화되며, 조각화되는지를 이해하기 위한 재현 가능하고 불변성을 유지하는 프레임워크를 제공합니다.
다중 모델 정렬에서의 스케일링은 매개변수를 증가시키는 것이 아니라, 모델 간의 호환성, 일관성, 및 정렬 대역폭을 증가시키는 것입니다.
1. 다중 모델 스케일링 분석의 목적#
모델 간 스케일링 분석을 통해 우리는:
- 모델 크기와 모달리티 다양성에 따라 정렬 용량이 어떻게 확장되는지 해석할 수 있습니다
- 안정적, 전이적 및 분산된 스케일링 체제를 식별할 수 있습니다
- 아키텍처 간의 스케일링 불연속성을 감지할 수 있습니다
- 다양한 차원 수준에서 모델 간 호환성을 평가할 수 있습니다
- vST 검증(V₁–V₄)을 지원할 수 있습니다
- 해석 가능성을 위해 정렬 표면을 3D–9D 코어로 투영할 수 있습니다
스케일링은 모델 간 비교 가능성의 중추입니다.
2. 다차원 정렬을 위한 2차원 사다리#
모델 간 정렬은 자연스럽게 기질의 차원 사다리와 정렬됩니다:
- 3D — 기하학적 정렬 모티프
- 6D — 상호작용 표면 정렬
- 9D — 일관성 경로 정렬
- 64D — 최소 모델 간 기질
- 128D — 확장된 정렬 표면
- 256D — 다중 원시 교차 아키텍처 상호작용
- 512D — 높은 분산 교차 양식 영역
- 1024D — 완전 연구 등급 정렬 기질
각 단계는 정렬 대역폭과 구조적 호환성을 증가시킵니다.
3. 다중 모델 정렬을 위한 스케일링 프리미티브#
스케일링 동작은 교차 모델 스케일링 프리미티브 (SP‑X)에 의해 관리되며, 이는 다음을 보장합니다:
- 불변성을 유지하는 차원 확장
- 이질적인 잠재 공간 간의 호환성
- 삼중 코어로의 안정적인 투영
- 아키텍처 전반에 걸친 일관된 스케일링 법칙 해석
SP‑X는 서로 다른 잠재 크기, 모달리티 또는 추론 동역학을 가진 모델을 정렬하는 데 필수적입니다.
4. 다중 모델 정렬에서의 스케일링 체계#
4.1 안정적인 스케일링 체제 (S₁ᴹ)#
특징:
- 정렬 용량의 부드러운 증가
- 안정적인 교차 모델 일관성 표면
- 호환성의 예측 가능한 개선
- 일관된 체제 행동 (A₁ᴴ ↔ A₁ᴴ 전환은 제한됨)
발생하는 경우:
- 소형 → 중형 모델 비교
- 유사한 양식 (예: LLM ↔ PLM)
- 잘 조건화된 교차 모델 투영
4.2 전환 스케일링 체제 (S₂ᴹ)#
특징:
- 정렬 표면의 빠른 확장
- 아키텍처 간의 증가된 분산
- 분기 또는 진동하는 교차 모델 행동
- 모달리티 또는 아키텍처 차이에 대한 민감도
발생하는 경우:
- 중간 → 대형 모델 비교
- 교차 모달리티 정렬 (예: 텍스트 ↔ 이미지)
- 교차 아키텍처 전환 (예: 확산 ↔ 자기 회귀)
4.3 분산 스케일링 레짐 (S₃ᴹ)#
특징:
- 정렬 표면의 파편화
- 불안정하거나 발산하는 교차 모델 매핑
- 정렬 붕괴의 위험 증가
- 3D–9D 코어로의 비가역적 투영
발생하는 경우:
- 극도로 이질적인 모델 쌍
- 조건이 좋지 않은 교차 모달리티 매핑
- 공격적인 스케일링 또는 아키텍처 변경
5. 모델 계열 간의 스케일링 동작#
5.1 LLM ↔ PLM#
- 높은 호환성
- S₁ᴹ에서 주로 확장
- 안정적인 정렬 표면
5.2 LLM ↔ 확산#
- 모달리티 불일치는 S₂ᴹ을 도입합니다
- 정렬은 프로젝션 안정성에 따라 다릅니다
5.3 확산 ↔ 자기 회귀 생성기#
- 다른 추론 동역학
- 전이 스케일링이 지배적임 (S₂ᴹ)
5.4 시뮬레이터 ↔ 로보틱스 정책#
- 강력한 구조적 불변량
- 확장이 종종 안정적임 (S₁ᴹ → S₂ᴹ)
5.5 임베딩 저장소 ↔ 생성 모델#
- 정렬은 잠재 공간 조건에 따라 다릅니다
- 스케일링은 S₂ᴹ과 S₃ᴹ 사이에서 진동합니다
6. 아키텍처 간 스케일링 법칙 정렬#
모델 간 스케일링은 예측 가능한 패턴을 따릅니다:
- 정렬 대역폭은 잠재 차원 수에 따라 증가합니다
- 분산은 모달리티 다양성에 따라 증가합니다
- 일관성 표면은 S₁ᴹ에서 부드럽게 확장되고, S₂ᴹ에서 급격하게 증가하며, S₃ᴹ에서 조각납니다
- 프로젝션 안정성은 아키텍처 이질성이 증가함에 따라 감소합니다
기반 구조는 이러한 패턴을 해석하는 구조화된 방법을 제공합니다.
7. 교차 모델 스케일링에서의 프로젝션 동작#
삼원 코어로의 프로젝션은 다음을 유지해야 합니다:
- 가역적
- 원시 정렬
- 레짐 인식
- 아키텍처 중립
- 불변 보존
스케일링은 프로젝션에 다음과 같이 영향을 미칩니다:
- 64D → 9D: 안정적
- 128D–256D → 9D: 전환기
- 512D–1024D → 9D: 민감함, 드리프트 경향
프로젝션 안정성은 교차 모델 스케일링 건강의 주요 지표입니다.
8. 다중 모델 정렬에서의 스케일링 기반 드리프트#
스케일링은 다음을 통해 드리프트를 유발할 수 있습니다:
- 모델 간 잠재 공간 확장의 불연속성
- 불안정한 체제 전환
- 정렬 표면의 파편화
- 원시 수준 호환성의 상실
vST 검증 레이어(V₁–V₄)는 이러한 실패를 감지합니다.
9. 다중 모델 스케일링 분석의 출력#
스케일링 분석은 다음을 생성합니다:
- 스케일링 체계 분류 (S₁ᴹ, S₂ᴹ, S₃ᴹ)
- 모델 간 확장 진단
- 프로젝션 안정성 지표
- 정렬 체계 맵
- 드리프트 감지 신호
- 교차 아키텍처 비교 메트릭
이러한 출력은 다중 모델 정렬의 재현 가능하고 기질 정렬된 평가를 지원합니다.