대본 자연스러움 연구
파가드AC에서 팀장의 "말하기에 자연스럽지 않다"는 반려를 판정 가능한
기준으로 바꾸려 한 연구입니다. 판정기를 먼저 평가하고, 실패하자
국립국어원 말뭉치로 기준을 만들었습니다. 이 기준이 룰북과 자동
검사로 이어진 과정은 작업 ↗에 있습니다.
01 / EVAL SET · JUDGES파가드AC
판정기를 쓰기 전에, 판정기부터 평가했습니다
파가드AC · 2026.09 – 현재 · 팀장의 "말하기에 자연스럽지 않다"는 반려를 판정할 수 있는가
EVAL SET · 원래 문장 → 고친 문장 22쌍
- 피드백 받은 8차 대본에서 내가 고친 22곳을 쌍으로 추출
- 문서 표시로 유형 라벨: 취소선 = 삭제 · 빨강 = 교체 · 초록 = 추가
- 예) 손익비가 나빠지다 → 낮아지다 · 알아보기 어렵다 → 복잡하다
- 판정 기준: 판정기가 내가 고른 쪽을 고르는 비율, 우연 = 50%
POSITION BIAS CHECK
같은 쌍을 A/B 순서만 바꿔 두 번 물음 → 한쪽 답으로 최대 98% 쏠림. 내용이 아니라 자리로 고르는 판정기는 실격
대안으로 실제 말의 빈도를 셈 → 회사 대본 173편 + 자막 53편: 예문이 있는 쌍은 모두 고친 쪽 우세, 하지만 10쌍 중 5쌍은 예문 0개 → 02
JUDGE AGREEMENT · 일치율 (축 40~90%)
형태소 언어모델 (Kiwi) 50%
11 / 22
HyperCLOVA X SEED 0.5B 55–59%
12–13 / 22
대형 LLM 5종 × 2조건 = 10조합 46–58%
HCX-005 · HCX-DASH-002 · HCX-007 · Solar Pro 3 · 4
우연 50% 통과선 75%
결론: 판정기 12개 전부 통과선 미달 → 모델 대신 데이터로 기준을 만들기로 함
02 / CORPUS · GOLD · RULES파가드AC
국립국어원에 공문을 보내 데이터를 받아냈습니다
모두의 말뭉치 → 사전 가공 → 정답 99줄 직접 구축 → 규칙 도출 → 검증 · 오류 분석
→형태 분석(MP)
구어 · 문어 33.6만 어절
규칙 · 검증
재현율 0.77 · 정밀도 0.76
글자 수로 자를 때 생기던 '알려|주는' · '객관적인|경고' 같은 끊김을 말의 단위로 없앴습니다.
분할 가이드 (정답에서 도출)
- 문장부호 뒤는 끊는다
- 관형절 끝 · -아/어/여 뒤 · 주어 뒤는 끊어도 된다
- 보조용언 · 의존명사 · 복합명사 · 인용 · '-의' 뒤 · 홀로 못 서는 용언은 나누지 않는다
- 이상 길이 11자 · 긴 줄 기준 15자는 정답에 맞춰 조정 (평균 12.1자, 정답 12.0자)
오류 분석 · 한계
- 틀린 사례를 원인별로 기록 — 한 음절 어미의 모호함, '적'이 '적용'을 삼키는 사전 조회 오류 등 4건
- 재현율 · 정밀도를 함께 봄 (일치율 하나로 판단하지 않음)
- 한계도 기록: 정답이 대본 1편, 앞 56% 구간 — "표본이 얇다"
데이터 정리 · 비교
- 회사 대본 풀: 같은 이름 파일이 덮어써진 오류 수정 → 181편 → 173편 (46.7만 자), 내용 다르면 별도 보관
- 트레이딩 채널 12곳 자막 46편을 어미 비율 · 리듬 · 질문 빈도 등 9개 축으로 비교해 목표 말투에 가장 가까운 레퍼런스 선정
BLUE LAB 배우 LORA 파이프라인
더블루스튜디오 BLUE LAB 재직 중(2026년 3월) 회사 실무로 만든
배우 아이덴티티 LoRA 파이프라인입니다. 문서 · 스크립트 · 수치는
회사 허락을 받아 공개하며, 배우 이름 · 원본 사진 파일명 ·
데이터셋 경로는 지웠습니다(배우 데이터셋 비공개). 모든 선택은
먼저 문서로 구조화하고, 그다음 코드로 구현하고(Claude Code로
작성), 마지막으로 벤치마크로 검증했습니다. 공개본은 영어로
번역되어 있습니다. 제목을 클릭하면 전체 문서가 열립니다.
00
파이프라인 매뉴얼 ↗ 열기 최상위 실행 지도 · 12 KB
아홉 개 파이프라인 단계를 구체적인 스크립트에 매핑하고, 핵심 결과(모델, 캐릭터별 최적 체크포인트, ArcFace 델타, 최적 CFG/Steps/Shift)를 정리하고, 파일 트리를 보여주는 단일 페이지 인덱스. 프로젝트에 새로 합류하는 사람이 한 번 읽고 방향을 잡을 수 있게 하는 앵커 문서입니다.
수록 내용 - ▸ 데이터 준비부터 과적합 감시까지 9단계 플로우 차트
- ▸ 파일-단계 매핑 테이블
- ▸ 핵심 결과: 남성 배우 2200 스텝 AVG 0.732 · 여성 배우 1500 스텝 AVG 0.692
- ▸ 최종 하이퍼파라미터: CFG 3.0, Steps 70, max_shift 0.5
01
데이터셋 바이블 ↗ 열기 실사 인물 LoRA 데이터셋의 구성 원칙 · 47 KB
프로젝트에서 가장 긴 문서. FPHam(500개 이상 LoRA 학습 경험), djdante의 검증된 Klein 9B 실행, CivitAI 스레드, Reddit/SD 커뮤니티의 합의를 종합했습니다. 무엇을 일정하게 유지해야 하는지(아이덴티티)와 무엇을 다양화해야 하는지(각도, 거리, 표정, 조명, 의상)를 구분하고, 캡션만으로의 다양화가 이미지 수준의 다양화를 대체할 수 없는 이유를 설명합니다.
수록 내용 - ▸ 이미지 수 가이드: 10-30장 최적, 50장 이상은 품질 저하
- ▸ '아이덴티티는 고정, 나머지는 전부 다양화' 원칙
- ▸ 캡션 메커니즘: 태깅한 특징은 조건이 되고, 태깅하지 않은 특징은 아이덴티티가 됨
- ▸ 흔한 함정 (지나치게 균일한 배경이 만드는 통계적 편향)
02
학습 전략 (djdante 기반) ↗ 열기 배우 2명에 맞게 조정한 검증된 레퍼런스 설정 · 27 KB
djdante가 공개한 Klein 9B 학습 설정(가슴 위 사진 29장, 단순 캡션, 약 4000 스텝)을 기반으로 합니다. 트리거 워드 전략, 캡션 철학, 하이퍼파라미터 선택, 그리고 대여한 RTX 5090에서 진행한 배우 2명 프로젝트를 위해 의도적으로 달리한 지점들을 문서화했습니다.
수록 내용 - ▸ 트리거 워드 규칙: 트리거 + 서술형 캡션
- ▸ 가슴 위 아이덴티티 캡처에 검증된 29장 가이드라인
- ▸ AdamW · bf16 · qfloat8 양자화 · EMA decay 0.99
- ▸ 사용 사례가 달랐던 지점에서 djdante와 다르게 간 근거
03
ArcFace 벤치마크 결과 ↗ 열기 3000 스텝 전체 실험 로그 · 19 KB
두 배우 모두에 대해 100 스텝마다 측정한 체크포인트별 ArcFace 아이덴티티 유사도. 남성 배우는 2200 스텝(AVG 0.732), 여성 배우는 1500 스텝(AVG 0.692)을 최적으로 선정했고, 상용 베이스라인(Higgsfield Soul 2.0)의 0.5090을 상회했습니다. 언더핏 / 최적 / 오버핏 전환 곡선의 형태를 기록했습니다.
수록 내용 - ▸ 남성 배우 최적점: Step 2200, AVG 0.732
- ▸ 여성 배우 최적점: Step 1500, AVG 0.692
- ▸ LoRA 0.6050 vs 상용 베이스라인(Higgsfield Soul 2.0) 0.5090 (+18.9%)
- ▸ '최대가 아니라 균형을 고른다' 원칙의 곡선 형태 근거
04
파이프라인 실행 리포트 ↗ 열기 엔드 투 엔드 실행 리포트 (여성 배우 v3) · 14 KB
타임스탬프, 결정 사항, 계획 대비 변경점, 최종 선정 체크포인트를 담은 단일 실행 기록. 이후 실행을 위한 기록이자, 실험을 재현하려는 사람을 위한 재현성 노트 역할을 합니다.
수록 내용 - ▸ 타임스탬프가 찍힌 실행 로그
- ▸ 결정 사항과 그 근거
- ▸ 최종 선정 체크포인트와 선정 이유
- ▸ 재실행 안내
05
LoRA 파인튜닝 설정 비교 ↗ 열기 설정 매트릭스 나란히 비교 · 22 KB
여러 실행에 걸친 학습 설정의 크로스탭. 학습률, 옵티마이저, EMA, 배치 크기, 그래디언트 누적, 양자화 선택 사이의 트레이드오프를 드러냅니다. 최종 설정을 다른 대안 대신 선택한 근거로 사용했습니다.
수록 내용 - ▸ 설정 매트릭스 (lr, 옵티마이저, 배치, EMA)
- ▸ 설정별 트레이드오프 주석
- ▸ 최종 선택 설정의 근거
06
데이터셋 가이드 (웹 문서) ↗ 열기 배우 온보딩용 운영 체크리스트 · 26 KB
데이터셋 바이블을 배우 온보딩 세션용 체크리스트로 압축한 동반 문서: 포즈 리스트, 조명 요구사항, 의상 다양성, do/don't 예시. 바이블 위에 놓이는 현장 운영 레이어입니다.
수록 내용 - ▸ 촬영 당일 포즈 체크리스트
- ▸ 조명 / 의상 요구사항
- ▸ Do / Don't 예시