브랜드 캐릭터 그림 1장으로 웹 버튜버 만들기: LivLiv Player로 얼굴 추적·립싱크 붙이는 6단계
이 글과 연결된 글 보기
드래그로 이동 · 휠/두 손가락으로 확대 · 방향키로 글 선택 · 0으로 맞춤. 실선: 본문 링크, 점선: 시리즈·주제의 대표 연결.표시된 글 7편 목록
회사 캐릭터 그림이 한 장 있으면, 그 캐릭터를 웹캠 얼굴을 따라 움직이고 말하면 입이 열리는 버튜버로 만들 수 있습니다. 이 글은 오픈소스 LivLiv Player로 데이터팝콘 팝콘 캐릭터를 실제로 버튜버로 만들면서 거친 과정을 6단계로 정리했습니다. 설치 프로그램도, 외부 서버도 없이 브라우저 페이지 하나로 돌아갑니다.
이 글은 이런 분께 필요합니다
- 회사나 개인 브랜드 캐릭터 그림이 있고, 그 캐릭터로 라이브 방송·강의 녹화·쇼츠를 해 보고 싶은 분
- 얼굴을 직접 드러내지 않고 화면에 나오고 싶은 분
- Live2D 리깅을 맡길 예산이나 시간이 없어서, 그림 몇 장으로 빠르게 시작하고 싶은 분
준비물은 다음과 같습니다.
- 캐릭터 그림 1장 (PNG, 배경이 단색이면 좋습니다)
- Node.js와 npm (플레이어 파일을 내려받을 때 한 번만 씁니다)
- 웹캠과 마이크가 있는 컴퓨터, 크롬 계열 브라우저
- 방송까지 할 거라면 OBS Studio
아래 코드와 결과는 2026년 11월 8일, @livliv-dev/player 0.3.0과 @mediapipe/tasks-vision 1.1.1로 직접 만들고 확인한 기록입니다.

먼저 알아둘 것: LivLiv Player가 하는 일과 라이선스
LivLiv Player는 웹페이지 캔버스에 캐릭터를 올려서 숨쉬기, 눈 깜빡임, 흔들림을 넣고, 마이크나 음성 파일에 맞춰 입을 움직이고, 웹캠 얼굴을 따라 기울게 해 주는 라이브러리입니다. 얼굴 인식은 구글 MediaPipe가 브라우저 안에서 돌기 때문에 카메라 영상이 밖으로 나가지 않습니다.
캐릭터는 세 가지 방식으로 넣을 수 있습니다.
| 방식 | 필요한 것 | 움직임 | 비용·조건 |
|---|---|---|---|
| PNGTuber | 그림 2~4장 (입 다묾/벌림, 눈 감음) | 기울기·흔들림·통통 튐, 그림 바꿔 끼우기 | 내 그림이면 무료, 워터마크 없음 |
| LivLiv 모델 | livliv.ai에서 그림 1장으로 생성 | 고개 돌리기, 입 모양 여러 개, 표정 | 무료 플랜은 워터마크, 지우려면 유료 플랜 |
| VRM | VRoid 같은 툴로 만든 3D 아바타 | 3D 상반신 | 아바타를 따로 만들어야 함 |
이 글은 첫 번째 PNGTuber 방식입니다. 이미 가진 그림만으로 되고, 워터마크와 라이선스 걱정이 없기 때문입니다.
플레이어 코드는 Apache-2.0이라 상업적으로 써도 되지만, 레포의 characters/ 폴더에 있는 기본 캐릭터는 별도 라이선스입니다. 개인 방송·영상은 괜찮지만 회사·단체가 광고, 홍보, 유료 서비스에 쓰는 건 금지이고, 쓰려면 먼저 이메일로 허락을 받아야 합니다. 회사 버튜버는 자기 캐릭터로 만드세요.
Step 1. 캐릭터 그림을 4장으로 나눕니다
PNGTuber는 상태마다 그림을 한 장씩 갈아 끼우는 방식입니다. 플레이어가 알아보는 이름은 네 가지입니다.
| 이름 | 언제 보이나 |
|---|---|
closed | 평소 (입 다묾, 눈 뜸) |
open | 말할 때 (입 벌림) |
blink | 눈 깜빡일 때 (눈 감음, 입 다묾) |
blink-open | 말하다가 눈 깜빡일 때 |
closed와 open 두 장만 있어도 돌아가고, 나머지 두 장이 있으면 눈도 깜빡입니다.

팝콘 캐릭터는 원래 그림의 입이 반달 모양 미소라서 그대로 closed로 쓰고, 나머지 세 장은 원본에서 입과 눈 부분만 지우고 다시 그려서 만들었습니다. 캐릭터가 점 눈, 단색 입처럼 단순한 그림이라면 이미지 생성 AI보다 이렇게 부분만 고치는 편이 낫습니다. AI로 다시 그리면 윤곽선 두께나 색이 조금씩 달라져서, 그림을 갈아 끼울 때 캐릭터 전체가 깜빡거립니다.
네 장을 만들 때 지킬 것은 세 가지입니다.
- 네 장의 크기와 위치를 똑같이 맞춥니다. 입과 눈 외의 픽셀이 한 칸이라도 다르면 바뀔 때 떨려 보입니다.
- 배경은 투명으로 뺍니다. 그래야 방송 화면 위에 캐릭터만 얹힙니다.
- 캐릭터를 그림 한가운데로 잘라 둡니다. 원본에서 캐릭터가 오른쪽에 치우쳐 있으면, 플레이어가 흔들 때 캔버스 밖으로 잘려 나갑니다. 실제로 처음에 이 문제가 있었고, 투명 영역을 기준으로 잘라 가운데로 옮겨서 해결했습니다.
Step 2. 플레이어와 얼굴 인식 파일을 내려받습니다
작업 폴더를 만들고 두 패키지를 설치한 뒤, 페이지가 쓸 파일만 vendor/ 폴더로 복사합니다.
mkdir popcorn-vtuber && cd popcorn-vtuber
mkdir -p vendor/mediapipe
cp -R node_modules/@livliv-dev/player/dist vendor/player
cp node_modules/@mediapipe/tasks-vision/vision_bundle.mjs vendor/mediapipe/
cp -R node_modules/@mediapipe/tasks-vision/wasm vendor/mediapipe/wasm
curl -L -o vendor/mediapipe/face_landmarker.task \
https://storage.googleapis.com/mediapipe-models/face_landmarker/face_landmarker/float16/1/face_landmarker.task
얼굴 인식 파일까지 직접 갖고 있는 이유는, 기본 설정으로 두면 페이지가 실행 파일을 jsDelivr에서, 얼굴 모델을 구글 저장소에서 받아 오기 때문입니다. 전부 폴더에 넣어 두면 인터넷이 느린 곳에서도 바로 켜지고, 방송 중에 외부 서버 상태에 영향을 받지 않습니다. 이렇게 받은 vendor/ 폴더는 약 43MB였습니다.
Step 1에서 만든 그림은 assets/popcorn-closed.png처럼 assets/ 폴더에 넣습니다.
Step 3. 페이지 한 장을 만듭니다
index.html 하나에 전부 들어갑니다. 번들러 없이 importmap으로 vendor/ 파일을 연결합니다.
<!doctype html>
<meta charset="utf-8">
<meta http-equiv="Content-Security-Policy" content="connect-src 'self' blob: data:">
<script type="importmap">
{ "imports": {
"@livliv-dev/player/body": "./vendor/player/body.js",
"@livliv-dev/player/png": "./vendor/player/png.js",
"@livliv-dev/player/voice": "./vendor/player/voice.js",
"@livliv-dev/player/tracking": "./vendor/player/tracking.js",
"@mediapipe/tasks-vision": "./vendor/mediapipe/vision_bundle.mjs"
} }
</script>
<style>
html, body { margin: 0; height: 100%; background: transparent }
#stage { position: fixed; left: 50%; bottom: 0; transform: translateX(-50%);
width: min(100vw, 100vh); height: min(100vw, 100vh) }
</style>
<canvas id="stage"></canvas>
<button id="cam">카메라</button> <button id="mic">마이크</button>
<script type="module">
import { BodyPlayer } from '@livliv-dev/player/body'
import { PngBody } from '@livliv-dev/player/png'
const player = new BodyPlayer(document.getElementById('stage'), new PngBody())
await player.load({
closed: 'assets/popcorn-closed.png', open: 'assets/popcorn-open.png',
blink: 'assets/popcorn-blink.png', 'blink-open': 'assets/popcorn-blink-open.png',
})
// 그림 아래쪽이 잘린 캐릭터라, 흔들릴 때 잘린 면이 보이지 않게 살짝 내리고 줄입니다
player.view = { ...player.view, y: -0.05, zoom: 0.86 }
window.player = player
</script>
여기까지만 열어도 캐릭터가 숨쉬고, 눈을 깜빡이고, 마우스 포인터를 따라 살짝 기웁니다.
맨 위의 Content-Security-Policy 한 줄은 MediaPipe가 1분마다 구글로 보내는 사용 통계를 막는 설정입니다. MediaPipe에는 이걸 끄는 옵션이 없어서, 페이지가 자기 서버하고만 통신하도록 막는 방법을 씁니다. 막아도 얼굴 인식은 똑같이 동작합니다.
Step 4. 카메라(얼굴 추적)와 마이크(립싱크)를 연결합니다
Step 3의 <script type="module"> 끝에 이어서 붙입니다. 브라우저는 사용자가 버튼을 눌러야 카메라와 마이크를 켜 주기 때문에, 둘 다 버튼에 연결합니다.
document.getElementById('cam').onclick = async () => {
const { startFaceTracking } = await import('@livliv-dev/player/tracking')
const tracking = await startFaceTracking(player, {
wasmUrl: new URL('./vendor/mediapipe/wasm', location.href).href,
modelUrl: new URL('./vendor/mediapipe/face_landmarker.task', location.href).href,
remember: 'popcorn-vtuber', // 정면 보정값을 이 브라우저에 저장
})
window.tracking = tracking // tracking.calibrate() = 지금 자세를 정면으로
}
document.getElementById('mic').onclick = async () => {
const { startLipSync } = await import('@livliv-dev/player/voice')
await startLipSync(player, undefined, { motion: 1, bounce: true }) // 소스 없이 부르면 마이크
}
- 카메라를 켜면 고개를 기울이는 방향으로 캐릭터가 같이 기울고, 눈을 감으면
blink그림으로 바뀝니다. - 마이크를 켜면 목소리 크기에 따라
open그림으로 바뀝니다.bounce: true는 음절마다 캐릭터가 살짝 통통 튀게 합니다. - 카메라를 켠 뒤 정면을 보고
tracking.calibrate()를 한 번 부르면 그 자세가 기준이 됩니다. 실제 페이지에는 "정면 맞추기" 버튼으로 달아 두었습니다.
PNGTuber는 그림을 갈아 끼우는 방식이라 고개를 옆으로 돌려도 옆모습이 되지는 않고, 기울기와 흔들림으로 표현됩니다.
Step 5. localhost로 띄우고 OBS에 올립니다
파일을 더블클릭해서 여는 file:// 주소에서는 모듈과 카메라가 동작하지 않습니다. 폴더에서 간단한 서버를 띄웁니다.
cd popcorn-vtuber
python3 -m http.server 8772 --bind 127.0.0.1
# 브라우저에서 http://localhost:8772/index.html
브라우저는 보안상 localhost나 https:// 주소에서만 카메라와 마이크를 허용합니다. 다른 컴퓨터에서 띄운 서버를 http://100.x.x.x:8772 같은 IP 주소로 열면 카메라가 막힙니다. 페이지는 웹캠이 달린 컴퓨터에서 띄우는 게 가장 간단합니다.
OBS에 올릴 때는 한 가지를 꼭 바꿔야 합니다. OBS 안의 브라우저 소스는 기본적으로 카메라와 마이크 요청을 묻지도 않고 거절합니다. Dock에서 OBS를 평소처럼 켜고 브라우저 소스를 추가했더니, 페이지가 NotAllowedError를 받고 캐릭터가 숨만 쉬었습니다. OBS를 아래 옵션과 함께 실행하면 풀립니다.
# OBS를 완전히 종료(Cmd+Q)한 뒤 실행
open -a OBS --args --enable-media-stream --use-fake-ui-for-media-stream
그다음 소스 추가 > 브라우저를 고르고 주소에 http://localhost:8772/index.html?obs=1&mic=1&bg=transparent를 넣습니다. 데이터팝콘 페이지는 obs=1이면 버튼을 숨기고 카메라를 자동으로 켜고, mic=1이면 마이크도 자동으로 켭니다. 배경이 투명이라 게임이나 슬라이드 화면 위에 캐릭터만 얹힙니다. 이렇게 OBS 33.0.0(macOS)에서 실행했을 때 카메라와 마이크가 모두 켜지고, 캐릭터가 얼굴 기울기를 따라 움직이는 것을 확인했습니다.
/Applications/OBS.app/Contents/MacOS/OBS --enable-media-stream처럼 실행 파일을 직접 부르면 카메라는 켜지지만, macOS가 화면 기록 권한을 OBS가 아니라 터미널 기준으로 잡아서 macOS 화면 캡처 소스가 검게 나옵니다. 위처럼 open -a OBS --args ...로 실행하면 OBS 자신의 권한이 그대로 적용됩니다.
옵션을 붙여 실행하기 번거롭다면, 버튜버 페이지를 ?bg=green으로 일반 브라우저 창에 띄우고 OBS에서 그 창을 캡처한 뒤 크로마 키로 초록색을 빼는 방법도 있습니다.
Step 6. (응용) 녹음된 음성으로 말하는 영상을 뽑습니다
같은 플레이어로 TTS 음성 파일을 읽히면, 캐릭터가 말하는 영상도 만들 수 있습니다. 교육 쇼츠의 진행자 컷 같은 용도입니다. 마이크 대신 createSpeech에 음성 파일을 넣으면 됩니다.
import { createSpeech } from '@livliv-dev/player/voice'
const speech = createSpeech(player, { motion: 1, bounce: true })
speech.unlock() // 사용자 클릭 안에서 한 번 (자동 재생 차단 해제)
speech.onIdle = () => console.log('다 읽음')
speech.say('voice/01.mp3') // 여러 번 부르면 순서대로 이어서 읽음
화면은 캔버스를 canvas.captureStream(30)으로 받아 MediaRecorder로 녹화하고, 소리는 원본 음성 파일을 ffmpeg로 다시 입히면 깔끔합니다. 아래는 데이터팝콘 EDU 진행자 캐릭터로 14초짜리를 뽑아 본 장면입니다. 입 움직임과 음성 크기의 상관계수가 0.92, 둘 사이 시차는 0.05초였습니다.

0.3.0 기준으로, 16비트 WAV 파일을 넣으면 플레이어가 파일의 샘플레이트를 읽고도 반영하지 않아 항상 24kHz로 재생합니다. 6.0초짜리 같은 음성을 형식만 바꿔 넣어 재생 시간을 재 보니 44.1kHz WAV는 11.1초(느리고 낮은 목소리), 24kHz WAV는 6.1초, mp3는 6.1초였습니다. WAV는 ffmpeg -i in.wav -ar 24000 -ac 1 out.wav로 24kHz로 바꾸거나 mp3로 넣으세요.
실제로 확인한 결과
손으로 웹캠 앞에 앉아 보는 것과 별개로, 크롬의 가짜 카메라·마이크 기능으로 같은 조건을 반복 확인했습니다. 가짜 카메라에는 사람 얼굴 사진을 좌우로 기울이는 영상을, 가짜 마이크에는 말하는 음성 파일을 넣었습니다.
| 항목 | 결과 |
|---|---|
| 카메라 버튼을 누르고 얼굴 추적이 시작되기까지 | 약 3.3초 (모델을 폴더에서 바로 읽음) |
| 얼굴을 찾은 프레임 비율 | 100% |
| 얼굴 기울기에 따라 캐릭터가 기운 범위 | 약 -14도 ~ +20도 |
| 음성이 나오는 동안 입이 열린 프레임 비율 | 약 45~48% (음절 사이에는 닫힘) |
| 페이지가 접속한 외부 서버 | 없음 |
![]()
막혔던 지점과 해결
| 증상 | 원인 | 해결 |
|---|---|---|
| 캐릭터 오른쪽이 캔버스 밖으로 잘림 | 원본 그림에서 캐릭터가 오른쪽에 치우쳐 있음 | 투명 영역 기준으로 잘라 가운데 정렬 (Step 1) |
| 다른 컴퓨터 IP 주소로 열면 카메라가 안 켜짐 | 브라우저가 http:// IP 주소에서는 카메라를 막음 | 웹캠 달린 컴퓨터에서 localhost로 띄우기 (Step 5) |
| 음성이 느리고 낮게 나옴 | 0.3.0이 16비트 WAV를 항상 24kHz로 재생 | 24kHz WAV나 mp3로 바꿔 넣기 (Step 6) |
| 그림이 바뀔 때 캐릭터 전체가 떨림 | 상태별 그림의 크기나 위치가 미세하게 다름 | 원본 한 장에서 입·눈만 고쳐 같은 크기로 저장 |
file://로 열면 아무것도 안 나옴 | 모듈 import와 카메라는 서버 주소가 필요 | python3 -m http.server로 띄우기 |
정리
그림 1장을 4장으로 나누고, 플레이어 파일을 폴더에 넣고, HTML 한 장을 만들면 회사 캐릭터가 버튜버가 됩니다. 이 방식은 무료이고 워터마크가 없는 대신, 표현이 그림 갈아 끼우기와 기울기 수준입니다. 고개 돌리기나 입 모양 여러 개가 필요해지면 그때 livliv.ai의 LivLiv 모델이나 VRM으로 넘어가면 됩니다. 페이지 코드는 그대로 두고 BodyPlayer에 넣는 캐릭터만 바꾸면 됩니다.

