[버추얼 모션캡쳐 워크숍] 블렌더

0. [강의자료들]

계원예술대학_강의자료_01.pdf

0.64MB

계원예술대학_강의자료_02.pdf

1.08MB

계원예술대학_강의자료_03.pdf

0.96MB

계원예술대학_강의자료_06.pdf

2.33MB

계원예술대학_강의자료_A1.pdf

0.28MB

---

1. [잡담]

• 라이브 2d, 3d로 나뉜다
• 우왁굳은 1등
• vfx 회사 => 버튜버 시장을 노리고 있음
• 버추얼 방송 장비 인프라
• 계속 발전 되고 기기도 다양하다 => 이런 것들을 만드는 개발자도 다수
• 옵티트랙 : 모션캡쳐 장비
• 모션캡쳐 클린업 : 모션캡쳐를 해도 튀는 동작이 있는데 그런 동작들을 수정하는 일
• 오리지널 송보단 커버 송
• 버츄얼 캐릭터 제작과정
• 다양한 표정들을 만들고 적용
• 아이폰 + arkit 이 가장 저렴함
• 오리지널 캐릭터 vs 뚜따

뚜따 : 원하는 얼굴과 몸을 합치는 과정

• 2d 원화 => 3d 모델링
• booth에서 원하는 제품 말하면 교수님이 사주심
• vrchat 제품도 가능하긴 하지만 웬만하면 다른 제품 살 것
• 뚜따를 하면 방송할 때마다 옷을 바꿔입을 수 가 있음
• 뚜따 : 병 뚜껑을 따다에서 유래
• 만든 버츄얼 캐릭터로 VrChat에 사용 가능

---

2. [일정표]

- 10주차 이전

10주차 까지 버츄얼 캐릭터를 만들기
 

- 10주차 이후

이 캐릭터를 사용해서 영상물을 만듬

---

3. [Questions]

Q1. 왜 버튜버들은 다 애니 캐릭터인가?

A1. 실사 캐릭터는 표정이 너무 많아서 불가능하기 때문
 

Q2. 블렌더, 유니티 사용할 것

마야에서 만든 파일을 블렌더 맥스 유니티로 옮길 수 있음
다만 축이 달라서 프로그램에서 축을 맞추고 옮기는 게 좋음

---

4. [잡담2]

• 스팀에서 블렌더를 받으면 자동 업데이트
• 화각이 중요함

Blender(블렌더)의 카메라 이동하는 법 익히기 part6 (netpilgrim.net)

Blender(블렌더)의 카메라 이동하는 법 익히기 part6

• 점과 점 또는 선과 선을 선택하고 f를 누르면 이어짐

---

5. [블렌더 기초]

- 모델링

- UV 피기

• 모델링 한 것을 UV를 따서 저장한다
• 그리고 그 파일을 포토샵에 가져온다
• 포토샵에서 그리고 블렌더 모델에 불러온다

- 리깅

https://www.youtube.com/watch?v=66y6xnTYBeY 

리깅 : 모델에 뼈를 심는 것
웨이트 : 어떤 뼈에 얼마만큼의 영향을 받아야 하는지를 결정해 주는 것

- 텍스쳐링

1. 머터리얼
2. Use Nodes
3. Surface : Emission
4. image texture : 모델에 맞는 psd 파일 불러오기

---

6. [뚜따 하는 방법]

- 뚜따 워크플로

1. 부스에 있는 사람 모델을 가져온다
2. 사용할 오브젝트를 제외하고 지운다
3. 필요한 에셋들을 추가한다
4. 헬멧, 고글, 양복 등
5. 머리에 쓰는 헬멧, 고글을 weight paint를 이용해서 머리와 같이 움직이게 해준다 (본을 잡고 pose 모드로 움직여본다)
6. 텍스쳐를 입힌다
7. 헬멧 같은 머터리얼 갖고 있지 않은 오브젝트는 따로 만들어준다
8. 리깅

 

- 다른 에셋들을 기본 바디에 뚜따하는 워크플로

1. 옷과 사람의 위치를 뼈의 위치 기반으로 맞춘다
2. 튀어나온 부분을 없엔다 (x축 대칭 적용하기 또는 손과 얼굴을 제외하고 나머지 제외한다, 스케일을 줄이면 뼈도 같이 줄어들기 떄문에 shift + x (x축을 제외하고 스케일을 조절) 기능을 사용하거나 이동 G키를 이용해서 튀어나온 메쉬를 없에준다)
3. 옷의 리깅을 삭제한다
4. 웨이트 페인팅을 적용한다
5. 머터리얼을 씌운다
6. 블렌더에서 fbx 파일로 저장한다
7. 유니티로 가져와서 vrchat용, 버튜버용으로 바꿀 수 있음

 

1. 남자 모델과 옷 모델의 뼈 이름을 같게 만든다 (운이 좋으면 처음부터 같을 수도 있다)

남자 모델의 뼈 이름을 복사 해서 옷 모델의 뼈 이름을 남자 모델의 뼈 이름으로 바꿔준다
 

2. 옷 모델의 메쉬를 Armature 밖으로 뺀다 (메쉬를 분리)

분리할 메쉬 클릭 => Alt P => clear and keep Transformation
 

3. 옷 모델의 메쉬를 남자 모델에 잘 맞춘다 (남자 모델이 0,0,0 이므로 0,0,0 으로 맞추면 된다)

좌표 0 으로 맞추기
 
모델에 에셋 (신발)을 맞추고 (0점으로)
 

4. 옷 모델의 메쉬를 남자 모델의 뼈대에 종속시킨다 (그래야 뼈를 움직이면 남자 모델과 옷 모델이 같이 움직이기 때문이다)

옷 에셋을 잡고 남자 모델의 뼈대를 잡은 다음 
 
Crtl + P, Armature Deform = 에셋을 남자 모델의 뼈대에 종속 시킨다는 의미
 
그리고 처음 Armature Deform 을 삭제해준다

---

블렌더로 얼굴  표정 만들어주기

---

7. [용어 사전]

- Armature

https://sungkukpark.tistory.com/4

[Blender 리깅 입문] 2. Armature의 개념과  생성

• 캐릭터 하나에는 armautre가 하나 필요하다 => 만약에 armature가 2개 있으면 다른 객체가 되기 때문이다 
• ex) 선글라스의 메쉬만 분리해주어서 메인 armature에 종속시켜주면 하나의 오브젝트가 되므로 pose 모드에서 뼈를 움직였을 때 다같이 움직이게 된다

 

- VRM 파일

https://namu.wiki/w/VRM

VRM - 나무위키

==> VR용 인간형 3D 파일 포멧
 

- 스키닝

https://honbaec.com/maya-101-skinning/

스키닝 – 혼자서 배우는 씨지

==> 스킨을 만드는 것

---

8. [유니티]

- Export

블렌더에서 아바타 모델을 Apply Scalings 에서 FBX ALL로 설정 하고 Export 하기 => fbx 파일

 

- UniVrm 

https://github.com/vrm-c/UniVRM

GitHub - vrm-c/UniVRM: UniVRM is a gltf-based VRM format implementation for Unity. English is here https://vrm.dev/en/ . 日本

 

유니티에 fbx 파일 불러오기
유니티에서 fbx 파일 설정 바꾸기
 
캐릭터 쉐이더
VRM/MToon 으로 바꿔주기
 
블렌더에서 모델링 텍스쳐를 입히고 export를 해줘도 유니티로 가져오면 텍스쳐가 할당되지 않음
유니티로 가져와서 텍스쳐를 원래 에셋으로부터 지정해줘야함
 
Rig => Animation type => humanoid
 
https://www.youtube.com/watch?v=hdJV5lEibv8

---

9. [기말 과제]

2개 제출
 
- facial 연기 1
: 디즈니 얼굴 연기, 
 
- 전체 연기 2
: 춤 영상 (키딩 챌린지, ante up remix 챌린지, 하입보이 챌린지)
 
[1920X1080 화질 맞추기] 
크기 숏폼으로 맞출 것
 
오퍼레이터, 액터 같이 해야 함 => 혼자서는 못함
 

Q1. 방송은 어떻게 하는거냐..?

 
PC 앱 : VseeFace (버튜버가 제일 많이 쓰는 프로그램)
warudo 프로그램 (vital, vseeface는 페이셜 안되는데 warudo는 됨)
https://store.steampowered.com/app/2079120/Warudo/

아이폰 앱 : iFacialMocapTr
 
아이폰과 pc의 네트워크가 동일해야 하고 ip 주소를 같게 연결해줘야 한다
 
아이폰이 인식할 수 있는 표정은 52가지
52가지 표정을 전부 블렌드 쉐이프 만들어줘야 모든 표정들을 인식
==> 이것들을 유니티에서 만져주어야 함