Unreal Engine 5 : Rendering Pipeline

렌더링 파이프라인은 CPU와 GPU의 자원을 사용하여 모델, 텍스처, 조명같은 3D 리소스들을 각각의 순차적인 과정을 통해 2D 이미지로 렌더링 하는 과정을 의미합니다.

언리얼 엔진에도 내부적으로 렌더링 파이프라인이 존재하며, 어떤 과정을 통해 이루어지는지에 대해 이번 포스팅을 통해 알아보겠습니다.

 

 

언리얼 엔진5 렌더링파이프라인 구조

 

 

 

Frame

렌더링을 시작하기 전에 이전 프레임과 현재 프레임 사이에 어떤 변화가 일어났는지 확인합니다.

CPU에서 동작하며, 마지막 프레임에서 일어난 모든 변화를 확인합니다.

다음 렌더링을 시작하기전에 모든 것을 진행하는 과정입니다.

※ 프레임 : 연속적인 영상을 구성하는 개별적인 정지 이미지

 

 

Visibility Processes / Occlusion Culling

가시성을 이용한 렌더링을 통해 게임 퍼포먼스 최적화를 담당하는 영역입니다.

카메라 Frustum에는 존재하지만, 씬 안에있는 다른 액터에 의해 가려져있거나 숨겨져있는 액터를 제외하여 성능을 향상시킵니다.

 ※ Culling : 보이지않는 지오메트리들을 렌더링에서 제외, 최적화하여 퍼포먼스를 향상시키는 기술

• Distance Culling
  • 카메라와의 거리에 따라 렌더링 여부를 결정하는 기법
  • 설정한 거리외 오브젝트를 렌더링 하지 않음으로, GPU의 퍼포먼스 값을 향상시킬 수 있다.
  • 외부환경에서 내부환경으로 이동할 때 사용한다. (건물이나 구조물에 접근하기 전 내부가 보이지 않게)
• Frustum Culling
  • 보이는 카메라 스페이스 밖의 Asset들을 렌더링 하지않는다.
  • 게임 내 POV값을 조절하는데 사용하며, Freeze Rendering명령어를 통해 확인할 수 있다.
•  Precomputed Visibility
  
  • 가시성 데이터를 사전에 계산하여 런타임 환경에서 Occlusion Culling의 실시간 부하를 줄이는 기법
  • 화면에 표시할 필요가 없는 오브젝트들을 미리 계산하여 해당 레벨에서 GPU와 CPU의 렌더링 부하를 감소시킨다.
  • 고정된 시점(탑뷰, 2.5D게임)의 경우에서 효율적으로 사용할 수 있다.
• Nanite Culling
  • 언리얼5에서 추가된 기능
  • 대규모 Static Mesh들을 LOD 시스템을 자동으로 처리하여 폴리곤들을 효율적으로 렌더링하는 기법
  • Level의 모든 Mesh들을 로드가능한 작은 클러스터로 분해시키고 렌더링 할 필요가없는 데이터를 로드시키지 않는다.
  • Culling을 엔진에서 자동으로 처리한다. 별도의 LOD를 만들지 않아도 된다.
  • 애니메이션이나 Skeletal Mesh와 같은 동적 Mesh들은 지원하지 않는다.

Depth Pass

Frame, Visibility / Occlusion Culling을 통해 렌더링을 해야하는 대상들을 파악 후 렌더링을 하는 단계입니다.

• 카메라의 시점에서 각 픽셀까지의 거리(Depth)를 계산하여 Depth Buffer(Z-Buffer)의 텍스처에 저장하는 렌더링 단계.
• 화면의 각 픽셀들이 카메라에서 얼마나 떨어져 있는지에 대해 0.0 ~ 1.0의 정규화된 값으로 저장한다.

※ Buffer : 데이터를 효율적으로 전달하기위해 사용하는 메모리 영역

 

• Early Z-Pass
  
  • 기본적으로 활성화 되어있는 Pass
  • Depth 데이터를 먼저 계산하고 저장하여, 이후 색상 및 셰이더 계산을 최적화 하는 단계
  • 가려진 오브젝트, 픽셀들은 실행하지 않는다.

 

 

Base Pass

• 화면에 보이는 객체의 시각 정보를 카메라에 출력하기 위해 색상, 재질, 조명 정보를 계산하는 단계
• Base Color(색상), Roughness(표면의 거침 정도), Metalness(금속성), Specular(반사율)등을 G-Buffer에 저장한다. 
• Direct Lighting(직접 조명), Indirect Lighting(간접 조명)으로 나누어 계산, G-Buffer에 저장한다.
  • G-Buffer에 저장된 조명 값들은 Lighting Pass에서 처리한다. 
• UV좌표를 기반으로 텍스처 데이터를 불러온다.
• Texture의 복잡성을 낮추거나, 해상도를 조절하여 GPU 부하를 감소시키는 단계

 

Static Lighting

• 빌드시 Static Lighting 데이터를 생성한다.
• CPU 기반으로 실행되며, 반사, 그림자 등 정적 조명 효과를 계산한다.
• 정적 객체 및 조명에만 적용되며, 빌드 시 많은 계산을 요구하므로 Scene이 복잡할수록 빌드 시간이 길어진다.
• Static 객체, 조명을 배치, UV값 설정, 빌드를 담당한다.

 

Dynamic Lighting

• 조명과 객체들의 그림자, 반사, 색상 변화들을 실시간으로 처리한다.
• 동적, 정적 객체에 실시간으로 조명을 적용, 처리한다.
• 낮-밤의 전환, 폭발등의 동적인 환경을 담당한다.
• 런타임 환경에서 계산되어 GPU,CPU를 많이 사용하여 성능에 문제가 발생할 수 있다.
• Capsule Shadows : 스켈레탈 메시의 그림자를 가장 단순하게 처리하여 보여준다.
• Raytracing : 정확하게 렌더링된 프레임에 가장 가까운 결과물을 실시간으로 제공한다.
• Virtual Shadow Maps : 화면 크기에 따라 다른 해상도로 렌더링, 정확히 필요한 곳에서 높은 디테일 확보, 멀어질수록 최적화 하기위한 낮은 해상도로 예비 전환하는 역할

 

 

Reflections

• 빛이 물체 표면에서 반사되어 다른 물체로 전달되는 시각적 효과를 표현한다.
• 물, 유리, 금속 등 반사 특성이 강한 표면을 표현하거나 거울에 비친 캐릭터 등에 활용한다.
• Screen Space Reflection
  • 화면에 보이는 정보들을 기반으로 런타임 환경에서 반사값들을 계산하여 처리한다.
• Lumen 
  • Ray Tracing를 사용하여 실시간으로 전역 조명과 함께 반사값을 계산, 처리한다.
  • 씬의 복잡성과 관계없이 최적화된 성능을 제공한다.

 

Additional Features, Post Processing

• 렌더링 파이프라인에서 기본적인 렌더링 처리 외 더 세부적인 효과를 처리하는 단계
• Particle Effects, Bloom, Depth of Field 등의 기능들이 있다.
• 렌더링 파이프라인의 후처리를 통해 시각적 퀄리티를 향상시킨다.
• Post Processing이 D3DX 렌더링파이프라인의 Output Meger의 역할을 담당한다.

 

Performance

• 다양한 방식으로 씬을 최적화하거나, 다른 씬보다 비용이 많이 드는 씬을 실시간으로 확인하는 단계
• 성능에 문제가 되는 렌더링들을 모니터링 및 트러블슈팅을 확인할 수 있다.

Scalability Example

• 프로젝트 한가지 버전 빌드시 나머지 지원 플랫폼으로도 사용할 수 있게 처리하는 단계
• 저사양 모바일부터 차세대 플랫폼들에 대해 엔진에서 다양한 파라미터들을 확인, 수정할 수 있다.

---

Unreal Engine5 - Render : https://dev.epicgames.com/community/learning/tutorials/7BY6/unreal-engine-7eb4ec?source=Jke

 

Visibility and Occlusion Cuilling : https://dev.epicgames.com/documentation/ko-kr/unreal-engine/visibility-and-occlusion-culling-in-unreal-engine