Games101 笔记 Lecture 7-9 Shading (Graphics pipeline, Texture Mapping)

Graphics (Real-time Rendering) Pipeline

图形管线 or 实时渲染管线
管线：从一个场景到一张图，中间经历的过程称为管线，表现的是一系列操作。

过程：
从一开始，输入是一堆空间中的点，并且经过了第一步之后，做一个投影变换，将三维空间中的点投影到平面上，这些点会形成三角形，通过光栅化离散成不同的fragment，画在离散的屏幕上（在不做MSAA之类的情况下，可以认为一个fragment就是一个像素）。当将三角形打散在屏幕上之后，开始对其进行着色，每个像素都知道是什么样的颜色，然后得到整个屏幕的表现。如果用了MSAA，就是好多个不同的fragment会形成一个像素的颜色，需要维护每个fragment对应的深度和颜色，最后再拼成一个图。

MVP变换，将每一个顶点做一次变换。

光栅化：对屏幕上每个像素点看是否在三角形内。

Z-buffer：当光栅化产生一定数量的fragment or 像素之后，判断是否可见。

Shading：顶点和像素都会有shading。（取决于着色的方法）
该部分大多都是可编程的。（用Shader控制顶点和像素是如何着色的）

纹理映射：三角形内部的像素与纹理的对应关系。

Shader Programs

现代GPU允许自己编程去解决顶点和像素如何进行操作的问题。
Shader本质上是可以在硬件上执行的语言。

Program vertex and fragment processing stages
Describe operation on a single vertex(or fragment)

• Shader function executes once per fragment.
• Outputs color of surface at the current fragment’s screen sample position.
• This shader performs a texture lookup to obtain the surface’s material color at this point, then performs a diffuse lighting calculation.

注意：

• Shader是每一个顶点or fragment(pixel)会执行一次，写完之后是通用的，每一个元素都需要如此运作。里面不需要写for循环。
• 如果写的是顶点的操作，就叫做Vertex Shader（顶点着色器）
• 如果写的是像素的操作，就叫做Pixel Shader （像素着色器）或Fragment Shader（片段着色器）

Texture Mapping

说明

定义任何一个点的基本属性。（这个点定义在物体表面上）

• Surface lives in 3D world space. 任何一个三维物体的表面都是二维的。通过这种方式，物体表面和一张图会存在一一对应关系。
• Every 3D surface point also has a place where it goes in the 2D image (texture)
• 将这张纹理图片蒙在物体表面的过程就是纹理映射。映射是一一对应的关系，因此需要找到物体表面的点和纹理之间的映射关系。

映射关系的得到方法

1. 需要艺术家的创作，做出一个模型，然后通过一种展开的方式对应。
2. 自动化的过程。给定任何一个模型，使用一种办法展开一个平面，并且还希望产生的三角形尽可能的少扭曲。如果保证纹理上对应颜色无缝衔接就更好了。

Visualization of Texture Voordinates

Each triangle vertex is assigned a texture coordinate (u,v).
uv的范围通常归一化到[0,1]内。
三角形每一个顶点都对应一个uv。

纹理可以应用到各种不同的物体表面。
不同的位置可以映射到相同的纹理上，纹理可以重复使用。纹理本身的设计也很重要。

Interpolation Across Triangles: Barycentric Coordinates

三角形的三个顶点有各自不同的属性，如何将这个属性在三角形内部做平滑的过度。任意给定三角形内的点，应该得到插值之后的结果。

重心坐标 Barycentric Coordinates

Q1: Why do we want to interpolate:

• Specify values at vertices.为了在三角形内部做插值，而引入重心坐标。
• Obtain smoothly varying values across triangles.

Q2: What do we want to interpolate?

• Texture coordinates, colors, normal vectors,…

重心坐标是定义在一个三角形上的。
首先有一个三角形ABC，重心坐标指的是，在三角形ABC三个点所形成的的平面内任意一点(x,y)都可以表示为三个顶点A,B,C的线性组合。
$$\begin{gathered} (x,y)=\alpha A+\beta B+\gamma C \\ \alpha +\beta +\gamma =1 \end{gathered}$$
和为1是为了限制点在三角形所在的平面内。
如果三个系数均为非负，则该点在三角形内部。

A点的重心坐标：
$$\begin{gathered} (\alpha ,\beta ,\gamma )=(1,0,0) \\ (x,y)=\alpha A+\beta B+\gamma C=A \end{gathered}$$

某一点的重心坐标还可以通过面积求出。
$$\begin{gathered} \alpha =\frac{A_A}{A_A+A_B+A_C} \\ \beta =A_{} \end{gathered}$$