경험상 FHD 영상에서 HEVC(NVENC)는 비트레이트가 2M 이하로 내려가면 color banding(등고선 현상)과 가끔 깍두기 현상이 두드러지게 나타납니다. 특히나 그래디언트(계조)가 많이 들어간 영상은 의식하고 보면 눈에 띄는 정도로 보입니다. 예를 들어 어두운 씬에서 조명에 비친 벽면의 그래디언트라든지, 조명 주변에 빛이 퍼져나가는 부분이 그렇습니다. 후자의 경우 동심원이 생기는 걸 보실 수도 있습니다. 여기서 더 비트레이트가 낮아질 경우엔 사람 얼굴과 드러난 팔뚝 같은 부분에 banding이 생겨서 의식하지 않아도 눈에 띌 정도가 됩니다.

그에 반해 H264(라고 샤나 빠른 설정에 씌어 있지만 실제로는 x264)는 그래디언트 쪽이 무난하게 인코딩되는 데 반해 경계 부분 흐림(edge blurring) 현상이 좀 생깁니다. 경계 부분에 쨍한 맛이 떨어지죠. 경계가 확연하게 구분되지 않고 모호한 원본일 경우 화질 저하를 눈으로 느낄 수도 있을 것 같습니다.

일반적인 원본이라면 같은 비트레이트에서 대부분 x264가 속도는 좀 느리지만 결과물은 나을 겁니다. 욕심을 내서 경계 부분을 좀더 다듬고 싶다면 convolution 같은 경계 부분 강화 필터를 적용해 보시는 것도 좋은 방법일 것 같습니다. FFmpeg의 해당 필터 매뉴얼을 참고하십시오. ( http://ffmpeg.org/ffmpeg-filters.html#convolution )

잘 아시겠지만, 필터 적용은 인코딩 속도를 떨어뜨리니 속도 저하는 감안하셔야 합니다.