일단 현재 보시려고 하는 영화가 해상도 1080p에 초당 프레임이 30fps 이하라는 것으로 간주하고 쓰겠습니다.

먼저 H264의 레벨은 원래 Reference Frame의 수에 따라 결정됩니다. 따라서 비디오 코덱에서 H264를 고르신뒤, 고급설정에 들어가셔서 Frame-Type 탭을 선택하신 후, Reference Frames 항목에서 4 이하의 숫자를 써주시면 됩니다.(실사 영화이신듯 하니 3정도가 적당하겠네요)

그 다음, H.264에서 FMO, ASO, RS를 지원하지 않는다고 써있는데 저것들은 Baseline 프로파일에서 지원하는 기술이므로 프로파일에서 Baseline을 제외하고 Main 또는 High 프로파일을 고르시면 되겠습니다.(High10은 10비트로 인코딩 하며 이를 지원하는 기기는 많지 않으니 고르시지 마세요)

특이하게 MKV를 지원하면서 오디오 코덱으로 AAC나 FLAC를 지원안하는 건 좀 신기하네요... 아무튼, 오디오는 용량을 줄이시려면 MP3, 용량 그딴거 상관없다면 PCM 고르시고 인코딩 하면 될 듯 싶습니다.

H263을 지원하지 않는다고 써있으므로 비디오 코덱에서 H263은 사용하지 마셔야 하고요,

GMC는 Global Motion Compensation이라는 기술인 듯 싶은데 아마 하드웨어 가속을 지원하지 않는다는 소리인 것 같네요. MPEG4-ASP와 XVID에서 쓰이는 기술인데 이 기술 대신에 Motion Vector Prediction을 사용하는게 인코딩하고 디코딩시 더 이득이어서 아마 안 쓰는 것 같습니다.

이렇게 써놓으면 사실상 인코딩 할 코덱은 H264밖에 없군요 ㅎㅎ