GOP 는 Group of Pictures의 약자입니다. 자세한 건 위키피디아 해당 문서를 참고하세요.

GOP size는 I-프레임(key frame)과 I-프레임 간의 간격입니다. 이 값이 작으면 작을수록 하나의 I-프레임에 정보를 의존하는 P-프레임과 B-프레임들 숫자가 적다는 의미이므로 (즉, 하나의 I-프레임에서 정보를 덜 우려먹으므로) 동영상 전체의 화질은 좋아집니다. 그러나 전체적으로는 I-프레임 수가 늘어나므로 용량은 늘어납니다. 반대로 이 값이 크면 클수록 용량은 줄어드는 대신 화질이 희생됩니다.

최신 코덱들에서 GOP size는 고정돼 있는 게 아니라 인코딩 옵션 설정에 따라 정해집니다. 이때 최소값과 최대값을 설정해 주는 옵션이 말씀하신 Minimum GOP와 Maximum GOP죠.

Minimum GOP는 I-프레임들이 아무리 가까워도 최소 이 정도는 떨어뜨려라 하는 옵션입니다. 이게 1이라면 둘이 붙어 있어도 상관없다는 거고 25라면 중간에 P-프레임과 B-프레임들이 적어도 24개는 있도록 I-프레임들을 떨어뜨려 놓으라는 거죠. 따라서 이 값이 크면 클수록 화질은 나빠지는 대신 용량은 줄어듭니다.

Maximum GOP는 I-프레임들을 아무리 떨어뜨려도 최대 이 정도 이상은 떨어뜨리지 말라는 옵션입니다. 이게 250이라면 중간에 P-프레임과 B-프레임들이 아무리 많아도 249개 이상은 넣지 말라는 소리고 infinite라면 인코더가 알아서 판단해서 할 수 있다면 무한대로 (즉 영상 끝까지) 집어 넣으라는 소리입니다. 따라서 이 값이 작으면 작을수록 화질은 향상되는 대신 용량은 커지게 되겠죠.

얘네들을 따로 설정하지 않는다면 기본값으로 설정됩니다. (인코더 별 기본값은 각 인코더 매뉴얼에...) 물론 사용자가 따로 설정할 수도 있죠.

(Minimum: 1, Maximum: infinite)는 한마디로 '인코더 니가 할 수 있는 거 다 해라', 즉 'GOP size와 관련해서는 제약을 두지 말라'는 의미입니다. 이렇게 되면 인코더는 프레임 컨트롤, rate control, motion estimation 등 다른 설정값들과 원본 동영상의 움직임 변화 등만을 참고해서 인코딩합니다. 따라서 (Minimum: 25, Maximum: 250)과 같이 GOP size에 일정 수준의 제한을 둔 설정보다는 인코딩에 자유도가 높아지면서 화질과 인코딩 효율(압축도)이 향상됩니다. 이때 GOP size를 인코더가 자체적으로 판단해야 하므로 분석에 시간이 필요해서 인코딩 시간은 더 늘어나게 됩니다.