일단 다음과 같은 정보에 따라 인코딩 방법이 달라지겠죠.

• 영상 길이와 해상도가 어떻게 되는지? 영상에 움직임이 많은지? 애니메이션 영상인지?
• 타겟이 되는 미디어는 무엇인지? TV? 태블릿? 컴퓨터?
• 자막은 하드 코딩(영상 자체에 입히는 것)할 것인지 소프트 코딩(파일 형식 안에 자막을 따로 넣는 것)할 것인지

말씀하신 것으로는 제대로 된 답변을 드리기 힘듭니다.

하지만 오디오를 무손실인 flac으로 잡으셨다니 오디오로만 몇 기가는 훌쩍 잡아먹겠네요. 영상 용량을 줄이는 것이 목표고 원본이 무손실 오디오가 아니라면 굳이 flac으로 가실 필요가 있으신지? 오디오에 민감하셔서 손실과 무손실 차이를 느끼실 수 있는 수준이 아니시라면 AAC나 opus로도 충분하지 않을까 싶은데 말이죠.

그리고 HEVC(H.265)을 플레이할 수 없는 미디어(TV 등)로 보실 게 아니라면 HEVC 인코딩을 강력 추천합니다. 영상 파일 크기를 보니 고화질이신 것 같은데 그렇다면 더더욱 HEVC 인코딩을 하시라고 권하고 싶습니다. 화질 보존을 원하시니 HEVC의 퀄리티 모드로 18, 아니면 17 정도로 놓고 프리셋을 slow로 하신 후 인코딩하시는 것도 추천합니다. (용량은 크게 줄지 않을 수도 있습니다.)

자막은 하드 코딩을 원하시는 것 같은데 거기에 대해서는 따로 말씀 안 드려도 될 것 같네요.

정확한 것은 설정을 봐야 알겠지만, 그렇게까지 용량이 올라가는 것은 필요 이상으로 비트레이트를 더 줬다는 말입니다.

원본보다도 훨씬 더 높게 주신 거 같은데요;