용량과 사양을 완전히 배제하고 오로지 화질 하나만 놓고 본다면 결론부터 말씀드려 x265(HEVC)가 x264(AVC)보다 더 뛰어난 선택이라고 할 수 있습니다.
보통 압축 코덱은 데이터를 얼마나 효율적으로 줄이느냐가 관건인데 x265는 x264보다 훨씬 정교한 알고리즘을 사용합니다. x264는 화면을 16x16 픽셀 크기의 고정된 블록으로 나누어 처리하는 반면 x265는 최대 64x64 크기까지 가변적으로 블록을 설정할 수 있는 CTU(Coding Tree Unit) 방식을 사용합니다.
이 방식 덕분에 하늘처럼 색 변화가 완만한 구간은 큰 블록으로 묶고 복잡한 무늬가 있는 구간은 아주 잘게 나누어 분석할 수 있습니다. 결과적으로 같은 데이터를 쓰더라도 x265가 원본의 질감이나 세부 묘사를 훨씬 더 정밀하게 보존합니다.
특히 4K 이상의 고해상도나 10비트 이상의 깊은 색상 표현(HDR)으로 갈수록 x264는 한계가 명확해집니다. x264로 x265 수준의 4K 화질을 구현하려면 비트레이트를 엄청나게 높여야 하는데 이 경우 파일 크기가 감당하기 힘들 정도로 커질 뿐만 아니라 일정 수준 이상의 비트레이트에서는 오히려 화질 개선 효율이 급격히 떨어지는 현상이 발생합니다.
따라서 최고 사양의 컴퓨터를 가지고 있고 저장 공간이 무한하다는 가정하에 가장 원본에 가까운 깨끗한 결과물을 얻고 싶으시다면 x265를 선택하시는 것이 정답입니다. x264가 무조건 낫다는 인식은 과거에 x265 인코딩 속도가 너무 느리거나 재생 지원 기기가 부족했던 시절의 이야기라고 보셔도 무방합니다.