홈시어터 또는 사운드바에서 사용할 수 있는 Auto Lipsync 기능

Home Theater 또는 SoundBar에서 사용할 수 있는 Auto Lipsync 기능

집에 home theater을 구성하였을 때 발생할 수 있는 lipsync issue에 대해 소개하고 대처방법을 알려드리겠습니다.

◈  LipSync

     TV에 Soundbar 또는 home theater을 구성하게 되면

     Audio는 Soundbar 또는 AudioVideo Receiver을 통해 출력하게 됩니다.

     즉, TV는 일반적으로 ARC/eARC 연결, SPDIF 또는 다른 출력을 통해

     Soundbar 또는 AudioVideo Receiver에 오디오 신호를 제공합니다.

     이렇게 home theater을 구성하게 되면 Video는 TV에서 나오고,

     Audio는 Soundbar 또는 AudioVideo Receiver을 통해 감상하게 되는데요.

     이러한 구성에서는 TV의 비디오 처리 지연 시간(video processing latency)으로 인해

     사용자는 비디오와 오디오가 서로 일치하지 않는 lipsync issues을 느낄 때가 있습니다.

     (e.g. 사람의 입동작과 소리가 일치 하지 않는 상황)

     이러한 lipsync issues는 비디오 처리 지연 시간을 보상하기 위해 오디오를 지연하여 해결할 수 있습니다.

 

     HDMI Auto Lipsync Correction 기능을 사용하면

     Soundbar 또는 AudioVideo Receiver 가 해당 오디오를 출력하기 전에

     TV의 비디오와 동시출력하도록 필요한 오디오 지연 양을 자동으로 조정하여 오디오를 출력할 수 있습니다.

 

lipsync issues

 

Auto Lipsync Correction

 

◈ EDID Latency Info

    TV에서는 비디오 처리 지연 시간(video processing latency)와 관련하여,

    Video_Latency와 Audio_Latency 정보를 EDID Latency Info을 통해

    Soundbar 또는 AudioVideo Receiver에서 알아볼 수 있도록 EDID에 정보를 표시합니다.

    Soundbar 또는 AudioVideo Receiver에서는 Latency정보를 통해

    오디오와 비디오 간의 자동 동기화 기능을 수행할 수 있습니다.

EDID Latency Info

 

    대부분의 TV는 비디오 지연 시간에 해당하는 오디오 스트림에 delay주어

    자체 비디오 처리 지연 시간을 내부적으로 보상하여 오디오를 출력하게 함으로서

    오디오와 비디오을 동기화 즉, Lipsync 맞게 하여 출력합니다.

    이 delay는 일반적으로 TV 내부 스피커로 전송되는 오디오뿐만 아니라

    외부 S/PDIF(또는 기타) 오디오 출력으로 전송되는 오디오에도 적용되므로

    Soundbar 또는 AudioVideo Receiver도 동기화됩니다.

  ▶ 대부분의 TV들은 video와 audio lipsync을 compensate하고 있습니다.

      (그렇지 않으면 시장에서 issue가 발생되니. ).

      또한 이 compensate은 interal speakers 뿐만 아니라

      ARC, external S/PDIF 등등의 외부 audio  출력에도 적용됩니다.

     따라서, 대부분 EDID의 audio/video latencies는 동일합니다.

 

아래는 Toshiba TV의 EDID의 내용입니다. 

EDID

이 TV의 audio_latency 값이 43으로 84msec latency가 있다는 의미입니다.

Lipsync을 처리하는 Repeater(e.g. AudioVideo Receiver)는 TV Latency와 Repeater 자신의 internal video processing latency을 더하여 자신의 EDID Latency Info을 표시해야 합니다.

 

TV EDID Latency정보와 자신의 Latency정보를 계산하여 전체 비디오 및 오디오 Latency을 나타냅니다.
예를 들어, 리피터가 비디오 프로세서인 경우 비디오 데이터는 TV으로 전달되기 전에 내부 처리에 의해 지연됩니다.
이 경우 리피터는 TV의 EDID에서 발견된 비디오 지연 시간에
리피터의 자체 내부 비디오 처리 지연 시간을 더한 것과 동일한 업스트림 EDID의 비디오 지연 시간을 표시해야 합니다.

마찬가지로, 리피터가 수정되지 않은 비디오를 전달하지만
오디오를 직접 렌더링(증폭)하는(TV로 전달하지 않음) 오디오 증폭기인 경우
TV 오디오 대기 시간은 리피터의 오디오 처리 대기 시간(전용)과 동일합니다.
이 AudioVideo Receiver가 TV의 video latency을 보상하기에 충분한 오디오 지연을 추가하면
해당 리피터가 오디오 다운스트림을 전달하든 오디오를 직접 렌더링하든 상관없이
TV 오디오 및 비디오 대기 시간은 동일하게 됩니다.

 

◈  Latency Values 범위 지원
     장치의 비디오 대기 시간이 비디오 형식이나 기타 요인에 따라 크게 다른 경우

     비디오 대기 시간 필드는 극단 사이에 있지만 더 긴 대기 시간 쪽으로 편향된 대기 시간을 나타내는 것이 좋습니다.

     오디오/비디오 불일치는 비디오가 오디오보다 약간 앞서 나오는 경우보다 오디오가 비디오 보다 앞서 출력하게 되면

     사람들은 더 잘 문제점을 감지합니다.

     이러한 효과로 인해 최대 비디오 지연에 가까운 값을 표시하는 것이 전반적인 사용자 경험을 향상시킬 수 있습니다.

     예를 들어 대략 (2 * max_latency + min_latency)/3 값을 사용할 수 있습니다.

     오디오 대기 시간의 경우에도 마찬가지이지만 이 경우 표시된 값은 최소 대기 시간 쪽으로 치우쳐져야 합니다.

     예를 들어 대략 (max_latency + 2*min_latency)/3 값을 사용할 수 있습니다.

     인터레이스된 비디오 형식에 대한 최적의 비디오 대기 시간 표시가

     프로그레시브 형식에 대한 최적의 대기 시간 표시와 크게 다른 경우
     I_Latency_Fields_Present 플래그를 설정하여 EDID가 이러한 두 비디오 형식 범주에 대해

    별도의 대기 시간을 표시할 수 있도록 해야 합니다.
    이 접근 방식은 언제든지 사용할 수 있지만 두 지연 시간의 차이가 약 30msec 이상인 경우에 권장됩니다.

◈  Compensation
     립싱크 인식 소스 또는 리피터는 TV의 video latency 을 보상하기 위해

     video_latency에서 다운스트림(또는 렌더링) 장치의 audio_latency를 뺀 양만큼 오디오를 지연시킬 수 있습니다.

     Audio Delay = Video latency - Audio latency

     HDMI가 아닌 오디오 출력(예: S/PDIF 또는 아날로그 출력)의 오디오 대기 시간을 확인하지 못할 수도 있습니다.

     압축되지 않은 오디오 형식의 경우 일반적으로 값은 0에 가까우므로 장치는

     다운스트림 EDID의 비디오 지연 시간만큼 오디오를 지연시킬 수 있습니다.

     압축된 오디오 형식의 경우 장치는 오디오 대기 시간이 관련 IEC61937-x 표준

     또는 코덱 공급업체 문서에 지정된 표준 압축 해제 대기 시간에 가깝다고 가정할 수 있습니다.
     100msecs의 오디오 지연 기능은 현재 시장에 나와 있는 거의 모든 TV 및 비디오 프로세서 제품에

     대한 완전한 보상을 지원할 것으로 예상됩니다.

     프로그레시브 비디오 형식을 전송하는 경우 Video_Latency 및 Audio_Latency 필드가 이 계산에 사용됩니다.

     인터레이스된 비디오 형식을 전송하는 경우 동일한 필드가 사용되거나 I_Latency_Fields_Present == 1인 경우

      Interlaced_Video_Latency 및 Interlaced_Audio_Latency 필드가 사용됩니다.

 

HDMI ver 2.1 사양에서는 TV가 대기 시간 정보를 동적으로 수정하는 메커니즘을 사용하고 있습니다.

 

여러분이 가지고 있는 Soundbar 또는 AudioVideo Receiver에 Auto Lipsync 기능이 있다면 ON하면 되고,

그렇지 않다면 Audio Sync 메뉴를 통해 Audio delay을 manual로 조절하여  lipsync issue을 해결할 수 있습니다.

 

* HDMI Review을 원하시는 분은 아래 link을 참조하세요.

 

HDMI에 대해

 

*  YCbCr 4:2:0에 대해서 알고 싶으신 분은 아래 link을 참조하세요.

 

YCBCR 4:2:0 Pixel Encoding