Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD AND APPARATUS FOR GENERATING ADDITIONAL INFORMATION BIT STREAM OF MULTI-OBJECT AUDIO SIGNAL
Document Type and Number:
WIPO Patent Application WO/2009/123409
Kind Code:
A3
Abstract:
The present invention relates to a method and an apparatus for generating an additional information bit stream of a multi-object audio signal. The apparatus for generating an additional information bit stream of a multi-object audio signal according to the present invention includes a spatial cue information input unit for taking, as an input, spatial cue information generated from a multi-object audio signal encoding device, a preset information input unit for taking, as an input, preset information for a multi-object audio signal, and an additional information bit stream generating unit for generating an additional information bit stream by using the spatial cue information and the preset information. The additional information bit stream includes a header region and a frame region. The preset information is included in the frame region. The apparatus of the present invention is advantageous as it is capable of changing set audio scene information in accordance with the idea of an editor or a sound engineer even during reproduction of a multi-object audio signal because preset information is included in the frame region of the additional information bit stream generated during encoding of the multi-object audio signal.

Inventors:
SEO JEONG-IL (KR)
BEACK SEUNG-KWON (KR)
LEE TAE-JIN (KR)
LEE YONG-JU (KR)
JANG DAE-YOUNG (KR)
KANG KYEONGOK (KR)
HONG JIN-WOO (KR)
KIM JIN-WOONG (KR)
AHN CHIETEUK (KR)
Application Number:
KR2009/001615
Publication Date:
November 26, 2009
Filing Date:
March 30, 2009
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
KOREA ELECTRONICS TELECOMM (KR)
SEO JEONG-IL (KR)
BEACK SEUNG-KWON (KR)
LEE TAE-JIN (KR)
LEE YONG-JU (KR)
JANG DAE-YOUNG (KR)
KANG KYEONGOK (KR)
HONG JIN-WOO (KR)
KIM JIN-WOONG (KR)
AHN CHIETEUK (KR)
International Classes:
G10L19/20; G10L19/008; G11B20/10; H03M7/30
Domestic Patent References:
WO2008039045A12008-04-03
Other References:
See also references of EP 2273492A4
Attorney, Agent or Firm:
SHINSUNG PATENT FIRM (Jungdaero 105 Songpa-gu, Seoul 138-805, KR)
Download PDF:
Claims:
다객체 오디오 신호의 부가정보 비트스트림을 생성하는 장치에 있어서,

상기 다객체 오디오 신호의 부호화 장치로부터 생성된 공간큐 정보를 입력받는 공간큐 정보 입력부;

상기 다객체 오디오 신호에 대한 프리셋 정보를 입력받는 프리셋 정보 입력부; 및

상기 공간큐 정보 및 상기 프리셋 정보를 이용하여 상기 부가정보 비트스트림을 생성하는 부가정보 비트스트림 생성부를 포함하고,

상기 부가정보 비트스트림은 헤더 영역 및 프레임 영역을 포함하며, 상기 프리셋 정보는 상기 프레임 영역에 포함되는 다객체 오디오 신호의 부가정보 비트스트림 생성 장치.

제 1항에 있어서,

상기 프레임 영역은

하나 이상의 프레임을 포함하고,

상기 프레임 중 적어도 하나는

하나 이상의 프리셋 정보를 포함하는 다객체 오디오 신호의 부가정보 비트스트림 생성 장치.

제 1항에 있어서,

상기 프리셋 정보는

상기 프리셋 정보를 포함하는 프레임에 대응하는 다객체 오디오 신호의 렌더링에 이용되는 다객체 오디오 신호의 부가정보 비트스트림 생성 장치.

제 1항에 있어서,

상기 헤더 영역은 디폴트 프리셋 정보를 포함하고,

상기 프레임 영역에 대응하는 다객체 오디오 신호의 렌더링에는, 상기 프리셋 정보 또는 상기 디폴트 프리셋 정보 중 적어도 하나가 이용되는 다객체 오디오 신호의 부가정보 비트스트림 생성 장치.

다객체 오디오 신호의 부가정보 비트스트림을 분석하는 장치에 있어서,

상기 부가정보 비트스트림을 입력받는 부가정보 비트스트림 입력부;

상기 부가정보 비트스트림을 이용하여 공간큐 정보를 추출하는 공간큐 정보 추출부; 및

상기 부가정보 비트스트림을 이용하여 프리셋 정보를 추출하는 프리셋 정보 추출부를 포함하고,

상기 부가정보 비트스트림은 헤더 영역 및 프레임 영역을 포함하며, 상기 프리셋 정보는 상기 프레임 영역에 포함되는 다객체 오디오 신호의 부가정보 비트스트림 분석 장치.

제 5항에 있어서,

상기 프레임 영역은

하나 이상의 프레임을 포함하고,

상기 프레임 중 적어도 하나는

하나 이상의 프리셋 정보를 포함하는 다객체 오디오 신호의 부가정보 비트스트림 분석 장치.

제 5항에 있어서,

상기 프리셋 정보는

상기 프리셋 정보를 포함하는 프레임에 대응하는 다객체 오디오 신호의 렌더링에 이용되는 다객체 오디오 신호의 부가정보 비트스트림 분석 장치.

제 5항에 있어서,

상기 헤더 영역은 디폴트 프리셋 정보를 포함하고,

상기 프레임 영역에 대응하는 다객체 오디오 신호의 렌더링에는, 상기 프리셋 정보 또는 상기 디폴트 프리셋 정보 중 적어도 하나가 이용되는 다객체 오디오 신호의 부가정보 비트스트림 분석 장치.

다객체 오디오 신호의 부호화 장치에 있어서,

다수의 객체로 구성된 오디오 신호를 다운믹스하고, 상기 다수의 객체로 구성된 오디오 신호에 대한 공간큐 정보를 생성하는 인코딩부; 및

상기 공간큐 정보 및 상기 오디오 신호에 대한 프리셋 정보를 이용하여 부가정보 비트스트림을 생성하는 부가정보 비트스트림 생성부를 포함하고,

상기 부가정보 비트스트림은 헤더 영역 및 프레임 영역을 포함하며, 상기 프리셋 정보는 상기 프레임 영역에 포함되는 다객체 오디오 신호의 부호화 장치.

다객체 오디오 신호의 복호화 장치에 있어서,

부가정보 비트스트림을 입력받고, 상기 부가정보 비트스트림에 포함된 공간큐 정보 및 프리셋 정보를 추출하는 부가정보 비트스트림 분석부;

다운믹스된 입력 오디오 신호로부터 상기 공간큐 정보를 이용하여 다수의 객체로 구성된 오디오 신호를 복원하는 디코딩부; 및

상기 프리셋 정보를 이용하여 상기 다수의 객체로 구성된 오디오 신호를 다수의 채널로 구성된 오디오 신호로 렌더링하는 렌더링부를 포함하고,

상기 부가정보 비트스트림은 헤더 영역 및 프레임 영역을 포함하며, 상기 프리셋 정보는 상기 프레임 영역에 포함되는 다객체 오디오 신호의 복호화 장치.

다객체 오디오 신호의 부가정보 비트스트림을 생성하는 방법에 있어서,

상기 다객체 오디오 신호의 부호화 장치로부터 생성된 공간큐 정보를 입력받는 단계;

상기 다객체 오디오 신호에 대한 프리셋 정보를 입력받는 단계; 및

상기 공간큐 정보 및 상기 프리셋 정보를 이용하여 상기 부가정보 비트스트림을 생성하는 단계를 포함하고,

상기 부가정보 비트스트림은 헤더 영역 및 프레임 영역을 포함하며, 상기 프리셋 정보는 상기 프레임 영역에 포함되는 다객체 오디오 신호의 부가정보 비트스트림 생성 방법.

제 11항에 있어서,

상기 프레임 영역은

하나 이상의 프레임을 포함하고,

상기 프레임 중 적어도 하나는

하나 이상의 프리셋 정보를 포함하는 다객체 오디오 신호의 부가정보 비트스트림 생성 방법.

제 11항에 있어서,

상기 프리셋 정보는

상기 프리셋 정보를 포함하는 프레임에 대응하는 다객체 오디오 신호의 렌더링에 이용되는 다객체 오디오 신호의 부가정보 비트스트림 생성 방법.

제 11항에 있어서,

상기 헤더 영역은 디폴트 프리셋 정보를 포함하고,

상기 프레임 영역에 대응하는 다객체 오디오 신호의 렌더링에는, 상기 프리셋 정보 또는 상기 디폴트 프리셋 정보 중 적어도 하나가 이용되는 다객체 오디오 신호의 부가정보 비트스트림 생성 방법.

다객체 오디오 신호의 부가정보 비트스트림을 분석하는 방법에 있어서,

상기 부가정보 비트스트림을 입력받는 단계;

상기 부가정보 비트스트림을 이용하여 공간큐 정보를 추출하는 단계; 및

상기 부가정보 비트스트림을 이용하여 프리셋 정보를 추출하는 단계를 포함하고,

상기 부가정보 비트스트림은 헤더 영역 및 프레임 영역을 포함하며, 상기 프리셋 정보는 상기 프레임 영역에 포함되는 다객체 오디오 신호의 부가정보 비트스트림 분석 방법.

제 15항에 있어서,

상기 프레임 영역은

하나 이상의 프레임을 포함하고,

상기 프레임 중 적어도 하나는

하나 이상의 프리셋 정보를 포함하는 다객체 오디오 신호의 부가정보 비트스트림 분석 방법.

제 15항에 있어서,

상기 프리셋 정보는

상기 프리셋 정보를 포함하는 프레임에 대응하는 다객체 오디오 신호의 렌더링에 이용되는 다객체 오디오 신호의 부가정보 비트스트림 분석 방법.

제 15항에 있어서,

상기 헤더 영역은 디폴트 프리셋 정보를 포함하고,

상기 프레임 영역에 대응하는 다객체 오디오 신호의 렌더링에는, 상기 프리셋 정보 또는 상기 디폴트 프리셋 정보 중 적어도 하나가 이용되는 다객체 오디오 신호의 부가정보 비트스트림 분석 방법.

다객체 오디오 신호의 부호화 방법에 있어서,

다수의 객체로 구성된 오디오 신호를 다운믹스하고, 상기 다수의 객체로 구성된 오디오 신호에 대한 공간큐 정보를 생성하는 단계; 및

상기 공간큐 정보 및 상기 오디오 신호에 대한 프리셋 정보를 이용하여 부가정보 비트스트림을 생성하는 단계를 포함하고,

상기 부가정보 비트스트림은 헤더 영역 및 프레임 영역을 포함하며, 상기 프리셋 정보는 상기 프레임 영역에 포함되는 다객체 오디오 신호의 부호화 방법.

다객체 오디오 신호의 복호화 방법에 있어서,

부가정보 비트스트림을 입력받고, 상기 부가정보 비트스트림에 포함된 공간큐 정보 및 프리셋 정보를 추출하는 단계;

다운믹스된 입력 오디오 신호로부터 상기 공간큐 정보를 이용하여 다수의 객체로 구성된 오디오 신호를 복원하는 단계; 및

상기 프리셋 정보를 이용하여 상기 다수의 객체로 구성된 오디오 신호를 다수의 채널로 구성된 오디오 신호로 렌더링하는 단계를 포함하고,

상기 부가정보 비트스트림은 헤더 영역 및 프레임 영역을 포함하며, 상기 프리셋 정보는 상기 프레임 영역에 포함되는 다객체 오디오 신호의 복호화 방법.

Description:
다객체 오디오 신호의 부가정보 비트스트림 생성 방법 및 장치

본 발명은 다객체 오디오 신호의 부가정보 비트스트림 생성 방법 및 장치에 관한 것이다.

종래의 오디오 인코딩 및 디코딩 기술에 따르면, 다양한 채널로 구성된 다수의 오디오 객체가 사용자의 필요에 따라 다양하게 조합될 수 없고 따라서 하나의 오디오 컨텐츠가 다양한 형태로 소비될 수 없다. 결국, 사용자는 오디오 컨텐츠를 수동적으로만 소비할 수 있다.

종래기술인 SAC(Spatial Audio Coding) 기술에 따르면 다채널 오디오 신호는 다운믹스된 모노 채널 또는 스테레오 채널 신호와 공간큐(spatial cue) 정보로 인코딩되며, 낮은 비트 율에서도 고품질의 멀티채널 신호가 전송된다. SAC 기술에 따르면 오디오 신호는 서브밴드 별로 분석되고, 각 서브밴드에 대응하는 공간큐 정보에 기초하여 상기 다운믹스된 모노 채널 또는 스테레오 채널 신호로부터 원래의 다채널 오디오 신호가 복원된다. 상기 공간큐 정보는 디코딩 과정에서 원 신호의 복원을 위한 정보를 포함하며, SAC 디코딩 장치에서 재생되는 오디오 신호의 음질을 결정한다. MPEG은 MPEG Surround(MPS)라는 명칭으로 SAC 기술에 대한 표준화를 진행하고 있으며 CLD(Channel Level Difference)를 공간큐로 활용한다.

SAC에 따르면, 다채널 오디오 신호로서 1개 오디오 객체에 대해서만 인코딩 및 디코딩이 가능하기 때문에, 다채널로 구성된 다객체 오디오 신호, 예를 들어, 모노 채널, 스테레오 채널 및 5.1 채널로 구성된 다양한 객체의 오디오 신호가 인코딩 및 디코딩될 수 없다.

또 다른 종래기술인 바이노럴 큐 코딩(Binaural Cue Coding, BCC) 기술에 따르면, 모노 채널로만 구성된 다객체 오디오 신호가 인코딩 및 디코딩이 가능하기 때문에, 모노 채널 이외의 다채널로 구성된 다객체 오디오 신호가 인코딩 및 디코딩될 수 없다.

결국 종래기술에 따르면, 단일 채널로 구성된 다객체 오디오 신호 또는 다채널로 구성된 단일 객체 오디오 신호에 대해서만 인코딩 및 디코딩이 가능하며, 다채널로 구성된 다객체 오디오 신호가 인코딩 및 디코딩될 수 없다. 따라서, 다양한 채널로 구성된 다수의 오디오 객체가 사용자의 필요에 따라 다양하게 조합될 수 없고, 하나의 오디오 컨텐츠가 다양한 형태로 소비될 수 없다. 이로 인해 사용자는 오디오 컨텐츠를 수동적으로만 소비할 수 있다.

본 발명은 다객체 오디오 신호를 부호화할 때 생성되는 부가정보 비트스트림의 프레임 영역에 프리셋 정보를 포함시킴으로써, 다객체 오디오 신호가 재생되는 도중에도 편집자 혹은 사운드 엔지니어의 의도에 따라 설정된 음향 장면 정보를 변경시킬 수 있는 방법 및 장치를 제공하는 것을 목적으로 한다.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

이러한 목적을 달성하기 위한 본 발명은 다객체 오디오 신호의 부가정보 비트스트림을 생성하는 장치에 있어서, 다객체 오디오 신호의 부호화 장치로부터 생성된 공간큐 정보를 입력받는 공간큐 정보 입력부, 다객체 오디오 신호에 대한 프리셋 정보를 입력받는 프리셋 정보 입력부, 그리고 공간큐 정보 및 프리셋 정보를 이용하여 부가정보 비트스트림을 생성하는 부가정보 비트스트림 생성부를 포함하고, 부가정보 비트스트림은 헤더 영역 및 프레임 영역을 포함하며, 프리셋 정보는 프레임 영역에 포함되는 것을 일 특징으로 한다.

또한 본 발명은 다객체 오디오 신호의 부가정보 비트스트림을 분석하는 장치에 있어서, 부가정보 비트스트림을 입력받는 부가정보 비트스트림 입력부, 부가정보 비트스트림을 이용하여 공간큐 정보를 추출하는 공간큐 정보 추출부, 그리고 부가정보 비트스트림을 이용하여 프리셋 정보를 추출하는 프리셋 정보 추출부를 포함하고, 부가정보 비트스트림은 헤더 영역 및 프레임 영역을 포함하며, 프리셋 정보는 프레임 영역에 포함되는 것을 다른 특징으로 한다.

또한 본 발명은 다객체 오디오 신호의 부호화 장치에 있어서, 다수의 객체로 구성된 오디오 신호를 다운믹스하고, 다수의 객체로 구성된 오디오 신호에 대한 공간큐 정보를 생성하는 인코딩부, 그리고 공간큐 정보 및 오디오 신호에 대한 프리셋 정보를 이용하여 부가정보 비트스트림을 생성하는 부가정보 비트스트림 생성부를 포함하고, 부가정보 비트스트림은 헤더 영역 및 프레임 영역을 포함하며, 프리셋 정보는 프레임 영역에 포함되는 것을 다른 특징으로 한다.

또한 본 발명은 다객체 오디오 신호의 복호화 장치에 있어서, 부가정보 비트스트림을 입력받고, 부가정보 비트스트림에 포함된 공간큐 정보 및 프리셋 정보를 추출하는 부가정보 비트스트림 분석부, 다운믹스된 입력 오디오 신호로부터 공간큐 정보를 이용하여 다수의 객체로 구성된 오디오 신호를 복원하는 디코딩부, 그리고 프리셋 정보를 이용하여 다수의 객체로 구성된 오디오 신호를 다수의 채널로 구성된 오디오 신호로 렌더링하는 렌더링부를 포함하고, 부가정보 비트스트림은 헤더 영역 및 프레임 영역을 포함하며, 프리셋 정보는 프레임 영역에 포함되는 것을 또 다른 특징으로 한다.

또한 본 발명은 다객체 오디오 신호의 부가정보 비트스트림을 생성하는 방법에 있어서, 다객체 오디오 신호의 부호화 장치로부터 생성된 공간큐 정보를 입력받는 단계, 다객체 오디오 신호에 대한 프리셋 정보를 입력받는 단계, 그리고 공간큐 정보 및 프리셋 정보를 이용하여 부가정보 비트스트림을 생성하는 단계를 포함하고, 부가정보 비트스트림은 헤더 영역 및 프레임 영역을 포함하며, 프리셋 정보는 상기 프레임 영역에 포함되는 것을 또 다른 특징으로 한다.

또한 본 발명은 다객체 오디오 신호의 부가정보 비트스트림을 분석하는 방법에 있어서, 부가정보 비트스트림을 입력받는 단계, 부가정보 비트스트림을 이용하여 공간큐 정보를 추출하는 단계, 그리고 부가정보 비트스트림을 이용하여 프리셋 정보를 추출하는 단계를 포함하고, 부가정보 비트스트림은 헤더 영역 및 프레임 영역을 포함하며, 프리셋 정보는 프레임 영역에 포함되는 것을 또 다른 특징으로 한다.

또한 본 발명은 다객체 오디오 신호의 부호화 방법에 있어서, 다수의 객체로 구성된 오디오 신호를 다운믹스하고, 다수의 객체로 구성된 오디오 신호에 대한 공간큐 정보를 생성하는 단계, 그리고 공간큐 정보 및 오디오 신호에 대한 프리셋 정보를 이용하여 부가정보 비트스트림을 생성하는 단계를 포함하고, 부가정보 비트스트림은 헤더 영역 및 프레임 영역을 포함하며, 프리셋 정보는 프레임 영역에 포함되는 것을 또 다른 특징으로 한다.

또한 본 발명은 다객체 오디오 신호의 복호화 방법에 있어서, 부가정보 비트스트림을 입력받고, 부가정보 비트스트림에 포함된 공간큐 정보 및 프리셋 정보를 추출하는 단계, 다운믹스된 입력 오디오 신호로부터 공간큐 정보를 이용하여 다수의 객체로 구성된 오디오 신호를 복원하는 단계, 그리고 프리셋 정보를 이용하여 다수의 객체로 구성된 오디오 신호를 다수의 채널로 구성된 오디오 신호로 렌더링하는 단계를 포함하고, 부가정보 비트스트림은 헤더 영역 및 프레임 영역을 포함하며, 프리셋 정보는 프레임 영역에 포함되는 것을 또 다른 특징으로 한다.

전술한 바와 같은 본 발명에 의하면, 다객체 오디오 신호를 부호화할 때 생성되는 부가정보 비트스트림의 프레임 영역에 프리셋 정보를 포함시킴으로써, 다객체 오디오 신호가 재생되는 도중에도 편집자 혹은 사운드 엔지니어의 의도에 따라 설정된 음향 장면 정보를 변경시킬 수 있는 장점이 있다.

도 1은 본 발명의 일 실시예에 의한 다객체 오디오 신호의 부호화, 복호화 및 렌더링 과정을 나타내는 구성도.

도 2는 다객체 오디오 신호를 이용하여 생성되는 부가정보 비트스트림의 구조를 설명하기 위한 구조도.

도 3은 본 발명의 일 실시예에서 사용되는 부가정보 비트스트림의 구조를 설명하기 위한 구조도.

도 4는 본 발명의 다른 실시예에서 사용되는 부가정보 비트스트림의 구조를 설명하기 위한 구조도.

도 5는 본 발명의 또 다른 실시예에 의한 부가정보 비트스트림의 구조를 설명하기 위한 구조도.

전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다.

본 발명은 다채널/다객체 오디오 신호의 압축/복원 기술에 관한 것이다. 다객체 오디오 부보화란 서로 상이한 오디오 객체들을 압축 전송하는 기술로, 최근에 소개된 공간큐 기반 오디오 부호화 방식(SAC : Spatial Audio Coding)을 기반으로 하고 있다.

다객체 오디오 신호의 부호화 과정에서는 다수의 객체로 구성된 오디오 신호를 입력받고, 입력된 오디오 신호를 다운믹스(downmix)하여 복호화기에 전달한다. 이 때, 부가정보 비트스트림(side information bitstream)이 다운믹스된 신호와 함께 전송된다. 부가정보 비트스트림에는 입력된 다객체 오디오 신호를 재생하는 데 필요한 정보들이 포함되어 있는데, 그 중 하나가 프리셋 정보(Preset-ASI : Preset Audio Scene Information)이다. 다객체 오디오 신호를 청취하는 청취자는 편집자 또는 사운드 엔지니어 등의 설정에 의해 제공되는 이러한 프리셋 정보를 통해 다양한 음향 장면을 즐길 수 있다.

부가정보 비트스트림은 크게 헤더 영역과 프레임 영역으로 나누어지는데, 이 프리셋 정보는 헤더 영역에만 포함되어 있다. 이에 따라 청취자에게는 헤더 영역에 포함된 디폴트(default) 프리셋 정보만이 제공되며, 이후 프리셋 정보의 업데이트는 불가능하다.

본 발명은 이러한 문제점을 해결하기 위한 것으로, 다객체 오디오 신호의 재생 중에 프리셋 정보를 갱신함으로써 청취자에게 보다 실감나는 음향 장면을 제공하는 기술에 관한 것이다. 이를 위해 본 발명에서는 부가정보 비트스트림의 프레임 영역에 프리셋 정보가 포함될 수 있도록 한다. 프레임 영역에 프리셋 정보를 포함하여 전송함으로써, 청취자는 헤더 영역에 포함되어 있던 디폴트 프리셋 정보뿐 만 아니라, 각 프레임에 대응되는 최적의 프리셋 정보를 제공받을 수 있다.

예를 들어, 재생 초반에는 메인 보컬과 함께 전방에 위치하던 코러스 음원이 업데이트된 프리셋 정보에 의해 특정 시간대에서는 후방에 위치할 수 있게 된다. 다른 예로서, 코러스 음원의 위치를 시간에 따라 전후방으로 이동시키는 것도 가능하다. 이러한 기술을 통해 제공되는 오디오 신호의 음장감을 증대시키거나 보다 다이나믹한 음향 장면을 구성하는 것이 가능하다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.

도 1은 본 발명의 일 실시예에 의한 다객체 오디오 신호의 부호화, 복호화 및 렌더링 과정을 나타내는 구성도이다.

도 1에 나타난 바와 같이, 본 발명의 일 실시예에 의한 다객체 오디오 신호의 부호화, 복호화 및 렌더링은 SAOC 인코더(102), 비트스트림 포맷터(104), SAOC 디코더(106), 비트스트림 분석기(108), 렌더링 매트릭스 생성기(110) 및 렌더러(112)에 의해 이루어진다.

다객체 공간큐 기반 코딩(SAOC : Spatial Audio Object Coding) 방식에서는 오디오 객체로서 입력되는 신호를 부호화한다. 각 오디오 객체들은 디코더에 의해 복원된다. 복원된 객체들은 각각 독립적으로 재생되지 않으며, 특정 음향 장면을 구성하기 위해 오디오 객체에 대한 정보를 이용해 렌더링되어 다양한 채널을 갖는 다객체 오디오 신호로 출력된다. 따라서, 본 발명의 일 실시예에 의한 다객체 오디오 신호를 이용해 특정 음향 장면을 얻기 위해서는 입력되는 오디오 객체에 대한 정보를 렌더링 할 수 있는 장치가 필요하다.

SAOC 인코더(102)는 공간큐 기반의 인코더로서, 입력 오디오 신호를 오디오 객체로서 부호화한다. 여기서, SAOC 인코더(102)로 입력되는 오디오 객체는 모노 또는 스테레오 신호가 될 수 있다. SAOC 인코더(102)는 입력되는 1개 이상의 오디오 객체로부터 다운믹스된 신호를 출력한다. 여기서, 출력되는 다운믹스 신호는 모노 또는 스테레오 신호이다. 또한 SAOC 인코더(102)는 다운믹스된 신호의 디코딩에 필요한 다객체 관련 공간큐 파라미터(Spatial Cue Parameter)를 추출하여 비트스트림 포맷터(104)로 전송한다. SAOC 인코더(102)는 "이질적인 레이아웃 SAOC" 또는 "Faller" 기법을 이용하여 입력되는 오디오 객체 신호를 분석할 수 있다.

추출된 공간큐 파라미터는 공간큐 정보를 포함한다. 공간큐는 일반적으로 주파수 영역 부밴드 단위로 분석되어 추출된다. 여기서, 공간큐(spatial cue)란 오디오 신호를 부호화 및 복호화하는 과정에서 이용되는 정보로서, 주파수 영역에서 추출되며, 입력되는 두 신호의 크기 차, 지연 차, 상관성 등의 정보를포함한다. 예를 들어, 오디오 신호의 파워 이득 정보를 나타내는 오디오 신호간 레벨차(Channel Level Difference, CLD), 오디오 신호간 에너지비(Inter-Channel Level Difference, ICLD), 오디오 신호간 시간차(Inter Channel Time Difference, ICTD), 오디오 신호간 상관성 정보를 나타내는 오디오 신호간 상관성(Inter Channel Correlation, ICC) 및 가상음원 위치 정보(Virtual Source Location Information)가 있으며, 이에 한정되지 않는다.

공간큐 파라미터에는 공간큐 및 오디오 신호 복원 및 제어를 위한 정보가 포함된다. 특히 공간큐 파라미터에 포함된 헤더정보는 다양한 채널로 구성된 다객체 오디오 신호의 복원 및 재생을 위한 정보를 포함하며, 오디오 객체에 대한 채널 정보 및 해당 오디오 객체의 ID를 정의함으로써 모노, 스테레오, 다채널의 오디오 객체에 대한 복호화 정보를 제공할 수 있다. 예를 들어, 헤더정보에는 부호화된 특정 오디오 객체가 모노 오디오 신호인지 스테레오 오디오 신호인지 구분될 수 있도록 하는 ID 및 객체별 정보가 정의될 수 있다.

비트스트림 포맷터(104)는 SAOC 인코더(102)로부터 전송된 공간큐 파라미터와 외부로부터 입력된 프리셋 정보(Preset-ASI)를 이용하여 부가정보 비트스트림(SAOC 비트스트림)을 생성한다.

SAOC 디코더(106)는 비트스트림 분석기(108)로부터 출력되는 공간큐 파라미터를 이용하여, SAOC 인코더(102)로부터 출력되는 다운믹스된 신호를 다객체 오디오 신호로 복원한다. SAOC 디코더(106)는 MPEG Surround 복호화기, BCC 복호화기 등으로 대체될 수 있다.

비트스트림 분석기(108)는 비트스트림 포맷터(104)로부터 출력된 부가정보 비트스트림을 분석하여 공간큐 파라미터 및 프리셋 정보를 추출한다. 추출된 공간큐 파라미터는 SAOC 디코더(106)에, 프리셋 정보는 렌더링 매트릭스 생성기(110)에 각각 전달된다.

랜더링 매트릭스 생성기(110)는 비트스트림 분석기(108)로부터 출력된 프리셋 정보와 외부로부터 입력된 사용자 제어(User Control)를 이용하여 랜더링 매트릭스를 생성한다. 만약 비트스트림 분석기(108)로부터 프리셋 정보가 전송되지 않으면 프리셋 정보는 기본값(default)으로 설정된다.

랜더러(112)는 랜더링 매트릭스 생성기(110)로부터 출력된 랜더링 매트릭스를 이용하여 SAOC 디코더(106)로부터 출력된 다객체 오디오 신호를 다채널 오디오 신호로 랜더링한다.

도 1을 통해, 본 발명의 일 실시예에 의한 다객체 오디오 신호의 부호화, 복호화 및 렌더링 과정을 설명하였다. 하지만 본 발명에 의한 부가정보 비트스트림이 반드시 도 1에 나타난 실시예에만 한정되어 적용되는 것은 아니다. 즉, 다객체 신호의 처리 과정에 있어서, 부가정보 비트스트림에 포함된 프리셋 정보를 이용하여 다객체 신호들을 렌더링 하는 구조를 포함하는 경우라면 본 발명이 적용될 수 있다.

도 2는 다객체 오디오 신호를 이용하여 생성되는 부가정보 비트스트림의 구조를 설명하기 위한 구조도이다.

도 2에 나타난 바와 같이, 부가정보 비트스트림은 헤더 영역과 프레임 영역을 포함한다. 헤더 영역에는 앞서 설명한 헤더 정보, 즉 오디오 객체에 대한 채널 정보, 해당 오디오 객체의 ID 정보, 채널별 오디오 객체 수 등의 정보가 포함된다. 그리고 프레임 영역에는 실제 오디오 신호에 관한 정보들, 예를 들면 공간큐 정보 등이 포함된다.

여기서 프리셋 정보란, 오디오 객체 제어정보 및 스피커의 레이아웃 정보를 나타낸다. 구체적으로, 프리셋 정보는 스피커의 레이아웃 정보 및 스피커의 레이아웃 정보에 적합한 오디오 장면을 구성하기 위한 각 오디오 객체의 위치 및 레벨정보 등을 포함한다. 프리셋 정보는 직접적으로 표현되거나, 매트릭스(행렬) 형태로 표현될 수 있다.

직접적으로 표현되는 경우, 프리셋 정보는 재생 시스템의 레이아웃(모노/스테레오/멀티 채널), 오디오 객체 ID, 오디오 객체 레이아웃 (모노 or 스테레오), 오디오 객체 위치, 방위(Azimuth, 0 degree ~ 360 degree), 스테레오 재생시 높낮이(Elevation, -50 degree ~ 90 degree), 오디오 객체 레벨정보(-50 dB ~ 50dB)를 포함할 수 있다.

매트릭스로 표현되는 경우, 프리셋 정보는 아래 수학식 1을 만족하는 P 행렬의 형태를 갖게 된다. 매트릭스로 표현된 프리셋 정보는 직접적으로 표현되는 경우와 마찬가지로 각 오디오 객체들이 출력 채널에 매핑되기 위한 파워 이득 정보, 또는 위상 정보를 요소 벡터로 포함하고 있다.

[규칙 제26조에 의한 보정 11.06.2009] 
수학식 1

프리셋 정보는 동일한 컨텐츠에 대하여 서로 다른 재생 시나리오에 맞게 여러가지 음향 장면을 정의할 수 있다. 예를 들어, 스테레오/다채널(5.1, 7.1 등) 재생 시스템에 적절한 몇 가지 유용한 프리셋 정보가 컨텐츠 제작자의 의도 또는 재생 서비스의 목적에 맞게 생성되어 전송될 수 있다.

부가정보 비트스트림에는 다객체 오디오 신호의 랜더링을 위한 프리셋 정보가 포함된다. 그런데 종래에는 이러한 프리셋 정보가 부가정보 비트스트림의 헤더 영역에만 포함되어 있고, 프레임 영역에는 포함되어 있지 않았다. 따라서 사용자(또는 청취자)는 헤더 영역에 포함되어 있는 디폴트 프리셋 정보만을 이용하여 다객체 오디오 신호를 감상할 수 있었다.

도 3은 본 발명의 일 실시예에서 사용되는 부가정보 비트스트림의 구조를 설명하기 위한 구조도이다.

도 2를 통해 설명한 바와 같이, 종래에는 헤더 영역에만 디폴트 프리셋 정보가 포함되어 있으므로 재생 도중 변화하는 환경이나, 컨텐츠 제작자나 편집자, 사운드 엔지니어의 의도에 맞는 다양한 프리셋 정보를 제공할 수 없었다. 따라서 본 발명의 일 실시예에 의한 부가정보 비트스트림은 헤더 영역뿐만 아니라 프레임 영역에도 프리셋 정보를 포함할 수 있도록 함으로써, 다객체 영상의 재생 도중 특정한 지점(또는 프레임)에서 헤더 영역에 포함되었던 디폴트 프리셋 정보와는 다른 프리셋 정보의 제공이 가능하도록 한다.

도 3을 참조하면, 부가정보 비트스트림은 헤더 영역과 프레임 영역을 포함한다. 헤더 영역에는 헤더 정보와 디폴트 프리셋 정보가 포함되어 있다. 헤더 정보에 대해서는 앞에서 언급한 바 있으므로 자세한 설명은 생략한다. 디폴트 프리셋 정보는 다객체 오디오 신호의 재생 초기에 사용자에게 제공될 수 있다.

한편, 프레임 영역은 하나 이상의 프레임을 포함한다. 이는 도 3에서 제 1프레임, 제 2프레임, … 등으로 나타나 있다. 각각의 프레임 영역에는 여러가지 정보가 포함될 수 있으나, 도 3에서는 설명의 편의를 위해 공간큐 정보 및 프리셋 정보가 포함된 것으로 나타내었다. 도 3에 나타난 바와 같이, 제 1프레임 영역에는 제 1공간큐 정보뿐만 아니라 제 1프리셋 정보가 포함되어 있다. 마찬가지로 제 2프레임 영역에는 제 2공간큐 정보와 함께 제 2프리셋 정보가 포함되어 있다.

이렇게 각 프레임 영역에 프리셋 정보를 포함할 수 있는 공간을 할당함으로써, 다객체 오디오 신호의 재생 중간에서 해당 프레임에 대응하는 프리셋 정보를 제공하는 것이 가능하다. 예를 들어, 도 1에 나타난 비트스트림 분석기(108)는 비트스트림 포맷터(104)로부터 전송받은 부가정보 비트스트림을 순차적으로 분석할 것이다. 헤더 영역을 분석하여 디폴트 프리셋 정보를 추출한 비트스트림 분석기(108)는 계속해서 프레임 영역을 분석하면서 해당 프레임 영역에 포함된 프리셋 정보를 추출하고, 추출된 프리셋 정보를 랜더링 매트릭스 생성기(110)로 제공한다. 따라서 각 프레임 영역이 분석될 때마다 새로운 프리셋 정보를 추출하고 이를 해당 지점(프레임)에서의 다객체 오디오 신호 렌더링에 이용하는 것이 가능하다.

이러한 프레임별 프리셋 정보의 제공을 통해, 보다 다양한 프리셋 정보의 활용이 가능하다. 예를 들어, 재생 초기에는 헤더 영역에 포함된 디폴트 프리셋 정보를 이용하여 각 프레임을 렌더링 하다가, 본 발명의 일 실시예에 의한 새로운 프리셋 정보를 포함하는 프레임이 나타나면, 해당 프레임에 대해서만 새로운 프리셋 정보를 적용하거나, 이후 렌더링되는 모든 프레임에 대해서 새로운 프리셋 정보를 적용할 수도 있다. (물론, 이 프리셋 정보와 다른 또 다른 프리셋 정보를 포함하는 프레임에 대해서는, 그 또 다른 프리셋 정보를 적용할 수 있다.) 또는 헤더 영역에 포함된 디폴트 프리셋 정보를 활용하는 방법으로서, 시청자로 하여금 헤더 영역의 디폴트 프리셋 정보 및 해당 프레임이 포함하고 있는 새로운 프리셋 정보를 모두 제공함으로써 보다 다양한 프리셋 정보를 제공하는 것도 가능하다.

도 4는 본 발명의 다른 실시예에서 사용되는 부가정보 비트스트림의 구조를 설명하기 위한 구조도이다.

도 4를 참조하면, 도 3과 마찬가지로 부가정보 비트스트림은 헤더 영역과 프레임 영역으로 나누어진다. 헤더 영역은 헤더 정보와 디폴트 프리셋 정보를 포함한다. 프레임 영역은 제 1프레임, 제 2프레임, … 등 하나 이상의 프레임을 포함한다.

도 4에서, 제 1프레임은 복수 개의 프리셋 정보, 즉 제 1프리셋 정보, 제 2프리셋 정보 등을 포함한다. 이처럼 한 프레임 당 복수 개의 프리셋 정보를 포함함으로써, 사용자는 제 1프레임에 해당하는 구간에서 보다 다양한 프리셋 정보를 제공받을 수 있다.

한편 도 4에는 도시되어 있지 않으나, 제 2프레임 또한 제 1프레임과 마찬가지로 복수 개의 프리셋 정보를 포함할 수 있으며, 반대로 아무런 프리셋 정보도 포함하지 않을 수 있다.

도 4에는 도시되어 있지 않으나, 각 프레임들이 규칙적으로 프리셋 정보를 포함하게 하는 것도 가능하다. 예를 들어, 제 1프레임에는 3개의 프리셋, 제 2프레임에는 0개의 프리셋, 제 3프레임에는 3개의 프리셋, 제 4프레임에는 0개의 프리셋, … 과 같이 프리셋 정보를 포함시킬 수 있다. 이렇게 규칙적인 방법 외에, 도 4를 통해 설명한 것과 같이 특정한 프레임 영역에만 프리셋 정보를 포함하게 하는 것도 가능하다. 그 밖에도 적용 가능한 다양한 패턴을 이용하여, 각 프레임에 대응하는 프리셋 정보를 포함하는 하나 이상의 프레임을 프레임 영역에 포함시킬 수 있다.

이와 같이 각 프레임 별로 프리셋 정보가 포함 가능한 영역을 다양하게 설정함으로써, 각 프레임에 해당하는 다객체 오디오 신호에 대하여 보다 다양한 음향 장면 정보의 제공이 가능하게 된다.

도 5는 본 발명의 또 다른 실시예에 의한 부가정보 비트스트림의 구조를 설명하기 위한 구조도이다.

도 5를 참조하면, 부가정보 비트스트림(SAOC 비트스트림)은 프리셋 정보 영역(Preset-ASI Region)을 포함한다. 프리셋 정보 영역은 다수의 프리셋 정보(Preset-ASI(default), Preset-ASI (1) 내지 (N))를 포함한다. 그리고 하나의 프리셋 정보는 오디오 객체의 제어정보 및 레이아웃 정보 등을 포함한다. 앞서 설명한 바와 같이, 프리셋 정보는 직접적으로 표현되거나 매트릭스의 형태로 표현될 수 있다. 직접적으로 표현된 경우에는 객체 ID, 객체 타입, 위치, 스피커 레이아웃, 사운드 레벨 정보 등이 객체 수 만큼 포함된다. 또한 도 5와 같이, 프리셋 정보는 이러한 요소들을 요소 벡터로 갖는 매트릭스 형태로도 표현될 수 있다.

전술한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.