ISSN 1598-0170 (Print) ISSN 2287-1136 (Online) http://www.jksii.or.kr 다채널 멀티미디어 전송용 임베디드 Audio Video Bridging 플랫폼 설계 및 구현 Design and Implementation of an Embedded Audio Video Bridging Platform for Multichannel Multimedia Transmission 위 정 욱 1 박 경 원 2 권 기 원 2 송 병 철 2 강 민 구 3* Jungwook Wee Kyoungwon Park Kiwon Kwon Byoungchul Song Mingoo Kang 요 약 본 논문에서는 고품질 멀티미디어 데이터를 IEEE 802.1 Audio Video Bridging 기반의 네트워크를 통해 스마트 자동차와 스마트 홈 및 스마트 공연장에서 실시간으로 송수신할 수 있는 임베디드 플랫폼을 설계를 통해 정밀한 시간 동기화 표준인 IEEE 802.1AS와 QoS 보장을 위한 자원할당 표준인 IEEE 802.1Qat 프로토콜 분석을 통해 성능을 검증한다. 이를 위해 MRP(Multiple Registration Protocol), MMAP(Multicast Address Acquisition Protocol), IEEE 1722, 1722.1 등 AVB의 핵심 Layer-2 프로토콜을 리눅스 운영체제를 기반으로 구현한 다. 아울러 상용 AVB 엔드포인트와 연동 실험을 통해 상호 호환성 및 멀티미디어 스트림의 실시간 송수신이 가능함을 보인다. 주제어 : AVB, AVB 멀티채널 플랫폼, QoS(Quality of Service), 상호호환성, 실시간 전송, 엔드포인트 ABSTRACT In this paper, we designed an embedded audio video bridging (AVB) platform based on IEEE 802.1BA for real-time multimedia transmission in smart-car, smart-home, smart-theater, and then evaluated a performance of the implemented platform by analysis of IEEE 802.1AS (time synchronization protocol) and IEEE 802.1Qat (stream reservation protocol). Especially, the AVB Layer-2 protocol of MRP(Multiple Registration Protocol), MMAP(Multicast Address Acquisition Protocol), IEEE 1722, 1722.1 etc. was and implemented by linux based operating system. It is shown by interoperability tests with commercial products that the implemented platform transmits real-time multichannel AV data over AVB networks for Multichannel Multimedia Transmission. keyword : AVB, Mutlichannel HD-platform, QoS(Quality of Service), Inter-operability, Realtime Transmission, endpoint 1. 서 론 가정용 홈시어터, 공연 및 건물용 AV(Audio Video), 차 량용 AV 등의 시스템 구성을 위해서는 미디어 재생기, 앰프, 스피커 등 다양한 AV 기기 사이의 신호 전달을 위 1 콘텐츠응용연구센터, 전자부품연구원, 서울, 121-835, Korea. 2 네트워크융합연구센터, 전자부품연구원, 서울, 121-835, Korea. 3 정보통신학부, 한신대학교, 오산, 447-791, Korea. * Corresponding author (kangmg@hs.ac.kr) [Received 1 September 2014, Reviewed 22 September 2014, Accepted 21 January 2015] 본 연구는 미래창조과학부 및 한국산업기술평가관리원의 산 업융합원천기술개발사업(정보통신)의 일환으로 수행하였음. [10041861 HD급 미디어의 양방향 실시간 전송 및 제어가 가 능한 유무선 i-avb 시스템 기술 개발, AVB기반 멀티 HD급 AV 콘텐츠 처리 및 듀얼 전송 복합 모듈 개발] 본 논문은 2014년도 인터넷정보학회 춘계학술발표대회 우수 논문 추천에 따라 확장 및 수정된 논문임. 해 각각의 대응 기기는 별도의 전용 케이블(Copper, Optical, HDMI 등)을 사용해야 한다. 그러나 이러한 전용 케이블의 사용은 배선의 복잡도와 유지 관리의 어려움을 증가시키며, 특히 전문가용 고품질 시스템의 경우, 고가 케이블에 의한 비용 상승이 문제점 으로 지적받고 있다[1]. 전통적인 AV 시스템의 연결 복잡성 문제를 해결하기 위해 해외의 네트워크 및 오디오 전문 업체들은 간단한 LAN(Local Area Network) 케이블을 이용하여 오디오 신 호를 디지털로 전송할 수 있는 AoE(Audio over Ethernet) 기술을 개발하였다[2-4]. 그러나 이와 같은 AoE 기술은 각 개발 업체의 자체 기 술을 이용하고 있어, 기기들 간의 호환이 되지 않는 문제 가 있다. 이런 문제를 해결하기 위해 최근 IEEE(Institute Electrical and Electronics Engineers) 802.1 작업 그룹에서 AVB(Audio Video Bridging) 기술을 표준화 하였다[5]. Journal of Internet Computing and Services(JICS) 2015. Apr.: 16(2): 01-06 1 http://dx.doi.org/10.7472/jksii.2015.16.2.01
AVB는 Layer 2 네트워크 기반으로 비디오 데이터와 함께 고품질의 압축/비압축 오디오를 전송하는 기술로 두 껍고 무거운 아날로그 케이블을 대체하면서 고품질의 AV 데이터를 실시간으로 전송할 수 있는 기술이다. 이러한 장점으로 인해 최근에는 차량 내 네트워크를 AVB를 이용하여 구성하려는 요구가 증가하고 있다[6]. 본 논문에서는 AVB 네트워크를 통해 HD 영상 및 고 품질 오디오 스트림을 실시간으로 전송할 수 있는 H/W 및 S/W 플랫폼을 설계하고, 시간 동기화 표준인 IEEE 802.1AS와 QoS 보장을 위한 자원할당 프로토콜인 IEEE 802.1Qat 기반의 성능평가를 통해 설계된 플랫폼을 검증 하고 분석한다. 그림 1은 AVB 앤드포인트의 프로토콜 스택을 나타낸 다[12]. 이더넷 MAC의 상위에 위치하는 IEEE 802.1AS 표 준은 AVB 지원을 위해 기존의 IEEE 1588 PTP(Precise Time Protocol)의 정확도 및 정밀도를 개선한 표준으로 gptp(generalized PTP)라고 하며, AVB 네트워크에 포함된 모든 앤드포인트의 정밀한 시간 동기화를 수행하고 스트 림 전송에 필요한 시간 정보를 제공한다[7]. 2. AVB 기반 HD 영상 실시간 전송 플랫폼 설계 2.1 AVB 표준 및 프로토콜 스텍 2011년 말에 완료된 IEEE 802.1BA 표준은 AVB 기능 을 지원할 수 있는 브리지 및 단말(End-point; 앤드포인트) 에 필요한 기능을 정의하고 있다. AVB를 구성하기 위한 관련 표준으로는 표 1에 나타낸 바와 같이 IEEE 802.1AS, IEEE 802.1Qat, IEEE 802.1Qav 등과, 스트림 전송 및 제어를 위한 IEEE 1722/1733/1722.1 이 있다[7-11]. (표 1) AVB 관련 표준분석 (Table 1) Standards of AVB analysis 표준 내 용 IEEE 802.BA Audio Video Bridging Systems IEEE 802.1Qav IEEE 802.1Qat IEEE 802.1AS IEEE 1722 IEEE 1733 IEEE 1722.1 Forwarding and Queuing Enhancements for Time- Sensitive Stream Stream Reservation Protocol Timing and Synchronization for Time-Sensitive Applications in Bridged Local Area Network Layer 2 Transport Protocol for Time-Sensitive Applications in a Bridged Local Area Network Layer 3 Transport Protocol for Time-Sensitive Applications in a Bridged Local Area Network Enumeration, Connection Management & Control Protocol for AVTP Devices (그림 1) AVB 프로토콜 스택분석 (Fig.1) AVB protocol stack analysis 또한, IEEE 802.1Qav 표준은 정밀한 시간 동기화가 필 요한 스트림의 traffic shaping을 위해 forwarding 및 queueing에 대한 기술을 정의하고 있다[8]. IEEE 802.1Qat 표준은 멀티미디어 스트림 전송 품질 보장을 위한 트래픽 자원 예약 방법인 SRP(Stream Reservation Protocol)에 대한 표준이다[9]. IEEE 1722와 IEEE 1733 표준은 gptp로부터 제공받은 시간 정보를 이용하여 멀티미디어 스트림을 전송할 수 있는 트랜스포트 프로토콜(transport protocol; TP)을 정의 하고 있다[10]. IEEE 1722.1 표준은 IEEE 1722 TP를 사용 하는 앤드포인트의 제어/관리를 위한 프로토콜을 정의하 고 있다[11]. 2.2 AVB 하드웨어 플랫폼 설계 및 구현 AVB 네트워크를 통해 실시간 고품질 AV 데이터를 송 수신하기 위해서는 먼저 Full HD 영상 스트림을 입출력 할 수 있는 영상 인터페이스 블록, 영상 데이터 인코딩 및 2 2015. 4
디코딩 블록, 그리고 스트림을 전송하는 네트워크 인터페 이스 블록이 필요하다. 본 논문에서는 이와 같은 블록들을 그림 2의 구조와 같이 설계하였다. 또한, AV 입출력을 위한 인터페이스로 는 2채널 composite 오디오 입력과 SPDIF 입력 인터페이 스, 그리고 4채널 composite 오디오 출력 인터페이스로 구 성되었있다. 비디오 입력을 위한 composite 2채널, HDMI 1채널과 비디오 출력을 위한 HDMI 1채널로 구성되었다. 프로세 서 블록은 입력된 비디오 데이터의 인코딩/디코딩과 AVB 네트워크 전송을 위한 트랜스포트 패킷 구성(IEEE 1722 AVTP), 자원할당(SRP) 등을 수행한다. (그림 2) AVB H/W 플랫폼구조의 분석 및 설계 (Fig. 2) Analysis and design of AVB H/W platform 세서에 연결하였다. 또한, 외부 기기 연결을 위한 USB, UART, SPI, GPIO 등을 포함하였다. 멀티미디어 스트림은 비디오의 경우 H.264 압축 방식을 사용하였으며, 오디오의 경우 비압축 PCM 데이터를 사용하였다. 그림 3에 본 논문에서 구현된 AVB H/W 플랫폼을 나타내었다. 2.3 AVB 임베디드 소프트웨어 플랫폼 구현 AVB 임베디드 소프트웨어(S/W)를 구현하기 위해 본 논문에서는 Open AVB 기반의 프로토콜 스텍을 임베디드 리눅스에 포팅하였다. Open AVB는 드라이버 라이브러리를 통해 NIC(Network Interface Card)에 접근하여 H/W 타임 스템퍼 (Time Stamper)를 설정할 수 있다. 본 논문에서 구현된 S/W에서는 PTP 장치를 활용하여 NIC의 시간 정보를 획득한다. IEEE 802.1Qat 지원을 위한 SRP 프로토콜은 데몬 형태로 구현되어 독립적으로 동작 하며, 송/수신 응용프로그램은 로컬 UDP 포트(기본 7500) 를 열어 SRP 데몬과 통신한다. 또한, 응용프로그램은 gptp 데몬을 통하여 동기화된 시간을 확보해야 하기 때문에 공유 메모리를 통하여 동 기화된 시간 정보를 공유한다. 응용프로그램은 IEEE 1722 AVTP 패킷을 생성하여 다채널 오디오 또는 AV 데 이터를 페이로드로 전송한다. (그림 3) 구현된 AVB H/W 플랫폼 (Fig. 3) Implemented AVB H/W platform (그림 4) AVB 임베디드 S/W 프로토콜 스택분석 (Fig. 4) AVB embedded S/W protocol stack analysis AVB 네트워크 인터페이스 블록은 gptp와 IEEE 802.1Qav 동작을 수행하며 PCI express를 이용하여 프로 그림 4는 구현된 임베디드 프로토콜 스텍을 나타낸다. 패킷 전송은 Socket을 통하여 전송하는 것이 아니라, 한국 인터넷 정보학회 (16권2호) 3
DMA 메모리를 최대 패킷 크기로 분할한 후, 각 패킷을 AVTP 패킷 포맷으로 초기화하고 있다. AV 데이터 전송부분에 오디오 및 비디오를 삽입하여 전송한다. 각 패킷은 gptp 데몬에서 확보한 동기화된 시 간 정보를 삽입하여 전송하며, 그림 5에 이를 도식화하여 나타내었다. 3. AVB 플랫폼 성능 및 프로토콜 분석 본 절에서는 상용제품과의 연동 테스트를 통해 설계된 AVB 기반의 H/W 및 S/W 플랫폼을 검증한다. 본 연구를 위한 검증환경에 사용된 상용제품은 AVnu Alliance에서 AVB 제품의 호환성 검증을 위해 제공하고 있는 Inter Operability Laboratory VIOLETT 테스트 툴의 네트워크 카드 및 SDK를 이용하였다[13]. 그림 6은 구현된 AVB 플랫폼을 Talker로 활용하여 24bit 비압축 오디오 8채널을 송신하여 상용 AVB 단말에 서 실시간으로 수신되는 오디오 파형을 도시한다. 그림에서 보면 구현된 임베디드 플랫폼이 AVB 프로 토콜을 통해 정상적으로 네트워크 오디오 장치로 인식되 고, 다채널 오디오 데이터를 실시간으로 수신하는 것을 확인할 수 있다. AVB 표준의 경우 gptp와 SRP가 정상 동작하지 않으 면 장치 인식 및 스트림 전송이 불가능하기 때문에 본 논 문에서 구현된 임베디드 AVB 플랫폼이 상용 제품과 연 동됨과 동시에 정상 동작함을 알 수 있다. 3.1 AVB 검증 플랫폼 분석 및 프로토콜 설계 그림 5는 구현된 AVB 플랫폼이 수신모드(Listener)로 동작하고, 상용제품이 송신모드(Talker)로 동작할 때의 프 로토콜 교환 절차를 보여준다. AVB 장치가 연결되면 가 장 먼저 gptp 프로토콜로 장치간의 시간오차가 500ns 이 하가 되도록 시간동기를 수행한다(1). 시간동기화 과정 이 완료되면 IEEE 1722.1 프로토콜로 AVB 장치 탐색을 수행하고 사용자의 연결 요청에 따라 두 장치를 연결한 다(2). 그리고 손실없이 데이터를 전송하기 위해 SRP로 두 장치간의 전송 대역폭을 예약한 후(3), 오디오 패킷을 생 성하여 Listener로 전송한다. (그림 6) AVB 상호호환성 성능분석 결과화면 (Fig. 6) Inter-operability test of AVB devices 그림 7은 상용 AVB 스위치 2개와 상용 AVB 오디오 단말 및 임베디드 AVB 플랫폼을 이용하여 오디오 스트 림의 지연 성능을 계측기로 측정한 결과를 보여준다. 1 2 3 (그림 5) 프로토콜 동작분석 결과화면 분석 (Fig. 5) Analysis for operation of AVB protocol (그림 7) 송수신 단말간 지연시간 측정결과 분석화면 (Fig. 7) Analysis of time-delay between 2 end-points 4 2015. 4
3.2 AVB 플랫폼 및 프로토콜의 결과고찰 및 분석 본 연구에서 설계한 AVB 검증 플랫폼 및 프로토콜의 Function generator를 이용하여 정현파를 생성하고 구현된 플랫폼의 오디오 인터페이스를 통해 입력함과 동시에 계 측기에 연결하였다. 이러한 상용 AVB 스위치 2개를 순차적으로 통과하여 상용 단말을 통해 수신되는 오디오 스트림 출력을 계측 기에 연결하여 비교 측정하였다. 그림에서 보면 송신된 정현파와 수신된 정현파 사이 에 약 2.27ms의 시간 지연이 발생한 것을 알 수 있다. 이 때의 지연은 네트워크에서의 지연뿐만 아니라 오디오 코 덱 칩에서 발생하는 지연이 포함된 값을 나타낸다. 그림에는 스위치 2개를 통과하였을 경우만 도시하였 으나, 스위치 1개만 통과하였을 경우에도 동일한 지연시 간이 측정되었다. 스위치 1개를 통과했을 경우나, 2개 통과할 경우 지연 시간이 동일하게 나타나는 것으로 보아, 실제 네트워크 에서의 지연시간은 계측기의 오차범위 이내로 작을 것이 라고 예상된다. 4. 결 론 본 논문에서는 다채널 멀티미디어 데이터를 실시간으 로 전송할 수 있는 임베디드 AVB 플랫폼을 설계하고 구 현하였으며, 기존 상용 제품과의 연동 실험을 통해 구현 된 AVB 플랫폼의 상호호환성과 성능을 확인하였다. 현재 상용제품의 경우 오디오 스트림 송수신만 지원하 기 때문에 오디오 신호를 이용하여 구현된 플랫폼을 검 증하였다. 이러한 AVB 기술은 비디오 스트림도 오디오와 동일 한 프로토콜을 사용하므로 정확한 상호호환성 검증을 위 해서는 향후에 출시될 비디오 AVB 앤드포인트 제품과의 연동 실험이 필요하다. 향후, 스마트 홈뿐만 아니라 차량 네트워크를 AVB로 이용하려는 요구가 증가하고 있한 임베디드 AVB 플랫폼 을 활용하면 가정용 홈시어터, 공연 및 건물용 AV(Audio Video), 차량용 AV 등의 시스템 뿐만 아니라 다양한 산업 에서의 활용이 가능할 것으로 보인다. 참 고 문 헌 (Reference) [1] J. Wee, Y. Park, K. Park, B. Song, and W. Jeon, Audio/Video Bridging for Real Time AV Transmission, KICS Information and Communications Magazine, vol. 30, no. 6, pp. 69-76, Jun. 2013. [2] http://www.cobranet.info [3] http://www.ethersound.com [4] N. Bouillot, et al, AES White Paper: Best Practice in Network Audio, J. Audio Eng. Soc., vol. 57, no. 9, Sep. 2009. [5] IEEE, IEEE Standard for Local and Metropolitan Area Networks Audio Video Bridging (AVB) Systems, IEEE Std. 802.1BA-2011, Sep. 2011. [6] S. Tuohy, M. Glavin, C. Hughes, E. Jones, M. Trivedi, and L. Kilmartin, Intra-Vehicle Networks: A Review, IEEE Trans. on Intelligent Transport Systems, vol. PP, no. 99, pp. 1-12, May 2015. [7] IEEE, IEEE Standard for Local and Metropolitan Area Networks Timing and Synchronization for Time-Sensitive Applications in Bridged Local Area Networks, IEEE Std. 802.1AS-2011, Mar. 2011. [8] IEEE, IEEE Standard for Local and Metropolitan Area Networks Virtual Bridged Local Area Networks, Amendment 12: Forwarding and Queuing Enhancements for Time-Sensitive Streams, IEEE Std. 802.1Qav-2010, Jan. 2010. [9] IEEE, IEEE Standard for Local and Metropolitan Area Networks Virtual Bridged Local Area Networks, Amendment 14: Stream Reservation Protocol (SRP), IEEE Std. 802.1Qat-2010, Sep. 2010. [10] IEEE, IEEE Standard for Layer 2 Transport Protocol for Time-Sensitive Applications in Bridged Local Area Networks, IEEE Std. 1722-2011, May. 2011. [11] IEEE, IEEE Standard for Device Discovery, Connection Management, and Control Protocol for IEEE 1722 TM Based Device, IEEE Std. 1722.1 TM - 2013, Aug. 2013. [12] J. Wee, K. Kwon, B. Song, K. Lee, and M. Kang, Design and Analysis of HD Video Stream based Real-time Network Transmission Platform, KSII Fall Conferences, vol. 15, no. 1, pp. 103-104, Jun. 2015. [13] http://www.avnu.org 한국 인터넷 정보학회 (16권2호) 5
저 자 소 개 위 정 욱 (Jungwook Wee), 제1저자 1999년 중앙대학교 전기공학과(공학사) 2001년 중앙대학교 대학원 전기공학과(공학석사) 2011년 중앙대학교 대학원 전자전기공학과(공학박사) 2001년~현재 전자부품연구원 콘텐츠응용연구센터 선임연구원 관심분야 : 유무선 통신시스템, 방송통신융합, 홈 네트워크, 디지털 신호처리 E-mail : jwwee@keti.re.kr 박 경 원 (Kyungwon Park) 1999년 중앙대학교 전기공학과(공학사) 2001년 중앙대학교 대학원 전기공학과(공학석사) 2005년 중앙대학교 대학원 전자전기공학과(공학박사) 2005년~현재 전자부품연구원 네트워크융합연구센터 책임연구원 관심분야 : AVB, 디지털통신, OFDM 기반 셀룰러/LAN 모뎀 E-mail : kwpark@keti.re.kr 권 기 원 (Kiwon Kwon) 1997년 광운대학교 컴퓨터공학과(공학사) 1999년 광운대학교 대학원 컴퓨터공학과(공학석사) 2011년 중앙대학교 대학원 전자전기공학과(공학박사) 1999년~현재 전자부품연구원 네트워크융합연구센터 책임연구원 관심분야 : 방송통신융합시스템, 유무선디지털방송시스템, 디지털통신 E-mail : kwonkw@keti.re.kr 송 병 철 (Byoungchul Song) 1994년 명지대학교 전자공학과(공학사) 1996년 명지대학교 대학원 전자공학과(공학석사) 1996년~현재 전자부품연구원 네트워크융합연구센터 책임연구원 관심분야 : 유무선 네트워크 시스템, 프로토콜, 네트워크 미디어 서비스 E-mail : songbc@keti.re.kr 강 민 구 (Mingoo Kang), 교신저자 1986년 연세대학교 전자공학과(공학사) 1989년 연세대학교 전자공학과(공학석사) 1994년 연세대학교 전자공학과(공학박사) 1985년~1987년 삼성전자 연구원 1997년~1998년 일본 오사카대학교 Post Doc. 2006년~2007년 캐나다 퀸스대학교 Visiting Scholar 2000년~현재 한신대학교 정보통신학부 교수 관심분야 : 디지털방송, 방송통신융합기술 E-mail : kangmg@hs.ac.kr 6 2015. 4