Low-Delay 통신시스템 편집위원 : 윤철식 (ETRI) 고속무선네트워크에서의저지연통신을위한 TCP 이슈분석 임희수, 박세웅 서울대학교, INMC 요약 TCP (Transmission Control Protocol) 는 IP (Internet Protocol) 와더불어인터넷핵심프로토콜중하나로써, 현재 Web, e-mail, FTP 등대다수의애플리케이션에서사용되고있는연결지향적이고신뢰성전송을보장하는전송계층프 로토콜이다. 유 / 무선네트워크가진화함에따라 TCP 역시보다나은서비스를제공하기위해많은연구가이루어졌고, 이를통해최근에는스트리밍과같이지연이중요한애플리케이션에서도많이사용되고있다. 본논문은모바일데이터가폭증함에따라무선네트워크에서의 TCP 성능이큰관심을받고있는현시점에서최근에이슈가되고있는무선네트워크에서 bufferbloat문제의심각성과이를해결하기위한방안에대해다룬다. Ⅰ. 서론 TCP (Transmission Control Protocol)[1] 는 1960년대말인터넷의시초로알려져있는미방위고등연구계획국 (DARPA: Defense Advanced Research Projects Agency) 의 ARPANET 프로젝트에서시작하여 1982년에프로토콜스펙 (RFC 793) 이최초로공개된전송계층프로토콜로써, 네트워크계층프로토콜인 IP (Internet Protocol) 와더불어 TCP/IP라는명칭으로도널리알려져있다. 1983년, BSD Unix 4.2에처음으로 TCP/IP 가지원된이후, 리눅스및윈도우등다수의운영체제에서도 TCP/IP를전송 / 네트워크계층프로토콜로써지원해왔으며, 현재는사용자들이이용하는대다수의애플리케이션 (HTTP, FTP, E-mail, 스트리밍등 ) 에서널리사용되며인터넷을이루는핵심프로토콜로써자리를잡았다. TCP는 < 그림 1> 에서보여지는것과같이, 1982년도프로토콜스펙발표이후, 약 30여년간유 / 무선네트워크성능향상을위해수많은프로토콜이개발및배포되어왔다. 더욱이, 2013 그림 1. TCP 진화방향년도에는기존의하나의연결당하나의경로만지원했던기존 TCP에서보다나은성능향상을위해다중경로를동시에이용할수있게 TCP를확장한 MPTCP (MultiPath TCP) [2] 가발표되었으며, 현재리눅스및안드로이드시스템을통해배포가진행중이며, 활발하게연구가진행되고있다. 최근에스마트폰, 태블릿 PC등의보급으로인해모바일트래픽이폭증하고있다. 이에따라대다수의애플리케이션의전송을담당하는 TCP의성능역시많은관심을받고있다. 본논문에서는기존무선네트워크에서의성능향상관점과최근에이슈가되고있는 bufferbloat 에개념, 그리고이를해결하기위한기법들에대해다룬다. Ⅱ. 배경지식 1. TCP 개요 TCP는두종단간연결지향적이고, 신뢰할수있는전송을보장하며혼잡제어및흐름제어기능을제공한다. 그림 2는 TCP 헤더구조를나타낸다. 종단사이의프로세스간전송을담당하는 TCP는 IP주소와 port 번호를이용하여프로세스간전송을보장한다. 예를들어, 웹브라우징시에는 80번 port를사용함으로써서버와웹페이지전송을보장한다. 이외에도잘알려진 port 번호로는 FTP (21), SSH (22), DNS (53), POP3 (110), HTTPS (443) 등이있다. SEPTEMBER 2015 31
그림 2. TCP 헤더구조 TCP는프로세스간전송보장이외에도수많은 TCP flow가공존했을경우네트워크가혼잡해지지않게전송량을결정하는기법인혼잡제어기법을제공한다. 약 30여년동안수많은 TCP 혼잡제어기법이개발되었으며 [3] 그진화방향은 < 그림 3> 에나타나있다. 크게패킷손실을네트워크혼잡으로인지하여전송량을줄이는패킷손실기반혼잡제어기법과지연증가를네트워크혼잡으로인지하여전송량을줄이는지연기반혼잡제어기법으로나누어진다. 현재 Linux에서는 CUBIC이, Windows에서는 Compound 기법이디폴트혼잡제어기법으로사용되고있다. 그림 3. TCP 혼잡제어진화방향 TCP 흐름제어는송신측과수신측의데이터처리속도차이를해결하기위한기법으로, TCP 수신측에서처리할수있는데이터를 TCP 헤더의 window 필드에지정하여 (rwnd: 수신윈도우 ) TCP 송신측에게전송한다. 이를받은 TCP 송신측은자신이 TCP 혼잡제어를통해결정된전송량 (cwnd: 혼잡윈도우 ) 과수신윈도우의최소값을자신의전송량을결정함으로써, 수신측의데이터처리속도보다더많은데이터를전송하지않는다. 예를들어, < 그림 4> 에서 TCP 송신측의혼잡윈도우가 100개의패킷으로결정이되었지만, TCP 수신측이보낸수신윈도우의값이 70개의패킷일경우, 실제 TCP 송신측은 70개의패킷만전송할수있는것이다. 그림 4. TCP 흐름제어 2. 무선네트워크에서의 TCP 연구개요무선네트워크가진화함에따라 TCP 역시그에맞게진화되어왔다. 그림 3에서보이는 TCP Westwood [5] 가그대표적이예이다. TCP Westwood는종단대종단 (end-to-end) 대역폭을 TCP 송신단에서추정하고이에따라혼잡윈도우값을결정하는기법을제안한다. 이는네트워크혼잡에의한패킷손실과채널에러로패킷손실을구분하기위한방안으로, 높은링크활용 (link utilization) 을위해서는채널에러로인한랜덤손실발생시혼잡윈도우를줄일필요가없기에종단대종단대역폭을추정함으로써패킷손실과혼잡에의한패킷손실을구분하려는것이다. 무선네트워크에서의 TCP 성능향상을위해서고안된 TCP Snoop [6] 은기지국단에서링크단재전송을통해채널에러로인한패킷손실을 TCP 송신단에숨기는기법이다. 이를위해, 기지국은 TCP 패킷을캐슁하고수신단에서 DUPACK을전송할시, DUPACK은기지국단에서유실함으로써송신단에게손실사실을숨기고, 링크재전송을통해이를복구하는기법이다. Split TCP [7] 은무선네트워크에서의 TCP 성능극대화를위해기지국단에서 TCP 연결을분할하는기법을제안한다. 즉, 기지국과 TCP 송신단이하나의 TCP 연결을유지하고, 기지국과 TCP 수신단이하나의 TCP 연결을유지하는것이다. 무선네트워크환경을고려하여기지국단에서무선 TCP등을최적화하여사용할수있는프레임워크를제안하였다. 이와같이무선네트워크에서 TCP 성능향상을위해많은연구가진행되어왔다. 하지만주로높은링크활용을위해혼잡에의한패킷손실과채널에러로인한패킷손실을구분함으로써불필요한전송량감소를막는것이지금까지의접근방법이었다면, 최근에는그시각이변하였다. LTE와 WiFi 네트워크가제공하는링크단재전송기법의발달로인해무선단에서채널에러로인한패킷손실이크게줄어들었고, 기존의혼잡에의한패킷손실과채널에러로인한패킷손실을구분하려는움직임보다는사용자가겪게되는딜레이를줄이기위한연구가활발하게진행되고있다. 32 정보와통신
Ⅲ. 무선네트워크에서의 TCP 성능저하및해결법 1. Bufferbloat 최근무선네트워크에서는네트워크를이루는요소 ( 라우터, 기지국, 단말등 ) 의버퍼사이즈가커짐에따라발생하는불필 요한지연증가문제인 bufferbloat 문제가이슈가되고있다. 이는 TCP 서버가버퍼오버플로우로인한패킷손실이발생하 지않는다면전송률을계속증가시키는패킷손실기반의 TCP 혼잡제어기법으로인해더심화될수있고, delay-sensitive 한애플리케이션사용자의 QoE (Quality of Experience) 를저 하시킨다는점에서큰이슈가되고있다 [8]. Bufferbloat 은크 게 downstream bufferbloat 과 upstream bufferbloat 으로구 분될수있다. 전자의경우, 셀룰러네트워크의기지국 (LTE enodeb) 혹은 Wi-Fi AP 에과도하게많은패킷이쌓임으로써, delay-sensitive 한애플리케이션의패킷이불필요한지연을겪 는현상을의미한다. 후자의경우, 단말단에서외부서버로많 은양의데이터를업로드하는경우, 단말내의버퍼에불필요 하게많은데이터가쌓이게됨으로써, delay-sensitive 한애플 리케이션의패킷이지연을겪게되는현상을말한다. 예를들 어, downstream bufferbloat 의경우 < 그림 5> 에서외부서버 로부터파일전송애플리케이션을실행시키고있는 TCP 수신 측이온라인게임이나모바일메신져와같은 delay-sensitive 한애플리케이션을동시에사용하였을경우, LTE enodeb 나 WiFi AP 에미리쌓여있던파일전송애플리케이션의패킷들로 인해 delay-sensitive 한애플리케이션의패킷이불필요한지연 을겪게된다. 2. 무선네트워크에서의 Bufferbloat 의심각성 표 1. 실험환경 TCP server Smartphone LTE networks Wi-Fi networks 해불필요한지연증가가얼마만큼나타나는지확인해보았다. 실험을위해 ubuntu 12.04 가설치되어있는외부서버삼성갤 럭시 S2 ( 모델명 E120K) 를각종단으로설정하였으며, iperf 를 통해데이터를 upstream/downstream 방향으로발생시켜수 율과 round trip time (RTT) 을측정하였다. 자세한실험환경은 < 표 1> 에나타나있다. Ubuntu 12.04 LTS (Kernel 3.2.0-54) Intel(R) Xeon(R) CPU E3-1270 V2 (3.50GHz) Congestion control: CUBIC with the timestamp option on Samsung Galaxy S2 (Model E120K) OS: Kernel version 3.0.8, Android Icecream Sandwich (4.0.3) tcp_rmem_max = 2,560,000 Bytes tcp_wmem_max = 2,560,000 Bytes Operator: Korea Telecom (KT) Bandwidth: 100 Mbps Access Point: Qualcomm Atheros AR93xx Bandwidth: 54 Mbps (802.11g) 우선, downstream bufferbloat 의심각성을확인하기위해 TCP server 로부터 iperf 를통해트래픽을다운로드받는환경 을고려하였다. 실험독립변수로는 tcp_rmem_max ( 수신윈 도우의최대값을제한해주는시스템파라미터 ) 값을 196,608 ~ 2,560,000 Bytes 로변화시켜가며실험을진행하였다. < 그림 6> 은 tcp_rmem_max 값이커질수록, 수율은더이상증 가하지않지만 RTT 는증가하는것을보여준다. 즉, 불필요한지 연을보여주는 downstream bufferbloat 이실제 LTE 및 Wi- Fi 네트워크에서발생한다는것을보여준다. 이는앞서설명한 무선네트워크에서의 downstream/upstream bufferbloat 문제의심각성을확인하기위해본논문에서는실제실험을통 그림 5. Bufferbloat 개념도 그림 6. Downstream Bufferbloat 의심각성 SEPTEMBER 2015 33
것과마찬가지로불필요하게 LTE enodeb와 Wi-Fi AP에많은양의패킷이쌓여있기때문에발생하는현상이다. 본논문의실험환경에서는 tcp_rmem_max값이 LTE네트워크에서는 400 ~ 800KByte에서 Wi-Fi 네트워크에서는 200Kbytes 이하에서최적의수율및 RTT 성능을보여준다는것을확인할수있다. Downstream bufferbloat과달리 upstream bufferbloat 을확인하기위해이번에는 LTE 네트워크에서단말이외부서버로 iperf를통해데이터를업로드하는환경을고려하였다. Downstream bufferbloat 실험과유사하게이번실험에서는 tcp_wmem_max ( 혼잡윈도우의최대값을제한해주는시스템파라미터 ) 값을 196,608 ~ 2,560,000 Bytes로변화시켜가며수율및 RTT를측정하였다. < 그림 7> 은 tcp_wmem_max 값이커질수록, 수율은더이상증가하지않지만 RTT는증가하는것을보여준다. 실제 LTE네트워크에서단말에불필요하게많은양의패킷이쌓여임으로인해 upstream bufferbloat이발생한다는것을보여준다. 본논문의실험환경에서는 tcp_wmem_ max값이 200Kbytes 이하에서최적의수율및 RTT 성능을보여준다는것을확인할수있다. Downstrea/upstream bufferbloat은위와같이실제네트워크에서흔하게관측되는현상으로네트워크별최적의 tcp_ rmem_max/tcp_wmem_max값이설정된다면 RTT 증가를그리크게경험하지않을수있지만네트워크상황이실시간으로변하는실제환경을고려한다면최적의 tcp_rmem_max/tcp_ wmem_max 값을설정하는것은그리쉬운일이아니다. 다음절에서는무선네트워크에서 bufferbloat을해결하기위한다양한기법에대해다룬다. IV. 무선네트워크에서 Bufferbloat 해결을위한기법 1. Downstream Bufferbloat 을위한기법 무선네트워크에서의 downstream bufferbloat 문제를해결 하기위해많은기법들이개발되었는데, 기법이동작하는위치 에따라크게 3 가지로분류된다. 첫째, 서버단기술은패킷손 실기반혼잡제어기법인아닌지연기반혼잡제어기법을사 용하는것이다. TCP-Vegas[9], Fast TCP[10] 등이대표적인 지연기반혼잡제어기법이다. 하지만지연기반혼잡제어기 법은손실기반혼잡제어기법과공존하였을경우수율저하 라는문제점을초래한다는단점을지니고있다 [11]. 둘째, 라 우터에서특정조건에따라패킷을드랍시키는 active queue management (AQM) 기법을사용하는것이다. 패킷을드랍 시킴에따라 TCP 서버가전송량을줄이게유도할수있고, 결 과적으로라우터의큐길이를적정수준으로유지할수있다 는장점이있다. 대표적인 AQM 기법으로는 random early detection (RED) [12], exponential RED (E-RED) [13], random exponential marking (REM) [14] 등이있다. 하지만 복잡한파라미터설정과모든라우터를업그레이드해야한다는 deployment 이슈가남아있다. 최근에는파라미터설정을간 소화한 CoDel [15] 이제안되었지만, 이역시도마지막으로실제 네트워크에설치되어야한다는단점을지니고있다. 마지막으 로, TCP 흐름제어를통한수신단기술이있다. TCP 흐름제어 를통해서버의전송량을제어할수있으며, 수신단기법은모 바일단말의펌웨어업데이트를통해손쉽게배포될수있다는 장점을가지고있다. 하지만 TCP-Vegas 와유사하게경쟁상 황에서의수율저하라는문제점을지니고있다. Downstream bufferbloat 에대한대응방법은 < 표 1> 에정리되어있다. 2. Upstream Bufferbloat 을위한기법 그림 7. Upstream Bufferbloat 의심각성 Downstream bufferbloat해결을위해서는앞서설명한것처럼송신단, 라우터, 수신단기법으로나누어진다. 이와달리 upstream bufferbloat 문제를해결하기위한기법은크게 queue discipline (qdisc) 과네트워크단기술로분류된다. 첫째, 데이터를발생시키는단말단에서의 qdisc를현재의단일전송큐구조가아닌다수의전송큐구조로변경하는것이다. 대표적인예로는, SFQ [16], WFQ [17], CBQ [18], AF [19], CBA [20] 등이있다. 이들은구체적으로 fair queueing [16][17][18] 과 priority queueing [19][20] 으로나누어질수있다. Fair queueing의경우다수의전송큐를각 TCP flow에할당함으 34 정보와통신
표 2. Downstream bufferbloat 해결책 분류대표기법특징 서버단기술 라우터기술 수신단기술 TCP Vegas [9], FAST TCP [10] RED [12], E-RED[13], REM [14],CoDel[15] DRWA [8] 로써 flow 별공평한자원할당을목적으로한다. 하지만 flow 별불필요하게많은메모리를할당해야하는문제점과복잡한 세부설정문제를지니고있다. 이와달리 priority queueing download TCP ACKs 를 upstream 데이터패킷보다더높은 priority 를주어 download 트래픽의성능향상을목적으로제안 된기법이다. 하지만 download 트래픽의성능향상에만초점 을맞추고있기때문에 interactive 한애플리케이션이많이사 용되는현시점에서는패킷분류기법과같이사용되어야한다 는한계점을지니고있다. 이와달리 proxy 기반의기법은네 트워트중간에위치한 proxy 서버가인위적으로모바일단말의 upload 전송률을제어함으로써불필요한지연을발생시키지않 게하는기법이다. 하지만이역시도 scalability 측면에서의문 제점을지닐수있으며추가적인연구가필요하다. Upstream bufferbloat 에대한대응방법은 < 표 2> 에정리되어있다. 표 3. Upstream bufferbloat 해결책 패킷손실기반이아닌지연기반의 TCP 혼잡제어기법패킷손실기반의 TCP 와경쟁시수율저하 라우터에서특정조건에따라패킷을드랍시킴에따라큐길이를적절하게조절할수있음파라미터설정의복잡성및라우터업그레이드필요 TCP 흐름제어를통해서버의전송률제어펌웨어업데이트를통한배포의용이성다른 TCP 와의경쟁시수율저하 분류대표기법특징 Fair Queueing Priority Queueing Proxybased rate control SFQ[16], WFQ [17], CBQ [18] AF [19], CBA [20] RFRS [21], RRE [22] 다수의 queue 를각 TCP flow 에할당함으로써공평한자원할당복잡한설정기법 Download 성능향상을위해 download TCP ACK 만을먼저처리패킷분류기법이같이사용되어야함 Proxy 서버를통한 upload 전송률제어 Deployment 와 scalability 문제점 V. 결론 TCP는유 / 무선통신기술의발달및인터넷의보급과발맞추어약 30여년동안활발하게연구, 개발되어왔으며이과정에서 IP와더불어인터넷핵심프로토콜로써자리매김하였다. 모바일트래픽이폭증하고, 고속망으로발달한무선네트워크에서의 TCP 성능은굉장히중요한이슈이며, 수율뿐만이아니라지연역시도중요한성능지표로주목을받고있다. 본논문에서는최근에이슈가되고있는무선네트워크에서의 bufferbloat 문제를실험을통해직접확인하고, 이를해결하기위한기법들과각기법들의한계점에대해다루었다. Bufferbloat 문제는기존에제안된기법이가진한계점을해결함으로써보다나은모바일사용자 QoE 향상을불러일으킬수있을것으로기대한다. Acknowledgement 이논문은정부 ( 교육과학기술부 ) 의재원으로한국연구재단의지원을받아수행된연구임 (No. 2012R1A2A2A01046220) 참고문헌 [1] Transmission Control Protocol, RFC 793, Sep. 1981. [2] A. Ford, C. Raiciu, M. Handley, and O. Bonaventure, TCP Extensions for Multipath Operation with Multiple Addresses, RFC 6824, Jan. 2013. [3] A. Afanasyev, N. Tilley, P. Reiher, and L. Kleinrock, Host-to-Host Congestion Control for TCP, IEEE Communications Surveys & Tutorials, vol. 12, no. 3, 2010. [4] http://www.multipath-tcp.org/ [5] S. Mascolo, C. Casetti, M. Gerla, M. Y. Sanadidi, and R. Wang, TCP Westwood: Bandwidth estimation for enhanced transport over wireless links, in Proc. ACM MOBICOM, 2001. [6] Hari Balakrishnan, Srinivasan Seshan, Elan Amir and Randy H. Katz, Improving TCP/IP Performance over Wireless Networks, in Proc. ACM MOBICOM, 1995. [7] H. Balakrishnan, V. N. Padmanabhan, S. Seshan, and R. H. Katz, A Comparison of Mechanisms for SEPTEMBER 2015 35
Improving TCP Performance over Wireless Links, IEEE/ACM Transactions on Networking, vol. 5, no. 6, pp. 756-769, Dec. 1997. [8] H. Jiang, Y. Wang, K. Lee, and I. Rhee, Tackling Bufferbloat in 3G/4G Networks, in Proceedings of ACM IMC, 2012. [9] L. S. Brakmo, S. W. O Malley, and L. L. Peterson, TCP Vegas: New Techniques for Congestion Detection and Avoidance, in Proceedings of ACM SIGCOMM, 1994. [10] C. Jin, D. X. Wei, and S. H. Low, FAST TCP: Motivation, Architecture, Algorithms, Performance, in Proceedings of INFOCOM, 2004. [11] J. Mo, R. La, V. Anantharam, and J. Walrand, Analysis and Comparison of TCP Reno and Vegas, in Proceedings of INFOCOM, 1999. [12] S. Floyd, and V. Jacobson, Random Early Detection Gateways for Congestion Avoidance, IEEE/ACM Transactions on Networking (ToN), vol. 1, issue. 4, 397-413, Aug. 1993. [13] S. Liu, T. Basar, and R. Srikant, Exponential-RED: A Stabilizing AQM Scheme for Low- and High-Speed TCP Protocols, IEEE/ACM Transactions on Networking, vol. 13, no. 5, pp. 1068-1081, Oct. 2005. [14] S. Athuraliya, S. H. Low, V. H. Li, and Q. Yin, REM: Active Queue Management, IEEE Network, vol. 15, issue 3, pp. 48-53, May 2001. [15] K. Nichols and V. Jacobson, Controlling Queue Delay, ACM Queue, vol. 10, issue 5, pp. 20-34, May 2012. [16] P. E. McKenney, Stochastic Fairness Queueing, in Proceedings of INFOCOM, 1990. [17] A. Demers, S. Keshav, and S. Shenker, Analysis and Simulation of a Fair Queueing Algorithm, Internetworking: Research and Experience, vol. 1, pp. 3-26, 1990. [18] S. Floyd and V. Jacobson, Link-sharing and Resource Management Models for Packet Networks, IEEE Transactions on Networking, vol. 3, no. 4, pp. 365-386, Aug. 1995. [19] H. Balakrishnan, V. N. Padmanabhan, and R. H. Katz, The Effects of Asymmetry on TCP Performance, in Proceedings of Mobicom, 1997. [20] L. Kalampoukas, A. Varma, and K. K. Ramakrishnan, Improving TCP Throughput over Two-Way Asymmetric Links: Analysis and Solutions, in Proceedings of SIGMETRICS, 1998. [21] Y. Xu, W. K. Leong, B. Leong, and A. Razeen, Dynamic Regulation of Mobile 3G/HSPA Uplink Buffer with Receiver-Side Flow Control, in Proceedings of ICNP, 2012. [22] W. K. Leong, Y. Xu, B. Leong, and Z. Wang, Mitigating Egregious ACK Delays In Cellular Data Networks by Eliminating TCP ACK Clocking, in Proceedings of ICNP, 2013. 약력 2008년서울대학교공학사 2010년서울대학교공학석사 2010년 ~ 2015년서울대학교공학박사 2015년 ~ 현재삼성전자책임연구원연구분야 : TCP/MPTCP 성능최적화, 네트워크프로토콜설계, P2P 네트워크임희수 1984년서울대학교공학사 1996년서울대학교공학석사 1991년 University of Pennsylvania 공학박사 1991년 ~1994년 AT&T Bell Lab. 연구원 1994년 ~ 현재서울대학교전기컴퓨터공학부교수 2009년 ~2011년서울대뉴미디어통신연구소소장 2014년 IEEE Vehicular Technology Conference 박세웅 TPC Chair 2011년 ~ 현재 Journal of Communications and Networks, Co-EIC IEEE Trans. on Wireless Communications (TWC), Editor 연구분야 : 모바일네트워크, 네트워크성능분석, 스마트그리드 36 정보와통신