주문 알고리즘 매매(Execution Algorithmic Trading)가

주식 시장의 효율성에 미치는 영향에 관한 실증 연구

한양대학교 특공대팀

<본문요약>

본 연구는 주문 알고리즘(execution algorithm) 매매 도입에 국내 주식시장이 수동

적으로 대응하는 이유를 거래비용 절감 효과를 통한 효율성 제고에 대한 시장 참여자

들의 전반적인 인식이 부족하다는 점에 주목하고, 이를 제고시킬 수 있는 인센티브를

실증적으로 검증하였다. 이를 위해 첫째, 거래비용분석(TCA) 및 알고리즘 매매 업계

및 세계적 현황에 대한 기본적인 조사 연구를 실시하였다. 둘째, 한국거래소 유가증권

시장에 상장된 삼성전자의 7일간의 일중(intraday) 거래 자료를 대상으로 시장충격

모수와 일변동성 모수를 추정하였다. 셋째, Perold(1988)의 Implementation Shortfall

을 차용한 Almgren & Chriss(2000)의 논의를 바탕으로 단순거래비용 절감 효과가 있

는 TWAP 전략과 최적 주문 전략인 Arrival Price 전략의 비용절감 효과를 확률과정

을 통해 분석하였다. 결론적으로 본 연구는 국내 주식시장에서 주로 사용되는 TWAP

전략이 단순 비용 절감의 측면에서 Arrival Price 전략보다 유리하지만, 시장의 불확실

성에 기인한 묵시적비용을 포괄하는 총거래비용 측면에서는 Arrival Price 전략이 최

적 주문 전략임을 도출하였다. 본 연구의 한계로는 시장충격비용을 추정함에 있어 자

료 접근성 제한의 문제를 극복하지 못하였고, 단일 종목에 대한 단기간의 표본 자료를

사용하였으므로 일반적으로 적용될 수 있는 추정 결과를 제시하지 못하였다는데 있다.

그러나 최근 국내 주식시장에서 알고리즘 매매에 대한 관심이 증가하고 있는 것에 비

해, 알고리즘 매매에 대한 본격적인 이론연구나 실증분석은 그에 미치지 못하고 있다

는 점에서 본 연구의 의의가 있다고 하겠다.

핵심 단어: 알고리즘매매, 거래비용분석, 시장충격, 최적거래전략

* 본 논문은 한국거래소의 연구비 지원을 받아 작성되었음

** 지도교수: 경영대학 파이낸스경영학과 정현철

팀 원: 경제금융대학 경제금융학과 김영후, 정은재, 이장섭, 경영대학 경영학과 양찬식

차 례

Ⅰ. 서론 1

Ⅱ. 알고리즘 매매의 이해 3

1. 알고리즘 매매의 정의 ...............................................................3

2. 주문 알고리즘(Execution Algorithm)의 종류 .........................5

3. 알고리즘 매매의 세계적 현황 ...................................................6

4. 거래비용의 이해와 분석 ..........................................................11

Ⅲ. 실증 연구 17

1. 표본 설정 및 자료 수집...........................................................17

2. 거래비용분석 모형 ..................................................................18

3. 개별 모수의 추정 ....................................................................22

4. 주문 알고리즘 전략의 수립 ....................................................27

5. 거래비용 도출 및 결과 분석 ................................ ... ...............31

Ⅳ. 알고리즘 매매에 대한 국내 시장의 대응전략 38

1. 업계의 대응 전략 ....................................................................38

2. 한국거래소의 대응 전략: 친 알고리즘 매매 환경 조성 .........39

Ⅴ. 결론 42

참고문헌 43

- 1 -

Ⅰ. 서론

오늘날 주식시장의 규모가 점차 커지고 경쟁의 정도가 심화됨에 따라 안정

적인 수익구조의 메커니즘을 확보하기 위한 새로운 기반시설(infrastructure)

이 요구되고 있다. 자동화 주문은 바로 이러한 주식시장을 비롯한 증권 시장

에 있어서의 변화에 대응하기 위한 필수불가결한 기반시설로 인식되고 있다.

전산기기를 이용한 전자 매매의 형식은 포괄적으로 자동화 매매(automated

trading), 프로그램 매매(program trading), 알고리즘 매매(algorithmic

trading)등의 세 가지로 분류 가능하다.1) 본 연구에서는 시장 충격을 최소화

하면서도 최고의 가격을 얻기 위해 주문을 분절하여 매수 혹은 매도하는 전

략을 알고리즘 매매(algorithmic trading)라 정의하였다.

알고리즘 매매에 대한 수요의 급증은 일차적으로 미국에서 시작되었다. 미

국 주식시장이 점차 경쟁적으로 변함에 따라 소프트 달러 커미션(Soft dollar

commission)을 줄이기 위한 시장 움직임에 의해 성장한 것으로 보인다.

2001년에 미국 SEC에서 발표한 decimalization으로 인한 스프레드의 증가와

시장조각화(market fragmentation), FIX 규약의 범용화 등도 알고리즘 매매

성장의 중요한 원인이라 할 수 있다.2)

알고리즘 매매에 대한 관심을 반영하는 국내 학계의 연구는 아직 활성화되

지 않았지만 한국 거래소를 중심으로 buy-side와 sell-side 실무부문에서는

알고리즘 매매 전략 및 기법에 대한 소개와 도입 필요성 및 긍정적 효과에

대한 논의가 상당부분 진행되고 있다. 특히, 한국 거래소는 알고리즘 매매

도입의 이점을 업무처리 전산화에 따른 주문착오(fat finger)방지, 새로운 유

형의 투자자 유치 가능, 시장심도(market depth)향상과 bid-ask spread 축소

에 따른 유동성 제고 효과 등으로 판단하고 있다.3) 한중석(2010)은 세계 증

권시장에 알고리즘매매가 급속히 확산되면서 새로운 유형의 매매거래 환경

이 만들어지고 있음을 설명하면서 국내 증권시장의 질적 수준을 제고하고

1) 박선종(2009), p.227

2) 박선종(2009), p.227-228

3) 한국거래소 유가증권시장본부 주식시장총괄팀(2010), p.6

- 2 -

글로벌 경쟁력을 강화하기 위한 새로운 알고리즘 매매 환경을 조성할 필요

가 있음을 강조하였다.4)

이와 같이 알고리즘 매매의 국내 주식시장의 도입과 관련한 내용이 공론화

되고 있는 것은 사실이나, 그럼에도 불구하고 알고리즘 매매 기법의 국내 주

식시장을 대상으로 한 실증 연구는 거의 전무한 상황이다. 국내에서 알고리

즘 매매 전략 관한 연구가 이루어지지 않고 있는 원인은 무엇보다 알고리즘

매매 전략과 거래비용분석의 개념에 대한 학계・업계의 전반적인 인식의 부

재라고 판단된다.

본 연구는 알고리즘 매매에 대한 국내 시장 참여자들의 전반적인 이해를

돕기 위해 알고리즘 매매에 대한 포괄적인 조사 연구를 포함한다. 이에 더불

어 알고리즘 매매의 거래비용 분석 모형으로서 Almgren & Chriss(2000)가

채택하고 있는 을 소개하였다. 또한 알고리즘 매매의

최적전략을 도출하기 위해 한국거래소 유가증권시장에 상장된 종목의 실제

데이터를 이용하여 선형의 시장충격비용함수 중 일시적 충격비용 와 시장

변동성 모수 를 추정하였다. 이에 근거하여 한국거래소 유가증권시장에서의

알고리즘 매매 전략별 거래비용을 시뮬레이션 과정을 통해 분석함으로써 궁

극적으로 시장참여자들에게 알고리즘 매매의 인식을 제고할 인센티브를 제

공하는데 본 연구의 목적이 있다.

본 연구의 구성은 다음과 같다. 제Ⅱ장에서는 알고리즘 매매에 대한 전반적

인 내용과 관련하여 알고리즘 매매 전략 및 세계적 현황을 살펴보고 거래비

용분석에 대한 개괄적인 개념을 제시한다. 제Ⅲ장에서는 거래비용 분석 모형

을 통해 알고리즘 매매의 최적 주문 전략을 도출하기 위한 실증 연구를 하

였다. 제Ⅲ장의 연구결과를 바탕으로 제Ⅳ장에서 알고리즘 매매와 국내시장

의 대응방안에 대해 시장참여자 주체별로(Sell-side와 buy-side/한국 거래소)

살펴보았다. 마지막으로 제Ⅴ장에서 결론 및 향후 연구방향을 논의한다.

4) 한중석(2010), p.66

- 3 -

Ⅱ. 알고리즘 매매의 이해

1. 알고리즘 매매의 정의

알고리즘매매는 일률적으로 정의되지 않으나, 일반적으로 사전적으로 입력

된 데이터를 통한 알고리즘 전산 시스템을 이용하여 주문을 체결시키는 거

래활동을 말한다.5) 특히 펀드매니저, 기관투자자, 전문투자가 등과 같은 대량

매매자들은 알고리즘 시스템을 통하여 시장충격(market impact)과 거래비용

(trading cost)을 최소화 시키면서도 안정적인 수익률을 얻고자 한다. 즉, 알

고리즘 매매란 시장 충격을 최소화 하면서도 최선의 가격을 얻기 위해 주문

을 분절하여 매수 혹은 매도하는 전략을 의미한다.

<그림 1> 알고리즘 매매의 주문흐름6)

출처: KRX

5) 알고리즘 매매와 프로그램 매매 모두 자동으로 주문이 집행되는 공통점이 있지만 프로그램 매매는 선현물간

차익거래를 목표로 다수의 종목(바스켓)을 동시에 매매(대량매매)하는 반면, 알고리즘 매매는 거래비용 절감을

목표로 대량주문의 분할 및 빈번한 호가제출(정정, 취소포함)이 특징이다. 자세한 것은 한국거래소 유가증권시

장본부 주식시장총괄팀(2010) p.4 참조.

6) 한국거래소 유가증권시장본부 주식시장총괄팀(2010), p.5

- 4 -

<그림 1>에서 확인할 수 있듯이 알고리즘 매매는 크게 두 가지 유형으로

크게 분류할 수 있다. 소극적(passive)인 유형의 “주문 알고리즘(Execution

Algorithm)”과 적극적(aggressive)인 유형의 “전략 알고리즘(Strategy

Algorithm)”으로 구분할 수 있다.7)

주문 알고리즘(Execution Algorithm)은 브로커가 고객의 주문을 효율적인

방법으로 목표가격에 체결시키기 위한 알고리즘 전략이다.8) 대규모 매매거래

주문을 접수한 브로커(sell-side)가 주문 규모 및 목표가격(거래량평균가격

등)을 알고리즘 솔루션에 입력하게 되면 동 솔루션이 실시간으로 시장데이터

를 스트리밍하며 적합한 타이밍에 적정 규모의 호가를 분할하여 자동으로

시장에 제출하게 된다. 이러한 주문 알고리즘 전략이 보편화되면서 브로커가

일일이 시장상황을 주시하며 주문을 직접 입력하는 방식에 비해 주문집행의

효율성과 안정성이 획기적으로 향상될 수 있었다. 투자자 입장에서도 일시적

인 대량거래로 인해 발생하는 시장충격비용을 최소화 할 수 있다는 점에서

긍정적이다.

전략 알고리즘(Algorithmic Strategy)은 최근 일부 기관투자자(buy-side)가

주문정보 노출을 최소화하고 보다 신속한 매매체결을 위해 브로커에 의존하

지 않고 직접 알고리즘매매를 수행할 수 있는 환경을 선호하기 시작하면서

활성화되었다. 이에 따라 기관이 직접 매매솔루션을 개발하거나 제2의 IT업

체로부터 솔루션을 구매하는 방식으로 알고리즘매매 환경을 내부화하는 사

례가 증가하고 있다. 그 결과 투자자에게 보다 적극적인 유형의 전략 알고리

즘 매매기법을 활용할 수 있는 기반을 제공함과 동시에 단순 주문분할을 통

한 거래비용 절감효과와 시장수익률 초과 전략을 추구하는 계기가 되었다.9)

본 연구의 범위는 주식시장에서 buy-side의 주문을 받아 처리하는 sell-side

영업의 한 분야로서 거래비용을 최소화 시키는 전략인 주문 알고리즘에 국

한한다.

7) 한중석(2010), p.49

8) John Bates, "The 10 Imperatives of Next-Generation Algorithmic Trading", 업무참고자료, Apama, p.1

9) 한중석(2010), p.50-51

- 5 -

2. 주문 알고리즘(Execution Algorithm)의 종류10)

<표 1> 세대별 주문 알고리즘 매매 전략

Strategies

1stgeneration

Time and Volume based

TVOL, VWAP, TWAP

2ndgeneration

Implementation shortfall based

Arrival price, Departure price, Scaling

3rdgeneration

Adaptive Implementation based

Ambush, Instinct

출처: BoA Merrill Lynch

주문 알고리즘은 여러 단계를 거쳐 발전되어 왔다. 1세대 알고리즘은 시간

과 거래량을 기반으로 하는 전략이다. Target Volume(TVOL) 전략은 거래

량이나 틱데이터에 비례하여 주문을 집행한다. Volume Weighted Average

Price(VWAP) 전략은 일중 거래량의 분포가 통계적으로 안정적이라는 가정

에 기초하여 각기 다른 시간대별 평균 거래량의 비중을 거래 전(pre-trade)

단계에서 미리 계산 해 둔 다음 과거의 시간별 개별주식 거래량에 기초하여

시간별로 주문을 분할하여 주문체결을 한다. VWAP은 대부분의 경우 브로

커의 벤치마크가격으로서 브로커의 커미션을 정산하는데 기준가격으로 사용

된다. VWAP 전략은 시장충격비용을 최소화 하는데 용이하다는 점에서 많

이 사용되고 있는 기법이다. Time Weighted Average Price(TWAP) 전략은

VWAP의 특정한 예로서 일정한 시간 간격동안 동일한 수량으로 주문이 실

행되도록 수량을 분할하는 기법을 말한다.

2세대 주문 알고리즘은 Implementation Shortfall을 기반으로 한다. Arrival

Price 전략은 시장충격, 변동성, 스프레드, 시간과 수익의 적정 배합점을 찾

아서 주문을 실행한다. 즉, Arrival Price 전략은 주문이 온 시점의 bid/ask

10) Kim(2007)과 Bank of America 업무참고자료"Adaptive Implementation" 참조.

- 6 -

스프레드의 midpoint에서 주문 집행한다. Departure Price 전략은 departure

price를 기준으로 시장충격과 가격변동성의 연동효과에 균형을 맞추는 것이

다. 주문은 보통 예정된 종료일에 들어오며 접수가격과 거래 종료시점의 트

레이딩 커브를 최적화 한다.

3세대 주문 알고리즘은 Adaptive Implementation을 기반으로 한다.

Ambush 전략은 시간과 정보유출에 민감할 때 사용된다. Ambush 전략은 정

교한 주문배치 기술을 사용하여 트레이더가 자신의 긴급성에 따라 공격적,

중도적, 수동적 설정을 사용할 수 있다. Instinct 전략은 실시간 시장 상태에

적응하는 전략이다. 이를 위해서 Instinct 전략은 트레이더가 대량의 주식을

일관적이고 상황 주도적으로 거래할 수 있게 한 정교한 주문배치와 유동성

정량분석을 사용한다.

현재 국내 주식시장의 경우에는 발전된 형태의 주문 알고리즘 전략을 이용

한 거래는 전무한 실정이며 naive strategy로서의 FIX 규약 상 CD(careful

descretion) 주문을 가장 많이 이용하고 있다. 이는 위의 주문 알고리즘의 분

류 상 제 1세대 알고리즘 중에서도 가장 낮은 단계의 전략에 해당한다.

3. 알고리즘 매매의 세계적 현황

현재 알고리즘 매매의 성장은 세계적 이슈이며, 주로 sell-side와 헤지 펀드

(hedge fund)에 의해 촉발되고 있다. Aite Group의 조사에 따르면 2007년 미

국과 유럽 증시 거래량의 1/3 이상이 알고리즘 매매에 의해 이루어지고 있

다.11) 2008년까지 알고리즘 매매의 연평균성장률(CAGR)은 sell-side가 4.2%,

헤지 펀드가 7.2%, 전통적 buy-side는 49.8%에 달할 것으로 조사되었다.12)

11) 한국거래소 유가증권시장본부 주식시장 총괄팀(2010), p.7

12) Kim(2007), p.36-37

- 7 -

<그림 2> Percentage of equities trading volume driven by Algorithmic trading

출처: Aite Group analysis

이미 주문 알고리즘 매매를 이용한 주식거래는 미국과 유럽 선진시장 뿐만

아니라 아시아를 비롯한 emerging market에도 빠른 속도로 확산되고 있다.

국내 시장의 경우에도 선물옵션시장을 중심으로 큰 비율은 아니지만 체결비

율, 체결 취소율과 평균 호가규모를 볼 때 알고리즘 매매가 점차 확산되고

있음을 유추할 수 있다.

한국거래소는 2010년 9월에 향후 국내 증시에서도 알고리즘 매매 등이 점

차 활성화될 것으로 예상하는 바, 관련 제도개선 방안 등을 모색하기 위해

유럽 등 선진 시장운영 경험과 노하우를 공유할 수 있는 국제 컨퍼런스를

개최하였다. 뿐만 아니라 알고리즘 매매와 관련한 시장의 요구에 대응하기

위해서 2009년에 차세대 매매시스템인 Exture를 구축하여 기존의 분산된 매

매시스템의 효율성과 안정성을 제고하였다.13)

국내의 알고리즘 매매는 아직 아시아 경쟁시장에 비해 미비한 상황이다. 그

이유는 전술한 바와 같이 buy-side와 sell-side의 거래 체결 시 특정

benchmark에 기준하여 거래평가를 하는 거래비용분석(tranaction cost

13) 그 결과 latency를 최대 8ms까지 줄였고 최대 4천만 건의 거래가 가능하게 되었다. latency와 관련한 자세

한 내용은 제 Ⅳ장의 2를 참조.

- 8 -

analysis; 이하 TCA)14) 과정의 부재가 주요한 요인이다. 알고리즘 매매의 선

진 시장인 미국과 유럽, 일본, 아시아 국가들의 알고리즘 매매 사용 현황 및

성장의 내용은 다음과 같다.

(1) 미국과 유럽

미국은 알고리즘 매매가 최초로 시도된 곳이면서 동시에 현재 가장 활발히

개발이 이루어지는 지역이다. 미국에 알고리즘 매매는 2000년대 초반 처음

시장에 모습을 드러냈는데 이후 가파른 성장세를 나타내었다. 알고리즘 매매

가 활성화되는 초기에는 sell-side에서 성장을 주도하였지만 현재는

buy-side 또한 알고리즘 매매 전략을 직접 개발하거나 클라우드 알고리즘

엔진을 사용하여 거래하고 있는 추세이다. 현재 미국 대형기관의 75%, 기관

트레이더들의 95%가 알고리즘 매매를 사용하고 있으며 40∼50%의 물량이

알고리즘 매매에 의해서 거래되고 있다.15) 이렇게 알고리즘 매매가 주식시장

의 큰 부분을 차지함에 따라 뉴욕증권거래소에서는 09년 차세대 통합 플랫

폼인 Universal Trading Platform을 구축하였고 2010년에는 뉴저지와 런던에

Co-location 서비스를 시작하였으며, 이로써 latency가 143 microsecond까지

줄어들었다.

2007년 MiFID(Markets in Financial Instruments Directive)16)가 도입된 이

후 유럽의 금융시장은 큰 변화를 겪었다. MiFID의 도입 목적은 투자서비스

에서 경쟁을 강화하고 소비자를 보호하는 것이다. MiFID의 여러 조항 중

best execution 조항이 있는데 이것은 증권사가 고객에게 최상의 주문거래를

해줄 의무가 있음을 의미한다. best execution에는 비용, 속도 등의 관련된

모든 요소들이 들어가 있기 때문에 투자은행들은 알고리즘 매매 기법의 사

용의 당위성을 느꼈고 그 이후, 유럽에서 알고리즘 매매는 큰 폭의 성장을

하였다. 이에 따라 유럽의 대표적인 거래소인 런던거래소(LSE)는 당해 2월

에 새로운 매매시스템인 Millenium Platform 가동했고 그 결과 메인 증권거

14) TCA(Transaction Cost Analysis)와 관련한 내용은 제Ⅱ장의 4를 참조.

15) “http://www.advancedtrading.com/algorithms/showArticle.jhtml”

16) MiFID는 유럽연합이 제정한 금융상품투자지침으로 유럽의 증권시장, 증권회사를 규제하는 기본적인 법규이

며, 2007년부터 효력을 갖는다.

- 9 -

래 플랫폼의 처리능력과 속도를 40% 정도 향상시켰다. 개선 이전에 10/1,000

초당 3,000건 처리하던 집중매매체결시스템(central order book)을 6/1,000초

당 4,200건 처리 가능하도록 개선했고 latency는 126 microsecond로써 세계

에서 가장 빠른 거래소가 되었다.17) 또한 독일거래소(DB), 프랑스거래소도

이러한 변화에 발맞추어 거래소 시스템을 업그레이드를 할 예정이다.

(2) Asia-Pacific

현재 알고리즘 매매는 미국과 유럽에서 주류로 자리를 잡았고 이 지역에서

수익을 창출하고 있었던 퀀트(quant)와 헷지펀드(hedge fund)들은 새로운 투

자 시장을 찾고 있다. 아시아거래소들은 이러한 대량 매매자들을 끌어들이기

위해 알고리즘 매매에 적합한 시스템을 지속적으로 업그레이드하고 있다. 그

동안 아시아・태평양 지역의 거래소는 거래소간의 경쟁이 상대적으로 덜 치

열했기 때문에 유럽과 미국에 비해 알고리즘 매매에 적합한 시스템 확보가

부족한 것이 사실이다. 그러나 최근에는 호주, 홍콩, 싱가포르, 일본을 중심

으로 알고리즘 매매의 도입과 환경 개선을 위한 움직임이 활발히 일어나고

있다.18)

일본은 아시아시장에서 알고리즘 매매에 있어 가장 선진화된 시장 중 하나

이다. 유럽과 미국에 있는 시스템 공급자들이 많이 들어와 있는 상황이며

일본의 로컬들 역시 경쟁력을 잃지 않기 위해 알고리즘 매매를 적극적으로

도입 및 개발하고 있다. 최근에 도쿄거래소(TSE)에서는 latency를 10ms로

줄이고 일일 6억 건 이상의 거래가 가능하도록 개선된 차세대 매매시스템인

Arrowhead 서비스를 개시하였다.19) 이 같은 시스템은 알고리즘 매매와

HFT(고빈도매매)를 장려하기 위한 것이다.20) 이로 인해 시장의 유동성이 큰

폭으로 증가하였고 스프레드 또한 30%이상 줄어들었다.21)

17) Turquoise London Stock Exchange Group, 보도자료, 20 October 2010

18) Sanders, Andrew F, "Getting Asia to adapt Algorithmic trading", FT Mandate, June 2006

19) Tokyo Stock Exchange, "http://www.tse.or.jp/english/rules/equities/arrowhead/info.html"

20) 고빈도 매매(High Frequency Trading, HFT)는 알고리즘 매매 중 전략 알고리즘 부분의 Alpha-strategy에

위치하는 개념이며 본 연구에서 논의하는 주문 집행 알고리즘과는 그 개념을 달리한다. HFT 개념에 대한 자

세한 내용은 다음 자료를 참고. Jarnecic, E. and Snape, M., "An analysis of trades by High Frequency

participants on the London Stock Exchange", Brogaard, J., "High frequency trading and its impact on

market quality"

- 10 -

홍콩거래소(HKEX)와 싱가포르거래소(SGX) 역시 알고리즘 매매와 HFT에

대한 수요를 만족시키기 위해 노력하고 있다. 홍콩거래소에서는 2005년에

HK$50 이상의 스프레드 절감 효과를 보았고 이에 이어 2011년 말에 차세대

데이터시스템인 Genium iNET을 구축 할 예정이다.

싱가포르에서도 알고리즘 매매가 활성화되고 있다. 최근 몇 년 사이 싱가포

르거래소의 거래량이 81% 증가하였고 일평균거래량이 두 배 증가한 점, 체

결률이 급격히 낮아진 점에서 그 근거를 찾을 수 있다. 이에 대해 싱가포르

거래소는 알고리즘 매매가 활성화된 뒤의 일부현상일 뿐이며 더 큰 발전이

있을 것이라고 예상하고 있다. 싱가포르거래소는 아시아의 금융 게이트웨이

로서의 위치를 굳히기 위해서 새로운 거래타입 활성화, Co-location 활성화,

고속의 거래접속 서비스 지원을 추진하고 있다.22)

호주거래소(ASX)는 알고리즘 매매 비즈니스를 유치하기 위해 알고리즘 매

매에 적합한 거래 환경을 만들고 있다. 구체적으로 호주거래소는 기존의 거

래 수에 대비한 수수료 체계를 거래량에 대비한 수수료체계로 전환하였다.

그 결과 알고리즘 매매에 의한 거래량이 2배 이상 늘어났다. 또한 대량거래

를 감당하는 시스템을 업그레이드 하여 과거보다 헤드룸의 여유가 50%이상

증가했다.23)

(3) Overview

미국 및 유럽의 헷지펀드와 퀀트 트레이더들은 아시아시장에 적극적으로

참여하려는 움직임을 보이고 있다. 따라서 아시아 각국의 거래소들은 자국의

의 시스템을 개선하여 자국 시장의 경쟁력을 확보하기 위한 적극적인 노력

을 하고 있다. 이와 동시에 알고리즘 3rd party vendor들과 sell-side vender

21) 한국거래소 유가증권시장본부 주식시장 총괄팀 “Trading Architecture Asia 2010(홍콩)”, ppt 자료

22) The NASDAQ OMX Group Market View magazine "Asia-Pacific gears up for Algorithmic Trading"

January, 2008

23) Automated trading magazine "Exchange views: ASX Ramping up for Algo/DMA trading" 04 January,

2007

- 11 -

들은 아시아 시장에 적합한 알고리즘 프로그램을 개발하여 아시아 시장에

적극적으로 진출하고 있다. 이를 종합적으로 고려 할 때 낮은 유동성의 문제

와 큰 폭의 스프레드 등의 문제에 직면한 아시아 시장에서 알고리즘 매매는

빠른 속도로 확산될 것으로 예상된다.

4. 거래비용의 이해와 분석

(1) 거래비용의 이해

거래비용이란 주문에 대한 의사 결정을 내린 시점부터, 시장에서 최종적으

로 체결이 이루어지기까지의 비용을 말한다. <그림2>에서 보듯이 거래비용

은 크게 명시적 비용(visible cost)과 묵시적 비용(hidden cost)으로 구분할

수 있는데 명시적 비용은 다시 브로커 커미션, 거래소 수수료, 세금 등으로

구성된다. 묵시적 비용은 bid-ask 스프레드, investment delay, price

appreciation, 시장충격비용, timing risk, 기회비용 등으로 구성된다. 각 요소

들은 각각 포트폴리오 수익에 서로 다른 영향을 미치게 된다.24) 거래비용 중

묵시적 비용절감에 대한 buy-side와 sell-side의 인식 부족은 국내 주문 알

고리즘 매매 도입에 장애가 되는 주요 요인이라는 점에서 거래비용 중 묵시

적 비용에 대한 올바른 이해가 선행되어야 할 것이다.

가. 명시적 비용

<그림 3>의 피라미드 상위 부분이 주식시장의 거래에 있어서 일반적으로 인식

할 수 있는 명시적 비용이다. 현재 국내 주식시장에서의 거래비용에 대한 관심은

수수료와 세금 등의 명시적 비용에 치중되어 있지만 명시적 비용들은 고정 비용

이라는 점을 고려할 때 주식거래자들이 임의적인 절감이 불가능하다. 따라서

거래비용의 분석 및 거래비용의 절감을 위해서는 이하에서 언급할 묵시적

24) Kissell & Glantz(2003) p.11

- 12 -

비용의 최소화에 주목할 필요가 있다.

<그림 3> Transaction Costs Pyramid

출처: Optimal Trading Strategies, Kissell & Glantz (2003)

나. 묵시적 비용

묵시적 비용은 시장충격(market impact)처럼 합리적인 사전적 예측이 불가

능한 비용을 의미한다는 점에서 사전적인 비용의 추정치로 계산된다. 트레이

더 입장에서는 투자 사이클에 추정치를 부여하여 이러한 비용들을 효과적으

로 처리함으로써 포트폴리오 자산의 가치하락효과를 상쇄하려 해야 한다.

즉, 트레이더는 시장충격을 줄이기 위한 소극적 거래 시의 기대비용과 위험

노출을 줄이기 위한 공격적 거래 시의 기대비용의 상충 관계(trade-off)를 고

려하여 묵시적 비용의 최소화를 달성해야 한다.

하지만 국내 buy-side의 경우에는 총 거래비용을 고려한 best execution의

의무가 없고 단지 신의성실의 원칙에 입각한 최선 전략의 의무 이행만이 요

구된다.25) Sell-side를 비롯한 국내 주식시장 참여자들은 묵시적 거래비용을

25) 현행 자본시장법 제 37조

- 13 -

포함한 총 거래비용의 최소화가 최적 거래 전략의 필요조건이라는 점을 분

명히 인식할 필요가 있다. 묵시적 비용을 구성하는 bid-ask 스프레드, 기회

비용(opportunity cost), 시장충격 비용(market impact cost), timing risk의

의미는 다음과 같다.

① bid-ask 스프레드:

스프레드란 매도 호가로 매수 주문을 실행하거나 매수 호가로 매도 주문을

실행할 때 지불해야하는 비용으로, 매도 호가와 매수 호가의 차이를 의미한

다. 스프레드가 발생하는 이유로는 세 가지를 들 수 있는데, Demsetz(1968)

은 주문을 즉시 체결하기 위한 과정에서 발생하는 비용으로, Ho와 Stoll은

재고 보유에 대한 위험을 회피하기 위한 비용으로 그리고, Copeland와

Galai(1983)은 사적 정보를 보유한 정보 거래자와의 거래 위험을 회피하기

위한 역선택 비용으로 설명했다.

② 기회비용(opportunity cost):

주식거래에 있어서의 기회비용은 의사결정과정과 실제 매매시점간의 시차

사이에 발생하는 시장충격에 제반되는 비용을 말한다.

③ 시장충격 비용(market impact cost):

Holthausen, Leftwich, and Mayers(1987)에 따르면 시장충격비용은 일시적

충격비용(temporary impact cost)과 영구적 충격비용(permanent impact

cost)으로 나누어 분석할 수 있다. 시장충격 비용은 특정 거래나 주문에 의

해 야기되는 가격의 움직임에 의해 발생한다. 즉, 대량의 매도주문이 실행된

경우에 시장 가격은 하락 할 것인데 이와 같은 유동성 주문 수요의 불일치

및 정보 유출이 일어날 경우 투자자들이 지불하는 주문체결 프리미엄만큼의

시장충격 비용이 발생하는 것이다.

④ 타이밍 리스크(timing risk):

타이밍 리스크는 가격변동성과 유동성 리스크에 의한 거래 비용 추정에 관

련된 불확실성이다. 가격변동성은 price appreciation 추정치에 영향을 주고

- 14 -

유동성 리스크는 시장충격 추정치에 영향을 준다. 거래 중 가격은 일반적으

로 시장의 랜덤한 움직임, 경제 전망의 변화, 뉴스, 패러다임 변화, 불규칙

잡음 등으로 인해 변화한다. 결과적으로 시장가격은 예상보다 낮거나 높게

형성되는데 이를 가리켜 주문의 가격변동성 또는 가격 리스크라고 한다. 유

동성 리스크는 불확실한 시장 거래량에 의한 거래비용의 불확실성이다.

(2) 거래비용분석(Transaction Cost Analysis; TCA)

TCA는 주식 거래에 제반되는 총 거래비용에 대한 분석을 말한다.26) 즉, 전

술한 거래비용을 사전적으로 또는 사후적으로 측정 및 평가하여 그 결과를

알고리즘 매매 전략으로 피드백 하는 과정이다. 알고리즘 매매의 도입과 활

성화를 위해서는 필수적으로 TCA process가 이루어져야 한다. 특히 대규모

의 주식 거래나 대규모의 포트폴리오를 implementation & rebalancing 할 경

우에는 시장과 직접적인 관계를 가지는 비용 및 매매 과정의 업무 실패로

발생할 수 있는 비용에 대한 포괄적인 고려가 요구된다. 그럼에도 불구하고

TCA는 국내시장에 개념조차 도입되고 있지 않는 바, 이는 발전된 형태의

주문 알고리즘 전략을 이용한 거래가 전무함이 그 원인이다. 동시에 발전된

형태의 주문 알고리즘 전략을 이용한 거래가 이루어지기 위해서는 TCA가

반드시 필요하다는 점에서 주문 알고리즘 전략과 TCA는 동시 게임의 성격

을 갖는다고 할 수 있다. TCA의 종류는 <표 2>와 같이 benchmark 시점에

따라 pre-trade, intra-day, post-trade로 나눌 수 있다.

가. Pre-trade analysis

Pre-trade analysis는 거래 이전에 어느 정도의 거래비용이 예상될 것인가

를 예측하는 분석이다. 거래 이전에 거래비용을 예측해야 한다는 점에서 가

장 많은 데이터와 모델이 필요하기 때문에 TCA 중 가장 어려운 분석이면서

26) TCA에 사용되는 비용 개념은 일반적으로 Explicit Transaction Cost / Indirect Transaction / Implicit

Transaction Cost 로 구분한다. "http://algomarket.wikidot.com/"

- 15 -

도 가장 핵심적인 분석이라고 할 수 있다. 트레이더는 단일 주식의 거래량,

변동성, 위험도 등의 정보를 과거의 정보와 비교분석하여 산출된 예측모델을

통해 의사결정 기준을 세운다. 이는 다시 buy-side 트레이더의 거래결과에

대한 정당성을 확인하는 근거로 사용되며 동시에 트레이더의 성과를 평가하

는 기준이 되기 때문에 pre-trade analysis는 sell-side와 buy-side를 비롯한

시장 참여자들에게 거래 결과에 대한 유용한 정보 및 피드백을 제공한다고

할 수 있다. <그림 4>에서 확인할 수 있듯이 TCA를 적용하고 있는 국외의

경우, buy-side는 주로 거래비용에 대한 이해(36%)와 전략의 선택(24%)을

위해 pre-trade analysis를 활용하고 있다.

<표 2> TCA의 종류

Stage 장점 단점

Pre-trade

딜레이와 거래비용을 계산하

는데 좋은 대용치(proxy)이다.

Post-trade와 동시에 비교하지

않으면 기회비용을 계산하기 어

렵다.

투자에 관련된 비용과 거래에

관련된 비용을 식별한다.

실제 주문집행 성과를 계산하기

어렵다.

Intra-day

합리적시장가격의 지표이다. 가격개선 전략, 위험 최소화 또

는 일정 이상의 위험 회피 기반

의 전략에 대한 성과 기준이 되

지 못한다.

시장상황과 매매활동을 포함

하여 설명한다.

매니저가 비용 최소화를 원할

때 좋은 성과기준이 된다.

날짜와 주식종류에 대한 횡단면

분석이 용이하지 않다.

Post-trade

주문실행이 펀드에 어떤 기여

를 하였는지 평가한다.

영구적 시장충격비용이

가격기준항목에 포함되지

않는다.

Pre-trade benchmark와 함께

사용하여 주문의 기회비용을

추정할 수 있다.

`트레이더의 성과평가

성격보다는 매니저의 스킬

평가척도로 사용된다.

출처: Opimal Trading Strategies, Kissell & Glantz (2003)

- 16 -

<그림 4> Buy-side Uses of Pre-Trade TCA

출처: TABB Group

나. Post-trade analysis27)

Post-trade analysis는 거래 종료 후 예상 가격과 실제 가격을 비교하여 실

행결과를 평가를 하는 분석이다. Post-trade analysis를 위한 데이터는

commissions, 시장 데이터, 주문의 결과가 있는데 데이터의 수집 → 거래비

용의 계산 → 과다 지불된 비용의 근원을 찾는 과정을 거치게 된다. 거래의

결과는 특정 benchmark를 기준으로 비교・평가 하며 이때 가장 보편적으로

사용되는 benchmark은 VWAP benchmark이다. 이는 VWAP benchmark 개

념이 가장 잘 알려져 있고 이해하기 쉽기 때문이다. 그 외의 benchmark은

대표적으로 Arrival Price benchmark이 있는데, 이는 Implementation

Shortfall의 개념을 이용하여 투자 과정에서 발생하는 이론상의 포트폴리오

수익(paper return)과 실제 포트폴리오 수익(portfolio return)의 차이를 비용

으로 인식하는 과정을 포함한다.28)

27) Optimal Trading Strategies, Kissell & Glantz(2003), Ch13

28) Implementation Shortfall =

Pr Pr

- 17 -

Ⅲ. 실증 연구

본 장에서 논의될 연구는 제 Ⅱ장에서 소개된 주문 알고리즘 전략

(execution algorithmic strategy)의 거래비용 절감 효과를 실증적으로 비교・분석하는 것에 목적이 있다. 연구 대상이 되는 주문 알고리즘은 TWAP 전

략과 Arrival Price 전략이며, 각각의 전략은 Implementation Shortfall의 방

법론을 통해 거래비용이 계산된다.

논의의 순서는 주문 알고리즘 전략을 수립하기에 앞서 Implementation

Shortfall의 개념을 통해 적정 거래비용 모형을 먼저 도출한 다음, 모형에 포

함되는 모수를 추정하게 된다. 이어서 분석 대상이 된 주문 알고리즘 전략을

구체적으로 수립하고, 각기 다른 전략을 동일한 거래비용 모형으로서 평가하

여 어떠한 전략이 최적(optimal) 주문 알고리즘 전략인지를 일정한 기준을

통해 판단하게 된다.

1. 표본 설정 및 자료 수집

한국거래소 유가증권시장에 상장된 삼성전자29) 종목의 2010년 12월 22일부

터 동년 동월 30일까지 7일 동안의 시간외거래와 동시호가거래를 제외한

TAQ(Trade and Quote) 체결 틱(tick)자료 163,909개를 표본으로 설정하였

다. 자료는 KOSCOM 데이타몰30)에서 유선으로 구입하였으며, 신용정보 누

출 문제 등을 이유로 거래 당사자들에 관한 정보가 삭제된 것을 제공받았다.

분석 대상을 단일 종목으로 한정한 것은 전략의 실제적 수행보다는 전략 자

체를 분석함에 초점을 두고 있기 때문이다.31)

연구의 현실성을 위해 실제 주문 알고리즘 전략이 수행되는 상황을 상정하

29) 표준종목코드 KR7005930003

30) http://datamall.koscom.co.kr/servlet/infoService/IssueTaqData

31) 이질적인 종목과 거래 단위에 대하여 상이한 거래량과 시간을 비교가능 하도록 조정하는 것을 Stadardisation

이라고 한다. 자세한 것은 Almgren et al(2005)을 참고.

- 18 -

여 거래 단위기간을 설정하는 것이 필요하다. Almgren et al(2005)에 따르면

2001년 12월부터 2003년 6월까지 Citigroup Equity Trading Center가 처리한

약 70만주의 종목을 대상으로 분석한 결과 실제 개별 대량매매 주문은 통상

5회에 걸쳐 30분 내외로 종료된다.32) 그러나 앞 장에서 전술한 바와 같이 우

리나라의 경우 주문 알고리즘 매매가 정착되지 않았으며 브로커 재량에 의

해 임의의 시간대에서 주문을 처리하는 것을 현실적으로 고려할 때, 개장시

각 9시부터 폐장시각 10분전 동시호가 매매가 시작되는 14시 50분까지 정규

장 전 구간에 걸쳐 5분 간격씩 70구간으로 전략을 구성하는 것은 합리적인

가정이라고 판단된다. 결론적으로 163,909개의 틱자료는 490개의 단위 표본

으로 가공되었다.

2. 거래비용분석 모형

Perold(1988)는 펀드매니저의 성과를 분석함에 있어 포트폴리오의 장부

(paper) 가치와 실현(reality) 가치의 차이를 볼 것을 제안하였는데, 이를

“Implementation Shortfall”(이하 33))이라고 정의하였다.34) 이는 펀드

매니저가 종목 선택으로 인해 발생할 것이라 기대한 수익과 포트폴리오의

실현된 수익을 비교함으로써 자신의 능력이 실제 어느 정도까지 발현될 수

있는지를 정량적으로 알 수 있는 방법이다. Almgren & Chriss(2000)는 이를

거래비용분석에 적용하여 브로커가 주문받은 시점에서의 매매가치와 실제

거래에서 발생한 매수・매도 가치의 차이를 거래비용이라고 간주한다.35)

주문받은 시점의 주식의 가격(arrival price)이 이고 주문량이 라고 한다

면, 아무런 거래비용 없이 시장에서 즉각적으로 매도・매수할 경우 매매가치

는 가 된다. 그러나 이는 장부상 가치일 뿐이며 특히 buy-side의 대량매

매 주문을 받은 브로커의 경우에는 매매를 통해 장부상 가치를 온전히 보존

32) Almgren et al(2005), p.8-933) expected shorfall과는 다른 개념이다.

34) Perold, André F.“The implementation shortfall: paper versus reality”, Journal of Portfolio Management,Vol. 14 (1988), Nr. 2, p.5

35) 이하 거래비용분석 모형에 관한 논의는 기본적으로 Almgren & Chriss(2000) 1장에 근간한다.

- 19 -

할 가능성은 극히 희박하다. Almgren & Chriss(2000)는 실제 주식 거래에

있어 매매 가치를 변화시킬 수 있는 요인을 “주식가격의 움직임(stock price

dynamics)”과 “매매에 따른 시장충격(market impact)”으로 구분하였다.

(1) 주식가격의 움직임

통상 주식가격을 포함한 금융 및 경제 시계열들은 대부분 단위근이 1인

과정이다.36) 따라서 주식가격의 움직임이 이산적 산술 랜덤워크

(descrete arithmetic random walk)를 따른다고 가정하는 것은 합리적이라고

볼 수 있다. 부터 까지의 주식가격의 움직임을 라고 했을 때 이산적

산술 랜덤워크는 다음과 같다

⑴

는 주식가격의 변동성, 는 단위기간, 는 평균이 0이고 분산이 1인 표준

정규분포를 따르는 비너과정(Wiener process), 그리고 는 장기추세(drift)를

나타내는 모수이다. 우리의 실증 연구 대상은 일중(intraday) 가격의 움직임

이므로 는 일변동성(daily volatility)으로 판단되며, 단기 시계열의 특성상

가격의 움직임이 지극히 제한적인 이유로 금융 연구에서 보편적으로 사용되

는 기하 랜덤워크(geometric random walk)37)와는 별다른 차이는 없게 된

다.38) 한편 시장에 충격을 주는 새로운 정보가 없다면 는 사실상 0에 가까

울 것이며 본 논의에서 시간추세는 없다고 가정한다.

(2) 매매에 따른 시장충격

통상 매매에 따른 시장충격은 크게 항구적인(permanent) 충격과 일시적인

(temporary) 충격으로 구분된다. Kissell & Glantz(2003)의 정의에 따르면 항

구적 충격은 주식의 내재가치(intrinsic value) 혹은 주가의 균형을 변화시키

36) 김명직 & 장국현, <금융시계열분석>, 2e, 경문사, 2004, p.329

37) 기하랜덤워크는 주식가격 움직임의 분포가 로그정규분포를 따른다고 가정한다. 자세한 것은 Hull(2008)을 참

조.

38) Almgren & Chriss(2000), p.8

- 20 -

는 충격이며, 일시적 충격은 기업의 펀더멘탈(fundamental)을 변화시키는 뉴

스나 장기적인 전망이 부재하는 가운데 발생한 충격을 말한다.39) 그러나 실

상 두 충격을 구별하여 정량화하는 것은 현실적으로 거의 불가능에 가깝다.

Almgren & Chriss(2000)는 항구적 충격비용을 모형화 시키는 과정에서 단

위기간 동안 거래하는 거래율에 대한 선형함수 형태로 가정했다. 그러나

Almgren은 자신의 후행연구에서 항구적 충격비용의 선형성에 대해 최적 거

래 궤적(optimal trade trajectory)을 수립하는데 영향을 주지 않는다고 하여

모형에서 제외시킨다.40) 따라서 본 연구에서는 편의를 위해 시장충격에 대한

함수를 일시적 시장충격에 대한 것으로만 논의를 한정한다.

일시적 시장충격은 정의상 시장 미시구조(market microstructure)의 내부적

이고 일시적인 충격41)이므로 발생한 구간에서만 영향을 미치고 다음 구간에

는 영향을 미치지 않는다. 거래자가 부터 까지 단위기간 동안 매수・매도하는 주식수량이 라고 했을 때, 단위시간 대비 주식 거래율은

가

되며, 단위기간동안 발생하는 주당 일시적 시장충격비용은 모수 를 곱한

가 된다. 따라서 매매하는 전체 주식수량에 대해 일시적 시장충격의 총

비용은 이 되고, 이는 시장충격비용의 산출이 매매하는 주식수량에 대해

이차식의 비용함수 형태가 됨을 보여준다.

추가적으로 일시적 시장충격비용에는 매매에 따른 고정비용인 bid-ask

spread와 수수료 등을 고려할 수 있으나, 이는 전체 매매수량에 대해 일정비

율로서 가감하는 항목이므로 논의의 편의를 위해 제거하기로 한다.42)

39) Kissell & Glantz(2003), p.108-110

40) Almgren & Glantz(2007), p.9

41) Almgren & Chriss(2000), p.11

42) 이에 대하여 Almgren & Chriss(2000)에서는 전체 매매되는 주식의 절대수량을 라고 할 때, 로써정의하였다.

- 21 -

(3) 거래비용분석 모형의 수립

주식의 매매가치를 변화시킬 수 있는 상기한 두 가지 요인을 반영하여 부

터 까지 주식 거래에 따라 실제 얻을 수 있는 가치 는 다음과 같

다. 단, 이후의 논의는 모든 의 거래를 주식을 매도하는 경우로만 한정시킨

다.43)

는 에서 아직 보유하고 있는 잔여 매도수량을 의미하며, 는

로 정의할 수 있다. 식의 우변에서 첫째 항은 주문 도착 시의 거래의

장부 가치이며, 둘째 항은 매매를 진행하는 과정에서 마다 주식가격이 산

술 랜덤워크에 따라 발생하는 매매가치의 변화분이다. 마지막 항은 마다

주문량의 제곱에 대해 발생하는 일시적 시장충격의 총비용이다. 상정하는 거

래가 모든 에서의 매수거래라면 마지막 항은 부호가 양으로 바뀌게 된다.

주식을 매도함에 따르는 거래비용은 정의에 따라 장부상의 가치

에서 실현된 가치 를 차감한 잔여가치이며, 상기한 식에 따라 다

음처럼 정의할 수 있다

⑵

서로 다른 주문 알고리즘 매도 전략은 동일한 에서 상이한 를 갖게 된

다. 그러나 주문 알고리즘 전략을 통해 거래비용을 계산하기에 앞서 모형에

구체성을 부여하기 위해 삼성전자 주가 표본에 대한 시장충격 모수 와 일

변동성 모수 에 대한 추정이 필요하다.

43) “pure sell program", Almgren & Chriss(2000)

- 22 -

3. 개별 모수의 추정

(1) 일시적 시장충격 모수()

가. 선행 연구

Almgren et al(2005)은 2001년 12월부터 2003년 6월까지 Citigroup Equity

Trading Center가 처리한 29,509건의 대량 매매주문을 대상으로 항구적・일시적 시장충격 비용함수의 형태를 도출하고 각각의 적정 모수값을 추정하였

다. 이들 연구에 따르면 거래율과 수익률 사이에 항구적 시장충격 비용함수

는 선형의 관계를 보이며, 일시적 시장충격 비용함수는 비선형의 관계를 보

이고, 가격변화율에 대한 각각의 시장충격 비용함수의 회귀분석 결과 계수값

은 ±과 ±로 추정되었다.44)

상기 선행연구 방법론을 따라감에 있어 본 연구가 갖는 근본적인 한계는

공개적으로 이용되는 자료를 통해서는 대량매매에 의한 시장충격을 직접적

으로 추정할 수 없다는 점이다. Almgren et al(2005)에 따르면 TAQ 틱자료

의 경우, 각각의 거래 정보가 대량주문의 일부를 구성하는 일련의 정보를 만

들어내지 못하고 개별적으로 존재하기 때문에 신뢰할만한 분류가 불가하다

고 하였다.45)

따라서 본 연구는 Breen et al(2002)의 제안을 수용하여 TAQ 틱자료를 5분

단위로 분할한 다음 각 구간마다의 매수・매도 수량의 불균형을 통해 대량

매매에 대한 시장충격을 간접적으로 추정하기로 하였다. 이와 같은 방법론은

연구자들이 데이터 접근에 갖는 한계 때문에 Almgren et al(2005)의 방법론

에 비해 보편적으로 사용되며, 비슷한 접근을 한 연구는 Kissell &

Glantz(2003), Rydberg & Shephard(2003) 등이 있다.

Breen et al(2002)은 매수・매도의 불균형을 순거래량(net traiding volume)

44) Almgren et al(2005), p.2145) Almgren et al(2005), p.5

- 23 -

을 통해 계산하였는데, 이것은 전체 체결된 거래량 중에서 buyer-initiated

거래량으로부터 seller-initiated 거래량을 차감한 net buyer-initiated 거래량

으로 정의된다.46) 만약 일정 기간 동안 순거래량 값이 0보다 크면 시장에서

매수주문을 체결하고자 하는 사람들이 bid-ask spread 비용에도 불구하고

적극적으로 매매를 체결하고자 한다는 뜻이며, 따라서 매수주문자들은 유동

성 수요자(liquidity demander)로 간주된다.47) 가격이 안정적일 때 수요와 공

급이 균형을 이루는 전형적인 시장의 구조를 전제하였을 때, 펀더멘탈에 대

한 충격으로 균형가격 자체가 변화하지 않는 경우, 수급의 불균형은 거래참

여자들의 시장충격에 대한 일시적 거래비용을 발생시킨다고 볼 수 있다.

현실적으로 대량매매의 주체는 기관・법인이고, 이들의 정보 수준은 비대칭

적으로 우위에 있다고 보는 것이 합리적이다.48) 따라서 기관・법인의 매매

패턴이 시장 가격을 견인한다고 가정할 때, 이들에 의한 대량매매 주문은 설

사 대량매매가 아니더라도 가격 공헌(price concession)의 정도가 크다고 볼

수 있다.49) 시장의 균형유동성 수급량을 초과하는 거래량을 가격공헌을 하는

주문이라고 간주하고, 가격공헌을 하는 거래의 주체를 ― 정보를 가졌으며,

대량매매의 통상적 주체이고, 무엇보다 주문 알고리즘 매매 전략의 사용자인

― 기관・법인 등의 buy-side라고 가정한다면, 순거래량을 대량매매 주문량

의 대용(proxy) 변수로 설정하여 일시적 충격비용 모수를 추정할 수 있다.

나. 연구 방법

KOSCOM의 TAQ 체결 틱자료에는 각 틱 별로 최종접수호가가 매도・매수별로 각각 구분되어 있다. 최종접수호가가 매도일 경우 buyer-initiated 거래,

매수일 경우 seller-initiated 거래로 규정할 수 있다.50) 각각의 경우에 대해

46) Breen et al(2002) p.47147) Kissell & Glantz(2003) p.101-102

48) 투자자 집단 별로 상이한 투자성향이 시장에 미치는 영향에 대한 분석은 정보거래의 가격효과에 대한 연구를

뒷받침한다. Barber & Odean(2006), Kang & Park(2006)을 참조.

49) 정보를 가지고 있는 투자자들이 medium size의 주문을 시장에 내는 은닉효과(stealth effect)를 통해 정보가

가격에 반영되는 것을 지연시킬 수 있다. Barclay & Warner(1993)을 참조.

50) 틱자료의 경우 실제거래가 buyer-initiated인지 seller-initiated인지는 보통 기록되지 않는다. 이럴 경우 Lee &

Ready(1991)의 방법론이 널리 사용된다.

- 24 -

상기 언급한 대로 7일간 490개의 구간에서 각각 체결종가와 거래량을 기록

하고, 구간별 순거래량의 수를 최종접수호가가 매도인 경우에서 매수인 경우

를 차감하는 방식으로 계산하였다. 이를 변수로 정의한다. 구간별 종

가는 buyer-initiated 체결가와 seller-initiated 체결가의 중간값을 이용하였으

며, 구간별 종가들의 차분값( )은 변수로 정의한다.

Breen et al(2002)은 변수를 해당종목의 발행주식수로 나눈 것에

1,000을 곱한 것으로 수치 조정하였으며, 변수 역시 가격변화율 변수로

조정하였는데, 이는 서로 다른 종목과 기간의 자료들을 포괄적으로 비교하기

위함이다.51) 그러나 본 연구는 회귀분석 결과 도출된 계수를 거래비용 모형

에서 직접적으로 사용하기 위해 계수값에 실질적인 의미를 부여하는 것이

중요하고, 단일 종목에 대한 시계열 자료를 분석하기 때문에 별다른 조정 없

이 설명변수를 , 종속변수를 로 사용하여 최소자승법 추정을 실시

한다.

다. 추정 결과

변수와 변수는 시계열 자료이기 때문에 만약 변수가 불안정한

(non-stationary) 자료라면 전통적 회귀방법을 사용하였을 때, 가성적 회귀

(spurious regression)의 문제를 발생시킨다.52) 분석에 앞서 각각의 변수에

단위근이 존재하는지 원계열 수준에서 ADF(augmented Dickey-Fuller) 검정

을 시행하였다. ADF 검정의 시차는 SIC(Schwarz information criterion)를

사용하였으며, 시차(lag)는 2로 설정하였다.

<표 3> ADF 검정 결과

변수 Intercept Intercept & Trend

주1) Mackinon(1996)의 임계치를 이용

주2) ***는 ADF의 t-statistic을 기준 1%의 유의수준을 나타냄

51) Breen et al(2002) p.47252) Nelson & Plosser(1982)를 참조.

- 25 -

검정결과는 두 변수가 모두 원계열 수준에서 단위근이 존재한다는 귀무가

설을 1% 수준으로 기각하여 계열안정성을 확보하는 것으로 나타났다. 따라

서 두 변수를 전통적 회귀분석 방법인 최소자승법을 사용하여도 가성적 회

귀는 아닌 것으로 판단할 수 있다. 설명변수는 로 종속변수를 로

설정한 단순회귀의 결과는 아래와 같다.

주) ***는 t-statistic을 기준 1%의 유의수준을 나타냄

식 안에 있는 값은 추정된 계수값이며 괄호안의 값은 t-statistic이다. t-test

결과 기울기 계수가 1% 수준에서 유의한 것으로 나타났다. 추정된 기울기

계수의 의미는 buyer-initiated 거래량이 1주 증가할 때 삼성전자 주가가

0.4154원 상승한다는 것이다. 상기 언급한 가정들이 성립한다고 했을 때, 삼

성전자 종목의 일시적 시장충격 모수 의 추정치는 0.4154로 판단된다.53)

(2) 일변동성 모수()

가. 선행 연구

Kissell & Glantz(1993)는 주가의 변동성을 추정하는 여러 가지 방법을 소

개하고 있다.54) 보통 실무에서는 주수익률이나 월수익률 자료를 사용하여 변

동성을 구하고 이를 square-root-rule로 조정(scale)하게 된다. 변동성을 구하

는 방법은 역사적 변동성(historical volatility), EWMA(exponentially

weighted moving average), GARCH(generalized autoregressive conditional

heteroskedasticity) 등이 있는데, Kissell & Glantz(2003)는 그 중 GARCH의

사용을 권장하고 있다.

한편 Anderson, Bollerslev and Lange(1999)와 Marten(2001)은 일중수익률

53) 추정된 기울기 계수는 0.4153948649±0.024938의 값을 갖는다.54) Kissell & Glantz(2003) Ch. 6를 참조.

- 26 -

(intraday returns)이 변동성을 측정하는 것뿐만 아니라 예측하는 것에서도

개선된 효과를 보인다고 주장하였다. Marten(2002)은 주가의 일변동성을 추

정하는데 있어서 일중수익률을 사용하는 것이 최선의 방법이며, 이때

overnight 수익률(전일 종가대비 금일 시가의 수익률)은 제외하고,

GARCH(1,1)의 방법을 사용하는 것이 값을 높인다고 보고하고 있다.

나. 연구 방법

본 연구의 최종 목표는 적정 거래비용 모형을 통해 주문 알고리즘 매매의

효과성을 분석하고자 함에 있다. 통상 주문 알고리즘의 매매가 일중매매임을

감안할 때, 일수익률이나 주단위 혹은 월단위 수익률을 통해 변동성을 구하

는 방법은 적정한 방법이라고 보기 어렵다. 따라서 상기한 선행연구에 근거

하여 일시적 시장충격 모수를 구할 때와 마찬가지로 7일간 490구간의 5분

단위 수익률을 표본으로 삼아 GARCH(1,1)으로 적정한 일변동성을 추정할

것이다.

GARCH(1,1) 모형의 평균방정식과 분산방정식은 다음과 같다.

∼

≻ ≥ ≺

GARCH(1,1)의 모형이 약안정성(weakly stationary)을 갖기 위한 필요충분

조건은 ≺ 이 되며, 는 변동성이 얼마나 지속되는가 혹은 현재의

변동성이 미래에 어떻게 소멸되는가를 측정하며, 1에 가까울수록 현재의 높

은 변동성 충격이 장래에도 매우 지속적임을 의미한다. GARCH(1,1)을 통해

최종적으로 거래비용 모형에서 사용하고자 하는 모수 추정치인 비조건부 분

산을 계산하면 다음과 같다.

- 27 -

다. 추정 결과

5분 단위 수익률 490개를 표본으로 추정한 GARCH(1,1)의 모형의 결과는

다음과 같다.

주) ***는 z-statistic을 기준 1%의 유의수준을 나타냄

분산 방정식의 각 계수값이 z-test 결과 1% 수준에서 유의한 것으로 나타

났다. 이기 때문에 1보다 작은 것으로 나타나 조건부 분산의

추정식은 약안정성 조건을 충족한다. 도출된 계수값을 통해 5분 단위 수익률

의 비조건부 분산을 구하면 다음과 같다.

m in

동시호가매매 시간을 제외한 정규장은 1일은 5분 단위의 구간 70개로 구성

되어 있으므로, 일변동성은 m in 가 된다.55)

4. 주문 알고리즘 전략의 수립

제 Ⅱ장에서 논의한 대로 주식시장에서의 주문 알고리즘 전략(execution

algorithmic strategy)의 수립은 sell-side의 브로커가 buy-side의 요청을 받

아 특정 주식에 대한 매도・매수 주문을 일정 기간 동안 처분할 때, 거래비

용을 최소화 하는 각 단위기간의 주문수량을 결정하는 것을 말한다. 총 주문

수량이 이며, 기부터 기까지 각 단위기간마다 의 수량만큼의 주문량을

55) 추가적으로 표준화 된 잔차항을 분석한 결과 정규분포에 비해 첨도가 높았으며, Ljunbg-Box Q-stat은 1부터

36개의 lag 변수에서 귀무가설을 기각하지 못하였다.

- 28 -

처분한다고 하면 주문 알고리즘 전략 는 다음을 결정하는 것으로 요

약된다.

⋯ ,

이므로 는 로 재정의할 수 있다. 즉 주문

알고리즘 전략은 마다 보유하고 있는 잔여주식수량 를 결정하는 매매 방

법을 일컫는 것이다.56) 단 매매를 시작하는 시점에서 매매가 끝나는 까지

모든 에서의 전략 가 결정되어 있는 경우를 정태적 전략(static strategy)

이라 하고, 매매가 진행되고 있는 시점에서 다음 구간 의 전략을 결정

하는 경우를 동태적 전략(dynamnic strategy)이라 한다. 본 연구에서 동태적

전략은 분석 대상이 아니다.57)

차후 논의에서는 여러 가지 형태의 주문 알고리즘 전략 중 가장 보편적 전

략인 TWAP 전략과 Arrival Price 전략을 다룬다. 제 Ⅲ장 1절에서 전제하

였듯이 수립되는 전략의 형태는 모든 에서 보유 주식에 대해 매도 포지션

만을 취한다.

(1) TWAP 전략의 수립

TWAP 전략은 전체 주문량 를 일정기간 동안 구간에 대해 동일한 수량

으로 나누어 마다 동일한 수량을 매매하는 방법이다. 대량매매 주문이 시

장에 충격을 주지 않기 위해 고안된 방법으로 거래비용을 기대치를 최소화

하는 전략으로 알려져 있다. TWAP 전략에 따른 순매도 거래 궤적

(pure-sell trading trajectories)는 다음처럼 구현 된다

56) 부터 까지의 결정된 의 집합을 거래궤적(trading trajectories)이라고 한다.

57) Bertsekas(1976)을 인용하여 Almgren & Chriss(2000)에서는 주식의 가격이 시계열적 자기상관이 없다면 동

태적 전략과 정태적 전략이 본질적으로 같음을 증명하고 있다. 나아가 Almgren & Lorenz(2007)에서는 동태적

전략과 정태적 전략이 본질적으로 같은 가운데 적응적 전략(adaptive strategy)은 최적 전략은 아니지만 두 전

략보다 낮은 거래비용을 구현할 수 있음을 보이고 있다.

- 29 -

⑶

거래하는 단위구간의 길이가 일정하다고 가정했을 때, TWAP 전략은

VWAP 전략에서 단위구간 대비 거래량이 일정한 경우에 해당한다. VWAP

전략은 경험적으로(historically) 형성되는 VWAP benchmark58)를 달성하기

위해 고안된 전략이며, Kissell & Glantz(2000)의 증명에 따르면 VWAP

benchmark를 달성하기 위한 에서의 최적의 거래전략 는 전체 주문량

를 일평균거래량(average daily volume; ADV) 대비 구간 의 평균거

래량의 비율만큼 곱하여 주문을 내는 것이다.59)

실무에서 VWAP 전략이 널리 사용되는 이유는 무엇보다 시장충격비용을

최소화하는 전략이기 때문이다. 대량매매 주문의 경우 거래량이 많은( 유

동성이 풍부한) 구간에서 비례적으로 많은 양의 주문을 내고, 거래량이 적은

( 유동성이 부족한) 구간에서는 비례적으로 적은 양의 주문을 내는 것이

비용 절감에 유리할 것이다. 그러나 보다 근본적으로는 브로커들의 실적이

VWAP benchmark로 평가받기 때문에 VWAP 전략이 쓰인다고 볼 수 있

다.60)

본 연구의 거래비용 측정 모형인 Implmentation Shortfall은 단위 구간 대비

시장거래량이 일정하다는 가정 하에 만들어졌다.61) 따라서 상기 모형에서

VWAP 전략과 TWAP 전략을 구분지어 구현하는 것은 본질적인 차이가

없으므로 무의미하며, 본 모형에서는 TWAP의 경우로 두 전략을 통일하기

로 한다.62)

58) VWAP benchmark는 일중 체결된 거래의 총가치를 일거래량으로 나눈 것으로 주당 평균체결가격을 의미한

다.

59) ADV 대비 구간당 평균거래량의 비율은 계열 안정적이라고 알려져 있다. Kissell & Glantz(2003) p.277-279

참조.

60) http://dolppi.egloos.com/1516719

61) Implementation Shortfall 모형에서 시장충격비용은 시장거래량의 함수가 아닌 거래자의 주문량에 대한 함수

이며, 시장거래량을 포함한 시장 미시구조에 관한 정보는 모수로써 주어진다. VWAP 전략의 경우 거래자의

주문량을 시장거래량에 대해 비례적으로 조절함으로써 주문자에 관한 정보를 모수화하는 경향이 있다.

62) 차후 소개할 Efficient Frontier 상의 위치 역시 같다

- 30 -

(2) Arrival Price 전략의 수립

Arrival Price 전략은 브로커가 주문받은 시점의 가격( arrival price)을

benchmark로 삼아 거래비용을 최소화 하는 방법이다. Arrival Price 전략은

통상 Implementation Shortfall로 계산된 거래비용의 기댓값을 주어진 최대

수준의 분산에서 에 대해 극소화 문제를 푸는 최적화 과정을 통해 최적 거

래 궤적(optimal trading trajectories)을 결정한다. 최적화문제를 푸는 과정에

서 라그랑지 승수(Lagrange multiplier) 를 통해 제약조건인 ≤ 를 비

용식에 삽입하면 다음과 같은 최적화 문제가 성립한다.

min

⑷

식 ⑵의 기댓값 과 분산 은 각각 다음과 같다.

⑸

⑹

식 ⑸과 ⑹를 식 ⑷에 대입하고 에 대해 일계 미분하면 Arrival Price 전

략의 순매도 최적 거래궤적 는 다음처럼 결정된다.63)

sinh sinh

⑺

sinh은 hyperbolic 함수이며, 는 urgency 모수다. 는 일종의 거래의 속도

를 결정하는 파라미터로서 값이 상대적으로 커지면 매매 초반에 많은 양을

거래하게 되고, 상대적으로 작으면 매매 후반에 많은 양을 거래하게 된다.

는 앞 절에서 추정한 일변동성 모수 와 일시적 시장충격비용 모수 에 대

63) Implementation Shortfall에 대한 최적화 문제를 푸는 과정은 Almgren & Chriss(2000)에 상세하게 소개되어있다. 본 절에서는 최적거래궤적을 도출하는 것에만 초점을 맞추고자 한다.

- 31 -

한 함수이며, 시장충격비용이 클수록 거래의 속도가 느려지고, 변동성이 커

질수록 빨라지는 상충관계(trade-off)을 그대로 반영한다고 볼 수 있다.64)

한편 라그랑지 승수 는 식 ⑷을 비재화(bads)인 비용()과 위험()의 적

정 배분을 선택하여 효용극대화를 하는 과정이라고 볼 때, 위험회피계수

(risk-aversion coefficient)로서 판단할 수 있다.

5. 거래비용 도출 및 결과 분석

(1) 개괄

본 절에서는 전술한 논의를 종합하여 TWAP 전략과 Arrival Price 전략의

거래비용을 각각 계산하고 결과를 평가한다. 한국거래소 유가증권시장에 상

장된 삼성전자 종목을 대상으로 2010년 12월 22일부터 동년 동월 30일까지

7일간의 정규장 거래에서 발생한 5분 단위 표본자료를 통해 모수를 추정하

였으므로, 다음 개장일인 2011년 1월 3일 9시 00분부터 14시 50분까지의 5분

간격 70구간의 거래65)에 대해 주가의 움직임이 이산적 산술브라우니언 모션

(discrete arithmetic brownian motion; 이하 ABM)의 확률과정을 따른다고

가정하고 1,000번의 시뮬레이션을 통해 거래비용을 도출한다. TWAP 전략과

Arrival Price 전략의 benchmark는 2011년 1월 3일 시가 955,000원으로 서로

같다고 가정하며, 주문량은 1000주이며 순매도 거래궤적을 따른다.

(2) ABM 과정

본 연구에서의 ABM은 식 ⑴에서 추세항 가 0인 경우에 해당한다.

⑻

64) Almgren & Chriss(2000)는 이를 설명함에 있어 가 거래에 대한 속도 개념이라면 이에 대응하는 거래에 대한 시간의 개념으로써 반감기(half-life) 를 도입하고 있다

65) 2011년 1월 3일은 예외적으로 10시가 실제 개장시각이었으나 논의의 보편성을 위해 9시가 개장시각이라고 간

주한다.

- 32 -

이므로 3절에서 추정한 일변동성 를 에 대해 조정하면

× 이며, 는 0부터 70까지이다. 확률변수

∼ 가 랜덤워크로 움직임에 따라 만들어내는 ABM 시뮬레이션 과정

을 출력한 결과는 <그림 5>과 같다.

<그림 5> ABM 시뮬레이션66)

(3) 거래궤적의 도출

3절에서 추정한 대로 일시적 시장충격 모수의 추정치 는 0.415395이다.

TWAP 전략과 Arrival Price 전략의 거래궤적은 각각 식 ⑶과 ⑺이며, 각각

의 거래궤적을 도시하면 <그림 6>, <그림 7>와 같다. TWAP 전략은 시간

에 대해 일정한 비율로 감소하는 선형의 궤적을 보이고 있는 반면에 Arrival

Price 전략은 urgency 모수 에 의해 매도 초반에는 빠른 속도로 잔여주문

량이 감소하지만 20구간 이후로부터는 점차 느린 속도로 감소하는 형태의

궤적을 보이고 있다. 라그랑지 승수인 위험회피계수 를 × 로 설정한

결과 는 4.719272로 계산되었다.

66) ABM 시뮬레이션, 거래궤적 및 거래비용 계산, efficient frontier의 출력 모두 Python v.2.6.6.을 이용하였다.

- 33 -

<그림 6> TWAP 전략의 거래궤적

<그림 7> Arrival Price 전략의 거래궤적

(4) 거래비용의 산출 및 평가

거래비용 모형은 식 ⑵에서의 Implementation Shortfall이며 1,000회의

ABM 시뮬레이션으로 TWAP 전략과 Arrival Price 전략의 거래궤적에 대해

산출한 거래비용 시뮬레이션 표본 자료의 기초통계량은 <표 4>와 같다.

- 34 -

<표 4> 거래비용 표본의 기초통계량 (단위: 원)

TWAP 전략 Arrival Price 전략

Mean 440,887 1,310,320

Median 494,331 1,239,633

Maximum 18,990,563 11,677,279

Minimum -16,770,784 -9,351,614

Std. Deviation 5,545,790 3,388,362

Observations 1000 1000

거래비용의 평균값과 중간값의 측면에서 모두 TWAP 전략이 최적 주문 전

략인 Arrival Price 전략에 비해 비용 절감 효과가 우수한 것으로 드러났다.

TWAP 전략을 FIX 상의 CD 주문에 연계시킨다면, 최적 주문 알고리즘 매

매의 이용이 전무한 대신 분할 주문을 보편적으로 사용하고 있는 우리나라

sell-side의 매매 패턴은 단순 비용극소화의 원칙에 있어 효율성을 실현하는

것으로 판단할 수 있다.67)

그러나 Ⅱ장의 거래비용에 관한 논의에서 언급하였듯이 거래비용은 명시적

거래비용과 묵시적 거래비용으로 구별되며, 묵시적 거래비용의 경우 사전적

예측이 어려운 불확실성의 요소를 가지고 있다. 현실적으로 국내 sell-side

업계에서는 명시적 거래비용과 묵시적 거래비용을 모두 포괄하는 총 거래비

용에 대한 best excecution의 평가 기준이 없으므로 최적 거래 전략을 도입

하지 않는다는 비판을 고려하여, 최적 거래 전략을 평가할 수 있는 기준인

Value-at-Risk 개념을 제시한다.68)

67) 이은정(2007)은 실증분석을 통해 국내 주식시장의 단순 분할 주문이 시장충격의 완화 때문이 아닌 정보 은닉

을 위한 것이라고 주장한다. 본 연구는 시장충격비용 모수를 추정하는 단계에서 이미 가격 공헌도가 있는 거

래의 원인이 정보 때문인지 혹은 주문량 때문인지를 명확하게 구분하지 않고, 주문 알고리즘 매매의 이용 대

상인 법인・기관이 곧 가격 공헌을 하는 거래자이자 유동성 수요자라고 가정하였다. 따라서 시장 충격에 미치는 영향과는 별도로 단순 분할 주문에 비해 주문 알고리즘 매매가 정보 은닉이나 시장 유동성에 기여하는 효

과가 있는지를 검토하는 후행 연구의 가능성이 있다.

68) Almgren & Chriss(2000)에서는 이를 L-VaR 개념으로 소개하고 있다.

- 35 -

(5) Value-at-Risk

Value-at-Risk(이하 VaR)는 JP Morgan에 의해 고안되어 1998년 BIS에 의

해 상업은행의 capital requirement를 산출하는 방식으로 승인되면서 널리 알

려진 손실을 정량화하는 기법이다. VaR의 정의를 본 연구의 논의의 바탕인

“하루 동안의 일중거래” 및 “비용-분산 최적화”의 개념으로 재정의하면, “거

래를 통해 하루 원 이상의 비용이 발생하지 않을 것을 의 신뢰수준에서

확신함69)”이다. 이때 비용 가 이다. 산술 브라우니언 모션은 표준

정규분포를 따르는 확률변수에 의해 생성되므로 산출한 거래비용의 표본은

정규분포를 그린다고 가정할 수 있다. 따라서 거래비용의 VaR 값은 다음과

같은 식으로 계산할 수 있다.

⑼

주) 는 신뢰수준 %에서의 누적표준정규분포값

식 ⑼는 식 ⑷와 유사한 모양이나 식 ⑷와 달리 식 ⑼는 분산 대신 표준편

차를 사용하고 있다. 따라서 결과적으로 효용극대화의 최적화 문제를 푸는

것과 값을 줄이는 것은 “비용-위험”의 관계를 파악하는 동일한 메커니즘

이라고 할 수 있다.70)

<그림 8> 거래비용의 VaR 분포

69) Hull(2008), p.475를 변형함

70) Antzner et al(1997)은 식 ⑼의 방법이 식 ⑷에 비해 수학적으로 문제가 많음을 지적하고 있다.

- 36 -

<그림 8>이 나타내는 것처럼 10%, 5%, 1% 수준의 VaR를 TWAP 전략과

Arrival Price 전략의 거래비용 표본에 대해 계산한 결과는 다음과 같다.

<표 5> 거래비용의 Value-at-Risk (단위: 원)

신뢰수준 TWAP 전략 Arrival Price 전략

90% 7,539,498 5,647,423

95% 9,591,441 6,901,117

99% 13,362,578 9,205,203

VaR 계산 결과, 단순 거래비용 만을 비교하는 경우와는 정반대의 결과를

보인다. 최적 주문 전략인 Arrival Price 전략이 각각의 신뢰 수준에서 모두

TWAP 전략보다 상대적으로 작은 VaR 값을 갖는다. 이는 기존의 분할주문

거래가 비용을 최소화 하는 전략이기는 하지만, 효용을 극대화하는 전략은

아님을 알 수 있다. 이를 다음의 비용-분산의 efficient frontier를 통해서 보

면 명확해진다.

<그림 9> efficient frontier

- 37 -

<그림 9>은 식 ⑷에서 라그랑지 승수 의 수준을 수준으로 달리하였

을 때의 비용의 기댓값과 분산의 관계를 나타내고 있다. efficient frontier가

오른쪽으로 갈수록 접선의 기울기가 점점 평평해지는데 이는 값이 0에 가

까워짐을 의미하며, 가 0일 때의 접점이 TWAP 전략의 경우임을 알 수 있

다. 가 위험회피수준을 나타낸다고 했을 때, TWAP 전략은 위험 중립적

(risk-neutral) 전략으로 간주되며, TWAP 보다 왼쪽에 있는 모든 전략(

)은 위험 회피적(risk-averse) 전략으로 판단된다. Arrival Price 전략의

경우 표본의 기댓값±분산이 ± 로서 efficient

frontier 상의 위험회피 전략으로 인식되며, 결론적으로 본 실증 연구는

Arrival Price 전략이 TWAP 전략에 비해 투자자의 효용을 극대화할 수 있

는 최적 주문 알고리즘 전략이라고 판단하였다.

- 38 -

Ⅳ. 알고리즘 매매에 대한 국내 시장의 대응전략

1. 업계의 대응 전략

(1) 거래비용 절감 효과에 대한 인식 제고

전술한 바와 같이 현재 국내 주식시장에서 발전된 형태의 알고리즘 전략을

이용한 거래는 전무한 실정이며 naive strategy로서의 FIX 규약 상

CD(Careful Discretion) 주문을 가장 많이 사용하고 있다. 이의 중요한 원인

은 알고리즘 매매 전략의 적절한 활용에 따른 거래비용의 실질적인 감소에

대한 sell-side 및 buy-side 업계의 전반적인 인식 부족이라고 판단된다. 이

에 본 연구는 현재 국내 시장에서 부분적으로 사용하고 있는 CD 주문과 유

사한 1세대 주문 알고리즘 모형인 TWAP 전략에 비해 2세대 주문 알고리즘

전략인 Arrinval Price 전략이 명시적 거래비용과 묵시적 거래비용을 포괄한

총거래비용 절감 측면에서 비교우위가 있음을 앞의 실증분석 결과에서 확인

하였다.

(2) 업계의 TCA의 활용

국내 대형 buy-side의 증권사 평가기준이 트레이딩 시스템 보유 여부, 숙련

트레이더 인원, 체결완료 실패 건수, 장애 건수 등으로 이루어져 있는 현실

을 고려할 때 sell-side performance를 평가하는 기준이 개선되어야 한다.

Buy-side의 입장에서는 주문을 집행하는 브로커를 평가하는 객관적이고 정

확한 기준이 필요하다. 그럼에도 불구하고 현재 국내 sell-side는 신의성실의

원칙에 입각한 업무를 수행하면 충분하다. 그 결과 buy-side에 의한

sell-side의 정확한 평가가 불가능해지는 구조적 문제를 가지고 있다. 국내

시장은 펀드의 변동성이 크기 때문에 상대적으로 비용 부분에 대한 관심이

부족할 수 밖 에 없는 시장 특수성이 존재함을 고려하더라도 세계 시장과의

치열한 경쟁을 해야 하는 현실을 고려한다면 TCA를 활용한 sell-side와

buy-side의 상호 선순환 메커니즘이 형성되어야 한다.

- 39 -

2. 한국거래소의 대응 전략: 친 알고리즘 매매 환경 조성71)

(1) 인프라 개선

Latency는 일반적으로 브로커의 주문제출 시점부터 거래소 시스템으로부터

체결결과 통보시점까지 소요되는 시간을 의미한다. 알고리즘 매매는 실시간

시세변화에 민감하게 대응해야 하기 때문에 빠른 매매체결속도(latency)의

확보는 알고리즘매매의 적합한 환경 조성의 가장 기본적인 요소이다.

Latency가 낮을수록 알고리즘매매에 유리한 시장으로 평가되고 이 때문에

세계 각국의 거래소는 low-latency 환경 제공을 위해 첨단 IT기술을 기반으

로 한 매매체결시스템 업그레이드를 지속적으로 추진하며 개선된 latency 현

황을 경쟁적으로 발표하고 있다. 한국 거래소의 latency는 8(0.008초)로 아

시아 경쟁 국가에 비해 latency가 절대적으로 불리하다고 볼 수는 없지만 경

쟁 국가들의 매매체결시스템 업그레이드 추진 상황을 고려할 때 개선해야

할 사항이다.

<그림 10> 주요 거래소들의 latency

출처: LSE, SGX

[1 M illisecond(ms)=0.001second, 1 M icrosecond()= 0.000001second]

71) 본 내용은 KOSCOM IB솔루션사업 TF팀 황석주 과장, 우리투자증권 법인브로커 이용근 대리와의 인터뷰 내

용을 참고하였다.

- 40 -

한국거래소는 Co-location72)으로 알려져 있는 근접 서버지원 서비스 제공에

관심을 보이고 있다. 근접 서버지원 서비스는 거래소와 회원(브로커) 간 물

리적 거리에 의한 latency를 최소화하기 위해 거래소가 매매체결시스템을 운

영하는 데이터센터 내에 회원 또는 투자자의 주문시스템 서버를 설치할 수

있도록 공간을 임대해주는 서비스를 말한다.

하지만 한국거래소 입장에서는 Co-location을 통한 latency의 감소가 가져

오는 긍정적 측면과 증권사와 투자자간의 형평성 훼손이라는 부정적 측면을

동시에 고려해야 한다.73) 모든 증권사들이 동일한 기회를 가져야 함과 동시

에 모든 시장 참가자들 역시 동일한 기회를 가져야 한다는 “형평성”은 한국

거래소의 기본철학이라는 점을 고려할 때 Co-location의 문제는 신중히 접근

해야 할 것으로 보이며 증권사의 FEP를 거래소 내에 설치하는 절충안을 고

려할 수 있겠다.

(2) 제도적 개선

알고리즘 친화적인 매매환경(trading environment)조성을 위한 노력이 요구

된다. 이를 위한 구체적 방안으로 Maker/Trader 제도, 호가가격단위의 조정

및 호가 정보공개, EU의 MiFID(Market in Financial Instrument Direct)74)의

참조를 제안한다.

2007년 한국거래소는 알고리즘 매매의 낮은 체결율과 이에 따른 매매시스

템 과부하의 문제를 해결하기 위해 체결율을 기준으로 차등의 수수료를 부

과하는 방안을 논의한 바 있다. 하지만 이는 수수료에 민감한 알고리즘 거래

자의 속성에 비추어 적절하지 않다고 판단되며 시장 축소의 문제를 야기할

수 있다. 시스템 과부하의 문제는 인프라 개선의 노력으로 해결해야 할 문제

라고 판단된다. 오히려 시장에 유동성을 공급하는 주문에 대해 거래소가 수

72) 대표적인 예로 뉴욕증권거래소는 미국(뉴저지)에 17.5억 달러의 비용을 투자하여 축구장 7배 규모의 대규모

데이터센터를 구축하였고 현재 Co-location 서비스를 제공하고 있다.

73) Co-location을 하기 위해서는 대규모 시설 투자비용이 소요되기 때문에 증권사를 제외한 일반 투자자들의 서

비스 접근은 사실상 불가능하다.

74) MiFID는 2007년 11월 시행된 EU 법안으로 금융투자 서비스 산업에서의 경쟁구도강화를 통한 효율화와 투자

자 보호 강화를 목표로 하고 있다.

- 41 -

수료를 환급해주는 Maker/Trader 제도나 대량거래에 대한 수수료 할인 제도

를 도입하여 알고리즘매매에 친화적인 환경을 조성할 필요가 있다.

2010년 10월 거래소는 유가증권시장 및 코스닥 시장에서 각각 6단계, 4단계

로 운영되던 호가가격단위를 1단계씩 증가시켰다. 호가가격단위의 세분화는

투자자의 거래비용 감소 및 시장의 질적 측면 향상을 목적으로 시행되었다.

시행 전(10.9.1～10.1)과 시행 후(10.10.4～10.29) KOSDAQ시장 134종목과 유

가증권시장 50종목에 대한 제도 시행 효과분석에 따르면 실제로 호가가격단

위 세분화 이후 호가스프레드의 축소, 시장충격 완화, 가격형성의 안정화, 균

형 가격 발견 기능 등이 제고되는 시장의 질적 향상을 가져왔다.75) 아울러

호가정보의 공개 확대 역시 알고리즘매매 환경 조성을 위한 제도적 개선 방

안으로 고려할 수 있겠다.

EU의 MiFID는 가격호가 측면과 내용면에서 best execution을 달성할 수

있도록 정보가 충분히 제공되고 있는지에 대한 감독사항을 담고 있다. 이는

시장간 경쟁을 촉진시켜 거래비용 효율화를 강화하고자 하는 방안이다. 거래

이행의 적정성 척도를 의무적으로 공시하게 된다면 알고리즘 매매 사용에

유인을 제공할 수 있을 것이며 동시에 시장 건전성 및 시장 유동성의 확대

라는 선순환을 가져올 것으로 기대된다.

75) 한국거래소, "호가가격단위 세분화 이후 시장 영향 분석"

- 42 -

Ⅴ. 결론

본 연구에서는 첫째, 알고리즘 매매에 대한 국내 시장 참여자들의 관심에

대응 하고자 알고리즘 매매의 이해를 돕기 위한 조사 연구를 하였다. 둘째,

시장 참여자들에게 알고리즘 매매에 대한 인식을 제고할 인센티브를 제공하

기 위해 한국거래소 유가증권시장에서의 주문 알고리즘 매매의 전략별 거래

비용에 대한 실증적 분석을 통해 알고리즘 매매 최적 전략을 도출하였다. 본

연구는 삼성전자 7일 간의 TAQ 틱자료를 이용하여 시장충격비용 모수와 일

변동성 모수를 각각 최소자승법과 GARCH(1,1)으로 추정한 결과는 각각

0.4154와 0.0100717이었다. 전자는 순거래량 1주가 증가할 때마다 삼성전자

주가가 0.4154원 증가함을 의미하며, 후자는 일변동성 수준이 1.00717%라는

것을 뜻한다. 이러한 추정 결과를 바탕으로 Almgren & Chriss(2000)에서 제

시하는 Implementation Shortfall의 방법으로 실제 5분 단위 70개 구간 1일

거래전략에 대한 거래비용 ABM을 이용한 확률과정으로 산출하였다. 그 결

과 현재 주문 알고리즘 전략 중 국내 주식시장에서 널리 사용되고 있는

TWAP 전략의 경우 단순 거래비용 절감 측면에서는 효과가 있는 것으로 분

석되었으나, 시장의 불확실성에 바탕한 묵시적 비용을 고려한 총거래비용 절

감 측면에서는 Arrival Price 전략이 최적 주문 전략임을 확인하였다. 따라서

주문 알고리즘 매매의 활성화를 위한 국내 시장의 대응전략의 마련이 필요

하며, sell-side와 buy-side에서는 거래비용 절감 효과에 대한 인식제고와 거

래비용분석(TCA)의 도입이, 거래소에서는 알고리즘 매매에 적합한 환경 조

성을 위한 인프라 구축과 제도 개선이 요구된다고 할 수 있겠다. 향후 연구

과제로는 Almgren & Chriss(2000)의 후행 연구들을 통해 알고리즘 매매의

효율성을 증가시킬 수 있는 추가적인 가정의 도입을 고려해 볼 필요가 있다

고 판단되며, 시장충격비용을 추정함에 있어 시장 미시구조 연구에 관계한

가격 공헌도, 정보 은닉 효과 등에 대해 주문 알고리즘 매매가 갖는 효과성

을 분석하는 추가 연구가 필요하다. 마지막으로 대량매매 주문에 대한 내부

적 자료에 대한 접근성 제한이 완화된다면 알고리즘 매매에 대한 보다 심도

있는 논의가 가능할 것으로 예상하며 본 연구를 마친다.

- 43 -

참고문헌

Ÿ Almgren, Robert. (2007). “Adaptive Implementation”, Banc of America, 업무참고자료

Ÿ Almgren, Robert. Chee Thum. Emmanuel Hauptmann. Hong Li. (2005). “Direct

Estimation of Equity Market Impact”, Risk, Vol. 18, July p.57–62

Ÿ Almgren, Robert. Julian Lorenz. (2007). “Adaptive Arrival Price” In B. R. Bruce,

editor, Algo-rithmic Trading III , p.59-66

Ÿ Almgren, Robert. Neil Chriss. (2000). “Optimal Execution of Portfolio Transaction”,

Journal of Risk, 3(2), p.5-39

Ÿ Andersen, Torben G. Tim Bollerslev. (1998). “Answering the skeptics: Yes, standard

volatility models do provide accurate forecasts”, International Economic Review,

Vol. 39, No. 4, November, p.885-905

Ÿ Automated Trader Ltd. (2007). "Exchange views: ASX Ramping up for Algo/DMA

trading", Automated Trader Magazine Issue, No. 4, January

Ÿ Bertsekas, D. P. (1976). “Dynamic Programming and Stochastic Control”, Academic

P ress

Ÿ Breen, William J. Laurie Simon Hodrick. Robert A. Korajczyk. (2002). “Predicting

Equity Liquidity.”, Management Science, Vol. 48, No. 4, April 2002, p.470-483

Ÿ Decovny, Sherree. (2008) "Asia-Pacific Gears up for Algorithmic Trading",

MarketView, January

Ÿ Demsetz, H. (1968). "The Cost of Transacting", The Quarterly Journal of Economics,

Vol. 82, No. 1, p.33-53

Ÿ Ederington, Louis H., Wei Guan (2004). “Measuring Historical Volatility”, Journal of

Applied Finance, Vol. 16, No. 1, Spring/Summer 2006

Ÿ Ho, T. and H. Stoll. (1983). “The Dynamics of Dealer Markets Under Competition”

Journal of Finance, Vol. 38, p.1053-1074

Ÿ Hull, John C. (2008). 『Fundamentals of Futures and Options Market』, Pearson, 6e

Ÿ Kim, Kendall. (2007). 『Electronic and Algorithmic Trading Technology』, Academic

P ress, 1e

Ÿ Kissel, Robert. Morton Glantz. (2003), 『Optimal Trading Strategies』, AMACOM , 1e

Ÿ Kyle, A. S. (1985). “Continuous Auctions and Insider Trading.” Econometrica, Vol.

- 44 -

53, No. 6, p.1315-1335

Ÿ Martens, Martin. (2002). "Measuring and Forecasting S&P 500 Index-futures

Volatility Using High-frequency Data”, Journal of Futures Markets, Vol. 22, Issue

6, June, p.497-518

Ÿ Perold, A. F. (1988). “The Implementation Shortfall: Paper versus Reality” Journal of

Portfolio Management, Vol. 14, No. 3 Spring, p.4-9

Ÿ Sanders, Andrew F. (2006). "Getting Asia to adapt Algorithmic trading", FT

Mandate, June

Ÿ 김명직. 장국현. (2002). 『금융시계열분석』, 경문사, 2e

Ÿ 김영환. 이진희. (2010). “글로벌 금융위기 기간의 환율 변동성에 대한 실증분석: GARCH

모형을 중심으로.” 2010 씨티은행 대학생(원) 공모전 수상작

Ÿ 박선종. (2007). “알고리즘 매매 및 DMA에 관한 연구”, 증권법연구, 제 10권 1호,

p.221-244

Ÿ 이은정. (2007). “주식시장의 투자자는 왜 분할주문을 하는가”, 한국금융학회, 정기학술대

회 발표자료

Ÿ 한국거래소. (2003). "호가가격단위 세분화 이후 시장 영향 분석" , 한국거래소, 보도자료,

11월 19일

Ÿ 한국거래소 유가증권시장본부 주식시장 총괄팀. (2010). “Trading architecture Asia2010

Hong Kong”, 한국거래소, 업무참고자료

Ÿ 한중석. (2010). “알고리즘 매매 증가에 따른 증시환경 변화와 대응전략.”, 한국거래소, 업

무참고자료

Ÿ 황석주. (2007). “증권 거래 자동화의 구조”, KOSCOM , 업무참고자료

Ÿ 황석주. (2009). “국내 알고리즘 매매 현황과 시스템 구축 모형”, 연세대학교 경제대학원,

석사학위논문

Ÿ 황석주. (2011). “거래비용 분석 모형 및 최적주문전략”

웹사이트

Ÿ Algomarket: http://www.algomarket.wikidot.com

Ÿ Dolppi Blog: http://dolppi.egloos.com

Ÿ Smallake Blog: http://www.smallake.kr/smallake/

Ÿ Tokyo Stock Exchange: http://www.tse.or.jp/english/rules/equities/arrowhead/info.html