practical trigger action programming in the smart home

Practical Trigger-Action Programming in the Smart Home

+ CHI 2014

-Blase Ur

/서제환

x 2014 Autumn

Practical Trigger-Action Programming in the Smart Home

2014. 10. 10

UX Lab 서제환

서울대학교 융합과학기술대학원

(Graduate School of Convergence Science and Technology. Seoul National University)

출처

CHI '14 Proceedings of the SIGCHI Conference on Human Factors in Computing Systems

AUTHORS

Blase Ur

: PhD, Carnegie Mellon University

Elyse McManus

: Assistant Researcher, Brown University

Melwyn Pak Yong Ho

: Research Assistant, Brown University

Michael L. Littman

: Professor of Computer Science, Brown University



ABSTRACT

. 일반 사용자들이 trigger-action (“if, then”) programming을 사용하여 스마트 홈 기기를 조작하는 것에 대한 “실효성”을 조사 함.

. trigger-action (“if, then”) programming은 온라인 연구 참가자들이 제출한 원하는 동작을 모두 구현할 수 있다는 것을 찾음.

. 수집된 자료의 trigger 분석 시 “머신 러닝이 요구되는 trigger” 종류를 구분할 수 있음.

. IFTTT에 공유된 67,169 trigger-action 프로그램의 고유성을 평가 함으로써 실제 사용자들이 많은 수의 고유한 trigger-action interactions를 작성함을 알아 냄.

. 226 참가자들의 사용성 테스트를 수행 함으로써 미숙련 사용자들도 복수의 triggers 또는 actions이 포함된 프로그램을 만드는 법을 빨리 배울 수 있음을 알아 냄



KEYWORDS

End-User Programming

Home Automation

Smart Home

Internet of Things

Condition-Action Programming



INTRODUCTION

. 가정 자동화 및 스마트 홈을 가능하게 만드는 기술들에 대한 연구는 수십 년 동안 진행되어 왔지만 그 기술들을 구현하는데 있어

“비용이 많이 들고 복잡한 것”들 이었음.

. 최근 2년 사이에 기업들은 일반 사용자들이 저비용 스마트 기기들을 내놓고,mass-market pervasive computing을 향한 모멘텀을 만들고 있음.



INTRODUCTION

. 이 논문에서 저자는 IFTTT = “if trigger, then action” 을 뜻하고 trigger-action programming이라 명명함.

. 실험에 사용된 IFTTT 기능은 일반 사용자들이 가정용 장치를 trigger-action programming 할 수 있게 함.

Philips Hue lights

Belkin WeMo family of outlets, switches, motion sensors Crowd-funded devices : Twine, WigWag



INTRODUCTION

. 스마트 홈 프로그래밍 구현 시 사용 편의성과 표현성 사이의 조화를 어떻게 맞출 것인가? 에 대한 연구 진행 필요

. 이 논문에서 활용하는 IFTTT 기능은 사용자들에게 single trigger, single actions 만을 취하게 제한하고 있음.

Q1) 일반 사용자들은 더 많은 유연성을 필요로 하지 않을까?

Q2) 일반 사용자들은 더 많은 유연성을 다룰 수 있지 않을까?

Q3) 추가 프로그래밍 경험이 이 상황을 바꿀 수 있지 않을까?

Q4) 모델에서 중요 요소가 누락되지 않았는가?

. 다음 3가지 관련 연구를 통해 이 질문들을 조사 함.

ease of use expressibility

or



1. trigger-action programming이 사용자가 원하는 스마트 홈 동작(smart-home behavior)을 정확히 담아내는지 알기 위한 가설에 대한 조사가 필요 함.

H1: trigger-action programming을 사용하여 사용자가 원하는 스마트 홈 동작을 표현할 수 있다.

H2: 몇몇의 스마트 홈 동작들은 복수의 triggers or actions을 필요로 한다.

. 실험 방법

1) Mechanical Turk (MTurk)에서 318명에게 그들이 원하는 가상의 스마트 홈에 대한 것들을 5가지씩 수집 함.

. 실험 결과

1) 제출한 내용들은 trigger-action programming으로 구현이 가능해 보였음.

2) 사용자의 이전 프로그래밍 경험은 프로그래밍을 포함하고 있는 그들이 원하는 동작과 크게 연관이 없었음.

3) IFTTT의 affordances와 달리 프로그래밍 동작의 22% 1개 이상의 trigger와 action이 요구 됨.

4) 참가자들이 사용한 trigger들을 3가지 추상화 단위로 표시하였고, 가장 높은 단위는 machine learning의 natural application임.

INTRODUCTION



2. 사용자 맞춤형 스마트 홈 프로그래밍이 필요로 한지에 대한 test 진행 함.

H3: 실제로, 사용자들은 다수의 독특한 방식으로 triggers and actions을 결합할 것이다.

. 실험 방법

1) MTturk 사용자들의 원하는 행동들 사이에서 많은 독특한 조합을 발견 함.

2) 최종 사용자 (End User)가 IFTTT에서 공유한 67,170개의 프로그램을 긁어 모음.

. 실험 결과

1) IFTT에서 수집된 프로그램을 분석하여 유사하게 높은 다양성들을 발견 함.

INTRODUCTION



INTRODUCTION

3. trigger-action programming의 사용성에 대한 Test를 진행 함.

H4: 참가자들은 simple or complex interface를 사용하는데 동등한 정확도와 스피드를 해 보일 것이다.

H5: 이전 프로그래밍 경험과 trigger-action programming을 사용한 경험은 스피드와 정확도를 증가시킨다.

. 실험 방법

1) 새로운 IFTTT interaction design을 보여주고, 226명의 MTTurker를 대상으로 10개의 프로그래밍 과제(Task)를 등록 함.

2) 참가자들에게 랜덤으로 single trigger and a single action (simple interface) or multiple triggers and multiple actions (complex interface)

과제가 할당 됨.

. 실험 결과

1) simple and complex interfaces 사이에 참가자들의 수행과 만족도에는 큰 차이가 없음을 발견 함.(supporting H4)

2) complex interface를 사용한 참가자들은 비슷한 성공률로 complex tasks를 완료할 수 있었음.

3) H5 가설은 부분적으로 확인이 가능하였음.

1) 프로그래밍 경험은 큰 이점을 제공하지 않았음.

2) 참가자들은 첫 번째 과제 수행 시에는 느렸으나, 2번째 과제 수행 시부터는 정상 상태 성능에 접근하였음.



INTRODUCTION

Overall

1) multiple triggers and multiple actions의 trigger-action programming은 스마트 홈 프로그래밍을 위한 실용적인 접근이 될 수 있는 증거를 발견 함.

2) Trigger를 구성하는 방법뿐만 아니라 Trigger가 상호작용적인 machine learning 접근이 요구되는 것에 대해 논의를 함



BACKGROUND AND RELATED WORK

Trigger-action Programming

. IFTTT는 69개의 다른 채널을 제공하지만, single trigger -> single action의 프로그래밍 패러다임은 본질적으로 제한 됨.

. 저자는 2가지 버전의 prototype interface를 만들어 제공 함.

1) one trigger and one action channel만 허용되는 simple interface

2) multiple trigger and action channels 사용이 허용되는 complex interface

( 모든 trigger들은 접속사 “and” 로 구성되어 짐)



Related Work

. 스마트 홈의 최종 사용자(end-user) 프로그래밍에 대한 이전 연구 조사

Newman: 최종 사용자의 구성 능력은 스마트 홈 애플리케이션의 키라고 주장 하였고, 사용자 커뮤니티를 통해 공유하는 통찰력을 옹호하였음.

Newman, M. W. Now we’re cooking: Recipes for end-user service composition in the digital home.

Position Paper– CHI 2006 Workshop IT@Home, 2006.

Dey et al: 상황 인식 응용 프로그램 관련하여 20명의 참가자들을 인터뷰 함.

trigger-action programming과 같은 if-then 규칙 기반이 되는 가장 일반적인 멘탈 모델을 발견 함.

Dey, A. K., Sohn, T., Streng, S., and Kodama, J. iCAP:

Interactive prototyping of context-aware applications. In Proc. Pervasive (2006)

. trigger-action programming의 특성을 공유하는 스마트 홈 인터페이스 제안에 대한 이전 연구 조사

. trigger-action programming의 중요한 세부 요소들을 소개하는 이전 연구 조사

. trigger-action programming 은 문제적 행동이 불가피하게 발생 했을 시 사용자가 디버깅 하는 것이 어렵다라고 주장하는 이전 연구 조사

BACKGROUND AND RELATED WORK



STUDY.1

. 물리적 기기를 컨트롤하는데 있어 trigger-action programming의 실용성 조사

. 수행된 과제가 trigger-action programming으로 구현 가능한지 분석

. 각각 다른 trigger와 action들의 결합 방법의 가짓수를 확인 함(다양성이 높다면 trigger-action programming이 최종 사용자에게 유용하다고 봄)

Methodology

1) 스마트 홈과 홈 오토메이션 조사를 위해 MTurk worker들을 모집 함.

2) MTurk worker들에게 아래의 질문을 던짐.

3) 참가자들의 반은 trigger-action programming 관련 더 이상의 설명이나 방법을 알려주지 않음.

“ 특정한 프로그래밍 패러다임이 필요한 아주 독특하고 흥미로운 기능들을 제안하지 않을까 궁금함.”

4) 참가자들의 반은 trigger-action programming 준비가 원할 할 수 있도록 홈 오토메이션에 대한 예제를 보여 줌

“ 매우 미래 지향적인 행동들(날아다니는 로봇 집사)을 제안하지는 않을까 걱정이 듦.”

. 예제

(1) 만약 내가 복도를 밤에 걸어간다면 내가 걸어가는 경로에 불이 들어 올 것 이다.

(2) 만약 내가 집을 나가면 물건들이 꺼질 것이다.

(3) 내가 스프링클러에 다가갈 때 난 물에 젖고 싶지 않다(그리고 내가 지나가면 다시 스프링클러가 켜진다).

(4) 우편물이 오면 나에게 알려줘라.

“ 만약 당신의 집이 인터넷으로 모두 연결돼 있어서 어떤 동작을 할 수 있게 지시를 할 수 있다면,

당신은 집이 했으면 하는 것들 다섯 가지가 뭐니? ”



STUDY.1

Methodology

5) 참가자들의 나이, 성별과 프로그래밍 경험치(무 경험자 / 약간의 경험자 / 다 경험자) 정보를 수집함.

“ 참가자들의 행동이 인구 통계학 특성에 따라 달라질 것인지에 대해 궁금했기 때문.”

6) 두 명의 독립적인 코더들은 먼저 주체의 의도가 무엇인지 구분 함.

7) Pilot-study 데이터로 부터 공동으로 개발한 아래 카테고리들 중 하나에 대입을 함.

“독립적으로 대입한 결과 89.1% 동의하였고 나머지 동의 안된 것들에 대해서는 논의를 진행하여 모든 아이템들에 대해서 의견 일치를 봄.”

Programming : 최종 사용자가 다른 방식들로 조합하는 것을 고려할 수 있는 기본 기능의 조합

(ex: 바깥이 어두워지면 자동으로 실내등을 켜라)

Self-regulation : 집은 자동으로 대상자의 선호도를 확인하고 조치를 취함.

(ex: 항상 내가 선호하는 집안 온도를 조절해라)

Remote control : 최종사용자는 스케줄링 된 것이 아닌 즉시 기기를 컨트롤 하기를 원함.

(ex: 내 폰에 버튼을 눌렀을 때 불을 켜라)

Specialized functionality : 프로그래밍할 수 있지만 특정한 하드웨어가 필요함. 최종 사용자가 재목적화 할 수 없음.

(ex: 아침 식사 만드는 기계)

8) 21개의 trigger 채널과 46개의 action channel로 이뤄진 코드북을 개발 함.



STUDY.1

Result

. MTturk 설문 대상자들이 바라는 스마트 홈 동작들의 대부분이 프로그래밍이 가능한 것임.

. 프로그래밍이 가능한 모든 행동들은 multiple triggers and actions을 지원하기만 한다면 trigger-action programming으로 모두 구현할 수 있음.

<각 범주의 행동들의 비율을 나타낸 결과표>

1) Programming(62.6%) : 현재와 가까운 미래에 프로그래밍할 수 있는 동작들

“ I want the fan in my room to turn on when it is hot. ”

“ Notify me if my pet gets out of the backyard. ”

2) Remote control(13.5%) : 이 유형은 현재 스마트폰, 컴퓨터, 음성, 제스쳐로 가정용 기기를 컨트롤 하려는 것들임.

“ start the coffee pot from my bedroom, ”

“ lock and unlock the doors on command with your voice, ”

3) Specialized functionality(10.8%) : 현재 존재하지 않는 것들

“ YouTube on bathroom mirror, ”

“ I want my mail to be delivered by a robot. ”

4) self-regulation(10.1%)

“ temperatures that adjust automatically to the perfect temperature. “

5) unclear(2.8%)

“ Smart Light “ 서울대학교 융합과학기술대학원


STUDY.1

Result

Trigger-action programming structure

. trigger-action programming 에는 multiple triggers and multiple actions이 지원되어야 함. (22% 를 프로그래밍 하기 위해 필요 함)

< 프로그래밍 행동(trigger, action) 비율 결과 표>

1) single trigger, single action(1,1): 77.9%

“ close the blinds when the sun is too bright ”

“ call to let me know when the kids get home. ”

2) single trigger with multiple actions(1,2+): 5.2%

3) multiple triggers for a single action(2+,1): 8.5%

4) multiple triggers and multiple actions(2+,2+): 8.4%

“ When I get up at night, I would want my lights to turn on and off as I enter and exit the room. ”



STUDY.1

Result

Triggers’ level of abstraction

. the lowest level of abstraction

: engineering sense, 장치의 상태 변화(도어벨 울림, 기기 전원 off), dates/times, moisture, sound, and light

: 참가자들이 직접적으로 센서를 언급하지 않는 경향이 있음을 발견 함.

. Ex: 누군가 방으로 걸어 들어올 때 모션 센서 동작을 얘기하는 대신 움직임의 발생을 지정 함.

. The second category

: 사용, 활동, 장소, 물리적 센서

“ I want the sink to turn on when I pick up my toothbrush. ”

“ I would like my home to automatically clean the floors on a daily basis while no one is in the room. ”

. The third category

: 불분명한 trigger

: Fuzzy(불분명한) trigger는 machine learning을 포함 함

“ I would like to be notified when my pool chemicals drop lower than normal.”



STUDY.1

Result

Diversity of behaviors

. 다수의 고유한 동작을 정의를 한다면 가정 내 최종 사용자의 프로그래밍에 대해서 주로 이로울 것임.

. 프로그래밍으로 분류 된 995가지 행동의 다양성을 * Good-Turing estimation 분석 진행 함.

1) 21개의 Trigger channels(47개의 조합들): 이전 조합들 이외의 Trigger 조합이 발생할 확률 2%

2) 46개의 Action channels(77개의 조합들): 이전 조합들 이외의 Action 조합이 발생할 확률 4%

3) Trigger channel + Action Channels: 이전 조합들 이외의 Trigger조합+Action 조합이 발생할 확률 13%



* Good-Turing frequency estimation: 지금까지 없었던 종의 개체 발생 확률을 추정하는 통계적 기법

STUDY.2

. 홈 오토메이션을 위한 최종 사용자 프로그래밍은 아직 널리 퍼지진 않았지만, IFTTT 웹사이트에 얼리 어덥터들은

이미 실생활에서 trigger-action programming을 사용하고 있음.

. 실제로 trigger-action programming 조합론을 더욱 잘 이해하기 위해서 IFTTT에서 공유된 프로그램들을 스크랩하였음.

Methodology

1) IFTTT 웹사이트에 공개 된 67,169 레시피를 모두 다운 받음

2) 다운 받은 공개 레시피들 중에서 물리적 기기들을 컨트롤하기 위한 6개 채널들에 포커스를 두고자 함.

: 물리적 기기들 (blink(1), Philips Hue, Up by Jawbone, WeMo Motion, WeMo Switch, and Withings)

3) 어떤 trigger들이 어떤 action들과 연관이 있는지를 Good-Turing estimation을 사용하여 분석 함.



blink(1) Up by Jawbone Withings

STUDY.2

Result

. 앞서 얘기한 6개의 물리적 기기를 포함하는 레시피들에 포커싱을 함.

1) 물리적 기기들은 16가지의 서로 다른 Trigger 이벤트와 18가지의 서로 다른 Action들을 지원 함.

2) 전체 스크랩 중 513개의 레시피(0.8%)가 물리적 기기의 Trigger로 사용 됨.

3) 전체 스크랩 중 858개의 레시피(1.3%) 물리적 기기의 Action으로 사용 됨.

4) 92 case 만이 물리적 기기의 Trigger + Action 조합으로 사용 됨.

. Good-Turing estimation 분석

1) 이전 조합들 이외의 물리적 기기 Trigger의 조합이 발생할 확률 11%

2) 이전 조합들 이외의 물리적 기기 Action의 조합이 발생할 확률 9%

3) 결과는 만약 사용자가 오직 스크랩한 것들에서 레시피 사용이 제한된다면,

검색의 1/10이 비는 일이 생길 수 있음을 의미 함.



STUDY.3

. 마지막 연구는 trigger-action programming의 사용성 뿐만 아니라 인구 통계학적 요소를 조사 함.

. multiple triggers/actions과 사용성 간의 상관 관계를 알아 봄

Methodology

1) 스마트 홈 기술에 대한 연구 조사를 위해 MTurk worker들을 고용 함.

2) 참가자들에게 30분이 걸리는 연구 참가에 대한 보상으로 인당 $2.00를 지불 함.

3) 각각의 참가자들에게 single trigger and single action (simple interface) 또는 triggers and multiple actions (complex interface) 를 지원하는 인터페이스를 사용하는 것을 랜덤으로 할당 함.

4) 참가자들이 과제를 수행하는데 걸리는 시간과 프로그램 정확도를 측정 함.

5) 인구 통계학적 질문을 답한 참가자들은 Table.1에 나열된 10개의 과제를 시도하기 위해 할당 된 인터페이스를 사용하였고, 마지막으로 *Likert-scale 만족도 조사를 완료 하였음.



*Likert-scale (리커트 척도) : 반응자들이 주어진 문장에 얼마나 동의하는지를 척도에 표시하도록

하여 특정 주제에 대한 반응자의 태도를 알아보는 평정 척도.

STUDY.3

Result

Task completion

. 전반적으로 프로그램을 만드는데 있어서 simple or complex interface 성공적으로 사용하였음.

. Figure 8에서 볼 수 있듯이 대부분의 과제 수행 성공률을 80% 이상을 나타냄.

. Task B의 성공률이 낮은 이유는 참가자들이 RSS와 친숙하지 못한 것 때문이라고 가정 됨.

“Get all updates from the website www.xkcd.com via email.“

. Task G와 H는 구현 불가능 한 과제였음 따라서 Skip을 하면 성공으로 간주 됨

: Task G의 경우는 점유 센서의 존재 or 들어오고 나가고 각각을 Trigger하는 것을 필요로 함.

“The lighting in my bedroom should be on when I am there and off when I am not there.“

. Task H의 경우는 컬러 변화에 대한 옵션이 없음

“If it begins to rain then change the light colors to blue.”

. Task I, J에서 Simple Interface 참가자의 성공률이 나타나는 이유는 Skip을 한 것이 성공으로

간주되었기 때문임.



STUDY.3

Result

Time to complete a task

. 참가자들이 연속적인 과제를 완료함으로써 참가자들의 성능이 빠르게 향상되는 학습 효과를 관찰하였음.

1) 참가자들이 과제 A-F 를 풀기 위해 얼마나 많은 시간이 걸리는지를 조사 함.

2) 종속 변수로서 인터페이스 로딩 부터 솔루션을 제출하는데 까지의 시간으로 선형 혼합 모델을 만듦.

3) 할당 된 인터페이스로 수행이 불가능한 과제와 잘못된 솔루션에 대한 데이터는 제외하였음.



STUDY.3

Result

Satisfaction

. 전반적으로 참가자들은 simple interface와 complex interface의 사용성에 대해서 만족감을 나타냈음

. 참가자들은 interface에 대한 3가지 상태에 7-point 리커트 척도로 답하였음.

. ¾ 이상이 아래 내용에 동의 하였음.

1) “ 레시피를 만드는 것은 쉽고 직관적이다. ”

2) “ 일상 생활에서 이런 종류의 레시피를 만드는 것에 관심을 갖게 될 것이다. “

3) “ 더 복잡한 프로그래밍 인터페이스를 다룰 수 있을 것이다. “



Discussion

. 일반 사용자들이 multiple triggers and actions을 가지고 성공적으로 trigger-action programming를 할 수 있는 근거를 제공하였음.

. 이 기능은 참가자들의 머리에서 바로 떠오르는 많은 스마트 홈 동작들을 구현할 수 있음.

. 실제적인 세팅에서 사용하기 위한 trigger-action programming 범위는 수많은 문제점들을 낳을 것임.

. multiple trigger를 서로서로 구성하는 방법의 의미가 복잡하다는 것을 알 수 있었음.

. Trigger는 이벤트, 조건 또는 조합을 포함한다.

. 문과 같은 객체는 이벤트 (“the moment the door closes”), 조건(“is the door closed?”), 그리고 행동(“close the door”)을 지원하는 것이 필요하다.

. 참가자들이 Trigger들을 표현하기 위해 사용한 추상화의 레벨은 상당한 향후 연구를 제안한다.

. 추상화의 세 번째 단계(ex: 물이 너무 뜨겁다)는 머신 러닝을 기반으로 사용자의들의 선호도를 그들 스스로 맞출 센서를 만드는 방법에

대한 연구 기회를 제안함.

. 스마트 홈에서 잠재적으로 머신 러닝은 충돌을 보다 지능적으로 해결할 수 있을 것임.

. 가정에서 최종 사용자 프로그래밍 내에서 trigger-action programming의 장소는 고려될 가치가 있음.



Limitations

. trigger-action programming 의 상대적인 강점과 약점을 평가할 수 없었음.

. trigger-action programming이 앞으로 가장 좋은 방법이라고 강하게 주장을 할 수 없었음. .

. 이 논문의 데이터가 반드시 모든 사용자들을 대표하지 않음

. IFTTT community는 얼리 어답터들의 자기 선택적 풀 임.

. IFTTT 와 MTurk 사용자들은 일반 사용자들보다 더욱 기술적 성향을 가지고 있음.

. MTurk 설문 대상자들에게 원하는 모든 동작 보다는 갑자기 생각나는 처음 5가지 동작을 작성하라고 요청 함.

. trigger-action programming 이 원하는 모든 스마트 홈 동작의 특정 부분을 포착한다고 주장할 수 없음.

. 생태학적으로 유효한 설정에서 trigger-action programming을 조사하는 현장 연구(field study) 수행을 계획함.

. 머신 러닝에 기반한 Trigger와 센서의 역할은 필드에서 특히 관심이 있을 것임.

. 현장 연구는 지금까지 논의해 온 미묘한 이슈들의 영향을 명료하게 할 것임.

. 프로그램을 구성하는 방법에 대한 사용자 멘탈 모델은 추가 연구를 할 가치가 있음.





Thank you!!