HCI 연구와 디자인: 이안 오클리 교수와의 인터뷰

You can go back to the English version of this page here.
여기에서 이 페이지의 영어 버전으로 돌아갈 수 있습니다

이 포스트는 UNIST 디자인학과에서 HCI(Human Computer Interaction; 인간-컴퓨터 상호작용)을 연구하는 이안 오클리(Ian Oakley) 교수와 서비스 디자인을 연구하는 이승호 조교수와의 대화를 싣고 있다. 2021년 9월 17일 줌(Zoom)을 통해 진행한 이 인터뷰에서는 오클리 교수와 그의 팀이 진행한 연구를 통해 HCI 분야를 알아보고 HCI와 디자인과의 연관성을 살펴본다.

이승호(SPL) 교수 인터뷰에 응해줘서 고맙습니다. 유니스트 디자인에 대해 조금 더 깊이 알아보고 소개하는 자리에 교수님을 처음으로 모실 수 있어 매우 기쁩니다. 교수님은 HCI(Human Computer Interaction; 인간-컴퓨터 상호작용) 분야의 연구자이시죠. 독자들을 위해 구체적으로 어떤 일을 하시는지 설명을 부탁드려도 될까요?

이안 오클리(Ian Oakley, IO) 교수 초대해 줘서 고맙습니다. 제가 하는 일은 HCI의 가장 기본적인 일입니다. 다시 말해, 인간이 컴퓨터나 주변 장치들과 어떻게 상호작용을 하는지를 연구하는 거죠. 이해하기 쉽게 간단한 예를 하나 들어볼게요. 대부분의 사람들이 매일 컴퓨터를 사용하는데요, 이때 종종 마우스도 함께 사용합니다. 그런데, 마우스를 자세히 보면 컴퓨터를 수월하게 사용할 수 있도록 하는 독창적인 형태와 기능을 갖추고 있습니다.

이 마우스를 처음 발명한 사람은 과학자이자 HCI의 선구자인 더글러스 엥겔바트(Douglas Engelbart)인데요. 그는 1968년에 “The Mother of All Demos(모든 시연의 어머니, 역주)”라는 영상에서 다른 여러 발명품과 더불어 마우스를 세상에 선보였습니다. 컴퓨터에 관심이 많았던 엥겔바트는 컴퓨터의 잠재성을 미리 알아봤고, 컴퓨터가 사용자들의 명령에 즉각 반응할 수 있도록 한다면 사용자의 생산성을 높을 수 있을 것이라 생각했었죠. 그렇게 탄생한 최초의 마우스는 사람들이 컴퓨터 작동을 더욱 쉽게 하겠다는 그의 비전을 그대로 담고 있습니다. 저는 이런 전통을 이어나가고 있습니다. 가장 일반적으로는 디지털 시스템을 제어하고 이와 상호작용할 수 있는 새로운 방안을 디자인, 개발, 평가 및 논의하는 것에 초점을 맞추고 있죠.

이런 관점이 의미 있는 또다른 이유는 오늘날의 디지털 환경이 매우 다양하기 때문입니다. 컴퓨터뿐만 아니라 IoT(사물 인터넷) 시스템, 모바일 장치와 웨어러블 장치 등 그 종류가 정말 많아요. 아시다시피 새로운 기술이 적용된 1세대 전자기기들은 출시되기 전에 충분히 연구되지 않아 막상 사용하면 불편한 경우가 많아요. 많은 반복적인 연구를 통해 기능이 개선되는데요, 저는 이 지점을 HCI 디자이너와 공학자들이 기여할 부분으로 봅니다. 사람들이 어려움을 느끼는 장치와 기술을 깊이 연구하고, 그들의 요구와 기대를 충족하는 상호작용 방식을 만들어내는 것이죠.

SPL 정말 흥미롭습니다. HCI에는 어떻게 관심을 갖게 되셨나요?

IO 저는 늘 인간과 컴퓨터와의 교집합에 관심이 많았어요. 제 학부 전공이 심리학과 컴퓨터 공학을 결합한 학문이었는데요, 배울수록 인공지능이 컴퓨터와 인간 사이의 공통 부분이라고 느꼈습니다. 제가 다녔던 글래스고 대학교(University of Glasgow)는 당시에 인공지능에 특별히 관심을 갖지 않았고, HCI 분야에서는 앞서 나가는 그룹이 있었죠. 공부를 지속하다 보니 이쪽으로 빠져들어 흥미가 생겼어요. 누구나 자신의 생각과 환경에 동시에 영향을 받으니까요.

SPL 맞아요. 저는 인간 중심 디자인(human-centred design)이 강한 알토대학교(Aalto University)에서 수학했기에 자연스럽게 그 분야의 일원이 됐죠. 그나저나 교수님께서 작성하신 논문을 조금 살펴봤는데 지난 시간 동안 관심분야에 약간의 변화가 있는 것 같습니다. 예를 들면, 2000년 카이(CHI)에 실린 논문, Putting the Feel in ‘Look and Feel’(겉모양에 느낌 싣기, 역주)은 조금 더 추상적이고 이론 중심인 반면 2018년 UIST에 실린 논문, Designing Socially Acceptable Hand-to-Face Input(사회적으로 수용 가능한 손-얼굴 제스처 디자인하기, 역주)에서는 더 실용적인 주제를 다룬 것 같습니다. 이런 변화에 대해 조금 말씀해 주실 수 있을까요?

IO 근본적으로 제가 하는 일은 크게 달라지지 않았다고 봅니다. 제 일은 새로운 상호작용 기술 형태의 결과와 영향이 핵심입니다. 2000년 논문은 제가 박사 과정 중에 쓴 논문입니다. 그때 저희는 소리로 신체적인 특성을 나타냈던 빌 게이버(Bill Gaver)의 오디오 아이콘(Auditory Icons) 연구에 영향을 많이 받았어요. 게이버는 아이콘을 클릭하면 파일의 내용에 따른 다양한 소리를 유발할 수 있도록 했습니다. 예를 들어, 대용량 영상 파일은 마치 무거운 나무 조각을 넘어뜨린 것 같은 강한 ‘턱’ 소리를 낼 수 있었죠. 짧은 영상 클립을 클릭하면 얇고 가벼운 것을 만진 것처럼 ‘톡’ 두드리는 소리가 났습니다. 저희도 마찬가지로 물리적인 아이디어를 탐색하고자 했습니다. 다만, 저희는 소리가 아니라 촉각을 사용하고자 했죠. 컴퓨터에서 가상 물체를 물리적으로 느낄 수 있도록 역감 장치를 사용했습니다. 한 마디로 작은 로봇 팔이 사용자를 밀어내는 것과 같습니다. 이 아이디어는 이렇게도 사용해 볼 수 있어요. 의사가 진짜 사람이 아닌 가상 신체를 이용해 수술 연습하는 것을 상상해보세요. 가상 신체에 역감 장치를 사용해, 의사의 행동에 따라 진짜 몸이 반응하는 것처럼 적절한 물리적 피드백을 제공할 수 있습니다. 당시 연구를 진행할 때, 상호작용 중 물리적인 아이디어를 확인하기 위해 사람들에게 컴퓨터 스크린의 커서를 작동하도록 요청하고 버튼에 다양한 신체적 감각을 추가했습니다. 오목하거나 진득하거나 거칠거나 자석처럼 당기는 효과를 넣었어요. 결과는 따로 분류하고 정리했습니다. 기본적으로 하나의 버튼이 있으면 잘 작동하지만, 버튼이 많으면 역감이 서로 충돌했습니다. 감당하기 어려울 수 있는 거죠. 

SPL 하지만 사회적으로 수용 가능한 손-얼굴 제스처에 대한 2019년 논문은 조금 다른것 같습니다. 이 논문은 사람과 사람 사이의 상호작용 또는 다양한 문화 구성원 간의 상호작용 중 어느 쪽에 더 포커스가 맞춰져 있다고 보시나요? 물론 이는 감지와 기술적 측면을 포함하고 있다는 점에서 다른 논문과 비슷한 면이 있지만, 동시에 일부 제스처는 문화마다 다르게 용인된다는 점에서 결과가 매우 문화 중심적이지 않을까 싶거든요.

IO 맞아요. 해당 논문에서는 HMD를 작동하기 위한 제스처와 그 입력 범위를 이해하고자 했습니다. 

SPL HMD가 무엇이죠? 

IO Head mounted displays(머리에 장착하는 디스플레이, 역주)입니다.   

SPL 아… 교수님과 제 분야가 워낙 동떨어져 있다 보니 저는 HMD같은 기본적인 약어도 모르네요 (웃음).

IO HMD가 소비자 시장에 등장한 건 비교적 최근이지만, 용어 자체는 꽤 오랫동안 사용되어 왔습니다. 매번 ‘머리에 장착하는 디스플레이’라고 계속 말하기에는 너무 길잖아요 (웃음). 용어가 어떻든 HMD를 조작하는 가장 흔한 방식은 손동작입니다. 손을 휘젓는 거죠. 예를 들어 기존의 마이크로소프트의 홀로렌즈(Microsoft HoloLens)는 사용자들이 얼굴 앞에서 손가락을 벌려 메뉴를 여는 시스템을 만들었습니다. 이런 동작은 집이나 사무실과 같은 사적인 환경에서는 괜찮을거예요. 하지만 버스나 지하철과 같은 공공장소에서는 어떨까요? 공공장소에서 이렇게 공간을 많이 활용해야 하는 제스처는 어색하고 불편하죠. HMD가 미래엔 스마트폰을 대체하거나 AR/VR 기능과 함께 미래의 표준으로 자리 잡는 것을 상상하면서, 우리는 사람들이 공개적인 장소에서도 사회적으로 수용 가능한 방식으로 조작할 수 있는 방법을 탐색했습니다.

SPL 흥미롭네요. 표준은 확실히 시간에 따라 기술이 발전하면서 변하고, 세계적으로도 진화하죠. 

IO 그렇죠. 예전에는 술집이나 카페 같은 곳에서 여러 사람과 함께 있을 때 휴대폰으로 문자는 보내는 것이 사회적으로 수용가능한 행동이 아니었어요. 많은 사람들이 이런 행동은 무례하다고 생각했죠. 그런데 이제는 누구나 하는 행동이죠. 대화하다가 이메일도 확인하고 인터넷도 둘러보고 인스타그램에 게시글도 올리잖아요. 이런 변화가 다음엔 어떻게, 어디까지 일어날지는 아무도 모르고 지역과 문화에 따라 그 정도도 다르죠. 그래도 분명한 건 어디든 과도기를 거쳐 유사한 단계로 갈 수 있다는 겁니다. 아직 사람들은 블루투스 이어폰으로 음성 비서와 대화하는 것을 꺼리죠. 장치에 대고 크게 말하는 것은 여전히 불편한 겁니다. 그럼에도 불고하고 그렇게 하는 사람들을 이미 길에서 볼 수 있잖아요. 사실 오늘도 그런 사람을 봤어요. 그게 머지 않아 누구나 당연시 하는 일상이 될 수도 있죠.

SPL 맞아요. 정말 그런것 같습니다.

IO HMD를 공공장소에서 사용하는 것은 아직 일반적이지 않지만, 이런 장치 기능이 더 익숙하거나 덜 이상하게 느껴지도록 유도하는 방법 중 하나는 사람들이 이미 공개적으로 하고 있는 행동을 인터페페이스에 적용하는 겁니다. 핸드폰 화면에서 뭔가를 읽고 옆으로 넘기는 장면을 떠올리면 책이나 신문을 볼 때 페이지를 넘기는 것과 크게 다르지 않다는 것을 알게되죠. 마찬가지로 생각해보면 사람들은 늘 얼굴을 만지잖아요. 무척 상식적이고 사회적으로 수용 가능한 행위죠. 이 인터뷰를 진행하는 동안에도 우리 둘 다 무척 많이 얼굴을 만졌을거예요. 이 논문에서는 이렇게 자주 발생하는 행위가 HMD를 조작하는데 사용될 수 있는 방법에 대해 연구했습니다. 사람들이 편하게 할 수 있는 행위인 동시에 감지를 통해 장치를 조작할 수 있는 적절한 중간지점을 찾고자 했죠. 결과적으로 귀를 만지는 행위나 손으로 가려지는 행위를 실험하기로 했습니다. 이런 행동은 눈에 잘 띄지 않는 손의 움직임으로 기계와의 상호작용을 다른 사람의 눈에 크게 띄지 않는 차원에서 할 수 있게 해주니까요. 

SPL 교수님의 관점에서 디자인이란 무엇인가요? 혹은 HCI가 디자인과 어떤 관련이 있다고 보시나요?

IO 궁극적으로는 원하는 미래를 상상하고 이에 도달하는 겁니다. HCI는 사용자와 미래 중심인 학문이며 이것이 디자인과 연결되는 핵심이라고 할 수 있죠. HCI는 기존에 없는 새로운 컨셉을 탐구하고 연구하는, 훨씬 미래 지향적인 분야입니다. 기본적으로 새로운 상호작용이나 이를 구현해 낼 수 있는 장치의 형태를 탐색하죠. 이런 점에서 HCI와 디자인이 겹치는 요소는 상당히 많습니다. 제가 봤을 때 가장 중요한 것은 두 분야 모두 새로운 것을 탐색하고 만들어 나가려고 한다는 점입니다. 이로써 가치를 창조해내는 거죠.

SPL 연구의 영감은 어떻게 얻으시나요?   

IO 전문 지식도 필요하고, 기회를 포착하기 위한 눈, 학제간 융합에서 나타는 새로운 기회 정도가 있겠네요. 우선 다른 연구자들의 성과에 대해 잘 알고 있어야 합니다. 그렇지 않으면 중요하지 않은 연구 주제에 매달리거나 이미 해결된 문제를 붙잡고 시간을 낭비할 수 있죠. 결국 우리는 다른 이들의 업적을 통해 더욱 발전하는 거잖아요. 여기에 기회를 포착하기 위한 변화하는 기술 환경에 대한 관심이 더해지는 겁니다. HCI의 장점 중 하나는 새로운 기술을 두 팔 벌려 환영한다는 것입니다. 몇 년 전에는 스마트워치란 것이 없었죠. 이제는 스마트 워치가 상당히 일상화되면서 새롭고 독특한 문제점들을 드러내고 있습니다. 작은 화면이나 피트니스 기록과 같은 새로운 앱 시나리오가 펼쳐지고, HCI 연구자들이 이를 연구할 수 있게 됐죠. 요즘은 HMD와 스마트 안경이 새로운 플랫폼으로 급부상하고 있습니다. 이것도 HCI 연구자들이 들여다볼 만한 새로운 문제점을 한가득 가져옵니다. 마지막으로 학제간 연구죠. HCI는 매우 포용적인 분야입니다. 다양한 소스에서 여러 방식을 받아드리고 융합하죠. 다른 분야의 접근을 HCI 문제점에 어떻게 적용할 수 있는지를 탐색하는 것이야말로 상당한 가치가 있습니다. 예를 들어, 우리는 최근 새로운 유형의 웨어러블 키보드에서 키를 배열하는 방식의 문제를 대응하는 최적의 방안을 도출하면서 텍스트 입력에 대한 전산 기법 연구를 발표하기도 했습니다. 이런 방식과 기존의 관례를 융합하면서 더 타당한 연구 프로젝트를 진행할 수 있었습니다. 

SPL 오늘 논의 중 상당수를 산업에 적용할 수 있을 것 같은데요. 말씀하신 대로 매년 새로운 장치가 생겨나고 각각 새로운 형태의 상호작용을 요구하잖아요. 교수님의 결론 또한 미래 디지털 장치에 적용할 수 있을 것 같습니다. 이 과정이 정확히 어떻게 진행되나요? 기업에서 학자들에게 접근하거나 따로 고용하나요? 

IO 물론입니다. 몇몇 학생들이 기업 차원에서 개발 중인 기술과 관련된 흥미로운 논문을 발표하면 종종 기업에서 연락을 취합니다. 물론 그 모든 연락이 취업으로 연결되지는 않지만, 제 학생 중 한 명도 최근 비슷한 사례가 있었습니다. 분명한 건 기업들은 HCI 분야의 학술 연구에 많은 관심을 갖고 있습니다. 구글이나 마이크로소프트 같은 기업은 기업내에 매우 강력한 HCI 연구소를 두고있고, 관련 학술대회에서도 연구 성과를 발표하거나 연구비를 지원하는 등 왕성히 활동하고 있습니다. HCI 분야의 학술적 결과물이 기업체 사이에서 사용된다는 것은 공공연한 사실입니다. 시장에 나오는 인터랙션 대부분은 선행된 학술적 연구를 찾을 수 있죠.

기업들이 학술적 연구와 해당 연구자들의 결과물을 상용화 했음을 명백히 밝히지 않는 것은 불운한 일입니다. 우리가 한 연구가 수많은 사람들의 일상에서 활용되는 기능인데 비해 HCI 연구 그 자체가 그만한 주목을 받지 못한다는 것은, 그 연구를 진행한 개인보다 HCI 분야 전체에 상처를 입히는 일이거든요. 이건 결국 HCI 분야 전체의 가치를 낮춥니다. 새로운 스마트폰의 기능은 사람들을 흥분하게 하고 뉴스미디어는 이를 실어나르지만 이를 만든 HCI 연구분야는 사람들에게 그만큼 알려지지 못하는거죠. 학자의 입장에서 우리 분야에 대한 인식을 일으키고 우리의 업적이 세상에 끼치는 영향력과 가치가 더 넓게 인정받을 수 있는 조치가 필요하다고 생각합니다. 

SPL 흥미롭네요. 교수님의 연구와 해당 분야에 관심을 가지는 사람들이 더 많아지길 빕니다. 귀한 시간 내주시고 생각을 나눠주셔서 감사합니다! 

IO 천만에요!