소개

키오스크(KIOSK)는 2017년 전후로 한국에 도입되어 사업자들에게 업무 효율 향상, 인건비 절약 등의 장점으로 큰 인기를 끌면서 매장이나 대중교통 대금 결제 등 다양한 곳에서 활용되고 있습니다. 그러나 디지털 취약 계층은 정작 키오스크 사용에 대해 많은 불편함을 느끼고 있다는 점이 현재 우리 사회에서 간과할 수 없는 문제입니다. 알기 어려운 기능들과 외래어 용어들로 가득 찬 화면에서 디지털 취약 계층은 무시 당하는 기분을 느끼며 당연히 누려야 할 권리를 누리지 못하고 있습니다. 따라서 디지털 취약 계층을 충분히 배려하고 정보 격차를 해소하여 건강하고 성숙한 디지털 사회로의 성장을 희망하는 마음에서 이 프로젝트를 제안하게 되었습니다.

프로젝트 기간 : 2019년 04월 22일 ~ 2019년 11월 30일

참여자

• 멘토 : 김종필
• 멘티 : 이소연, 윤지윤, 이예진, 황선미

키오스크 화면 인식 : 앱을 실행 후 키오스크의 화면을 카메라로 비추면 뷰포리아(Vuforia) 데이터베이스에 미리 저장해둔 이미지를 통하여 해당 키오스크 화면이 어떤 화면인지 인식 후 그에 알맞은 안내를 제공합니다.

키오스크 사용 안내 음성 출력 (TTS) : Google Text-To-Speech API를 사용하여 인식한 키오스크 화면에 알맞는 안내 문구를 음성으로 변환하여 출력합니다.

키오스크 사용 안내 AR 출력 : 음성 안내만으로 알기 어려운 기능들을 사용자에게 보다 직관적으로 안내하기 위해 AR 이미지와 AR 애니메이션을 통해 음성 안내와 더불어 시각적인 안내도 함께 제공합니다. 키오스크 화면 상 터치해야 하는 부분에 테두리 이미지를 띄워주고 터치, 끌기 등 동작 애니메이션을 삽입하여 키오스크 사용법을 안내합니다.

사용자가 원하는 메뉴 음성 인식 (STT) : 키오스크를 사용하여 주문하는 사용자는 대부분 원하는 메뉴가 한정적이라는 점을 고려하여 키오스크 사용법을 안내하기 전에 사용자가 원하는 메뉴가 있는지 물어봅니다. Google Speech Recognition API를 사용하여 사용자가 원하는 메뉴를 음석으로 인식하여 해당 메뉴를 주문할 수 있는 사용법을 자세히 안내합니다.

• 현재 Google Speech Recognition API 사용하여 음성 인식까지 구현
• 향후 인식한 메뉴에 따른 구체적 안내 기능 추가 구현 필요

디지털 취약 계층을 고려한 UI : 키오스크 사용을 어려워하는 사용자는 대체로 연령층이 높다는 점을 고려하여 안내 텍스트를 기존 서비스 대비 30% 이상 크게 출력합니다. 외래어의 사용을 없애고 모든 안내를 한국어로 대체하여 표현했습니다. 어떤 사용자라도 쉽게 사용법을 이해할 수 있도록 간단하고 직관적인 아이콘 및 이미지를 활용했습니다. 별도의 불필요한 과정없이 앱을 시작하자마자 바로 카메라 기능을 실행하여 키오스크 화면을 인식하도록 하였습니다.

프로젝트 진행 상세 과정 (의사소통, 이슈, Wiki 등)
https://lab.hanium.or.kr/19-p421/19_p421_kioskproject

시연 영상
https://drive.google.com/open?id=1Dj6keWZSxKzm4vbMnDNU92pWmiHxnJiX