본 케이스 스터디는 초기 기업 담당자 열람용도로만 작성되었으나, 디자이너에게 줄 수 있는 교육적 가치가 크다고 판단해 디자이너 커뮤니티 전체에 공유하게 되었습니다. 케이스 스터디 내용을 무단으로 전재 및 복사하는 것은 삼가해주시기 바랍니다.
문제정의
사용자 검색 보조 기능 부재로 문장형(LLM) 검색이 어렵고, 인사이트 결과가 직관적으로 나타나지 않음
검색 완료 후, 서비스 체류 요인 부재
솔루션
검색 경험 전반에 걸친 보조 기능 추가 및 완성형 문장의 데이터 분석 결과 도출로 인사이트 제공
핵심 지표 및 비즈니스 목표
검색 경험 개선으로 사용자가 AI를 이용한 문장형 검색에 익숙해져 리텐션 상승 및 체류 시간 증가
솔루션 라이팅
달성하고자 하는 비즈니스 목표
콕스웨이브의 Align AI는 대화형 AI 서비스(e.g. ChatGPT, 뤼튼, 라이너 등)에서 발생되는 텍스트 기반의 데이터를 분석하여 인사이트를 제공하는 B2B SaaS입니다.
Align AI의 사용자는 대화형 AI 서비스를 개발하고 있는 PM, 엔지니어, 마케터 등의 직군으로 Align AI를 이용해 문장형 검색으로 자사의 데이터를 분석하고, 서비스의 잠재적 니즈를 찾으려고 합니다.
본 프로젝트는 사용자의 Align AI에서 데이터 검색 경험을 개선하여 검색 횟수를 늘리고, 체류 시간을 늘리며, 리텐션율을 높이는 것을 목표로 합니다.
기존 상황에서 정의한 유저 문제
저는 기존 Align AI 검색 경험에서 아래의 3가지 문제를 정의했습니다.
첫 번째, 사용자의 검색 보조 기능이 부재하여, 문장형(LLM) 검색이 익숙하지 않은 사용자는 Align AI에서 어떻게 검색해야 데이터를 잘 검색할 수 있는지 알기 어려웠습니다.
두 번째, 결과 페이지에 데이터가 리스트로만 떠서 사용자가 얻을 수 있는 인사이트가 직관적으로 나타나지 않고 있었습니다.
세 번째, 사용자가 검색을 경험한 후 더 체류할 만한 추가적인 기능의 부재로 사용자의 검색이 일회성에 그친다고 분석했습니다.
솔루션
그래서 저는 아래와 같이 총 3가지의 솔루션을 제안합니다.
첫 번째, 검색 경험 전반에 걸친 보조 기능을 추가했습니다. 총 두 가지로, 먼저 검색 창에 대화하는 듯한 UX를 추가하고, 예시 검색어(문장) 가이드를 제공하여 문장형 검색 경험이 익숙하지 않은 사용자도 쉽게 검색할 수 있도록 했습니다.
두 번째, 검색 결과로 완성형 문장의 데이터 분석 결과를 도출하여 사용자가 직관적으로 인사이트를 알 수 있게 했습니다. 또한 검색어 필터 버튼을 추가하여 도출된 인사이트에 대한 구체적인 정보까지 얻을 수 있게 했습니다.
세 번째, 검색 결과 하단에 추가로 검색해볼 수 있는 인사이트를 제공하여 사용자가 더 다양한 검색을 시도할 수 있도록 했습니다.
예상되는 결과
상기의 검색 경험 개선으로 사용자는 검색 경험 전반에 걸쳐 AI를 이용한 문장형 검색에 익숙해지게 될 것입니다. 크게는 검색 전, 사용자가 검색을 이전보다 좀 더 정확하고 쉽게 시도할 수 있게 되고, 검색 후에는 검색 결과의 인사이트를 확실하게 전달받음으로써 사용자의 Align AI에 대한 효용성을 더 크게 느끼게 되어 리텐션을 높일 수 있을 것입니다.
또한 ‘세션 당 페이지 수’를 세부 지표로 설정했을 때, 검색 결과 하단의 인사이트 제공으로 기존 대비 최대 2배 이상의 페이지를 사용자가 이용할 수 있으므로 서비스 체류 시간 또한 2배 이상 증가할 것으로 예상합니다(자세한 내용은 ‘기대효과’ 참고).
문제정의
기존 Align AI에서의 사용자 검색 여정은 이하와 같습니다.
저는 이 검색 여정에서 “문장형 검색”과 “분석”이라는 키워드를 중심으로 3가지 문제를 정의해봤습니다.
문제 1. 문장 기반 검색을 위한 보조 기능 부재
Align AI에서의 검색 UI는 여타 LLM 서비스의 멘탈 모델과 달리 단순 키워드 기반 검색처럼 보이며 구체적으로 어떻게 질문해야 하는지 안내해주는 기능이 숨겨져 있었습니다.
따라서 문장형 검색이 익숙하지 않은 사용자는 Align AI에서 어떻게 검색해야 데이터를 잘 검색할 수 있는지 알기 어렵다고 판단했습니다.
AS-IS. 기존의 All Sessions에서의 검색 UI
문제 상황을 분석하기 위해 LLM을 기반으로 하는 문장형 검색 AI 프로덕트를 리서치해 본 결과, 아래와 같은 UI를 제공하는 경향이 있었습니다.
1.
AI 에이전트를 의인화하여 문장형 검색을 유도하는 UX
2.
어떤 식으로 검색할 수 있는지 예시가 나열되어 궁극적으로 검색 경험을 학습할 수 있는 프롬프트 버튼 영역
좌. ChatGPT 우. Claude
문제 2. 직관적이지 못한 검색 결과
기존의 검색 결과 화면은 데이터들의 리스트입니다. 각각의 데이터들은 Align AI가 분석한 서머리를 달고 있지만, 사용자가 하나하나 확인해야만 했습니다.
즉 사용자가 Align AI의 분석 인사이트을 직관적으로 받고 있지 못하는 상황으로, 이는 가장 쉬운 AI 기반 제품의 사용자 분석 인프라를 표방하는 Align AI의 프로덕트 비전을 생각했을 때 치명적인 문제였습니다.
AS-IS. 기존의 All Sessions에서의 검색 결과 화면
문제 3. 더 긴 체류를 위한 기능 부재
기존의 검색 경험은 결과 화면에서 사용자가 데이터를 확인하는 단계로 끝이 나, 사용자가 다시 검색할 때에는 앞서 검색한 분석의 맥락을 잃고, 다시 문장을 생각하고 검색해야 하는 등 1회의 검색이 끝난 후에 더 체류해야 할 요인이 없었습니다.
솔루션
솔루션 가설
문장형 검색, 분석을 중점으로 이하 3가지의 가설을 세웠습니다.
가설 1. 검색 보조 기능으로 사용자의 검색 허들 낮출 수 있을 것이다.
LLM 서비스의 멘탈 모델에 맞춰 검색 창에 Align AI와 소통하는 듯한 UX와 예시 검색어 버튼을 제공하면 문장형 검색 경험이 익숙하지 않은 사용자도 쉽게 검색할 수 있게 되어, 검색 횟수를 증가시킬 수 있을 것이다.
가설 2. 검색 결과 화면에서 분석 결과를 제공하면 사용자의 만족도를 높이고, 리텐션율을 상승시킬 수 있을 것이다.
분석 결과를 검색 결과 화면에 제공하면 사용자의 목표 달성까지 소요되는 시간을 단축시켜 사용자의 만족도를 높이고, 리텐션율을 상승시킬 수 있을 것이다.
가설 3. 검색 결과 하단에 맥락에 맞춘 추가 액션을 제공하면 사용자의 체류 시간을 늘릴 수 있을 것이다.
검색 결과에 기반하여 추가적인 인사이트를 탐색할 수 있는 버튼을 제공하여 사용자의 더 많은 탐색을 유도하는 것으로 체류 시간 증가를 꾀할 수 있을 것이다.
디자인 프로토타이핑
가설을 기반으로 개선한 Align AI에서의 검색 여정은 이하와 같습니다.
1. Align AI와 대화하는 듯한 UX와 예시 검색어 버튼
기존의 좁고 키워드형 검색 같은 검색 폼 UI에서,
(1) 문장이 길어질 케이스까지 포괄하도록 검색 폼 UI를 화면 전체 넓이로 조정했습니다.
(2) LLM 서비스와 같이 Align AI와 커뮤니케이션이 될 수 있도록 검색 폼 UI 위에 대화하는 듯한 연출했습니다.
(3) 문장형 검색이 익숙치 않은 사용자를 위해 검색어 예시 버튼 제공으로 검색의 허들을 낮추면서도 문장형 검색의 학습까지 할 수 있도록 UI 설계했습니다.
(4) All Sessions에 들어와서 바로 검색에 주목할 수 있도록 입력 폼에 커서를 위치시켰습니다.
TO-BE. Align AI와 대화하는 듯한 UX, 예시 검색어 버튼
2. Align AI와 대화하는 듯한 연출을 포함한 검색 UI와 검색 결과 개요
기존의 검색 결과 테이블만 나오던 화면에서,
(1) Align AI가 ‘분석을 함께 마쳤다’는 대화하는 듯한 연출했습니다.
(2) 검색 결과 개요에서 전체 데이터의 분석 내용과 분석된 경향 기반 필터 버튼를 비율 순으로 제안했습니다.
(3) 검색 결과 개요의 다른 분석을 보고 싶을 때를 위한 Other analysis 버튼 제공하는 화면으로 개선시켰습니다.
TO-BE. Align AI와 대화하는 듯한 연출을 포함한 검색 UI, 검색 결과
3. Align AI와 대화하는 듯한 연출을 포함한 검색 UI와 검색 후속 액션 제안 버튼
기존에는 결과 데이터 출력이 완료되었을때 화면에 추가적으로 노출되는 컨텐츠가 없었으나,
(1) 검색 결과 데이터가 짧거나 제안 필터로 거를 게 없는 경우, Align AI가 ‘더 깊은 탐색을 위해서 제안을 쓸 수도 있다’고 대화하는 듯한 연출했습니다.
(2) 데이터 말미에 제안 영역을 두어 회원 가입 시에 기입받은 정보 기반 비슷한 성질의 질문을 제안하는 영역을 만들었습니다.
TO-BE. 검색 후속 액션 제안 버튼 추가
기대효과
상기의 검색 경험 개선으로 사용자는 Align AI에서의 검색 경험 전반에 걸쳐 문장형 검색에 익숙해지게 될 것입니다.
크게는 검색 전, 사용자가 검색을 이전보다 좀 더 정확하고 쉽게 시도할 수 있게 되고, 검색 후에는 검색 결과의 인사이트를 확실하게 전달받음으로써 사용자의 Align AI에 대한 효용성을 더 크게 느끼게 되어 리텐션을 높일 수 있을 것입니다.
또한 ‘세션 당 페이지 수’를 세부 지표로 설정했을 때, 검색 결과 하단의 인사이트 제공으로 기존 대비 최대 2배 이상의 페이지를 사용자가 이용할 수 있으므로 서비스 체류 시간이 2배 이상 증가할 것으로 예상합니다.
시작 스프린트를 통해 배운 점
1. 개발 가능한 디자인
제안드린 몇몇 기능에 있어서 가장 처음 들은 피드백은 ‘구현은 어떻게 할 수 있을까요?’ 이었습니다. 이 질문에 갖고 있던 개발 지식을 발휘해 구체적인 상황을 가정, 이런 기술로 구현할 수 있을 거라고 생각했다고 전달드렸고, 이에 콕스웨이브 관계자 및 사수 디자이너님이 납득하신 경험으로 앞으로도 제안에 있어 기술을 염두해 디자인하려고 합니다.
개발 가능한 디자인
2. 진짜 문제를 찾으려는 탐구하는 자세
실질적으로 가장 큰 문제로 보였던 Align AI의 검색창 UI에 몰입하는 것에서 진짜 Align AI에서 검색할 때의 문제점은 무엇인가?로 눈길을 돌려 검색창 UI부터 검색 중, 검색 완료 결과 화면, 테이블의 정렬까지 검색 경험을 총체적으로 접근하고, 탐구, 개선했습니다. 진짜 문제 정의에 대해 생각해볼 수 있었고, 그 생각이 프로덕트에 있어서 가장 중요한 것이라는 깨달음은 다시금 얻게 되었습니다.
