GEO 사례에는 어떤 수치를 공개해야 하나요?

믿을 수 있는 GEO 사례에는 측정 기간, 질문 수, 질문 선정 방법, 작업 전 기준값, 자체 측정 여부, 실제 문의 변화가 적혀 있어야 합니다. 이 여섯 가지 중 빠진 항목이 많을수록 숫자의 뜻을 알기 어렵습니다. 퍼센트 하나만 적힌 사례는 다른 사례와 비교할 수 없습니다.

왜 퍼센트 하나로는 부족한가요?

같은 퍼센트라도 질문과 기준값에 따라 전혀 다른 뜻이 되기 때문입니다. 기준값이 아주 낮으면 작은 변화도 큰 퍼센트로 보입니다. 회사 이름이 들어간 질문을 섞으면 회사 이름이 답변에 나오는 비율은 쉽게 높아집니다.

AI 답변은 시점과 사용자, 위치에 따라 달라질 수 있습니다. 질문 몇 개를 한 번씩 물어본 값은 우연히 좋게 나왔을 가능성을 지울 수 없고, 그래서 기간과 반복 횟수를 함께 적어야 합니다.

사례에는 어떤 항목이 있어야 하나요?

아래 표의 여섯 항목이 기본입니다. 항목마다 빠졌을 때 생기는 문제가 다릅니다.

여기에 측정한 AI 서비스 이름과 다른 조건의 변화도 함께 적으면 더 좋습니다. 광고를 함께 늘렸거나 박람회에 참가했다면 문의 증가의 원인이 섞입니다.

질문 수와 기간은 얼마나 되어야 하나요?

정해진 공식 기준은 없고, 적을수록 숫자가 크게 흔들린다는 점을 알고 읽어야 합니다. 질문이 20개라면 한 질문의 결과가 바뀔 때 비율이 5퍼센트포인트 움직이고, 100개라면 1퍼센트포인트 움직입니다. 단순한 계산이지만 작은 숫자의 큰 변화를 읽을 때 꼭 떠올려야 합니다.

기간은 작업 전과 작업 후를 같은 길이로 잡고, 한 번 잰 값보다 여러 번 잰 값의 합계를 적는 편이 좋습니다. AI 답변은 날마다 달라질 수 있어서, 하루 측정값을 앞뒤로 비교하면 작업의 효과와 일시적 흔들림을 구분하기 어렵습니다.

질문 선정은 어떻게 공개해야 하나요?

어떤 기준으로 골랐는지와 질문 목록을 함께 공개합니다. 회사가 영업상 질문 전체를 공개하기 어렵다면 품목명 등을 가린 예시와 질문 유형별 개수라도 밝혀야 합니다.

좋은 질문 선정에는 세 가지 조건이 있습니다.

1. 회사 이름이 없는 구매 질문이어야 합니다. "화장품 OEM 업체를 추천해 주세요" 같은 질문입니다.
2. 작업을 시작하기 전에 정해서 고정해야 합니다.
3. 나중에 질문을 바꾸면 바뀐 질문을 따로 집계해야 합니다.

세 번째 조건이 자주 빠집니다. 시장이 바뀌어 질문을 추가하는 일은 자연스럽지만, 새 질문의 값을 이전 값과 합치면 기준이 달라집니다.

논문의 수치는 사례 근거로 쓸 수 있나요?

참고는 할 수 있지만 우리 회사의 기대치로 쓸 수는 없습니다. 자주 인용되는 GEO 논문(Aggarwal 외, KDD 2024)은 출처 인용을 추가하는 방법의 효과가 원래 검색 순위에 따라 크게 갈린다고 보고합니다.

같은 방법인데 5위 출처는 올랐고 1위 출처는 내렸습니다. 이 표는 어떤 방법의 평균값이 그대로 다른 상황에 옮겨 가지 않는다는 점을 보여 줍니다.

읽을 때 주의할 조건도 있습니다. 이 실험은 약 1만 개 질문의 벤치마크로, 구글 상위 5개 결과의 본문을 GPT-3.5에 넣어 답을 만드는 시뮬레이션 엔진에서 진행됐습니다. 논문은 실제 서비스인 Perplexity도 200개 표본에서 시험했지만, 위 표는 시뮬레이션 쪽의 결과입니다. 논문은 한국어 질문이나 B2B 구매 질문을 따로 시험했다고 밝히지 않았고, ChatGPT나 네이버 AI 브리핑의 현재 답변에서 같은 효과가 나온다는 검증도 없습니다.

그래서 사례에서 이 논문을 언급한다면 논문 값과 회사가 잰 값을 구분해야 합니다. 논문의 숫자를 회사의 성과처럼 쓰거나, 비슷한 효과를 기대할 수 있다고 쓰면 읽는 사람을 오해하게 합니다.

자체 측정이라고 왜 밝혀야 하나요?

수치를 낸 쪽이 그 수치로 이득을 보는지 독자가 알아야 하기 때문입니다. 대행사나 도구 회사가 자기 작업의 성과를 재서 발표한 값은 자체 보고입니다. 자체 보고라고 해서 틀린 값은 아니지만, 외부 검증과는 무게가 다릅니다.

표시는 수치 바로 옆에 둡니다. 예를 들어 "자체 측정, ChatGPT와 Gemini, 고정 질문 ○○개, ○월 ○일부터 ○월 ○일까지"처럼 적습니다. 각주 맨 아래에 작게 적으면 수치만 인용되어 돌아다닐 때 조건이 사라집니다.

외부 기관의 검증을 받기 어려운 작은 회사라면 다시 확인할 수 있게 공개하는 방법이 있습니다. 같은 질문과 같은 서비스로 누구나 다시 물어볼 수 있도록 질문을 공개하고, 측정 날짜와 원본 답변 일부를 보관합니다. 답변은 시점에 따라 달라지지만, 어떤 방식으로 재었는지는 확인할 수 있습니다.

사례를 읽을 때 어떤 표현을 조심해야 하나요?

퍼센트, 순위, 성공 건수처럼 조건 없이 적힌 표현을 조심해야 합니다. 예를 들어 노출률이 10%에서 20%로 오르면 100% 증가라고도, 10퍼센트포인트 증가라고도 쓸 수 있습니다. 두 표현은 같은 변화인데 받는 인상이 크게 다릅니다.

마지막 줄도 따져 볼 부분입니다. 잘 나온 기간만 잘라 보여 주면 숫자는 사실이어도 전체 그림은 달라집니다.

노출이 늘면 문의도 함께 늘어나나요?

늘어난다고 단정할 수 없어서 따로 재야 합니다. AI 답변에 이름이 나와도 바이어가 사이트를 찾아오지 않을 수 있고, 찾아왔어도 검색 도구에는 다른 경로로 잡힐 수 있습니다.

1. 문의 폼에 어떻게 알게 되었는지 묻는 항목을 둡니다.
2. 선택지에 AI 답변을 포함하고, 어떤 서비스였는지 적을 칸을 둡니다.
3. 작업 전 기간과 작업 후 기간의 문의 수를 같은 길이로 비교합니다.
4. 문의 중 실제 견적과 거래로 이어진 건을 표시합니다.
5. 광고, 박람회 등 같은 기간의 다른 활동을 함께 적습니다.

문의 수가 적은 B2B 제조사는 몇 건의 차이로 비율이 크게 흔들립니다. 그래서 퍼센트보다 건수를 그대로 적는 편이 정직합니다. 숫자가 작을수록 조건을 더 자세히 적어야 합니다.

공개할 때는 어떤 형식으로 적으면 좋나요?

한 사례를 한 장의 표로 적고, 빈칸을 숨기지 않으면 됩니다. 확인하지 못한 항목은 "확인 안 됨"이라고 적습니다.

계산 기준을 어떻게 정할지 예시가 필요하다면 측정 방법에서 질문 고정, 비율 계산, 측정의 한계를 볼 수 있습니다. 어느 회사의 사례든 이 표의 빈칸을 채워 달라고 요청하면 숫자를 판단할 근거가 생깁니다.

자주 묻는 질문

AI 노출률이 몇 퍼센트 올랐다는 숫자만으로는 부족한가요?

부족합니다. 기간, 질문 수, 질문 선정 방법, 기준값이 없으면 그 숫자가 어떻게 나왔는지 알 수 없습니다. 같은 변화라도 질문을 어떻게 고르느냐에 따라 숫자는 크게 달라질 수 있습니다.

GEO 논문의 수치를 우리 회사 기대치로 써도 되나요?

쓰지 않는 편이 맞습니다. 2024년 KDD에 실린 GEO 논문의 수치는 연구용 벤치마크와 시뮬레이션에서 나온 값입니다. 한국어 B2B 환경에서는 검증되지 않았습니다.

자체 측정 수치는 믿을 수 없나요?

자체 측정이라도 쓸 수 있습니다. 자체 측정이라고 밝히고 질문과 계산 방법을 함께 공개하면 읽는 사람이 판단할 수 있습니다.