SEO 실험을 학습 자산으로 남기는 기록법

SEO 실험은 순위가 올랐다는 한 줄보다, 다음 의사결정에 재사용할 수 있는 조건과 실패 기록이 중요합니다.

이 글에서 다루는 내용

가설은 행동과 결과를 연결합니다

‘SEO를 개선한다’는 실험이 아닙니다. ‘상품 상세의 중복 title을 고유하게 바꾸면 색인된 대상 URL의 비브랜드 클릭률이 28일 동안 개선될 것이다’처럼 변경, 대상, 지표, 기간을 포함합니다.

결과가 나오지 않을 때 가설을 버릴 조건도 씁니다. 노출이 충분하지 않거나 페이지가 색인되지 않은 경우는 ‘효과 없음’이 아니라 측정 불가로 분리합니다.

템플릿 하나, 요소 하나를 바꾸면 결과를 설명하기 쉽습니다. 제목, 본문, 내부 링크, 속도를 한 번에 바꾸면 무엇이 영향을 줬는지 알 수 없습니다.

트래픽이 적으면 무리한 A/B 분할보다 전후 비교가 현실적일 수 있습니다. 이때 계절성, 캠페인, 브랜드 수요, 알고리즘 업데이트를 교란 변수로 기록합니다.

검색 실험은 배포와 노출 변화 사이에 크롤링·색인 지연이 있습니다. 배포 당일부터 평균을 내지 말고 대상 URL의 재수집과 색인 상태를 확인한 뒤 안정 구간을 정합니다.

일별 변동이 큰 지표는 주 단위로 집계하고 절대값과 비율을 함께 봅니다. 클릭률이 올라도 노출 질의 구성이 바뀌면 같은 현상으로 볼 수 없습니다.

클릭은 늘었지만 전환이 떨어졌거나, 대표 URL은 개선됐지만 긴 꼬리 URL이 사라졌다면 부작용을 함께 기록합니다. 검색 지표 하나만 최적화하면 사업 목표와 멀어질 수 있습니다.

실패한 가설에는 다음 실험을 막아 주는 가치가 있습니다. 코드와 보고서를 삭제하지 말고 ‘어떤 조건에서는 재현되지 않았다’는 결론을 검색 가능한 형태로 남깁니다.

SEO 실험은 몇 주 동안 해야 하나요?

고정된 답은 없습니다. 재크롤링 이후 충분한 노출과 주기성을 포함할 만큼 길어야 합니다. 기간보다 사전에 정한 최소 표본과 안정 구간이 중요합니다.

대조군이 없으면 실험이 아닌가요?

인과 추론은 약해지지만 유용한 운영 관찰은 가능합니다. 전후 기준선, 교란 변수, 한계를 명확히 적고 확정적인 표현을 피하세요.