1. 문제 상황
웹사이트의 /public/assets 폴더 내의 모든 이미지가 검색 엔진에 의해 크롤링되고 있습니다.
색인화가 불필요한 이미지까지 크롤링하기 때문에 경고로 표시
2. 목표
-
불필요한 이미지 크롤링 방지
-
중요한 이미지의 SEO 가치 유지
-
웹사이트 성능 최적화
3. 해결 방안
3.1 robots.txt 설정
가장 간단하고 효과적인 방법은 robots.txt 파일을 사용하여 /assets/ 디렉토리의 크롤링을 차단하는 것입니다.
User-agent: *
Disallow: /assets/
3.2 중요 이미지 관리 (선택사항)
SEO에 중요한 이미지가 있다면, 다음과 같이 관리할 수 있습니다:
-
/public/important-images/디렉토리 생성 -
중요 이미지를 이 디렉토리로 이동
-
robots.txt파일 수정
User-agent: *
Allow: /important-images/
Disallow: /assets/
중요 이미지의 정의:
-
SEO에 직접적인 영향을 미치는 이미지 (예: 대표 이미지, 제품 이미지)
-
브랜딩 관련 이미지 (로고 등)
-
사용자 경험에 중요한 이미지 (튜토리얼, 스크린샷 등)
-
고유한 가치를 지닌 이미지 (독점 콘텐츠)
-
소셜 미디어 공유용 이미지
4. 구현 단계
-
프로젝트 루트에
robots.txt파일 생성 또는 수정 -
필요시
/public/important-images/디렉토리 생성 -
중요 이미지 식별 및 이동 (선택사항)
-
웹서버 설정에서
robots.txt파일이 올바르게 제공되는지 확인
5. 모니터링 및 최적화
-
주기적으로 Google Search Console을 확인하여 크롤링 상태 모니터링
-
웹사이트 트래픽 및 이미지 검색 유입 분석
-
필요시
robots.txt설정 및 이미지 관리 전략 조정
6. 결론
이미지 크롤링 자체가 문제 될 이유는 없지만, 이미지 자체를 크롤링해서, 사용자가 이미지를 보고 클릭한 경우, 이미지만 보여지는 문제가 있기 때문에 사용자 경험을 떨어트리게 된다. 따라서 불필요한 이미지의 경우에는 크롤링을 `robots.txt` 를 통해 제한하고, 중요 이미지에 대한 `alt` 텍스트와 파일명 최적화가 필요하다.