robots.txt 이해하기: 워드프레스 색인 문제와 크롤링 최적화를 잡는 기술 SEO 가이드

Table of Contents

robots.txt 이해하기

워드프레스 블로그를 운영하다 보면 어느 날 갑자기 이런 생각이 듭니다.
“글은 계속 쓰고 있는데, 왜 구글은 내 글을 바로바로 가져가지 않을까?”
Search Console을 열어보면 ‘robots.txt에 의해 차단됨’, ‘크롤링됨 – 현재 색인이 생성되지 않음’, ‘발견됨 – 현재 색인이 생성되지 않음’ 같은 문구가 보이고, 순간 머리가 복잡해집니다.

처음에는 단순히 글 품질 문제인가 싶지만, 사이트가 커질수록 문제는 조금 더 기술적인 곳에서 시작됩니다.
그중 대표적인 것이 바로 robots.txt입니다.

robots.txt는 검색엔진 로봇에게 “여기는 들어와도 되고, 여기는 굳이 들어오지 마”라고 알려주는 사이트 입구 안내판 같은 파일입니다.
하지만 많은 운영자가 이 파일을 “검색 결과에서 숨기는 도구”로 오해합니다.
이 오해 하나 때문에 중요한 글이 크롤링되지 않거나, 반대로 숨기고 싶은 URL이 검색 결과에 남는 일이 생기기도 합니다.

robots.txt란 무엇인가

robots.txt는 웹사이트의 루트 경로에 위치하는 텍스트 파일입니다.
예를 들어 도메인이 https://example.com이라면 robots.txt 주소는 보통 https://example.com/robots.txt가 됩니다.

이 파일은 Googlebot, Bingbot 같은 검색엔진 크롤러에게 어떤 URL 경로를 요청해도 되는지, 어떤 경로는 요청하지 말아야 하는지 알려줍니다.
Google 공식 문서에서도 robots.txt는 검색엔진 크롤러가 사이트의 어떤 페이지나 파일을 요청할 수 있는지 제어하는 파일로 설명합니다.

여기서 핵심은 “요청할 수 있는지”입니다.
robots.txt는 크롤링 제어 파일이지, 색인 삭제 파일이 아닙니다.

즉, robots.txt는 검색엔진에게 페이지에 들어오지 말라고 말할 수는 있지만, 이미 알려진 URL 자체를 검색 결과에서 완전히 없애는 역할은 하지 못합니다.
Google은 robots.txt로 차단된 URL도 다른 곳에서 링크를 발견하면 검색 결과에 URL만 표시할 수 있다고 안내합니다.

블로그 운영자 입장에서 이 차이는 정말 중요합니다.
왜냐하면 “차단했다”와 “검색에서 사라졌다”는 전혀 다른 일이기 때문입니다.

robots.txt가 중요한 이유

robots.txt가 중요한 이유는 크게 세 가지입니다.

첫째, 크롤링 예산 관리입니다.
블로그 글이 30개일 때는 크게 티가 나지 않지만, 글이 1,000개, 5,000개, 10,000개로 늘어나면 검색엔진이 사이트 전체를 효율적으로 탐색하는 구조가 중요해집니다.
검색엔진이 굳이 볼 필요 없는 내부 검색 결과, 로그인 페이지, 관리자 페이지, 장바구니 페이지, 불필요한 파라미터 URL에 시간을 쓰면 정작 중요한 본문 글의 크롤링 우선순위가 떨어질 수 있습니다.

둘째, 기술 SEO 오류 예방입니다.
워드프레스에서는 플러그인, 테마, 캐시 설정, 보안 플러그인, SEO 플러그인이 robots.txt와 관련된 설정에 영향을 줄 수 있습니다.
특히 Rank Math, Yoast SEO, All in One SEO 같은 플러그인을 쓰면 가상 robots.txt를 편집할 수 있는데, 이때 실수로 전체 사이트를 막아버리면 심각한 색인 문제가 생길 수 있습니다.

셋째, 검색엔진에게 사이트 구조를 더 명확하게 전달할 수 있습니다.
robots.txt 안에 Sitemap 주소를 넣어두면 검색엔진이 사이트맵 위치를 쉽게 찾을 수 있습니다.
Google은 robots.txt에서 Sitemap 필드를 지원하며, Google과 Bing 등 주요 검색엔진이 이 필드를 지원한다고 설명합니다.

robots.txt 기본 구조 이해하기

robots.txt는 복잡해 보이지만 기본 구조는 단순합니다.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/sitemap_index.xml

여기서 User-agent는 어떤 크롤러에게 적용할 규칙인지 정하는 항목입니다.
*는 모든 크롤러를 의미합니다.

Disallow는 크롤러가 접근하지 않기를 원하는 경로입니다.
위 예시에서는 /wp-admin/ 경로를 차단합니다.

Allow는 차단된 경로 안에서도 예외적으로 허용할 경로를 뜻합니다.
워드프레스에서는 admin-ajax.php가 일부 기능에 필요할 수 있어 허용하는 경우가 많습니다.

Sitemap은 사이트맵 주소입니다.
워드프레스에서 Rank Math를 사용한다면 보통 sitemap_index.xml 형태가 많이 사용됩니다.

Google robots.txt 사양 문서에 따르면 Google이 지원하는 주요 필드는 user-agent, allow, disallow, sitemap이며, crawl-delay 같은 필드는 Google에서 지원되지 않습니다.

워드프레스 블로그에서 흔히 쓰는 robots.txt 예시

워드프레스 블로그에서는 보통 아래처럼 단순하게 구성해도 충분합니다.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/sitemap_index.xml

이 설정은 대부분의 일반 블로그에 무난합니다.
관리자 페이지는 막고, 워드프레스 기능에 필요한 Ajax 파일은 허용하며, 검색엔진에게 사이트맵 위치를 알려주는 구조입니다.

하지만 사이트마다 상황은 다릅니다.
예를 들어 내부 검색 결과 페이지가 계속 색인에 잡힌다면 아래처럼 검색 결과 URL을 막을 수 있습니다.

User-agent: *
Disallow: /?s=
Disallow: /search/

Sitemap: https://example.com/sitemap_index.xml

또는 태그 페이지, 날짜 아카이브, 작성자 페이지를 색인 전략에서 제외하고 싶다면 robots.txt보다 SEO 플러그인의 noindex 설정을 쓰는 편이 더 안전합니다.
왜냐하면 색인을 막고 싶은 페이지는 robots.txt로 막는 것이 아니라, 검색엔진이 페이지를 읽을 수 있게 한 뒤 noindex를 확인하게 해야 하기 때문입니다.

Google은 페이지를 검색 결과에서 제외하려면 robots.txt가 아니라 noindex나 비밀번호 보호 같은 방법을 사용하라고 안내합니다.

robots.txt와 noindex의 차이

robots.txt를 이해할 때 가장 많이 헷갈리는 부분이 바로 noindex와의 차이입니다.

구분	robots.txt	noindex
주된 목적	크롤링 제어	색인 제외
작동 위치	사이트 루트의 robots.txt 파일	HTML meta 태그 또는 HTTP 헤더
검색엔진 접근	접근 자체를 막을 수 있음	접근 후 색인하지 말라고 전달
검색 결과 노출	URL이 남을 수 있음	정상 처리되면 검색 결과 제외
대표 사용처	관리자 페이지, 내부 검색, 불필요한 경로	태그, 얇은 페이지, 중복 페이지, 비공개성 페이지
주의점	색인 삭제용으로 쓰면 안 됨	robots.txt로 막으면 noindex를 못 읽을 수 있음

예를 들어 /tag/seo/ 같은 태그 페이지를 검색 결과에서 제외하고 싶다고 가정해보겠습니다.
이때 robots.txt에 아래처럼 쓰면 어떻게 될까요?

User-agent: *
Disallow: /tag/

Googlebot은 /tag/ 페이지에 들어가지 못합니다.
문제는 그 페이지 안에 noindex가 있어도 Googlebot이 페이지를 열어보지 못하기 때문에 해당 신호를 확인할 수 없다는 점입니다.

Google은 robots.txt로 차단된 페이지의 경우 크롤러가 noindex 규칙을 볼 수 없고, 다른 페이지에서 링크가 발견되면 URL이 검색 결과에 나타날 수 있다고 설명합니다.

그래서 색인을 제거하고 싶은 페이지는 보통 이렇게 처리하는 것이 좋습니다.

User-agent: *
Allow: /tag/

그리고 SEO 플러그인에서 태그 페이지를 noindex로 설정합니다.
이렇게 해야 검색엔진이 페이지에 접근해서 noindex 신호를 확인하고, 검색 결과에서 제외할 수 있습니다.

실사례 1: 블로그 전체가 갑자기 색인되지 않는 경우

워드프레스 운영자가 가장 조심해야 할 실수는 아래 설정입니다.

User-agent: *
Disallow: /

이 설정은 모든 크롤러에게 사이트 전체를 크롤링하지 말라고 말하는 규칙입니다.
개발 중인 사이트나 임시 사이트에서는 쓸 수 있지만, 운영 중인 블로그에 들어가면 치명적입니다.

실제로 워드프레스 관리자 화면의 “검색 엔진이 이 사이트를 검색하는 것을 차단” 옵션을 켜두면 비슷한 문제가 생길 수 있습니다.
처음 사이트를 만들 때는 임시로 켜두었다가, 정식 오픈 후에 끄는 것을 잊는 경우가 있습니다.

이 경우 나타날 수 있는 현상은 다음과 같습니다.

증상	가능한 원인	확인 위치
새 글이 색인되지 않음	전체 크롤링 차단	`도메인/robots.txt`
Search Console에서 차단 메시지 표시	`Disallow: /` 존재	페이지 색인 생성 보고서
사이트맵은 제출됐지만 URL 발견이 느림	크롤러 접근 제한	URL 검사 도구
검색 결과에 제목 없이 URL만 보임	차단된 URL이 외부 링크로 발견됨	Google 검색 결과

이럴 때는 먼저 브라우저 주소창에 내 도메인 뒤 /robots.txt를 붙여 직접 확인해야 합니다.
예를 들어 코리씽크라면 아래 형태입니다.

https://korithink.com/robots.txt

여기서 Disallow: /가 보이면 전체 차단 가능성을 의심해야 합니다.
운영 중인 블로그라면 일반적으로 전체 차단은 피해야 합니다.

실사례 2: 이미지가 검색에 잘 안 나오는 경우

블로그 본문은 색인되는데 이미지 검색 유입이 거의 없다면 robots.txt에서 이미지 파일 경로를 막고 있는지 확인할 필요가 있습니다.

예를 들어 아래 설정은 조심해야 합니다.

User-agent: *
Disallow: /wp-content/uploads/

워드프레스에서 이미지는 보통 /wp-content/uploads/ 경로에 저장됩니다.
이 경로를 robots.txt로 막으면 검색엔진이 이미지 파일을 제대로 가져가기 어렵습니다.

물론 모든 사이트가 이미지 검색 유입을 중요하게 보는 것은 아닙니다.
하지만 블로그 운영에서는 이미지 Alt 텍스트, WebP 최적화, 썸네일, 본문 이미지가 검색 노출에 도움을 줄 수 있습니다.
특히 정보성 블로그는 본문 이미지가 Google 이미지 검색이나 Discover 노출의 보조 신호가 될 수 있으므로, 무작정 업로드 폴더를 막는 것은 신중해야 합니다.

좋은 방식은 이미지 파일 자체는 열어두고, 불필요한 첨부파일 페이지는 SEO 플러그인에서 리디렉션하거나 noindex 처리하는 것입니다.

실사례 3: 내부 검색 결과가 색인에 잡히는 경우

워드프레스 블로그를 오래 운영하면 내부 검색 결과 URL이 생깁니다.

예를 들면 이런 주소입니다.

https://example.com/?s=seo
https://example.com/search/robots

이런 페이지는 사용자에게는 필요할 수 있지만, 검색엔진 색인에는 큰 가치가 없는 경우가 많습니다.
검색 결과 페이지가 또 다른 검색 결과에 노출되는 구조가 되면 품질이 낮은 페이지가 대량으로 생길 수 있습니다.

이때는 두 가지 접근이 있습니다.

첫째, robots.txt로 내부 검색 URL 크롤링을 줄이는 방법입니다.

User-agent: *
Disallow: /?s=
Disallow: /search/

둘째, SEO 플러그인에서 내부 검색 결과 페이지를 noindex 처리하는 방법입니다.

블로그 규모가 작다면 noindex만으로도 충분할 수 있습니다.
하지만 글이 많고 내부 검색 URL이 과도하게 생성된다면 robots.txt로 크롤링 자체를 줄이는 전략도 고려할 수 있습니다.

다만 이미 검색 결과에 남아 있는 URL을 제거하는 목적이라면 robots.txt 차단부터 걸기보다, 먼저 noindex 신호가 제대로 전달되는지 확인하는 편이 안전합니다.

robots.txt에서 자주 쓰는 명령어 정리

명령어	의미	예시	주의점
User-agent	적용할 크롤러 지정	`User-agent: *`	`*`는 모든 크롤러
Disallow	크롤링 차단 경로	`Disallow: /wp-admin/`	색인 삭제가 아님
Allow	예외 허용 경로	`Allow: /wp-admin/admin-ajax.php`	차단 경로 안의 예외 처리
Sitemap	사이트맵 위치 안내	`Sitemap: https://example.com/sitemap_index.xml`	여러 개 입력 가능
Crawl-delay	크롤링 지연 요청	`Crawl-delay: 10`	Google은 지원하지 않음

여기서 특히 Crawl-delay를 조심해야 합니다.
일부 검색엔진은 이 값을 참고할 수 있지만, Google은 robots.txt에서 crawl-delay를 지원하지 않습니다.
따라서 Google 크롤링 속도를 조절하고 싶다면 robots.txt에 Crawl-delay를 넣는 방식보다 서버 성능, 캐시, 내부링크 구조, 사이트맵 품질, Search Console 상태를 함께 봐야 합니다.

코리의 중간생각

robots.txt를 보다 보면 괜히 겁이 납니다.
한 줄 잘못 넣었다가 내 글이 전부 검색에서 사라질 것 같고, 뭔가 복잡한 개발자 영역처럼 느껴집니다.
그런데 실제로 중요한 건 화려한 설정이 아니라 “막아야 할 것과 열어야 할 것을 구분하는 감각”입니다.
블로그는 검색엔진에게 보여주려고 만든 공간입니다.
그러니 기본은 열어두고, 정말 불필요한 길만 조심스럽게 막는 쪽이 훨씬 안전합니다.

한줄팁

robots.txt를 수정했다면 반드시 브라우저에서 내도메인/robots.txt를 직접 열어보고, Search Console의 URL 검사 도구로 중요한 글이 차단되지 않았는지 확인하세요.

워드프레스에서 robots.txt 확인하는 방법

워드프레스는 실제 서버에 robots.txt 파일이 없어도 가상 robots.txt를 보여주는 경우가 있습니다.
즉, FTP나 파일관리자에서 robots.txt 파일이 보이지 않아도 브라우저에서 도메인/robots.txt를 열면 내용이 표시될 수 있습니다.

확인 순서는 아래처럼 하면 됩니다.

브라우저에서 https://내도메인.com/robots.txt 접속
Disallow: /가 있는지 확인
/wp-admin/ 외에 중요한 글 경로가 막혀 있는지 확인
사이트맵 주소가 현재 사이트맵과 일치하는지 확인
Search Console에서 URL 검사
색인 생성 보고서에서 robots.txt 관련 오류 확인

특히 SEO 플러그인을 사용한다면 플러그인 설정 안에서 robots.txt 편집 메뉴를 확인해야 합니다.
Rank Math의 경우 일반적으로 SEO 설정 안에서 robots.txt 편집 기능을 제공하고, Yoast SEO도 도구 메뉴를 통해 파일 편집 기능을 제공하는 경우가 있습니다.

다만 보안 플러그인이나 서버 설정에 따라 직접 편집이 막혀 있을 수 있습니다.
이럴 때는 무리하게 수정하기보다 호스팅 파일 관리자, Cloudways 설정, Nginx/Apache 설정, 캐시 플러그인 충돌 여부를 함께 확인하는 것이 좋습니다.

블로그 운영자에게 추천하는 기본 robots.txt

정보성 워드프레스 블로그라면 처음부터 복잡하게 막을 필요는 없습니다.
대부분은 아래 정도로 충분합니다.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://korithink.com/sitemap_index.xml

코리씽크처럼 블로깅, SEO, 사이트 운영, Search Console, 워드프레스 최적화 글을 쌓는 사이트라면 본문 글, 카테고리, 이미지, CSS, JS는 검색엔진이 접근할 수 있게 두는 편이 좋습니다.
검색엔진이 페이지를 제대로 렌더링하려면 CSS, JavaScript, 이미지 같은 리소스에 접근할 수 있어야 하기 때문입니다.
Google도 검색에 필요한 리소스가 robots.txt로 차단되지 않아야 한다고 안내합니다.

반대로 아래와 같은 설정은 운영 중인 블로그에서는 매우 조심해야 합니다.

User-agent: *
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /category/
Disallow: /tag/
Disallow: /

특히 /wp-content/를 막으면 이미지, 테마 리소스, 업로드 파일 접근에 문제가 생길 수 있습니다.
/category/나 /tag/를 막는 것도 사이트 구조에 따라 내부링크 흐름을 약하게 만들 수 있습니다.
카테고리와 태그를 검색 결과에서 제외하고 싶다면 robots.txt보다 SEO 플러그인의 noindex 설정을 먼저 검토하는 편이 좋습니다.

robots.txt 수정 전 체크리스트

robots.txt는 짧은 파일이지만 영향은 큽니다.
수정 전에는 아래 항목을 먼저 확인해보는 것이 좋습니다.

체크 항목	확인 질문	권장 판단
전체 차단 여부	`Disallow: /`가 있는가?	운영 사이트라면 제거 검토
관리자 페이지	`/wp-admin/`만 막고 있는가?	일반적으로 차단 가능
Ajax 예외	`admin-ajax.php`가 허용되어 있는가?	워드프레스에서는 허용 권장
이미지 경로	`/wp-content/uploads/`를 막고 있는가?	이미지 검색 원하면 차단 주의
사이트맵	Sitemap 주소가 맞는가?	최신 사이트맵 주소 입력
noindex 혼용	색인 제외 페이지를 robots.txt로 막았는가?	noindex 확인 가능하게 열어둘 것
내부 검색	`?s=` 검색 결과가 색인되는가?	noindex 또는 차단 검토
테스트	Search Console URL 검사 했는가?	수정 후 반드시 확인

이 표만 봐도 robots.txt의 방향이 훨씬 선명해집니다.
중요한 글, 중요한 카테고리, 중요한 이미지는 열어두고, 관리자 영역과 불필요한 내부 검색 URL만 조심스럽게 정리하는 것이 기본입니다.

Search Console에서 robots.txt 문제를 보는 법

robots.txt 문제는 Search Console에서 자주 확인됩니다.
대표적으로 페이지 색인 생성 보고서에서 특정 URL이 robots.txt에 의해 차단되었다는 메시지를 볼 수 있습니다.

이때 바로 robots.txt를 수정하기보다 먼저 질문을 나눠야 합니다.

첫째, 이 URL은 검색 결과에 나와야 하는 페이지인가?
나와야 한다면 robots.txt 차단을 풀어야 합니다.

둘째, 이 URL은 검색 결과에 나오지 않아야 하는 페이지인가?
그렇다면 robots.txt로 막을지, noindex로 처리할지 판단해야 합니다.

셋째, 이미 색인된 URL을 제거하고 싶은 상황인가?
이 경우 robots.txt로 막아버리면 Googlebot이 noindex를 확인하지 못할 수 있으므로 주의해야 합니다.
Google Search Console 도움말에서도 페이지를 Google 검색 결과에서 차단하려면 로그인 요구 또는 noindex를 사용할 수 있으며, noindex를 적용하려면 robots.txt 차단을 제거해야 한다고 설명합니다.

즉, Search Console에 robots.txt 관련 메시지가 떴다고 해서 무조건 나쁜 것은 아닙니다.
의도적으로 막은 URL이라면 정상일 수 있습니다.
하지만 중요한 글, 카테고리, 이미지, 사이트맵, CSS, JS가 막혀 있다면 빠르게 수정해야 합니다.

robots.txt 작성 시 피해야 할 실수

첫 번째 실수는 robots.txt를 보안 도구로 생각하는 것입니다.
robots.txt는 착한 크롤러에게 주는 안내문에 가깝습니다.
Googlebot 같은 정상 크롤러는 지침을 따르지만, 모든 봇이 반드시 따르는 것은 아닙니다. Google도 모든 크롤러가 robots.txt 지침을 준수하는 것은 아니라고 설명합니다.
따라서 관리자 페이지, 개인정보, 민감한 파일을 숨기기 위해 robots.txt만 믿는 것은 위험합니다.

두 번째 실수는 noindex를 robots.txt 안에 쓰는 것입니다.

User-agent: *
Noindex: /private/

이런 방식은 Google에서 지원되지 않습니다.
Google은 robots.txt 파일에서 noindex 규칙을 지원하지 않는다고 명확히 안내합니다.

세 번째 실수는 사이트맵 주소를 오래된 상태로 두는 것입니다.
도메인을 바꾸거나, http에서 https로 이전하거나, SEO 플러그인을 바꿨다면 사이트맵 주소가 달라질 수 있습니다.
robots.txt에 예전 사이트맵 주소가 남아 있으면 검색엔진이 최신 구조를 파악하는 데 불필요한 혼선이 생길 수 있습니다.

네 번째 실수는 무조건 많이 막는 것입니다.
기술 SEO에서는 막는 것보다 열어두는 것이 더 나을 때가 많습니다.
검색엔진이 내 사이트를 이해하려면 페이지 본문뿐 아니라 내부링크, 이미지, 스타일, 스크립트까지 함께 볼 수 있어야 합니다.

코리씽크 운영 기준으로 보는 추천 방향

코리씽크 같은 블로깅·SEO·워드프레스 운영 사이트라면 robots.txt는 “강한 통제”보다 “깔끔한 안내”에 가깝게 두는 편이 좋습니다.

robots.txt 이해하기 핵심 요약

robots.txt는 검색엔진 크롤러의 접근을 조절하는 파일입니다.
사이트의 루트 경로에 위치하며, User-agent, Disallow, Allow, Sitemap 같은 규칙으로 구성됩니다.

하지만 robots.txt는 색인 삭제 도구가 아닙니다.
검색 결과에서 특정 페이지를 제외하고 싶다면 noindex meta 태그나 HTTP 헤더를 사용해야 합니다.
특히 robots.txt로 막아버린 페이지는 Googlebot이 noindex를 읽지 못할 수 있으므로, 색인 제거 목적이라면 순서를 잘 판단해야 합니다.

워드프레스 블로그에서는 보통 /wp-admin/을 막고, admin-ajax.php는 허용하며, 사이트맵 주소를 넣는 정도면 충분합니다.
이미지 업로드 폴더, 카테고리, 태그, 본문 글 경로는 특별한 이유 없이 막지 않는 편이 안전합니다.

robots.txt를 이해했다면, 이제 기술 SEO의 한 조각을 제대로 잡은 셈입니다.
하지만 검색 상위노출은 robots.txt 하나만으로 결정되지 않습니다.

키워드 선정, 제목 구성, 내부링크, 사이트맵, 색인 상태, 콘텐츠 품질, 페이지 속도까지 함께 맞물려야 블로그가 안정적으로 성장합니다.

그래서 다음 단계로는 「SEO 완벽 가이드: 검색 상위노출, 키워드 전략, 기술 SEO까지 한 번에 끝내는 실전 블로그 운영법」 도 함께 읽어보면 좋습니다.

이 글에서는 robots.txt처럼 기술적인 부분뿐 아니라, 실제 블로그 운영자가 검색 유입을 늘리기 위해 어떤 순서로 SEO를 점검해야 하는지 전체 흐름을 정리했습니다.

코리의 생각

정리하면 robots.txt는 블로그 운영자가 반드시 알아야 하는 기술 SEO의 기본 도구입니다.
하지만 강력한 도구라기보다 방향을 알려주는 안내판에 가깝습니다.

코리의 기준으로 보면 이렇게 정리할 수 있습니다.

검색엔진에게 보여줄 글과 이미지는 막지 않는다.
관리자 페이지처럼 불필요한 경로만 최소한으로 막는다.
검색 결과에서 빼고 싶은 페이지는 robots.txt보다 noindex를 먼저 생각한다.
robots.txt 수정 후에는 반드시 Search Console에서 URL 검사를 한다.
사이트맵 주소는 항상 최신 상태로 유지한다.

블로그는 결국 검색엔진과 독자가 함께 지나가는 길입니다.
robots.txt는 그 길목에 세워둔 작은 안내판입니다.
안내판이 너무 복잡하면 검색엔진도 길을 잃고, 너무 막아두면 좋은 글도 발견되지 못합니다.
가장 좋은 robots.txt는 화려한 설정이 아니라, 내 사이트 구조를 방해하지 않는 단순하고 정확한 설정입니다.

robots.txt 이해하기 Q&A

Q1. robots.txt로 특정 글을 검색 결과에서 완전히 숨길 수 있나요?

아니요. robots.txt는 크롤링을 막는 파일이지 검색 결과 삭제 도구가 아닙니다.
특정 글을 검색 결과에서 제외하려면 noindex 태그를 사용하는 것이 일반적입니다.
다만 Googlebot이 noindex를 읽으려면 해당 페이지에 접근할 수 있어야 하므로, robots.txt로 먼저 막아버리면 noindex가 제대로 처리되지 않을 수 있습니다.

Q2. 워드프레스에서 robots.txt 파일이 안 보이는데 괜찮은 건가요?

괜찮을 수 있습니다.
워드프레스는 실제 파일이 없어도 가상 robots.txt를 생성해 보여주는 경우가 있습니다.
가장 쉬운 확인 방법은 브라우저에서 내도메인/robots.txt를 직접 열어보는 것입니다.
내용이 표시된다면 검색엔진도 해당 파일을 확인할 수 있습니다.

Q3. robots.txt에 Sitemap 주소를 꼭 넣어야 하나요?

반드시 넣어야 하는 것은 아니지만 넣는 것을 권장합니다.
Search Console에 사이트맵을 제출해도 되지만, robots.txt에 사이트맵 주소를 함께 적어두면 검색엔진이 사이트 구조를 파악하는 데 도움이 됩니다.
특히 글이 많은 워드프레스 블로그라면 사이트맵 주소를 명확히 넣어두는 것이 좋습니다.

robots.txt 이해하기 참고자료

이 글은 Google Search Central의 robots.txt 가이드, robots.txt 사양 해석 문서, noindex 관련 공식 문서, Search Console 페이지 색인 생성 도움말을 참고해 블로그 운영자 관점으로 정리했습니다.

Google Search Central, robots.txt 소개 및 가이드
Google Crawling Infrastructure, Google에서 robots.txt 사양을 해석하는 방법
Google Search Central, Block Search Indexing with noindex
Google Search Console Help, Page indexing report
Google Search Central, Technical SEO guidance

robots.txt 이해하기 robots.txt는 검색엔진 크롤러에게 사이트의 어느 경로를 탐색해도 되는지 알려주는 기술 SEO의 기본 안내판입니다. — robots.txt 이해하기: robots.txt는 검색엔진 크롤러에게 사이트의 어느 경로를 탐색해도 되는지 알려주는 기술 SEO의 기본 안내판입니다.

#robotstxt #robots.txt #워드프레스SEO #기술SEO #검색엔진최적화 #구글색인 #크롤링최적화 #SearchConsole #사이트맵제출 #블로그운영

👉 같이 읽어보세요

이 글이 도움이 되셨다면, 아래 글도 함께 읽어보세요.
같은 주제를 조금 더 넓고 깊게 이해하는 데 도움이 될 거예요.

색인이 안 되는 이유: Search Console 색인 생성 문제와 워드프레스 블로그 해결법 완전정리

Search Console 활용법: 워드프레스 블로그 색인·검색노출·클릭률을 키우는 실전 SEO 가이드

색인 생성 원리 : 워드프레스 SEO와 구글 서치콘솔로 검색 노출을 키우는 기술 SEO 가이드

생각이 조금 가벼워졌다면 그걸로 충분해요.
다음 질문에서 또 만나요 — Beautiful KoriThink