블로그스팟(Blogger) 설정을 보다 보면 '맞춤 robots.txt 사용 설정'이라는 메뉴가 있습니다.
검색 노출을 높이려면 반드시 켜야 할 것 같지만, 대부분의 Blogger 블로그에서는 맞춤 robots.txt를 사용하지 않고 기본값을 유지하는 편이 안전합니다.
robots.txt는 검색순위를 높이는 SEO 설정이 아니라 검색엔진 크롤러가 사이트의 어떤 URL을 방문할 수 있는지 제어하는 파일입니다.
특히 Blogger에서 맞춤 robots.txt를 켜면 내가 작성한 내용이 기존 설정에 추가되는 것이 아니라 Blogger가 제공하던 기본 robots.txt를 대신하게 됩니다. 내용을 정확히 이해하지 않고 인터넷 예제를 복사하면 정상적인 게시물까지 Googlebot 접근을 막을 수 있습니다.
일반적인 Blogger 운영 → 기본 robots.txt 유지
색인이 늦음 → robots.txt부터 수정하지 않기
특정 URL 패턴의 크롤링을 의도적으로 제한해야 함 → 맞춤 설정 검토
검색결과에서 페이지를 삭제하고 싶음 → robots.txt가 아니라 noindex 등 다른 방법 검토
맞춤 설정 사용 시 → 기존 Blogger 기본값을 대체한다는 점 주의
robots.txt는 정확히 무엇을 하는 파일일까?
robots.txt는 사이트 최상위 주소에 위치하는 텍스트 파일입니다.
예를 들어 블로그 주소가 다음과 같다면,
robots.txt는 다음 주소에서 확인할 수 있습니다.
개인 도메인을 연결했다면 실제로 Google이 방문하는 도메인의 /robots.txt도 직접 확인하는 것이 좋습니다.
Google은 사이트를 크롤링하기 전에 robots.txt를 읽고 어떤 경로에 접근할 수 있는지 확인합니다.
즉 robots.txt의 핵심 역할은 '색인 여부 결정'이 아니라 '크롤링 접근 제어'입니다.
robots.txt와 색인은 같은 개념이 아니다
이 차이를 이해하지 못하면 Blogger 색인 문제를 해결하려다가 오히려 문제가 커질 수 있습니다.
| 설정 | 주된 역할 |
|---|---|
| robots.txt Disallow | 검색봇이 해당 URL 경로를 크롤링하지 못하도록 제한 |
| noindex | 페이지를 검색결과에 표시하지 않도록 지시 |
Google 공식 문서에서도 robots.txt로 크롤링을 막은 URL은 페이지 내용을 읽을 수 없지만, 다른 페이지에서 링크가 발견되는 등의 이유로 URL 자체가 검색결과에 나타날 가능성은 있다고 설명합니다.
따라서 특정 페이지를 Google 검색에서 없애고 싶다는 이유로 robots.txt의 Disallow만 사용하는 것은 정확한 해결방법이 아닐 수 있습니다.
검색결과에서 빼려면 noindex를 써야 하는 이유
페이지를 검색결과에서 제외하려는 목적이라면 일반적으로는 noindex를 검토합니다.
여기서도 주의할 점이 있습니다.
Google이 페이지의 noindex를 확인하려면 먼저 해당 페이지를 크롤링할 수 있어야 합니다.
따라서 같은 URL을 robots.txt에서 Disallow로 막아놓고 페이지에는 noindex를 넣어두면 Googlebot이 페이지에 접근하지 못해 noindex를 확인하지 못하는 상황이 생길 수 있습니다.
크롤링 차단 = Disallow
검색결과 제외 = noindex
두 설정은 목적이 다릅니다.
Blogger 맞춤 robots.txt는 어디에서 설정할까?
Blogger 관리자 화면에서 다음 경로로 이동합니다.
설정을 켜면 맞춤 robots.txt 입력란에 직접 규칙을 작성할 수 있습니다.
하지만 이 기능을 켰다고 기본 Blogger robots.txt 뒤에 내가 작성한 규칙이 추가되는 것은 아닙니다.
Blogger 공식 도움말은 맞춤 robots.txt 텍스트가 기본 robots.txt 콘텐츠 대신 검색엔진에 제공된다고 명시하고 있습니다.
따라서 몇 줄만 잘못 적어도 기본적으로 Blogger가 관리하던 크롤링 규칙을 내가 직접 책임져야 하는 상태가 됩니다.
그렇다면 Blogger 기본값은 어떻게 확인할까?
가장 좋은 방법은 인터넷에서 'Blogger 기본 robots.txt 코드'를 찾아 복사하는 것이 아니라 내 블로그의 실제 robots.txt를 직접 확인하는 것입니다.
브라우저 주소창에 다음처럼 입력하세요.
Blogger가 현재 검색엔진에 제공하고 있는 robots.txt 내용을 확인할 수 있습니다.
Blogger의 기본 robots.txt는 플랫폼에서 관리되는 영역이므로 모든 시대와 모든 블로그에 통용된다는 이유로 특정 텍스트를 복사해 영구적으로 고정할 필요는 없습니다.
Blogger 제품 전문가들도 일반적인 블로그에서는 맞춤 robots.txt와 맞춤 로봇 헤더 태그를 끄고 플랫폼 기본값을 사용하는 방식을 권장하고 있습니다.
맞춤 robots.txt는 대부분 왜 필요하지 않을까?
일반적인 Blogger 운영자는 다음과 같은 콘텐츠를 발행합니다.
- 블로그 게시물
- 고정 페이지
- 라벨·검색 페이지
- 날짜별 아카이브
이 구조 자체는 Blogger 플랫폼이 알고 있습니다.
따라서 단순히 “SEO에 좋다고 하니까”, “색인이 잘 된다고 하니까” 맞춤 robots.txt를 켤 이유는 없습니다.
특히 새 블로그에서 글이 Google에 늦게 나타나는 문제는 robots.txt가 아니라 URL 발견, 크롤링 시기, noindex 여부, 사이트 구조와 콘텐츠 평가 등 다른 원인에서 발생할 수도 있습니다.
▶️ 관련 글: 블로그스팟 글이 구글에 안 뜰 때, 서치콘솔 사이트맵·로봇 설정·색인 누락 해결법
인터넷에서 많이 보이는 robots.txt 코드를 그대로 써도 될까?
주의하는 것이 좋습니다.
다음과 같은 형태의 코드를 'Blogger SEO 최적화 robots.txt'라는 이름으로 쉽게 볼 수 있습니다.
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://example.com/sitemap.xml
이 코드가 모든 상황에서 문법적으로 잘못됐다는 뜻은 아닙니다.
문제는 내 블로그에서 왜 해당 경로를 차단해야 하는지 이해하지 않은 채 그대로 사용하는 것입니다.
Blogger 기본 robots.txt가 이미 필요한 규칙을 처리하고 있다면
맞춤 파일로 교체해서 얻는 실익이 없을 수도 있습니다.
Google이 robots.txt에서 지원하는 규칙
2026년 현재 Google이 공식적으로 지원하는 robots.txt의 핵심 필드는 다음과 같습니다.
| 규칙 | 의미 |
|---|---|
| User-agent | 어떤 크롤러에 규칙을 적용할지 지정 |
| Disallow | 접근하지 못하게 할 URL 경로 |
| Allow | 접근을 허용할 URL 경로 |
| Sitemap | 사이트맵의 전체 URL 지정 |
예전 SEO 자료에서 볼 수 있는
Crawl-delay 같은 규칙은
현재 Google robots.txt에서 지원하지 않습니다.
robots.txt에 Noindex를 적으면 될까?
안 됩니다.
다음처럼 작성하는 예전 자료도 있을 수 있습니다.
User-agent: *
Noindex: /search
현재 Google이 robots.txt에서 지원하는 필드에는 Noindex가 포함돼 있지 않습니다.
검색에서 페이지를 제외하려면
robots meta tag나 X-Robots-Tag 등
Google이 지원하는 noindex 방식을 사용해야 합니다.
Sitemap 줄은 어떻게 작성할까?
robots.txt에 사이트맵을 표시하고 싶다면 절대경로 전체 URL을 사용해야 합니다.
예를 들면 다음과 같습니다.
Sitemap: https://example.com/sitemap.xml
Google은 robots.txt에 여러 개의 Sitemap 줄을 사용하는 것도 지원합니다.
다만 Search Console에서 사이트맵을 제출할 수도 있으므로
사이트맵 한 줄을 넣기 위해서만 Blogger의 기본 robots.txt를
맞춤 파일로 교체할 필요는 없습니다.
절대 넣으면 안 되는 위험한 설정 1: 전체 사이트 차단
가장 위험한 규칙입니다.
User-agent: *
Disallow: /
이 규칙은 모든 크롤러에게 사이트 루트 아래를 크롤링하지 말라고 지시합니다.
검색 노출을 원하는 공개 Blogger에서는
특별한 목적 없이 사용해서는 안 됩니다.
위험한 설정 2: 연도 경로를 통째로 차단
Blogger 게시물 URL에는 연도와 월이 포함되는 경우가 많습니다.
예를 들어 다음 규칙을 넣었다고 가정해보겠습니다.
User-agent: *
Disallow: /2026/
2026년 경로 아래에 있는 게시물을 Googlebot이 크롤링하지 못하게 할 수 있습니다.
검색에 노출해야 할 글이 있는 연도 경로를
무심코 차단해서는 안 됩니다.
위험한 설정 3: .html을 차단
다음 규칙 역시 Blogger에서는 특히 조심해야 합니다.
User-agent: *
Disallow: /*.html
Blogger의 일반 게시물 URL은 .html로 끝나는 경우가 많습니다.
따라서 이런 규칙을 잘못 사용하면
정작 검색에 노출시키려는 포스팅을 대량으로
크롤링 차단할 수 있습니다.
위험한 설정 4: /p/를 차단
Blogger의 고정 페이지는 일반적으로 /p/ 경로를 사용합니다.
다음 설정을 사용하면,
User-agent: *
Disallow: /p/
소개, 문의, 개인정보처리방침 같은 고정 페이지의 크롤링까지 차단할 수 있습니다.
고정 페이지를 검색결과에서 제외하고 싶은 목적이라면
Disallow와 noindex의 차이를 먼저 확인해야 합니다.
/search를 차단하는 것은 무조건 좋은 SEO일까?
Blogger robots.txt 관련 글에서 가장 많이 나오는 것이 Disallow: /search입니다.
Blogger의 라벨이나 내부 검색 결과 URL 가운데 /search 경로를 사용하는 경우가 있기 때문입니다.
하지만 여기서 중요한 것은 “/search를 차단하면 SEO 점수가 올라간다”는 식으로 이해하지 않는 것입니다.
robots.txt의 목적은 크롤링 제어입니다.
특정 검색·라벨 URL이 불필요하게 크롤링되는 상황을
의도적으로 제어하려는 목적이라면 검토할 수 있지만,
모든 Blogger가 직접 맞춤 robots.txt를 만들어야 하는 이유는 아닙니다.
그렇다면 맞춤 robots.txt는 언제 수정할 필요가 있을까?
Blogger에서 맞춤 robots.txt가 필요한 경우는 일반적인 운영에서는 많지 않습니다.
다음처럼 명확한 크롤링 목적이 있을 때만 검토하는 것이 좋습니다.
- 특정 URL 패턴이 대량 생성돼 검색봇의 접근을 의도적으로 제한해야 하는 경우
- 특정 검색봇에만 별도의 Allow·Disallow 규칙을 적용해야 하는 경우
- 기본 Blogger 설정으로 해결할 수 없는 명확한 크롤링 문제가 확인된 경우
- Search Console이나 서버 분석을 통해 특정 경로의 불필요한 크롤링이 실제 문제라는 근거가 있는 경우
중요한 것은
문제가 발생할 것 같아서 미리 최적화하는 것이 아니라
실제 문제가 무엇인지 확인한 뒤 수정하는 것입니다.
색인이 안 된다는 이유로 수정해야 할까?
대부분의 경우 그렇지 않습니다.
Search Console에 발견됨 - 현재 색인이 생성되지 않음이나 크롤링됨 - 현재 색인이 생성되지 않음이 보인다고 해서 robots.txt를 바꿔야 한다는 뜻은 아닙니다.
오히려 URL 검사에서 'robots.txt에 의해 차단됨'과 같은 실제 크롤링 차단 문제가 확인됐을 때 robots.txt를 조사하는 것이 순서에 맞습니다.
색인 문제라면 먼저
검색엔진 공개 설정, noindex,
사이트맵, 내부링크,
canonical과 콘텐츠 자체를 함께 확인해야 합니다.
AdSense 승인을 위해 맞춤 robots.txt를 만들어야 할까?
그럴 필요는 없습니다.
Google이나 Blogger가 특정 맞춤 robots.txt 코드를 AdSense 승인 필수 설정으로 안내하고 있지 않습니다.
오히려 정상적인 콘텐츠나 필요한 리소스를 잘못 차단하면 검색엔진이나 다른 시스템이 페이지를 제대로 이해하지 못하는 문제가 생길 수 있습니다.
AdSense 승인을 목적으로
인터넷의 '애드센스 전용 robots.txt'를
그대로 복사해서 사용하는 것은 권하지 않습니다.
robots.txt는 개인정보 보호 기능이 아니다
이 부분도 중요합니다.
검색봇에게 크롤링하지 말라고 적었다고 해서 페이지에 접근할 수 없게 되는 것은 아닙니다.
URL을 아는 사람은 여전히 브라우저로 해당 페이지에 접근할 수 있을 수 있습니다.
따라서 개인정보나 비공개 자료처럼 실제로 외부 접근을 막아야 하는 콘텐츠를 robots.txt로 보호해서는 안 됩니다.
민감한 콘텐츠라면 공개하지 않거나
인증 등 실제 접근제어 수단을 사용해야 합니다.
robots.txt를 수정했는데 바로 반영되지 않는 이유
robots.txt를 변경했다고 Googlebot이 몇 초 안에 항상 새 파일을 읽는 것은 아닙니다.
Google은 일반적으로 robots.txt를 캐시하며 현재 공식 문서에서는 보통 최대 약 24시간 정도 캐시할 수 있다고 설명합니다.
네트워크 오류 등으로 새 파일을 가져올 수 없다면 기존 정상 버전을 더 오래 사용할 수도 있습니다.
따라서 설정을 바꾸고 몇 분 뒤 결과가 그대로라고 해서
계속 robots.txt 내용을 다시 변경하지 않는 것이 좋습니다.
개인 도메인을 사용한다면 더 주의해야 한다
Google의 robots.txt 규칙은 해당 파일이 제공되는 프로토콜·호스트·포트를 기준으로 적용됩니다.
따라서 Blogger에 개인 도메인을 연결했다면 검색에 실제로 사용되는 도메인의 robots.txt를 확인하는 것이 좋습니다.
예를 들어 대표 주소가 https://www.example.com이라면
주소를 직접 열어 현재 제공되는 내용을 확인하세요.
Blogger robots.txt 점검 순서
| 확인사항 | 체크 |
|---|---|
| 현재 맞춤 robots.txt가 켜져 있는가? | □ |
| 왜 맞춤 설정을 사용하는지 설명할 수 있는가? | □ |
| 내 도메인/robots.txt를 직접 확인했는가? | □ |
| Disallow: / 같은 전체차단 규칙이 없는가? | □ |
| 게시물의 연도·.html 경로를 차단하지 않았는가? | □ |
| 지원되지 않는 Noindex·Crawl-delay 등을 넣지 않았는가? | □ |
| 색인 문제를 robots.txt 문제로 단정하고 있지는 않은가? | □ |
잘못 설정했다면 기본값으로 돌아가는 방법
맞춤 robots.txt를 적용한 뒤부터 Search Console에서 여러 게시물이 robots.txt에 의해 차단됐다고 표시된다면 무작정 새로운 코드를 찾기보다 기본 설정으로 되돌리는 방법부터 검토하세요.
Blogger에서 다음 메뉴로 이동합니다.
특별히 맞춤 설정이 필요하지 않다면 맞춤 robots.txt 사용 설정을 끄면 Blogger가 제공하는 기본 robots.txt로 돌아갈 수 있습니다.
맞춤 로봇 헤더 태그까지 임의로 설정해두었다면 그 설정도 함께 확인하는 것이 좋습니다.
설정을 바꾼 뒤에는 Search Console의 URL 검사에서
검색에 노출돼야 할 대표 게시물을 확인하고
현재 Googlebot 접근 가능 여부를 점검하세요.
맞춤 robots.txt를 사용하지 않는다고 SEO에 불리할까?
그렇다고 볼 근거는 없습니다.
robots.txt에 많은 규칙을 직접 작성하는 것 자체가 Google 검색순위를 높이는 신호는 아닙니다.
일반적인 Blogger에서는 정상 게시물을 Google이 크롤링할 수 있게 유지하는 것이 더 중요합니다.
robots.txt를 어렵게 만드는 것보다
사이트맵이 정상인지,
중요한 글이 내부링크로 연결돼 있는지,
게시물에 noindex가 잘못 설정되지 않았는지,
검색자가 얻을 고유한 정보가 있는지를 먼저 확인하세요.
블로그스팟 robots.txt 핵심 정리
Blogger의 맞춤 robots.txt는 SEO를 위해 반드시 켜야 하는 기능이 아닙니다.
오히려 맞춤 기능을 활성화하면 내가 작성한 내용이 Blogger 기본 robots.txt를 대체하기 때문에 설정을 잘못했을 때 정상 게시물의 크롤링까지 막을 수 있습니다.
따라서 특별한 크롤링 목적이 없다면 기본값을 유지하는 것이 가장 이해하기 쉽고 안전합니다.
색인이 늦다는 이유만으로 robots.txt를 바꾸거나, AdSense 승인을 위해 인터넷의 코드를 복사하거나, 라벨 페이지를 없애기 위해 무조건 Disallow를 추가할 필요도 없습니다.
그리고 robots.txt와 noindex는 반드시 구분해야 합니다.
robots.txt는 크롤링 제어, noindex는 검색결과 제외가 주된 목적입니다. robots.txt로 접근을 막아놓고 Google이 페이지의 noindex를 읽어주기를 기대하는 방식도 피해야 합니다.
맞춤 설정을 사용해야 할 명확한 이유가 생겼다면
먼저 현재 /robots.txt를 저장해두고,
변경하려는 URL 패턴이 실제 Blogger 게시물이나 고정 페이지까지
포함하지 않는지 확인한 뒤 최소한의 규칙만 적용하는 것이 좋습니다.
공식 참고자료
- Blogger 고객센터 「블로그 설정 관리하기」
- Blogger 고객센터 「검색엔진에서 블로그를 찾을 수 있도록 설정하기」
- Google Search Central robots.txt 규격 안내
- Google Search Central robots meta tag 및 noindex 안내
※ 이 글은 2026년 9월 6일 기준 Blogger 공식 도움말과 Google Search Central robots.txt 문서를 확인해 작성했습니다. Blogger와 Google의 크롤링 시스템은 이후 변경될 수 있으므로 맞춤 robots.txt를 실제 적용하기 전 최신 공식 문서를 다시 확인하시기 바랍니다.
