robots.txt 초안

루트에 올릴 일반 텍스트 초안을 만듭니다. 크롤러가 이미 어떻게 도는지 검사하거나, 네이버 Yeti·구글봇에게 수집을 요청하는 화면이 아닙니다.

관리 경로를 크롤러에게 닫고 싶은데, 검색 콘솔에 로그인할 일은 아직입니다. 이 페이지는 붙여 넣을 robots.txt 초안만 만듭니다.

카카오톡 미리보기 제목·이미지는 메타 태그 생성입니다. 404와 403의 차이는 HTTP 상태입니다.

초안이 하는 일

• User-agent: * 아래 Allow·Disallow 경로
• 선택적으로 GPTBot, CCBot, Google-Extended, anthropic-ai 를 루트 차단
• Sitemap: 한 줄

네이버는 파일이 항상 사이트 루트에 있어야 하고, 없으면 전부 수집으로 본다고 안내합니다. 워드프레스에서 “robots.txt로 차단됨”이 뜨면 테마·플러그인이 만든 파일을 먼저 여세요.

올리지 말고 확인할 것

User-agent: *
Allow: /
Disallow: /admin/
Sitemap: https://example.com/sitemap.xml

이 텍스트를 https://도메인/robots.txt로 열었을 때 그대로 보여야 합니다. HTML 템플릿으로 감싸면 규칙이 아닙니다.

정직한 제한

• 구글·네이버에 제출하거나 크롤을 재요청하지 않습니다.
• noindex를 대신하지 않습니다. 비밀 페이지는 비밀번호가 필요합니다.
• Yeti만 허용하는 세밀한 예외는 직접 편집하세요.
• 초안은 이 탭에 남습니다. 계정 연동이 없습니다.

로컬 초안입니다. 웹마스터 도구가 아닙니다.