[네이버 robots.txt 등록] 티스토리 파일 업로드에 속지 말자.

안녕하세요.
오랜만에 블로그를 시작하려고 합니다.
몇가지 점검중에 네이버 robots.txt를 확인 했는데 누락되어 있더라고요.

그래서 다시 등록하기로 하였습니다.
그전에 robots.txt가 무엇인지 간략하게 조사해 봤습니다.

1. robots.txt가 왜 필요할까?

• 크롤러 지침: 검색엔진 봇에게 어떤 경로를 크롤(수집)하거나 수집해서는 안 되는지 알려줍니다.
• 크롤링 효율: 불필요한 페이지(태그 페이지, 관리자 페이지 등)를 미리 차단해 크롤링 예산을 절약합니다.
• 사이트맵 연결: robots.txt에 사이트맵 URL을 선언하면 크롤러가 자동으로 사이트맵도 수집합니다.

파일이 없어도 기본적으로 모든 페이지를 크롤링 허용(`Allow: /`)으로 간주하지만, 
직접 명시해 두는 편이 좋습니다.

2. Tistory 블로그에 robots.txt 추가하기

혹시나 네이버 웹마스터 도구에서 robots.txt를 다운받아서 
Tistory에 추가하시려고 하나요?

전 이방법 실패 했습니다. 시간만 소비했어요.

1. 네이버 웹마스터 관리 페이지 접속

   • 검증 부분에 robot.txt가 있습니다.
     

     

     
     

2. robots.txt 설정

   • robots.txt 수집요청을 누르세요.
   • robots.txt 검증을위해 주소/robot.txt를 입력하세요. ex)https://lee-mandu.tistory.com/robots.txt (그럼 수집이 가능하다고 나올겁니다.)
   • robots.txt 간단 생성해서 파일을 다운 받아 볼수는 있어요. 저는 이걸 tistory에 업로드 하려다 시간만 뺏겼습니다. 루트경로에 안올라갑니다. tistory내에서 관리는 하나봐요. image/robots.txt로 계속 올라가요.
     

     

     
     

3. 완료

   • 2번 항목의 과정을 거치면 이미 완료가 됐을거에요. 네이버 확인 한번 해보세요.
     

     

     
     

3. 최종 확인하기

• 브라우저에 https://lee-mandu.tistory.com/robots.txt 입력 → 작성한 내용이 보이면 성공
• 네이버 웹마스터 도구에서 상태가 정상(녹색 체크)으로 바뀌었는지 재확인

tistory 블로그 파일업로드 부분은 
사용자들이 쉽게 건들기는 힘들거 같아요. 
내부적으로 파일 위치등 루트 경로를 관리하는것 같습니다.