안녕하세요.오랜만에 블로그를 시작하려고 합니다.몇가지 점검중에 네이버 robots.txt를 확인 했는데 누락되어 있더라고요.그래서 다시 등록하기로 하였습니다.그전에 robots.txt가 무엇인지 간략하게 조사해 봤습니다.1. robots.txt가 왜 필요할까?크롤러 지침: 검색엔진 봇에게 어떤 경로를 크롤(수집)하거나 수집해서는 안 되는지 알려줍니다.크롤링 효율: 불필요한 페이지(태그 페이지, 관리자 페이지 등)를 미리 차단해 크롤링 예산을 절약합니다.사이트맵 연결: robots.txt에 사이트맵 URL을 선언하면 크롤러가 자동으로 사이트맵도 수집합니다.파일이 없어도 기본적으로 모든 페이지를 크롤링 허용(`Allow: /`)으로 간주하지만, 직접 명시해 두는 편이 좋습니다.2. Tistory 블로그에 r..