해당 페이지에 들어와보시면 하단에 "robots.txt 간단 생성" 이라는 메뉴가 보이실거에요~!!
여기서 네이버 검색로봇만 접근하게할 것인지, 모든 검색로봇이 접근가능하게 할 것인지 설정해주시는 건데요~
두가지 옵션중에 선택을 하셔서 다운로드 받아주시면 됩니다
※ User-agent (대상로봇) : "*" 로 지정하게 되면 "모든 로봇"을 대상으로 지정하며 "Yeti"로 하게되면 네이버 검색로봇을 대상으로 지정합니다.
※ Disallow / Allow (룰제한 설정): "Disallow : /(루트경로)"로 하게되면 루트 하위의 모든 내용 접근을 제한하며, "Allow : /(루트경로)"로 하게되면 루트 하위의 모든 내용 접근을 허용합니다.
이렇게 다운로드받아진 "robots.txt"파일을 해당 서버 루트경로"/"에 옮겨놔주세요^^