┖ ⍟ IT 여행/디지털_마케팅.무역

웹사이트 robots.txt file 등록, 위치 (팩트체크!)

"Robots.txt"가 도대체 뭐야? 블로그나 웹사이트 운영을 하다 보면 한 번씩 들어봤을 겁니다. 그런데 많은 분들이 티스토리 관련해서 robots.txt 파일 적용을 잘못 아시고 계시고, 잘못된 정보가 너무 만연히 퍼져있는 거 같아 포스팅하게 되었습니다.

SEO 백링크 많다고진짜 알까? 마케팅 에이전시도 잘 모르는 사실 ▼

검색엔진최적화(SEO) 백링크 많으면 무조건 좋을까? (정답은?)

웹 3.0 시대이니 4차 혁명, 그리고 디지털 트랜스포메이션 등 인터넷의 중요성이 날로 증가함에 따라, 웹사이트 및 앱스토어 가시성은 더욱 중요해지고 있습니다. 개인 웹사이트 그리고 자사몰,

seoul-nba.tistory.com

《목차》

1. Robot.txt 란?

2. Robot.txt 티스토리 적용 (팩트체크)

3. Robot.txt 네이버 적용

4. Robot.txt 일반 사이트 적용

1. Robots.txt란?

(정의) Robots.txt란 우선 사람들이 Robot.txt (로봇뒤에 s가 빠진) 것으로 잘못 알고 있는 분들이 있습니다. robot.txt가 아니고 robots.txt 가 맞습니다. Robots.txt는 검색엔진이 웹사이트나 블로그를 접근하여 정보수집을 해도 되는 페이지가 무엇인지, 해서는 안 되는 페이지가 무엇인지 알려주는 역할을 하는 일종의 텍스트 파일(메모장 파일)입니다. 이 파일은 웹 사이트 주소의 루트 디렉토리에 저장되어 있어야 검색엔진 크롤러 (로봇)가 정상적으로 사이트를 색인하고 수집할 수 있습니다. (인터넷 블로그, 웹사이트 표준 규약입니다)

(예시) 조금 쉽게 설명하자면 robots.txt 파일은 도로에 있는 교통 신호등과 비슷한 역할을 합니다. 가령 어떤 도로에 진입이 불가하다는 신호가 있을 경우 진입하지 말아야 하는 것처럼, 검색엔진 크롤러 또한 robots.txt 에서 접근을 허용되지 않은 디렉토리를 발견한다면 원칙적으로는 크롤링(수집 또는 색인) 하지 않습니다.

(이유) Robots.txt 파일이 적용되어야 하는 이유는 크게 3가지로 정리 할 수 있습니다.

검색엔진 크롤러의 과도한 크롤링 및 요청으로 인한 과부하 방지할 수 있습니다. 불필요한 로봇의 방문을 줄임으로써 사이트가 보다 원활하게 운영되게 할 수 있습니다.
반대로 말하면 검색엔진 로봇의 일일 요청 수를 뜻하는 크롤 버짓을 예측하여 검색엔진 측면에서도 효율적으로 크롤러를 운영할 수 있습니다.
검색엔진 크롤러에게 사이트맵 (sitemap.xml)의 위치를 제공하여 웹사이트의 콘텐츠가 검색엔진에게 더 잘 발견될 수 있도록 하기 위해서입니다. 물론 구글 서치 콘솔이나 네이버 서치 어드바이저와 같은 웹마스터 도구를 활용해 사이트맵을 검색엔진에 제출이 가능하지만, robots.txt에 사이트맵 디렉토리를 언급함으로써 사이트맵이 구글과 네이버를 포함한 다른 검색 검색엔진 크롤러에게 보다 빠르게 발견될 수 있습니다.

(파일 주소) 그래서 웹 사이트의 robots.txt 주소는 본인이 관리하는 웹사이트 URL / robots.txt 가 됩니다.

제 블로그의 robots.txt 주소는 https://seoul-nba.tistory.com/robots.txt 가 되겠죠.

2. Robots.txt. 티스토리 적용 (팩책!)

구글링을 하거나 네이버에 티스토리 블로그에 robots.txt 파일 적용하는 글들을 보면, 티스토리 스킨편집의 파일 업로드에 해당 파일을 업로드하면 된다는 부정확한 정보를 제공하는 글들이 많습니다. 위에서 언급드린거처럼 robots.txt 파일은 웹사이트 디렉토리의 가장 근본(root) 디렉토리에 저장되어야만 유효합니다. 티스토리가 사용자에게 제공하는 파일업로드 기능은 루트 디렉토리에 업로드되는 건 아닙니다.

이미 티스토리 자체 세팅으로 robots.txt를 설정하여 루트 디렉토리에 저희 파일들을 자동적으로 생성되어 업로드되어 있습니다. (해당 정보는 현업종사하는 SEO 컨설턴트, 개발자에게 확인한 정보입니다)

예시로 제가 아래처럼 테스트를 해보았는데, 파일업로드에 robot.txt 파일을 적용해도 전혀 적용되지 않은 것을 확인 할 수 있습니다. 이건 이미지 디렉토리입니다 (루트 디렉토리 x)▼

따라서 티스토리 robots.txt 파일은 일반 블로거들이 컨트롤할 수 있는 영역이 아니라고 보시면 됩니다.

많은 분들이 불확실한 정보로인해 시간낭비를 하지 않으셨으면 좋겠습니다.

3. Robots.txt 네이버 적용

위에서 언급드렸다 싶히 티스토리 같은 경우 robots.txt 파일이 이미 생성되어 있기 때문에 네이버 봇이 인식하도록 설정하기는 아주 쉽습니다.

우선 1.서치어드바이저 로그인 → 2. (검증) robots.txt → 3. 수집요청

위 과정대로하면 네이버 서치 어드바이저 세팅은 끝입니다. 참 쉽죠?

4. Robots.txt 일반 웹 사이트 적용

일반 웹사이트의 경우, 위에서 이야기한 블로그들과 다르게 직접 robots.txt 파일은 만들고 업로드를 해주어야 합니다. Robots.txt 파일을 만들었다면, robots.txt는 FTP를 활용해 반드시 웹사이트 루트 디렉토리 (웹사이트 주소에서 첫 번째 “/” 바로 뒤)에 업로드되어야 합니다. 일반적인 마케터, 운영자라면 "개발자들에게 루트 디렉토리에 이 파일을 업로드해 주세요."라고 이야기하시면 대부분의 개발자라면 이해를 하실 겁니다.

FTP 통한 robots.txt 업로드 — Filezilla 이용 robots.txt 업로드 예시

참고로 각 검색엔진의 크롤러의 이름은 다양한데, (구글) Googlebot, (네이버) Yeti, (야후) Slurp, (다음) Daumos, (빙) Bingbot, (MSN) MSNbot 등이 있습니다.

오늘은 웹 사이트 활성화에 꼭 필요한 robots.txt 적용에 대해서 포스팅을 해보았습니다.

많은 분들에게 조금이라도 도움이 되었으면 좋겠습니다.

오늘도 즐거운 하루 되시기 바랍니다^^

구글과 네이버 포스팅 노출 방법이 궁금하면 ▼

티스토리 글 구글, 네이버 노출 최대화 진짜 방법 - SEO전문가.야수스

티스토리 글 작성 시 해당 포스팅이 구글과 네이버에 노출이 최대화할 수 있는 방법에 대해 설명드리겠습니다. 1. 구글(google) 색인(최적화) 2. 네이버(naver) 블로그 색인(최적화) 3. 다음(daum) 블로