티스토리 검색 엔진 최적화를 위한 설정(robots.txt)

우리가 정성 들여 작성한 내 블로그가 많이 검색되기 위해서는 웹페이지가 검색엔진의 최적화(SEO) 상태가 되어야 합니다.

검색엔진에서 사용자들의 검색 키워드에 대한 정보를 제공하기 위해서는 크롤러가 온라인상의 문서를 수집해야하고

즉, 내블로그의 문서들을 수집해야 하고 이렇게 크롤러가 수집한 문서를 인덱서가 정리해서 인덱스 서버에 색인해 둬야 합니다.

 

여기에서 볼 수 있듯이 크롤러와 인덱서의 하는 역할이 다릅니다.

 

크롤러는 단순히 사이트와 사이트의 링크를 활용해 문서를 수집하는 역할을 합니다. 

그 역할을 하는 것이 robots.txt 파일입니다.

 

인덱서는 다른 문제이므로 다음 포스팅에서 다루도록 하겠습니다.

 

robots.txt 파일을 사용해서 크롤링 제어하는 법

User-agent:*

Disallow:/

(모든 문서수집 차단)

 

User-agent:*

Disallow:/

(모든 문서 허용)

 

특정한 문서/특정한 페이지 수집 차단/허용하는 방법도 많이 있지만 전문적으로 들어가는 것은 나중일이고

내 블로그에 효율적으로 적용을 하는 방법만 나열하겠습니다.

검색엔진 최적화 robots.txt

티스토리 검색엔진 최적화 하기 (robots.txt)

티스토리 robots.txt는 자동 생성 됩니다.

저는 네이버가 아닌 티스토리 블로그를 기준으로 작성합니다.

티스토리 블로그는 루트 디렉터리에 접근할 수 없는 구조이기 때문에 개별적으로 이 파일을 생성하거나 수정할 수 없습니다.

 

또한 네이버 서치 어드바이저 웹마스터 도구에서도 티스토리 블로그 사이트를 등록하면 robots.txt 파일이 자동 생성됩니다.

원하시는 분들은 [네이버 서치 어드바이저]-[웹마스터 도구]-[검증]-Robots.txt에 들어가셔서 직접 입력하시고

확인을 누르시면 됩니다.

 

또한 자신의 블로그 주소 (URL) 뒤에 /robots.txt를 붙여서 검색하시면 robots.txt 페이지가 뜹니다.

예시) https://내티 스토리 주소. tistory.com/robots.txt

만약, robots.txt 페이지가 존재하지 않을 경우는 티스토리 측에 문의하시면 됩니다.

 

네이버 서치 어드바이저 상에서 "robots.txt 가 존재하지 않습니다."라는 알람이 뜨는 경우

 

티스토리 블로그 최적화 

robots.txt 파일을 수집 요청하시면 됩니다.

 

다음 포스팅에서는 meta태그를 이용해 인덱싱 제어를 포스팅하겠습니다.