티스토리 검색 엔진 최적화를 위한 설정(robots.txt) 우리가 정성 들여 작성한 내 블로그가 많이 검색되기 위해서는 웹페이지가 검색엔진의 최적화(SEO) 상태가 되어야 합니다. 검색엔진에서 사용자들의 검색 키워드에 대한 정보를 제공하기 위해서는 크롤러가 온라인상의 문서를 수집해야하고 즉, 내블로그의 문서들을 수집해야 하고 이렇게 크롤러가 수집한 문서를 인덱서가 정리해서 인덱스 서버에 색인해 둬야 합니다. 여기에서 볼 수 있듯이 크롤러와 인덱서의 하는 역할이 다릅니다. 크롤러는 단순히 사이트와 사이트의 링크를 활용해 문서를 수집하는 역할을 합니다. 그 역할을 하는 것이 robots.txt 파일입니다. 인덱서는 다른 문제이므로 다음 포스팅에서 다루도록 하겠습니다. robots.txt 파일을 사용해서 크롤링 제어하는 법 User-agent:* Disallow:/ .. 2021. 1. 6. 이전 1 다음 LIST
