웹크롤링

robots.txt 파일 검색 엔진 크롤링을 조절하는 핵심 도구

웹사이트 운영은 단순히 콘텐츠를 만들고 올리는 것 이상의 과정을 필요로 합니다. robots.txt는 검색 엔진에서의 웹사이트의 특정 부분을 검색 엔진 로봇이…

2년 ago