로봇 배제 표준

로봇 배제 표준은 사이트가 자동 수집 프로그램에 접근 지침을 알려 주는 방식이다.

보통 루트의 robots.txt 파일을 사용한다.

운영자가 특정 경로를 크롤링하지 말라는 지침을 표시할 수 있다.

접근 통제나 비밀 보호 기능이 아니다.

규칙을 따르지 않는 프로그램도 있으므로 민감한 자료는 인증으로 보호한다.