robots.txt 파일은 원치 않는 크롤러, OpenAI 및 Anthropic에 속한 크롤러를 포함한, 에 대한 웹사이트의 첫 번째 방어선입니다. 이 파일은 Robots Exclusion Protocol을 구현하고 바람직한 봇에게 귀하의 사이트의 어떤 부분에 접근할 수 있는지 알려줍니다.
