# 셈코리아 robots.txt #DaumWebMasterTool:6bb7ce2489206a12ee79ec7e19e6ab87127c59b01061d8ee4e4b7c6a8683f35b:LJPampnqaffzNtkuALZiYQ== # # 방침(결재 20261115-15, 신회장 결정 2026-11-15 "인용은 허용, 복제는 금지"): # - 검색엔진과 AI 답변 서비스(검색·사용자 요청)가 이 사이트를 읽고 출처로 인용하는 것은 환영한다. 그대로 허용한다. # - AI 모델 학습용 수집은 허락하지 않는다. 학습 봇은 이름별로 Disallow: / 하고, 모든 그룹의 Content-Signal 을 ai-train=no 로 둔다. # - 같은 뜻을 /terms/#reuse 에 적었다. robots.txt 는 뜻을 알리는 수단이며 강제력은 봇의 자율 준수에 기댄다. # 사람과 봇에게 같은 내용을 보여 준다. # # Content-Signal(Cloudflare 제안 표기, 비표준): search=검색 색인, ai-input=AI 답변의 근거로 쓰기, ai-train=모델 학습. # Google Search Console 이 이 줄을 "이해할 수 없는 구문"으로 표시할 수 있으나 다른 규칙에는 영향이 없다. # 봇은 자기 이름이 적힌 그룹만 읽으므로(RFC 9309) 같은 줄을 아래 이름 붙은 그룹에도 적는다. # 검사: src/lib/copyright.test.ts (검색 봇에 Disallow 없음, 학습 봇에 Disallow 있음) User-agent: * Content-Signal: search=yes, ai-input=yes, ai-train=no Allow: / # ── 검색 색인·사용자 요청 봇: 인용의 통로. 막으면 그 서비스의 답변에서 출처로 나오지 않는다. ── # 자기 이름이 적힌 그룹만 따르므로(RFC 9309) 아래 학습 봇을 막아도 이 봇들에는 영향이 없다. User-agent: Googlebot User-agent: Bingbot User-agent: Yeti User-agent: Daumoa User-agent: Applebot User-agent: OAI-SearchBot User-agent: ChatGPT-User User-agent: Claude-SearchBot User-agent: Claude-User User-agent: PerplexityBot User-agent: Perplexity-User User-agent: DuckAssistBot User-agent: MistralAI-User Content-Signal: search=yes, ai-input=yes, ai-train=no Allow: / # ── 모델 학습용 수집 봇: 허락하지 않는다. ── # ClaudeBot 은 Anthropic 공식 문서 원문으로 학습용임을 확인했다(2026-11-15). 그 문서에 따르면 이름을 직접 적은 규칙이 일반 신호보다 우선한다. # 나머지는 각 회사 문서의 검색 요약으로 학습용으로 본 것이다(원문 재대조 예정). anthropic-ai 는 현행 공식 목록에 없지만 옛 표기라 남긴다. # CCBot(Common Crawl)은 학습 데이터 공급이 주 용도라 막는다. 그 데이터를 쓰는 일부 색인에서 빠질 수 있다. # Google-Extended 는 학습뿐 아니라 Gemini 앱·Vertex AI 의 Google 검색 그라운딩(답변 근거)에도 쓰인다고 알려져 있어, # "AI 답변 통로 유지" 방침에 따라 막지 않는다(위 * 그룹의 ai-train=no 신호만 받는다). Google 검색·AI 개요는 Googlebot 을 따른다. User-agent: GPTBot User-agent: ClaudeBot User-agent: anthropic-ai User-agent: Applebot-Extended User-agent: CCBot User-agent: Bytespider User-agent: meta-externalagent User-agent: cohere-training-data-crawler Content-Signal: search=no, ai-input=no, ai-train=no Disallow: / Sitemap: https://semkorea.com/sitemap-index.xml