llms.txt는 에이전트가 개발 문서의 핵심 링크를 찾도록 돕는 공개 제안입니다. 만들 수는 있지만 AI 검색 노출이나 인용을 보장하지 않습니다. 특히 Google은 검색과 생성형 AI 기능에서 이 파일을 사용하지 않는다고 명시합니다. 따라서 검색 최적화 비법이 아니라, 지원하려는 도구가 실제로 읽는지 확인한 뒤 유지할 문서 안내판으로 접근해야 합니다.- llms.txt는 표준일까, 제안일까
- 개발 문서용 최소 파일 만들기
- 사이트 루트에 배포하기
- HTTP 응답과 HTML 폴백 확인하기
- robots.txt·sitemap.xml과 구분하기
- 효과를 과장하지 않는 운영 기준
llms.txt는 표준일까, 제안일까
llmstxt.org 공식 제안은 웹사이트의 /llms.txt에 짧은 설명과 중요한 문서 링크를 Markdown으로 제공하자고 말합니다. 에이전트는 작은 안내 파일을 먼저 읽고 필요한 상세 문서만 따라갈 수 있습니다. 페이지의 메뉴, 광고, 자바스크립트 같은 요소를 걷어내는 비용을 줄이려는 목적입니다. 2026년 8월 10일 수정된 v2는 사이트 루트뿐 아니라 /docs/llms.txt처럼 하위 경로에도 둘 수 있으며, 그 파일이 놓인 경로 아래를 설명한다고 제안합니다.
중요한 표현은 공식 웹 표준이 아니라 공개 제안이라는 점입니다. 문서에는 H1 하나만 필수이고, 짧은 요약 인용문과 H2별 링크 목록을 이어 붙이는 형식을 제시합니다. 링크는 가능하면 에이전트가 읽기 쉬운 Markdown 문서로 연결합니다. 파일 자체에 사이트 전체 내용을 복사하는 방식이 아니라, 현재 문서의 구조와 우선순위를 큐레이션하는 방식입니다.
이 파일의 존재와 AI 검색 노출은 별개의 문제입니다. Google의 생성형 AI 검색 최적화 가이드는 Google Search가 llms.txt를 사용하지 않으며, 만들어도 Google 검색 노출이나 순위에 도움이 되거나 해가 되지 않는다고 명시합니다. Google의 AI 기능에 표시되려면 기존 검색 색인과 스니펫 표시 자격 같은 기본 요건이 우선이며, 그 요건을 충족해도 크롤링·색인·노출은 보장되지 않습니다.
개발 문서용 최소 파일 만들기
아래는 가상의 example.com 개발자 문서를 위한 최소 예시입니다. 실제 운영에서는 프로젝트 이름, 설명, 모든 URL을 자신의 사이트로 바꾸고 연결한 문서가 HTTP 200으로 열리는지 확인해야 합니다. 예시에 적힌 하위 문서는 설명을 위한 가상 경로이므로 실제 서비스가 아닙니다.
# Example Developer Platform
> Example Developer Platform is the official developer documentation for the fictional example.com API.
Use only the published documentation linked below. For authentication and errors, prefer the current API reference.
## Start here
- [Quickstart](https://example.com/docs/quickstart.md): Create an API key and make the first request.
- [Authentication](https://example.com/docs/authentication.md): Choose an authentication method and protect credentials.
## Reference
- [API reference](https://example.com/docs/api-reference.md): Review endpoints, parameters, and response fields.
- [Error codes](https://example.com/docs/errors.md): Diagnose HTTP and API errors.
## Optional
- [Changelog](https://example.com/docs/changelog.md): Check recent changes and deprecations.첫 줄의 H1은 프로젝트 이름입니다. 이어지는 인용문은 나머지 링크를 해석하는 데 필요한 핵심 설명이고, 일반 문단에는 문서 선택 규칙을 적었습니다. H2 아래에는 필수 Markdown 링크와 선택적인 설명을 둡니다. Optional은 짧은 컨텍스트가 필요할 때 건너뛰어도 되는 보조 자료라는 관례입니다.
목록을 길게 만드는 것보다 시작 지점을 명확히 하는 편이 낫습니다. 빠른 시작, 인증, API 레퍼런스, 오류처럼 개발자가 실제로 찾는 경로를 우선하세요. 링크 설명에는 “자세히 보기”보다 문서에서 해결할 수 있는 질문을 적습니다. 오래된 버전과 최신 버전이 함께 있다면 적용 버전도 써야 에이전트가 잘못된 문서를 고를 가능성을 줄일 수 있습니다. 비공개 문서, 토큰, 관리자 주소는 공개 파일에 넣지 않습니다.
사이트 루트에 배포하기
일반 정적 호스팅에서는 웹 서버의 문서 루트에 파일을 놓아 https://example.com/llms.txt로 직접 열리게 합니다. 파일명은 소문자 llms.txt를 그대로 사용하고, 홈페이지 HTML 안에 삽입하지 않습니다. 문서 전용 안내가 필요하다면 제안의 v2 방식대로 https://example.com/docs/llms.txt를 추가할 수 있습니다. 이 경우 루트 파일은 사이트 전체, 하위 파일은 문서 경로의 더 구체적인 안내로 관리합니다.
Next.js에서는 프로젝트 루트의 public 폴더에 넣는 방법이 가장 단순합니다. Next.js 공식 문서는 public 안의 파일을 기본 URL부터 시작하는 경로로 참조할 수 있다고 설명합니다. 따라서 다음 파일은 배포 후 루트 경로에서 제공됩니다.
example-next-app/
├─ app/
├─ public/
│ └─ llms.txt
├─ next.config.js
└─ package.json
public/llms.txt → https://example.com/llms.txt파일은 빌드 시점에 public 안에 있어야 합니다. Next.js의 output: 'standalone' 결과만 별도로 옮기는 배포라면 공식 문서가 public 폴더를 자동 복사하지 않는다고 안내하므로, 배포 파이프라인이 해당 폴더를 함께 제공하는지도 확인해야 합니다. CDN이나 리버스 프록시를 쓴다면 오래된 파일이 캐시에 남을 수 있으므로 배포 직후 원본과 공개 URL을 함께 비교합니다.
HTTP 응답과 HTML 폴백 확인하기
브라우저 화면만 보고 끝내지 말고 상태 코드, 콘텐츠 유형, 본문을 확인하세요. Windows PowerShell에서 curl은 환경에 따라 다른 명령의 별칭일 수 있으므로, 아래처럼 실행 파일 이름 curl.exe를 명시하면 curl 옵션을 그대로 사용할 수 있습니다.
curl.exe -i https://example.com/llms.txt
curl.exe -fsS https://example.com/llms.txt -o llms-downloaded.txtLinux와 macOS에서는 보통 다음처럼 curl을 사용합니다.
curl -i https://example.com/llms.txt
curl -fsS https://example.com/llms.txt -o llms-downloaded.txt첫 명령의 예상 결과는 HTTP/2 200 또는 HTTP/1.1 200, Content-Type: text/plain 계열 헤더, 그리고 H1으로 시작하는 Markdown 본문입니다. 서버에 따라 문자셋이나 캐시 헤더는 달라질 수 있습니다. 두 번째 명령의 -f는 400 이상 응답을 실패로 처리하고, -sS는 정상 진행 표시는 숨기되 오류는 보여 줍니다.
301 또는 302는 -f만으로 실패가 되지 않습니다. 또한 위 명령에는 -L이 없으므로 리다이렉트를 자동으로 따라가지 않습니다. -i 결과에서 상태 코드와 Location 헤더를 먼저 확인하고, 의도한 같은 사이트의 최종 URL인지 판단한 뒤 그 URL을 다시 검사하세요. 무조건 -L을 붙이면 예상하지 않은 다른 호스트로 이동한 사실을 놓칠 수 있습니다.
404라면 파일명 대소문자, 실제 배포 산출물, 문서 루트, 프록시 규칙부터 확인합니다. 더 조심할 문제는 상태가 200인데 본문이 HTML인 경우입니다. 단일 페이지 앱의 catch-all 설정이 없는 경로를 index.html로 돌려보내면, 겉으로는 성공처럼 보여도 Content-Type: text/html과 <!doctype html>이 반환됩니다. 이때는 /llms.txt 정적 파일 규칙을 catch-all보다 먼저 적용하고 다시 검사합니다. 인증 페이지나 보안 서비스의 차단 HTML이 대신 내려오는지도 본문 첫 줄로 구분할 수 있습니다.
robots.txt·sitemap.xml과 구분하기
세 파일은 루트에 놓일 수 있다는 점만 비슷합니다. 하나를 만들었다고 다른 하나의 역할을 대신하지 않습니다.
| 파일 | 주요 목적 | 담는 내용 | 하지 않는 일 |
|---|---|---|---|
robots.txt |
자동화 도구의 크롤링 접근 규칙 전달 | User-agent별 허용·차단 경로, 사이트맵 위치 | 문서의 의미나 우선순위를 설명하지 않음 |
sitemap.xml |
검색엔진에 사이트 URL 목록 제공 | 정규 URL과 선택적 갱신 정보 | 색인이나 순위를 보장하지 않음 |
llms.txt |
에이전트에 핵심 문서와 읽는 순서 제안 | 프로젝트 요약, 선별한 링크와 설명 | 접근 통제, 검색 색인, AI 인용을 보장하지 않음 |
llmstxt.org도 llms.txt가 기존 규격과 함께 쓰이도록 설계됐다고 설명합니다. robots.txt에서 크롤러 접근을 막아 놓고 llms.txt에 링크를 적는다고 그 제한이 해제되지는 않습니다. 반대로 llms.txt에 링크가 없다고 검색엔진이 해당 페이지를 색인하지 않는 것도 아닙니다. 공개 범위를 정하는 일, URL을 발견하게 하는 일, 문서 맥락을 안내하는 일을 각각 관리해야 합니다.
효과를 과장하지 않는 운영 기준
llms.txt를 도입할 만한 경우는 지원 대상 에이전트나 문서 플랫폼이 이 제안을 실제로 읽고, 개발 문서의 시작점이 분산돼 있으며, 링크를 최신 상태로 유지할 담당자가 있을 때입니다. 이 조건이 없다면 파일 하나를 추가하는 것보다 HTML 문서의 명확한 제목과 구조, 정상적인 내부 링크, 공개 접근성, 최신 API 예제를 먼저 고치는 편이 낫습니다.
배포 전에는 H1이 하나 있는지, 링크가 절대 URL인지, 모든 필수 링크가 200을 반환하는지, 폐기된 버전이 섞이지 않았는지 확인합니다. 배포 후에는 실제 공개 URL에서 텍스트가 내려오는지 검사하고, 문서 릴리스 때 함께 갱신합니다. 에이전트 테스트를 한다면 질문과 사용 도구, 날짜, 입력으로 제공한 범위를 기록하세요. 파일을 읽힌 테스트와 검색 서비스가 자동으로 발견한 결과를 혼동하면 안 됩니다.
측정 가능한 결과도 제한적으로 잡아야 합니다. 예를 들어 “지원 도구가 인증 문서 링크를 찾았는가”, “오래된 API 버전 대신 현재 레퍼런스를 선택했는가”는 재현 가능한 점검 항목입니다. 반면 “AI 검색 노출이 늘었다”, “자동 인용된다”는 주장은 서비스별 수집 방식과 다른 검색 신호가 섞이므로 파일 배포만으로 입증할 수 없습니다. 검색 유입은 Search Console 등 해당 서비스가 제공하는 보고서로 별도 관찰하고, 인과관계를 성급하게 단정하지 않습니다.
결론은 단순합니다. llms.txt는 개발 문서의 작은 안내판으로 시험할 수 있지만, 범용 AI 검색 등록 파일은 아닙니다. 지원 도구를 먼저 정하고, 실제 문서 링크를 짧게 큐레이션하고, HTTP 응답과 갱신 절차까지 책임질 수 있을 때만 운영 자산으로 두세요. Google 검색을 목표로 한다면 Google이 안내하는 공개 접근성, 색인 가능성, 유용하고 신뢰할 수 있는 사람 중심 콘텐츠가 우선입니다.
공식 출처 확인일: 2026년 9월 10일(KST). llmstxt.org의 The /llms.txt file, v2, Google Search Central의 생성형 AI 검색 최적화 가이드, Next.js의 public 폴더 안내와 standalone 출력 안내를 확인했습니다. 제안과 제품 동작은 바뀔 수 있으므로 실제 적용 시 다시 확인해야 합니다.
함께 읽기: AEO·GEO·SEO 콘텐츠 전략에서는 용어와 콘텐츠 구조를, Next.js SEO 가이드에서는 웹사이트의 기본 검색 설정을 이어서 확인할 수 있습니다.
이 글이 도움이 되었나요?
새 글 받아보기
RSS 리더에서 BlogFlow의 새 글을 확인할 수 있습니다.