llms.txt란? AI 에이전트가 사이트를 이해하기 쉽게 만드는 안내 파일
llms.txt는 AI 에이전트가 웹사이트를 읽을 때 먼저 참고할 수 있는 사이트 안내문이다. 검색 순위를 바로 올리는 마법 파일이 아니라, 사이트의 주제와 주요 페이지를 기계가 빠르게 파악하도록 루트 주소에 두는 Markdown 문서다. 블로그를 운영한다면 이 파일을 통해 “이 사이트는 무엇을 다루고, 어떤 글을 먼저 보면 되는가”를 짧고 분명하게 알려줄 수 있다.
이 글은 기존의 robots.txt 차단 설정이나 일반 SEO 설명과 다르게, llms.txt가 실제로 무엇을 바꾸는지에 집중한다. 파일을 왜 루트에 둬야 하는지, 어떤 링크를 넣어야 하는지, PageSpeed에서 경고가 뜰 때 무엇을 확인해야 하는지까지 순서대로 정리한다.
llms.txt는 사람용 소개문이 아니라 AI용 길 안내문이다
사람은 사이트에 들어오면 메뉴, 제목, 이미지, 최근 글 목록을 보면서 대략적인 구조를 이해한다. 반면 AI 에이전트는 페이지를 기계적으로 읽기 때문에 사이트 전체의 목적을 한 번에 파악하기 어렵다. 이때 llms.txt는 사이트 루트에서 먼저 열 수 있는 짧은 안내문 역할을 한다.
예를 들어 AI 관련 블로그라면 “이 사이트는 AI 도구 사용법, 검증, 자동화, 개인정보 보호를 다룬다”라고 정리하고, 대표 카테고리와 핵심 글 링크를 함께 넣을 수 있다. 그러면 AI 에이전트는 무작정 모든 글을 훑기 전에 사이트의 중심 주제를 먼저 잡을 수 있다.
robots.txt와 llms.txt는 역할이 다르다
둘 다 사이트 루트에 두는 텍스트 파일이라 헷갈리기 쉽다. 하지만 목적은 반대에 가깝다. robots.txt는 크롤러에게 접근 범위를 알려주는 파일이고, llms.txt는 AI 에이전트에게 사이트의 의미와 주요 경로를 설명하는 파일이다.
| 구분 | robots.txt | llms.txt |
|---|---|---|
| 핵심 목적 | 크롤러가 접근해도 되는 경로를 관리한다. | AI가 사이트의 주제와 주요 링크를 이해하게 돕는다. |
| 주요 독자 | 검색엔진 크롤러 | LLM, AI 에이전트, 자동 브라우징 시스템 |
| 파일 위치 | 도메인 루트의 /robots.txt | 도메인 루트의 /llms.txt |
| 잘못 이해하면 생기는 문제 | 차단 파일을 검색 제외 수단으로 착각할 수 있다. | 검색 순위 상승 파일로 과장해서 볼 수 있다. |
| 운영 기준 | 차단할 경로가 있을 때 신중하게 설정한다. | 사이트 소개와 핵심 링크를 간단히 정리한다. |
Google Search Central은 robots.txt가 주로 크롤러 트래픽을 관리하는 용도이며, 검색 결과에서 페이지를 숨기는 장치로 쓰면 안 된다고 설명한다. 반면 Chrome Lighthouse의 llms.txt 설명은 이 파일을 LLM과 AI 에이전트를 위한 기계가 읽을 수 있는 사이트 요약으로 본다.
PageSpeed에서 llms.txt 경고가 뜨는 이유
PageSpeed Insights나 Lighthouse에서 llms.txt 관련 경고가 보이면, 먼저 메시지를 나눠 봐야 한다. “가져올 수 없음”과 “권장사항을 준수하지 않음”은 원인이 다르다.
| 화면 메시지 | 가능한 원인 | 확인할 것 |
|---|---|---|
| llms.txt를 가져올 수 없음 | 파일이 없거나 서버가 404, 403, 500을 반환한다. | 브라우저에서 https://도메인/llms.txt가 바로 열리는지 확인한다. |
| H1 헤더가 없음 | Markdown 문서의 첫 제목 구조가 부족하다. | # 사이트명 형태의 제목을 넣는다. |
| 링크가 포함되어 있지 않음 | 그냥 URL만 적었거나 주요 링크가 없다. | [링크 이름](https://example.com/) 형식으로 핵심 페이지를 넣는다. |
| 내용이 너무 짧음 | 사이트 목적과 주요 섹션 설명이 부족하다. | 주제, 대상 독자, 주요 카테고리, 대표 글을 짧게 추가한다. |
중요한 기준은 단순하다. 파일이 열려야 하고, Markdown 제목이 있어야 하며, AI가 따라갈 수 있는 주요 링크가 있어야 한다. 이 세 가지가 없으면 파일은 있어도 안내문 역할을 제대로 하지 못한다.
좋은 llms.txt에는 무엇을 넣어야 할까
llms.txt는 길게 쓰는 소개 페이지가 아니다. AI 에이전트가 빠르게 판단할 수 있도록 짧고 구조적으로 써야 한다. 블로그 기준으로는 아래 항목이면 충분하다.
- 사이트 이름과 한 줄 설명
- 다루는 핵심 주제 3~5개
- 대표 카테고리 링크
- 처음 읽으면 좋은 핵심 글 링크
- 정책, 문의, 소개 페이지처럼 신뢰를 확인할 수 있는 링크
예를 들어 AI 블로그라면 “AI 도구 추천”만 적기보다 “AI 도구를 고르는 기준”, “AI 결과 검증”, “개인정보를 넣기 전 확인할 기준”처럼 사이트가 실제로 다루는 판단 기준을 드러내는 편이 좋다.
복사해서 쓸 수 있는 기본 구조
아래 예시는 WordPress 블로그에서 바로 응용할 수 있는 llms.txt 구조다. 사이트명과 링크만 바꾸면 기본 안내문으로 쓸 수 있다.
# Site Name
Site Name is a Korean blog about practical AI tools, AI writing, verification, automation, and safe AI use.
## Main Topics
- Practical AI tools for beginners
- AI writing and editing workflow
- AI result verification
- AI automation for work and blogging
- Privacy and safe data handling
## Start Here
- [Home](https://example.com/)
- [AI articles](https://example.com/category/ai/)
- [AI verification guide](https://example.com/ai-verification-skill/)
- [AI privacy guide](https://example.com/ai-data-privacy-safe-use-guide/)
- [Contact](https://example.com/contact/)
여기서 핵심은 링크 이름을 사람이 읽을 수 있게 쓰는 것이다. 단순히 URL만 나열하면 AI가 링크의 의미를 추론해야 한다. 반대로 “AI verification guide”처럼 링크 이름을 붙이면, 그 페이지가 어떤 역할을 하는지 더 분명해진다.
사이트에 올릴 때는 루트 위치가 가장 중요하다
llms.txt는 글 편집기에 붙여 넣는 문서가 아니다. 사이트 루트에 텍스트 파일로 올려야 한다. WordPress라면 보통 wp-config.php, wp-content, wp-admin, wp-includes가 있는 폴더가 루트다.
| 상황 | 올바른 위치 | 틀린 위치 |
|---|---|---|
| WordPress 호스팅 | /public_html/llms.txt 또는 /html/llms.txt | /wp-content/uploads/llms.txt |
| 티스토리 | 루트 파일 업로드가 제한될 수 있어 직접 적용이 어렵다. | 글 본문에 llms.txt 내용을 쓰는 것 |
| 직접 만든 사이트 | 도메인 루트의 /llms.txt | /assets/llms.txt 또는 /files/llms.txt |
업로드 후에는 브라우저 주소창에서 https://내도메인/llms.txt를 직접 열어 봐야 한다. 텍스트 내용이 그대로 보이면 파일 접근은 정상이다. 404가 나오면 위치가 틀렸고, 403이 나오면 서버나 보안 설정이 파일 접근을 막고 있을 수 있다.
llms.txt를 만들 때 피해야 할 실수
이 파일은 길고 멋진 소개문보다 정확한 구조가 더 중요하다. 특히 아래 실수는 PageSpeed 경고나 실제 활용도 저하로 이어질 수 있다.
- 파일명이 llms.txt.txt로 저장되는 경우
- WordPress 글이나 페이지로 만들어 루트 파일이 아닌 경우
- # 제목 없이 문단만 넣는 경우
- 링크를 하나도 넣지 않거나 URL만 나열하는 경우
- 사이트와 관련 없는 인기 키워드를 넣는 경우
- 없는 페이지나 404가 나는 링크를 넣는 경우
- 광고 문구처럼 과장된 설명을 넣는 경우
llms.txt는 AI를 속이는 문서가 아니라 사이트 구조를 설명하는 문서다. 따라서 “가장 좋은 AI 정보 사이트” 같은 표현보다 “AI 글쓰기, 검증, 자동화, 개인정보 보호 기준을 다룬다”처럼 실제 콘텐츠 범위를 쓰는 편이 낫다.
운영자가 바로 점검할 체크리스트
파일을 만든 뒤에는 아래 항목을 하나씩 확인하면 된다.
- 브라우저에서 https://도메인/llms.txt가 200 상태로 열리는가?
- 첫 줄 또는 초반에 # 사이트명 형태의 H1 제목이 있는가?
- 사이트 주제를 한 문단으로 설명했는가?
- 주요 카테고리나 대표 글 링크가 Markdown 형식으로 들어갔는가?
- 링크가 실제로 열리는지 확인했는가?
- 사이트에 없는 주제나 과장된 설명을 넣지 않았는가?
- 파일 수정 후 캐시를 삭제하고 PageSpeed를 새로 검사했는가?
llms.txt가 바꾸는 것과 바꾸지 못하는 것
llms.txt를 만들면 AI 에이전트가 사이트를 이해하는 길은 더 선명해진다. 하지만 이것만으로 검색 노출, 광고 승인, 콘텐츠 품질이 자동으로 좋아지는 것은 아니다.
| 바뀌는 것 | 바뀌지 않는 것 |
|---|---|
| AI가 사이트의 주제와 대표 페이지를 파악하기 쉬워진다. | 검색 순위가 자동으로 올라가지는 않는다. |
| PageSpeed의 Agentic Browsing 관련 경고를 줄일 수 있다. | 얇은 콘텐츠나 중복 글 문제가 해결되지는 않는다. |
| 운영자가 사이트의 핵심 주제를 다시 정리하게 된다. | robots.txt나 sitemap.xml을 대체하지는 않는다. |
| AI 에이전트가 주요 링크를 따라가기 쉬워진다. | 잘못된 링크나 빈 페이지를 숨겨주지는 않는다. |
따라서 llms.txt는 SEO의 끝이 아니라 사이트 정리의 시작으로 보는 편이 맞다. AI가 읽기 쉬운 사이트는 사람에게도 구조가 분명한 경우가 많다. 반대로 llms.txt에 쓸 핵심 페이지가 없다면, 파일보다 먼저 대표 글과 카테고리 구조를 정리해야 한다.
자주 묻는 질문
llms.txt는 꼭 만들어야 하나?
현재 기준으로 필수 파일은 아니다. Chrome Lighthouse 문서도 파일이 없어서 404가 나면 선택 사항으로 처리된다고 설명한다. 다만 파일을 만들었다면 Markdown 제목, 설명, 주요 링크를 갖춰야 경고를 줄일 수 있다.
llms.txt를 만들면 검색 순위가 오르나?
그렇게 단정하면 안 된다. llms.txt는 AI 에이전트용 사이트 요약에 가깝다. 검색 노출은 콘텐츠 품질, 크롤링 가능성, 내부 구조, 사용자 경험 같은 여러 요소를 함께 봐야 한다.
티스토리에도 llms.txt를 올릴 수 있나?
티스토리는 일반 호스팅처럼 도메인 루트에 자유롭게 파일을 올리는 구조가 아니어서 적용이 제한될 수 있다. 이 경우 글 본문에 넣는 것으로는 같은 효과를 기대하기 어렵다.
링크는 몇 개 정도 넣는 게 좋나?
처음에는 5~10개 정도면 충분하다. 홈, 주요 카테고리, 대표 글, 소개나 문의 페이지처럼 사이트를 이해하는 데 필요한 링크부터 넣는 편이 좋다.
정리
llms.txt는 AI 에이전트에게 사이트의 입구와 주요 길을 알려주는 안내 파일이다. robots.txt처럼 접근을 막는 파일도 아니고, 검색 순위를 보장하는 파일도 아니다. 사이트의 목적, 핵심 주제, 대표 링크를 짧은 Markdown 문서로 정리해 루트에 두는 것이 핵심이다.
블로그 운영자라면 먼저 자신이 가진 대표 글을 고르고, 그 글들이 어떤 주제를 설명하는지 한 문단으로 정리해 보자. 이 작업만 해도 사이트가 AI에게 어떻게 보일지, 사람에게도 구조가 분명한지 확인할 수 있다.