AnythingLLM: 내 자료를 매번 설명하기 귀찮을 때
설치형 오픈소스 AI 도구 AnythingLLM을 살펴봐요. 문서 첨부와 RAG의 차이, 로컬 모델, 비용과 시작할 작업까지 쉽게 정리했어요.
마지막 업데이트
메뉴나 지원 기능이 달라졌다면 아래 자료 확인일과 현재 앱 버전을 함께 봐주세요.
매번 AI에게 같은 설명서를 올리고, “아까 그 문서 기준으로 얘기해 줘”라고 다시 말해야 한다면 꽤 번거롭죠. 제가 AnythingLLM에서 먼저 보고 싶은 부분은 거창한 자동화보다 자료와 대화를 한곳에 정리하는 방식이에요. 제품 설명서나 행사 안내처럼 자주 꺼내 보는 문서를 두고 질문하고 싶은 분에게 어울리는 도구예요.
GitHub 저장소와 공식 사용 안내를 읽고 정리했어요. 직접 설치하거나 답변 정확도를 측정한 후기는 아직 없어요. 정식 릴리스는 v1.18.0, 2026년 10월 13일 공개를 기준으로 확인했으며, 별도로 계속 갱신되는 문서는 아래 출처에 연결했어요.
AI 모델과 문서 보관함을 이어주는 앱이에요
AnythingLLM은 자체적으로 모든 답을 알고 있는 새로운 AI 모델이라기보다, 모델·자료·대화를 연결하는 작업 공간에 가까워요. 답변을 만드는 모델은 내 PC에서 돌릴 수도 있고 외부 제공업체에 연결할 수도 있어요. PDF, TXT, DOCX 같은 자료를 가져오고, 주제별 작업 공간을 나누는 기능을 제공해요. 저장소의 기능 안내
여기서 작업 공간은 “제품 설명서”, “공개 강의 자료”처럼 자료와 대화를 묶는 방이라고 생각하면 편해요. 다만 폴더를 만들어 뒀다고 AI가 컴퓨터 전체를 알아서 읽는다는 뜻은 아니에요. 어떤 문서를 지금 대화에 붙였는지, 작업 공간에 넣었는지 확인해야 해요.

첨부와 RAG, 이름보다 쓰임부터 볼게요
짧은 문서 하나를 바로 물어보고 싶다면 대화창에 첨부하는 방법이 이해하기 쉬워요. 공식 안내에서는 첨부된 문서의 전체 텍스트를 대화 문맥에 넣는 방식을 설명해요. 이때 문맥은 AI가 한 번에 참고할 수 있는 분량이에요. 길이가 무한하지 않아서 문서와 이전 대화가 너무 많아지면 한도에 걸릴 수 있어요.
여러 대화에서 계속 찾아 쓸 자료라면 RAG를 살펴볼 차례예요. RAG는 문서를 조각으로 나눠 보관한 뒤, 질문과 관련 있어 보이는 부분을 찾아 모델에게 건네는 방식이에요. 문서를 통째로 새로 학습시키는 작업과는 달라요. 필요한 부분을 찾는 과정에서 누락될 수도 있으니 원문 대조가 필요해요. 첨부와 RAG 공식 설명
| 지금 하고 싶은 일 | 먼저 볼 방법 | 기억할 점 |
|---|---|---|
| 짧은 안내문 하나에서 날짜 찾기 | 대화에 직접 첨부 | 해당 대화 범위를 확인해요 |
| 같은 설명서를 여러 대화에서 재사용 | 작업 공간에 임베딩 | 관련 문단을 찾아 전달해요 |
| 긴 문서 전체를 빠짐없이 요약 | 분량을 나눠 확인 | 검색 결과 몇 조각이 전체를 대표하지는 않아요 |
처음에는 Desktop이면 충분해요
혼자 시작한다면 설치 파일로 실행하는 Desktop 쪽을 먼저 보겠어요. Windows, macOS, Linux용 배포판이 있고, 여러 사용자가 접속하는 서버 운영은 별도의 Docker 설치 경로로 안내돼요. 처음부터 서버를 빌리거나 도메인을 연결할 필요는 없어요. 설치 방식 비교
로컬 모델을 사용하면 답변 생성에 내 컴퓨터의 메모리와 처리 성능이 들어가요. 공식 시스템 안내는 일반적인 권장 구성으로 RAM 16GB, 8코어 CPU를 제시하지만, 실제 부담은 고른 모델과 문서 분량에 따라 달라져요. “앱이 설치된다”와 “큰 모델이 편하게 돌아간다”는 다른 문제예요. 저는 작은 자료로 먼저 확인하겠어요. 시스템 요구 사항
무료인지 확인할 때 세 가지를 나눠 보세요
소스코드는 MIT 라이선스로 공개돼 있어요. 그렇다고 연결하는 모든 모델과 서비스까지 같은 조건인 것은 아니에요. 로컬 모델을 선택하면 별도의 클라우드 추론 API를 쓰지 않는 구성이 가능하지만 모델의 이용 조건, 저장 공간과 전력 사용은 남아요. 외부 모델이나 외부 임베딩 제공업체를 고르면 그쪽 비용과 데이터 처리가 적용돼요.
“로컬 앱이니까 모든 기능이 오프라인”이라고 생각하기보다는 답변 모델, 임베딩 모델, 검색 도구가 어디에 연결되는지 보세요. 임베딩은 문서를 검색하기 좋은 숫자 표현으로 바꾸는 단계예요. 기본 임베딩 모델은 공식 문서상 영어 자료를 중심으로 학습됐기 때문에, 한국어 문서 검색 품질을 그대로 기대하기는 어려워요. 기본 임베딩 안내 익명 사용 통계 설정도 따로 제공돼요. 개인정보·데이터 설정
저라면 이런 자료로 시작할 것 같아요
처음부터 수백 페이지짜리 PDF를 넣기보다는 날짜, 장소, 준비물, 신청 방법이 분명한 안내문 한 장을 고르겠어요. 원문을 읽은 사람이 정답을 바로 확인할 수 있어야 AI가 놓친 부분도 보이거든요. 문서에 있는 질문 두 개와 없는 질문 하나를 섞으면 더 좋아요.
Query 모드는 문서에서 답을 찾는 용도로, Chat 모드는 일반 지식까지 섞어 대화하는 용도로 안내돼요. 모드 이름이 정확성을 보증하는 것은 아니므로, 답을 읽고 원문을 확인하는 과정은 그대로 남겨 두세요. 대화 모드 안내
바로 이어지는 사용법 글에서는 가상의 행사 안내문으로 신청 마감일과 준비물을 찾아볼 거예요. 복잡한 설정을 건드리기 전에 “자료가 제대로 들어갔는지, 없는 내용을 지어내지 않는지”부터 확인해 보려는 목적이에요.
자료를 지울 때도 범위를 확인해요
공식 데이터 안내는 작업 공간에서 문서를 빼는 것과 My Documents에서 지우는 것을 구분해요. 한 작업 공간에서 빼도 다른 곳에서 재사용하도록 원본 처리 자료가 남을 수 있고, My Documents에서 지우면 전체 작업 공간에서 제거하는 경로예요. 나중에 잘못 넣은 파일을 정리할 때는 어느 쪽을 선택했는지 확인해 주세요.
또 하나는 ‘근거가 표시됐다’와 ‘근거가 답을 뒷받침한다’를 구별하는 거예요. 예를 들어 참가비 무료라는 문장을 주차비 질문의 근거로 보여 줬다면, 출처가 달렸어도 답은 맞지 않아요. 출처 유무보다 질문과 해당 문장의 관계를 보는 습관이 이 도구를 쓰는 데 도움이 돼요.
이 도구의 다른 글
소개 · 한 가지 작업 따라 하기 · 선택 기준과 비교
참고 자료
- https://github.com/Mintplex-Labs/anything-llm/releases/tag/v1.18.0
- https://github.com/Mintplex-Labs/anything-llm/blob/3e4f9411b67f2dd7fa9fc6f2b95dfacbda0633ba/README.md
- https://github.com/Mintplex-Labs/anythingllm-docs/blob/ac02889e2a1eec1953a590c7a053d424bd5eca86/pages/chatting-with-documents/introduction.mdx
- https://github.com/Mintplex-Labs/anythingllm-docs/blob/ac02889e2a1eec1953a590c7a053d424bd5eca86/pages/features/chat-modes.mdx
- https://github.com/Mintplex-Labs/anythingllm-docs/blob/ac02889e2a1eec1953a590c7a053d424bd5eca86/pages/installation-desktop/overview.mdx
- https://github.com/Mintplex-Labs/anythingllm-docs/blob/ac02889e2a1eec1953a590c7a053d424bd5eca86/pages/installation-desktop/system-requirements.mdx
- https://github.com/Mintplex-Labs/anythingllm-docs/blob/ac02889e2a1eec1953a590c7a053d424bd5eca86/pages/installation-desktop/windows.mdx
- https://github.com/Mintplex-Labs/anythingllm-docs/blob/ac02889e2a1eec1953a590c7a053d424bd5eca86/pages/setup/llm-configuration/local/built-in.mdx
- https://github.com/Mintplex-Labs/anythingllm-docs/blob/ac02889e2a1eec1953a590c7a053d424bd5eca86/pages/setup/embedder-configuration/local/built-in.mdx
- https://github.com/Mintplex-Labs/anythingllm-docs/blob/ac02889e2a1eec1953a590c7a053d424bd5eca86/pages/features/privacy-and-data-handling.mdx
- https://github.com/janhq/jan/blob/648e8da55438150ccfab78808fa97a7a8e458c9f/docs/src/pages/docs/desktop/quickstart.mdx
- https://github.com/Mintplex-Labs/anything-llm/blob/3e4f9411b67f2dd7fa9fc6f2b95dfacbda0633ba/LICENSE