자신만의 오프라인 AI 챗봇 설정하는 법

ChatGPT와 같은 인기 있는 온라인 챗봇의 유용성은 의심의 여지가 없습니다. 그들은 매일 우리를 도와 글을 쓰고, 분석하고, 문제를 해결합니다. 하지만 당신의 대화가 다른 서버에 저장되는 것을 원하지 않거나 인터넷 연결 없이도 AI에 접근해야 한다면 어떻게 할까요? 당신은 자신의 컴퓨터에서 완전히 실행되는 오프라인 AI 챗봇을 설정할 수 있습니다.

오프라인 AI 챗봇이란 무엇이며 무엇을 할 수 있나요?

로컬(오프라인) AI 챗봇은 기본적으로 사용자의 CPU(프로세서), GPU(그래픽 카드), RAM(메모리)와 같은 하드웨어 자원을 사용하여 직접 컴퓨터에서 실행되는 인공지능 모델입니다.

오늘날 사용할 수 있는 로컬 AI 모델은 많으며, 새로운 모델이 정기적으로 출시됩니다. 대부분은 Meta(Llama), Google(Gemma), Microsoft(Phi), Mistral(Codestral, Mistral_7B)와 같은 주요 기술 회사에서 공개한 오픈 소스 모델을 기반으로 하고 있습니다. 그들의 순위는 Open LLM 리더보드에서 확인할 수 있습니다.

각 모델마다 다양한 작업에서 뛰어납니다. 일부는 코딩, 창의적인 글쓰기, 역할 놀이에 특히 능숙한 전문가 모델이 있는 반면, 다른 모델은 다양한 작업을 처리할 수 있는 일반 모델입니다. 또한 콘텐츠 필터링에서도 차이가 있습니다: 일부 모델은 엄격하게 필터링되어 있으며 NSFW(직장에 적합하지 않음) 항목을 다루지 않지만, 다른 모델은 노인 해적이 얼굴을 붉힐 정도의 어휘를 사용하는 데 주저하지 않습니다.

로컬 AI 모델을 선택할 때는 크기도 고려해야 할 요소입니다. 이상적으로는 전체 모델이 GPU의 VRAM(비디오 RAM)에 들어가야 합니다. 예를 들어 그래픽 카드에 8GB의 VRAM이 있다면, 7GB 모델을 편안하게 실행할 수 있지만 10GB 모델은 너무 클 것입니다. 일반적으로 더 큰 모델이 더 나은 결과를 내는 경향이 있지만, 더 강력한 하드웨어가 필요합니다.

이번 가이드에서는 Qwen2.5 Coder 14B 모델을 사용하고 있으며, 이 모델은 상대적으로 컴팩트(8.37GB)하고 상업적으로 사용할 수 있으며, 크기에 비해 인상적인 코딩 능력을 보입니다. 다양한 모델을 실험하여 귀하의 필요에 가장 적합한 것을 찾는 것을 추천합니다. r/LocalLLaMA와 같은 커뮤니티는 최신 정보를 얻는 데 훌륭한 리소스입니다.

오프라인 AI 챗봇 설치 및 구성 방법

오프라인 AI 챗봇을 설정하려면 두 가지 주요 구성 요소가 필요합니다: 로컬 AI 모델과 모델과 상호작용하기 위한 친숙한 채팅 스타일의 사용자 인터페이스입니다. 이 두 가지를 원활하게 처리하는 소프트웨어 솔루션이 있습니다.

제 추천은 Jan.ai인데, 이는 완전히 오픈 소스이며 인기 있는 채팅 애플리케이션과 유사한 깔끔하고 직관적인 인터페이스를 제공합니다. 또한 AI 모델을 다운로드하고 관리하는 것이 간단한 내장 모델 허브가 포함되어 있습니다. 또 다른 옵션은 LM Studio로, 일반적으로 최첨단 모델에 대한 지원을 더 빨리 추가하지만 소스 코드를 게시하지 않습니다.

Jan.ai 설치 및 첫 번째 모델 다운로드하기

먼저 Jan.ai 웹사이트를 방문하여 시스템에 맞는 적절한 버전을 다운로드합니다. 설치 과정은 간단합니다: 다운로드한 설치 파일을 실행하고 표준 설치 프롬프트를 따릅니다.

설치가 완료되면 Jan.ai를 실행합니다. 제공된 모델을 탐색하기 위해 Hub 탭을 클릭하십시오. 귀하의 기준과 하드웨어와 호환되는 모델을 찾아 클릭하여 Download를 선택합니다. 다운로드 및 설치는 인터넷 연결 상태에 따라 시간이 걸릴 수 있습니다.

채팅을 시작하기 전에 최적의 성능을 위한 한 가지 중요한 단계가 더 있습니다. 호환 가능한 NVIDIA 그래픽 카드가 있는 경우 Settings로 가서 GPU Acceleration 옵션을 찾습니다. 이를 활성화하면 모델의 응답 속도가 크게 개선됩니다. 필요할 경우 NVIDIA 드라이버 및 CUDA Toolkit을 설치하거나 업데이트해야 할 수 있습니다.

로컬 AI 챗봇과 대화하기

모델을 다운로드한 후, 왼쪽 사이드바 상단의 Chat button을 클릭하여 첫 번째 채팅을 시작합니다. 새 스레드가 열리고 모델이 자동으로 선택됩니다. 다운로드한 모델이 여러 개 있는 경우 모델 이름을 클릭해 선택할 수 있습니다.

오프라인 AI 챗봇을 통해 첫 번째 채팅 메시지를 보내려면 Ask me anything 필드를 클릭하고 원하는 내용을 입력한 후 Enter를 누릅니다. 첫 번째 응답은 모델이 먼저 로드해야 하므로 시간이 걸리겠지만, 이후 응답은 상대적으로 신속해야 합니다.

같은 스레드에서 대화를 이어가는 것이 좋습니다. 이는 같은 주제에 대해 더 깊이 파고들고 싶을 때 AI 챗봇이 이전 메시지에서 제공된 맥락을 이용할 수 있기 때문에 유리합니다. 또는 좌측 상단의 New Thread 버튼을 클릭하여 새 스레드를 시작할 수 있습니다.

일반적으로 새 주제를 시작하거나 다른 작업으로 전환하고 싶을 때마다 새 스레드를 만드는 것을 권장합니다. 이는 대화를 정리하는 데 도움이 되며 AI가 이전 논의와 관련 없는 맥락에 혼란스러워지는 것을 방지합니다.

로컬 AI 챗봇의 동작 방식 설정하기

Jan.ai의 장점은 AI 챗봇이 귀하의 프롬프트에 어떻게 응답할지를 사용자화할 수 있다는 것입니다. 주로 이러한 사용자화는 일반 지침과 특정 매개변수를 통해 이루어집니다.

먼저, AI 도우미가 어떻게 행동해야 하는지에 대한 일반 지침을 제공합니다. 모델 이름 옆의 Settings 버튼을 클릭하고 채팅 스레드의 오른쪽 사이드바에서 Assistant 탭으로 이동하여 Instructions 필드를 찾습니다.

AI가 응답하기를 원하는 방법에 대한 지침을 입력할 수 있습니다. 예를 들어 “개념을 간단히 설명하는 프로그래밍 튜터 역할을 하세요” 또는 “건설적인 피드백을 제공하는 창의적인 글쓰기 코치처럼 응답하세요”라고 말할 수 있습니다.

기본 지침 외에도 AI가 응답을 생성하는 방식을 제어하는 다양한 기술적 매개변수를 미세 조정할 수 있습니다. 오른쪽 사이드바의 Model 탭에서 다음과 같은 중요한 설정을 찾을 수 있습니다:

• Temperature: AI의 창의성 수준으로 생각해보세요. 낮은 값(0.0 – 0.5)은 더 예측 가능하고 집중된 응답을 생성하고, 높은 값(0.8 – 2.0)은 더 창의적이고 다양한 응답을 생성하지만 잠재적으로 집중력이 흐트러질 수 있습니다.
• Max tokens: AI의 응답 길이를 제어합니다. 높은 값은 더 길고 자세한 답변을 허용하고, 낮은 값은 간결한 답변으로 제한합니다.
• Context length: AI가 기억하고 참조할 수 있는 대화의 양을 결정합니다. 긴 문맥은 AI가 보다 자세한 논의를 유지할 수 있지만 느려질 수 있습니다.

가장 좋은 것은 서로 다른 설정으로 다양한 채팅 스레드를 만들 수 있다는 것입니다. 예를 들어 창의적인 작성을 위한 고온 설정이 있는 스레드와 정밀한 기술 답변을 위한 저온 설정이 있는 스레드를 만들 수 있으니, 실험하는 것을 두려워하지 마십시오.

좋은 모델이 여러분의 오프라인 AI 챗봇을 지원한다면, 엄청난 범위의 작업을 수행할 수 있습니다. 개인적으로 AI 챗봇을 사용하여 현대적인 웹 앱을 처음부터 만드는 데 도움을 받았으며, 가능성은 정말 무궁무진합니다: 글쓰기와 코딩부터 분석 및 창의 프로젝트까지 가능합니다.

모든 이미지와 스크린샷은 David Morelo가 제공했습니다.