[챗봇프로젝트] 1일차. 기획 및 프로젝트 환경 구성

 

❗[문제제기]

 

평소에 SSAFY의 수료생으로서, 새로 지원하는 지원자분들에게 궁금한 부분을 답변하는 것을 진행하고 있었다.

하지만, 매 기수마다 똑같은 것을 설명하는 것은 사람으로서 지치게 되는 법.

반복되는 것을 자동화 하는 것은 개발자의 숙명이라고 생각한다.

 

그러던 어느 날, 챗봇 서비스라는 게 있다고 하고, 마침 또 내가 개발자니깐

관련 내용을 문서로 만든 후 학습시켜 해당 내용을 AI가 전달 할 수 있게 하면 어떨까? 라는 생각을 하게 되었다.

 

 

❗[기획 및 환경구성]

 

AI에 대해서는 전혀 아는바가 없어, ChatGPT를 통해 힌트를 얻게 되었다.

우선적으로, 프론트엔드(웹사이트, 위젯), 백엔드(서버, DB), AI모델

크게 세 파트로 나누어서 개발을 진행해야 될 것 같다.

 

 

 

 

ChatGPT는 다음과 같이 답변해주었다.

하지만, ChatGPT는 OpenAI를 이용한 API를 이용해 AI 서비스를 만들라고 조언해주었다.

하지만, OpenAI에서 Request를 계속해서 날리게 되면 비용을 부담해야 하기 때문에,

로컬 컴퓨터에서 AI 서비스를 진행할 수 있는 방법에 대해 다시 질의하게 되었다.

 

 

 

 

이 정도면 내가 원하는 답변이 나온 것 같다. 이걸 더 심화해서 알아보자.

 

 

 

 

 

Ollama라는 것과, 임베딩, DB, 백엔드, 프론트 개발에 필요한 기술들을 알려주었다.

 

조금 더 찾아보니 LLM이라는 서비스를 로컬에서 돌리기 위해서는 Ollama라는 플랫폼이 필요하고, 

이것은 껍데기에 불과하기 때문에, 별도의 AI 모델이 필요한데, Gemma같은 경량 모델도 있다고 한다.

 

 

 

 

또한, Ollama는 Docker를 이용해 서비스를 구동할 수 있다고도 한다.

다만, 내가 작업하려는 컴퓨터에는 NVIDIA GPU가 없다.

이 문제를 해결하는 방법에 대해서도 찾아보았다.

 

 

 

https://codealone.tistory.com/84

윈도우 노트북(인텔 GPU)으로 로컬 환경에서 LLM(llama, deepseek 등) 사용하기/Ollama, ipex-llm, Intel

 

마침, 다른 블로그를 찾아보니 인텔 내장 GPU를 이용해서도 LLM을 돌릴 수 있는 방법을 안내하고 있었다.

바로, IPEX-LLM 이었다.

 

 

 

 

드라이버 버전은 31.0.101.5122보다 낮은 버전이면 안되는데, 내가 사용하고 있는 버전은 31.0.101.4953이었다.

때문에, 인텔 홈페이지에 들어가 최신 버전으로 업데이트 해주었다.

이후, Miniforge를 사용하기 위해 추가로 설치해주었다.

 

 

 

비교를 위해 CPU로 실행되는 Ollama와, 인텔 iRIS Xe Graphics(내장 그래픽)로 구동되는 Ollama와 비교해보았다.

모델은 Gemma3으로 동일하다.

 

CPU		GPU (intel iRIS Xe Graphics)		차이
프롬프트	소요시간	프롬프트	소요시간

 

 

 

실제로는 이런 식으로 구동된다.

CPU 사용시에는 GPU가 0%대에 머물던 것에 비해, GPU를 사용하게 했더니 최대 80%정도 사용량을 보이고 있었다.