LM 스튜디오·컴피UI부터 애니씽LLM까지 로컬 AI 도구 총정리
생성형 AI가 처음 등장할 때만 해도 PC에서 직접 AI 모델을 구동해 콘텐츠를 생성하는 작업은 전문가들의 영역처럼 여겨졌다. 모델을 구하고 실행 환경을 구성하는 과정 자체가 복잡했고, 고성능 하드웨어 역시 필수 조건에 가까웠기 때문이다. 하지만 지금은 상황이 크게 달라졌다. 우리가 일상적으로 사용하는 PC 환경에서도 문서 요약, 보고서 초안 작성, 이미지 생성 등 다양한 AI 작업을 무리없이 수행할수 있는 시대가 됐다.
이제는 엔비디아의 고성능 그래픽처리장치(GPU)가 탑재된 데스크톱 PC가 아니어도 거대언어모델(LLM)이나 이미지, 영상 생성 작업을 할 수 있게 됐다. 특히 인텔과 AMD는 데스크톱 PC용 그래픽카드 뿐만 아니라 최신 노트북 PC에서 AI를 구동할 수 있도록 지원을 늘려하고 있다. 퀄컴도 ‘코파일럿+ PC’ 뿐만 아니라 다양한 AI 모델을 활용할 수 있도록 지원을 확장하고 있다.
PC에서 이미지나 텍스트 생성형 AI 모델을 활용할 때 가장 일반적으로 거론되는 하드웨어는 ‘엔비디아 그래픽카드’다. 엔비디아의 지포스 RTX 시리즈 그래픽카드는 생성형 AI 초창기부터 모델 구동을 위한 프레임워크가 엔비디아 ‘쿠다(CUDA)’를 기반으로 등장했던 만큼 하드웨어 및 소프트웨어 지원 측면에서 가장 폭넓은 효환성을 제공한다. 하지만 이제 범용 AI 프레임워크도 엔비디아 이외의 하드웨어까지 지원을 확장하고 있다.
PC에서 거대언어모델(LLM)을 사용하는 데 있어 가장 추천할 만한 환경은 ‘LM 스튜디오’다. 설치와 설정, 모델 다운로드 과정이 직관적이며 개인은 물론 업무용으로도 무료로 사용할 수 있다. 사용할 수 있는 모델도 주요 공개 모델을 기반으로 한 추천 모델이 제공되고 있어 편리하게 선택할 수 있다. 모델 구동을 위한 하드웨어 지원도 폭넓어서, 엔비디아의 ‘쿠다’ 뿐만 아니라 ‘벌칸(Vulkan)’ API를 통해 AMD, 인텔의 GPU에서도 사용할 수 있다.
이미지나 영상 생성을 위한 환경이라면 ‘컴피UI(ComfyUI)’가 유용한 선택지로 꼽힌다. 설치도 편리하고, 템플릿 중심의 모델 설정 환경으로 복잡함을 많이 줄였다. 처음 접했을 때 인터페이스가 다소 난해해 보이는데, 템플릿을 불러오면서 모델의 구성요소들을 다운로드 받고, 프롬프트와 설정 몇 가지 정도를 바꿔 가면서 쓰면 된다. 로컬 모델로는 큐원(Qwen) 이미지나 플럭스(Flux) 계열, 스테이블 디퓨전 모델 등 다양한 모델이 지원된다. 공식적으로 엔비디아와 AMD, 애플의 GPU만 지원하고 있다는 점은 조금 아쉽다.
인텔이나 AMD, 퀄컴 프로세서 기반 ‘코파일럿+ PC’를 사용하고 있다면 윈도11의 기본 ‘사진’과 ‘그림판’ 앱에서도 신경망처리장치(NPU)를 사용한 이미지 생성과 편집 기능을 사용할 수 있다. 비교적 작은 모델을 기반으로 하고 출력물의 해상도도 상대적으로 낮은 점이 아쉽지만, 하드웨어 조건을 충족한다면 어려운 설치 과정 없이 바로 활용할 수 있는 기능이라는 점에서 의미가 있다.
인텔의 ‘AI 플레이그라운드’ 실행 모습 / 권용만 기자
퀄컴의 NPU에서 LLM 구동을 지원하는 ‘애니씽LLM’ / 권용만 기자
엔비디아의 GPU가 있으면 다양한 AI 환경을 다룰 수 있지만, AI 활용을 위해 엔비디아의 GPU를 갖춰야 되는 것은 아니다. 데이터센터 뿐만 아니라 PC에서도 이미 엔비디아 GPU의 ‘대안’들이 제법 자리를 잡아 가고 있다. 특히 최신 노트북 PC의 내장 GPU와 NPU를 적극적으로 활용하는 사례들도 주목할 만하다. 충분한 메모리가 장착돼 있다면 고가의 데이터센터급 GPU에서나 쓸 수 있던 모델도 다뤄볼 수 있다.
인텔은 자사의 내·외장 GPU와 NPU를 위한 구동 환경과 모델을 통합한 ‘AI 플레이그라운드’ 앱을 지속적으로 업데이트하고 있다. 최신 버전인 3.0.1 알파 버전은 코어 울트라 시리즈 3 ‘팬서 레이크’ 프로세서의 지원과 함께 이미지 생성 영역에서 ‘플럭스.1(Flux.1)’ 모델 지원이 추가됐다. LLM 구동에서는 GPU 뿐만 아니라 NPU도 활용할 수 있고, RAG(검색증각생성), 추론(Reasoning), 에이전틱 모델 등 다양한 기능이 제공된다.
AMD는 로컬 PC에서의 이미지 생성에서 어뮤즈(Amuse)를 추천한다. 최신 어뮤즈 버전에서는 AMD의 GPU와 NPU에 최적화된 프레임워크와 모델을 활용해 이미지 및 영상 생성, 이미지 업스케일링 작업 등을 수행할 수 있다. AMD는 PC에서 생성형 AI 도구로 콘텐츠를 생성하는 데 필요한 준비 과정을 줄이기 위해, 드라이버 설치 시 주요 소프트웨어를 함께 설치하는 ‘AMD 소프트웨어: 아드레날린 에디션 AI 번들’을 선보이기도 했다.
퀄컴 ‘스냅드래곤 X’ 시리즈 프로세서 기반 시스템에서 LLM을 사용하고자 한다면 ‘애니씽LLM(AnythingLLM)’을 추천한다. 애니씽LLM은 PC에서 LLM을 구동하기 위한 다양한 프레임워크를 갖췄는데 특히 퀄컴의 QNN(Qualcomm AI Runtime)을 지원해 NPU로 LLM을 쓸 수 있는 점이 특징이다. 메타의 라마(Llama) 계열 모델 혹은 마이크로소프트의 파이(Phi) 모델을 사용할 수 있는데, 파이 모델이 비교적 쾌적한 사용 경험을 제공한다.
권용만 기자
yongman.kwon@chosunbiz.com
https://it.chosun.com/news/articleView.html?idxno=2023092157150
댓글 없음:
댓글 쓰기