로컬PC에서 LLM모델을 구동시켜보자. (OpenCode까지, 수정)

우분투가 설치된 로컬PC에서 여러 LLM들을 돌려보고자 OpenCode/OpenWork 설치를 시도하고 있는 것을 공유차 올려봅니다. :)

우선 현재 테스트 한 머신은 Intel i5, 16G 메모리(DDR3), 500G HDD, Intel 내장형 그래픽카드를 사용하는 PC되겠습니다!! 

지금은 Ubuntu 22.04.5 LTS를 기본 OS로 해서 OpenCode/OpenWork를 설치 테스트를 했는데

OpenCode까지는 큰 무리없이 설치가 마무리되었는데 OpenWork를 설치하는데 계속 에러가 빈번하게 발생해서 우선 지금까지 경험한 내용을 공유하도록 하겠습니다. 

1. Ubuntu 설치

Ubuntu 홈페이지가서 iso 파일을 다운로드 받아, 집에서 굴러다니는 USB 하나에 부팅/설치 USB로 만들어서 공 기계에 설치를 해주시면됩니다. 
(현재 저는 Ubuntu 22.04.5 LTS로 진행했는데, Ubuntu 24.04.4 LTS로 변경해서 진행할 예정입니다. )

2. 기본 설정 (root 권한)

Ubuntu를 다 설치 했다면 이것저것 설치할 때 관리자 권한을 요구하기도 하고 걍 root로 대부분 설치하게되더라구요;; 그래서 root 권환 확보가 필요합니다.

$ sudo passwd root

그러면 패스워드 입력하라고 하는 프롬프트가 나오는데 그냥 적어주시면 됩니다.

$ su -

# apt update
# apt upgrade

그리고 추가적으로 필요한 패키지나 tool들을 설치해야합니다.
※ 보통 이미 설치되어 있는 tool들도 있는데 혹시나해서 넣어놨습니다.

# apt install ufw git curl bzip2 wget cmake build-essential unzip libssl-dev libffi-dev pigz

gcc-10 g++-10 gcc g++ file plocate libgtk-3-dev libayatana-appindicator3-dev librsvg2-dev libjavascriptcoregtk-4.1-0 libsoup-3.0-0 libsoup-3.0-common libwebkit2gtk-4.1-0 libwebkit2gtk-4.1-dev nodejs npm

다 설치 후 원격 접속을 위한 ssh 접근 허용을 위해서 이렇게 포트를 열어줍니다.

# ufw allow ssh

나중에 더 필요하면 포트를 열면 됩니다. 포트 8080을 사용하고자 한다면 

# ufw allow 8080

3. Ollama 설치
Ollama 설치를 일반 계정으로 진행해보려고 했는데 sudo를 물어봐서 걍 관리자 권한인 root 계정으로 들어가서 했으니 참고 부탁드립니다.

# curl -fsSL https://ollama.com/install.sh | sh

이렇게 install.sh 실행시켜 주면 ollama serve 서비스 등록까지 되어서 이미 실행되고 있을 겁니다.
사실 할게 딱히 없습니다.

설치는 관리자 계정으로 진행했지만 파일 다운로드 받거나 하는 것은 일반 계정으로 진행해도 상관없습니다.

$ ollama list

ollama 모델을 로딩 할 때 run으로 하면 되는데 그전에 로컬에 다운로드 받아 놓고 사용하면 좋을 것 같아서 로컬 저장소로 모델을 pull 해놓습니다. :)

$ ollama pull <model name>

4. Opencode 설치

오픈코드도 설치는 문제가 없습니다. su를 이용해서 관리자 권한으로 들어가서 설치 스크립트를 수행하면 설치 완료!! 

# curl -fsSL https://opencode.ai/install | bash

아.. 정정사항이 있습니다. Opencode 설치시 관리자 계정이 아닌 일반 계정에서도 문제없이 설치 됩니다. :)

$ curl -fsSL https://opencode.ai/install | bash

$ source ~/.bashrc

로 명령어를 실행시켜 주시면 설치되고 사용할 수 있습니다. :)

이제 이 다음부터가 문제입니다. Orz

커밍 쑨...

출처: @ye._.vely618

qiime2 -시작하기1-

qiime을 한번 실행시켜 봤습니다.

저는 완벽한 ubuntu 시스템이 아닌 윈도우에서 지원하는 linux subsystem에서 ubuntu 18.04 LTS를 설치해서 사용하고 있습니다.

그래서 약간 이글을 보시는 분들과 환경이 다소 차이가 날 수 있는걸 감안하시고 봐주시기 바랍니다. :)
-근데 지금까지 크게 차이 안나는거 같습니다. ㅎㅎ 소스 컴파일을 빡시게 해봐야 좀 차이가 나는걸 느낄수도...

WSL의 ubuntu를 시작하면 걍 shell창이 뜹니다.

그러면 qiime2를 원할하게 사용하기 위해서
conda env를 활성화 시켜보겠습니다. (물론 꼭 conda를 활성화해서 안해도 사용 가능핧!!..)

$conda activate qiime2-2019.10
하면 다음과 같이 conda env환경이 활성화 됩니다.
(qiime2-2019.10)$

다음과 같이 qiime 명령어를 실행시켜주면
(qiime2-2019.10)$qiime






















사용가능한 명령어들을 표시됩니다.
사용 방법은 모 알고 있다 싶이 qiime뒤에 명령어 입력해서 엔터치시면
(qiime2-2019.10)$qiime [command]

또 각 명령어에서 사용 가능한 sub command들을 볼 수 있습니다.

이제 qiime2를 본격적으로 사용하시기 전에 qiime glossary를 잘 일독하시고 사용하시면되겠습니다.

튜토리얼 페이지 상단에 이렇게 적혀있습니다.
Abandon all hope, ye who enter. If you have not read the glossary.
(신곡을... ㅋㅋ 센스가..) 꼭 읽으십시요!!

여튼.. 저는 glossary없이 qiime2를 접했을 때 첫 관문이 artifact, artifact를 이런 의미로  사용할 줄이야.. artifact는 원래 제거 대상아니었나요 Orz

qiime1으로 파이프라인 셋업해본 분이시라면 이건 모 신세계 아니겠습니까!!
일목요연한 명령어 리스트를 명령어 하나로 볼 수 있다니.. 아놔

그럼 다음에 또 명령어 몇개 실행해보고 다시 와보겠습니다. :)

출처: @sana_twice.09

※ 짧게라도 정리해서 일주일에 한개는 포스팅 할 줄 알았는데 이거 모 보름에 하나 겨우겨우 하네요.. ㅋ 정신을 가다듬을 정신이 없어서... 일단 되는대로 한번 업데이트 하는걸로...

Windows Subsystem Linux 입문

?? 윈도우용 리눅스 하위 시스템 설명서가 아니라
Linux용 Windows 하위 시스템 설명서라고?

번역이 다른건지 문화가 다른건지 그건 중요한게 아니고
윈도우에서 cygwin도 아니고 버추얼박스도 아닌데 리눅스 명령어를 그것도 우분투를 사용할 수 있다고?
이런 말도 안되는 일이 이미 꽤 예전부터 사용되고 있었는데
저는 이번달에 되서야 알았고..

별도 서버를 접속해야 테스트를 할 수 있었던걸..
이젠 손쉽게 할 수 있게 되었습니다.

윈도우10에서 ubuntu에 접속했습니다! (아... 전 이 화면을 좋아합니다.)

역시 Dell 사용자로 정품 윈도우를 사용하니 좋은 날이 있군요
모 어둠의 경로로 해서 사용해도 가능은 할거 같은데..

WSL도 WSL1과 2로 나눠지는거 같은데...
일단 우분투 설치도 간편하게 잘 했고
이것저것 설치 또한 간편하게 다운받아서 했고
전혀 시스템에 별도로 오버헤드 걸리는것 없이 자연스럽게 작업을 하고 있습니다.

다만 일정 작업을 하면 자원을 완벽히 공유하고 있어서
순간 빡센 작업을 시키면 서류작업같은거 전혀 안되는게 단점입니다. ㅎㅎ


그래서 조만간 지난번에 진행하지 못했던 qiime2 설치편을 이어서....

출처: @sana_twice.09

clustalw 설치

clustalw를 설치하기 위해서는 일단
다운로드를 받아야 하겠죠?


소스파일 clustalw2
프리컴파일 파일 clustalw2-libcppstatic

프리컴파일된 파일을 다운받아서 사용해도 되고
소스 파일을 다운받아서 설치하셔도 됩니다.

$tar zxf clustalw-2.1.tar.gz
$cd clustalw-2.1
$./configure --prefix=/install/path/clustalw-2.1/
$make install

그냥 이렇게 하시면 clustalw가 설치되고 잘 사용하시면되겠습니다. :)

getopts.pl 이 없다면!!!

perl script를 실행시킬때 Can't locate getopts.pl 이라는 에러가 났을때

당신의 OS가 우분투라면?

apt-get install libperl4-corelibs-perl

로 해결가능합니다. orz

Ubuntu에서 cummeRbund 설치시 주의 사항

Ubuntu에서 RNAseq 분석 후 비주얼라이제이션 관련해서
(저는 사용하고 있습니다. ㅋ) 사용하고 있으신
cummeRbund 패키지를 설치하실라 치면 XML 에러가 생기는 것을 확인 하실 수 있습니다.

XML관련 라이브러리가 Ubuntu에 없어서 그렇다고 하네요.. ㅎㅎ

Ubuntu 10대에서 사용하던 방법인데 13에서도 먹힘니다. :)

참고 사이트 R-help

또한 XML과 함께 RCurl설치시 에러가 생기는 경우도 비슷합니다. :)
다음과 같이 라이브러리를 설치하시면 아름다운 설치 결과를 보실  수 있으십니다. ㅎㅎ

> sudo apt-get install libxml2-dev

> sudo apt-get install libcurl4-openssl-dev

잠시 헤매고 있었는데...
구글에 검색하니.... 해결 방법이 뙁~!!!