로컬PC에서 LLM모델을 구동시켜보자. (Openwork를 사용해보자, 수정)

이전 글에 이어서 계속 진행해보도록 하겠습니다. 계속 연결되는 내용이지만 OS를 Ubuntu 25.10 (LTS아님) 로 변경해서 진행했습니다. :)

 

우선 이전 글에서 진행 하지 않은 것이 있어서... 일을 시키려면 뇌에 해당하는 모델을 가져와야죠

ollama 모델 다운로드

ollama가 문제 없이 설치되었다면 모델들을 아래와 같이 땡겨 올 수 있습니다.

$ ollama pull llama3.2:1b

$ ollama pull qwen3.5:0.8b

$ ollama pull qwen2.5-coder:0.5b

$ ollama pull opencoder:1.5b

아니.. 파라미터가 1b 이게 무엇이냐 하신다면, 이거는 사실 그냥 연결되서 작동하는지에 대해서 테스트 해보는 것이라서 굳이 불필요하게 큰 모델들을 다운로드해서 테스트 하지 않고자 작은것들만 고른 겁니다. :)

방화벽해제

# su -

# ufw allow 3000

# ufw allow 5173 

# ufw allow 4096

# ufw allow 11434 

일단 눈에 보였던 포트들을 미리미리 허용해놓는 것이라서 이것보다 더 많을 수도 있습니다. :)

근데 방화벽 허용도 굳이 안해도 되지 않을까 합니다. 허용안한 35071 포트로 접근이 그냥 됩니다. 

Opencode 설정

Opencode 설치 후 그냥 알아서 ollama와 연동되서 모델을 사용할 줄 알았는데...

LLM이 무엇이든 대답해주고 AI 개인 비서를 두는 시대에도 설정 파일이 필요하다는 것을 망각했네요.. 아무리 시간이 흘러도 첫 셋팅할 때는 환경 설정이 중요합니다.

일반계정에서 설치 했다면 ~/.opencode/opencode.json 경로에 opencode.json파일이 있을 수 도 없을 수도 있습니다. 있다면 아래와 같이 수정을, 없다면 생성해서 아래와 같이 내용을 적어주세요 :)

{
  "$schema": "https://opencode.ai/config.json",
  "provider": {
    "ollama": {
      "name": "Ollama (local)",
      "options": {
        "baseURL": "http://localhost:11434/v1"
        },
      "models": {
        "qwen3.5:0.8b": {
        "name": "Qwen 3.5 0.8B"
        },
        "opencoder:1.5b": {
        "name": "OpenCoder 1.5B"
        }
      }
    }
  }
}

Opencode 실행(응 필요없음)

Openwork는 Opencode가 있어야 하기 때문에 Opencode가 뒷단에서 돌아가주고 있어야한다고 하네요. 일단 아래와 같이 실행시켜 주었는데...

$ opencode --hostname 0.0.0.0 web

※ 음... 그래도 어제보다는 무엇인가 한걸음 나아간것 같습니다.

결국엔 opencode를 뒷단에서 굳이 따로 실행시켜 주지 않아도 되는듯 합니다. :)

Openwork 설치

드디어 설치 Openwork를 설치합니다. npm으로 pnpm과 bun을 설치해주고 아래와 같이 진행해주면 일단 원격에서 접속은 되더라구요

※ 아.. 큰 수정사항이 있습니다. rust설치와 cargo 실행을 굳이 관리자 계정으로 할... 필요가 없었습니다... 

# npm install -g pnpm

# npm install -g bun

$ curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

$ source $HOME/.cargo/env

$ cargo install tauri-cli

/*cargo install tauri-cli 명령어 수행시 timeout으로 설치 실패가 된다면 다시 시도 해주면 다시 설치 진행합니다. */

$ git clone https://github.com/different-ai/openwork.git

$ cd openwork

$ pnpm install

$ pnpm approve-builds

$ pnpm dev //터미널1

※ 현재 여기서 "Exit status 101" 라고 에러가 발생하고 죽어버려서 해결중에 있습니다.

$ pnpm dev:ui --host 0.0.0.0 -d //터미널2

$ pnpm dev:headless-web --host 0.0.0.0 -d 

위와 같이 터미널1에서는 dev를 터미널2에서는 dev:ui 실행시켜 주면 원격에 있는 윈도우 PC에서 브라우저로 Openwork에 접속 하는 것을 보실 수 있습니다.

근데 브라우저로 접근은 되는데;;;;

거기까지가 끝입니다. remote worker를 연결하려고 하는데... 이게 안되더라구요

→ pnpm dev:ui는 UI관련된 업무를 하는 것이었다면, pnpm dev가 실제 일하는 worker를 구동하게 하는 것이라고 합니다.

작업하면서 놓친 부분이 있을 것 같아서 다시 더 검색해보고 진행해보고 다시 글을 작성해보도록 하겠습니다.

추가적으로 한 작업으로는 

# apt install libgdk-pixbuf-xlib-2.0-dev

# apt install ubuntu-desktop

해서 GUI로 접근할 수 있도록 설치 했습니다. pnpm dev의 에러가 화면과 관련된 내용들이어서 이전 작업들과 차이점은... GUI 관련 툴들을 모두 설치했다는 것 되겠습니다. 

그래서 GUI로 로그인해서 pnpm dev를 실행시키면 화면에 창이 하나 뜨면서 바로 Openwork가 실행되는.. 좀 맥이 빠지는 상황이...

그래서 pnpm 실행 모드를 perplexity에게 물어보니 dev:headless-web 실행시켜보라고 하더라구요. 그래서 일단 GUI 상태에서 

$ pnpm dev:headless-web --host 0.0.0.0 -d

수행하고 원격에서 접근하니 dev:ui와 같이 브라우저에서 잘 작동하였습니다.

기존 dev:ui와 다른 점은 GUI에서 실행한 터미널 창에 TOKEN정보를 보여주는것이 차이점인지라 원격 연결 할 때 IP:PORT와 함께 TOKEN 정보를 함께 입력하니 활성화되는것을 확인하였습니다.

그리고 opencode 서버를 작동시키지 않았는데 알아서 잘 연결합니다;;

내일 다시 한번 확인을 해보고 좀 더 추가 내용을 작성하도록 하겠습니다. :)

안되면 최근에 나온 오픈자비스를 돌려보던지..... 아니면 다른 claw를 사용해보던지.. 해봐야죠 :)

출처: @ye._.vely618

로컬PC에서 LLM모델을 구동시켜보자. (OpenCode까지, 수정)

우분투가 설치된 로컬PC에서 여러 LLM들을 돌려보고자 OpenCode/OpenWork 설치를 시도하고 있는 것을 공유차 올려봅니다. :)

우선 현재 테스트 한 머신은 Intel i5, 16G 메모리(DDR3), 500G HDD, Intel 내장형 그래픽카드를 사용하는 PC되겠습니다!! 

지금은 Ubuntu 22.04.5 LTS를 기본 OS로 해서 OpenCode/OpenWork를 설치 테스트를 했는데

OpenCode까지는 큰 무리없이 설치가 마무리되었는데 OpenWork를 설치하는데 계속 에러가 빈번하게 발생해서 우선 지금까지 경험한 내용을 공유하도록 하겠습니다. 

1. Ubuntu 설치

Ubuntu 홈페이지가서 iso 파일을 다운로드 받아, 집에서 굴러다니는 USB 하나에 부팅/설치 USB로 만들어서 공 기계에 설치를 해주시면됩니다. 
(현재 저는 Ubuntu 22.04.5 LTS로 진행했는데, Ubuntu 24.04.4 LTS로 변경해서 진행할 예정입니다. )

2. 기본 설정 (root 권한)

Ubuntu를 다 설치 했다면 이것저것 설치할 때 관리자 권한을 요구하기도 하고 걍 root로 대부분 설치하게되더라구요;; 그래서 root 권환 확보가 필요합니다.

$ sudo passwd root

그러면 패스워드 입력하라고 하는 프롬프트가 나오는데 그냥 적어주시면 됩니다.

$ su -

# apt update
# apt upgrade

그리고 추가적으로 필요한 패키지나 tool들을 설치해야합니다.
※ 보통 이미 설치되어 있는 tool들도 있는데 혹시나해서 넣어놨습니다.

# apt install ufw git curl bzip2 wget cmake build-essential unzip libssl-dev libffi-dev pigz

gcc-10 g++-10 gcc g++ file plocate libgtk-3-dev libayatana-appindicator3-dev librsvg2-dev libjavascriptcoregtk-4.1-0 libsoup-3.0-0 libsoup-3.0-common libwebkit2gtk-4.1-0 libwebkit2gtk-4.1-dev nodejs npm

다 설치 후 원격 접속을 위한 ssh 접근 허용을 위해서 이렇게 포트를 열어줍니다.

# ufw allow ssh

나중에 더 필요하면 포트를 열면 됩니다. 포트 8080을 사용하고자 한다면 

# ufw allow 8080

3. Ollama 설치
Ollama 설치를 일반 계정으로 진행해보려고 했는데 sudo를 물어봐서 걍 관리자 권한인 root 계정으로 들어가서 했으니 참고 부탁드립니다.

# curl -fsSL https://ollama.com/install.sh | sh

이렇게 install.sh 실행시켜 주면 ollama serve 서비스 등록까지 되어서 이미 실행되고 있을 겁니다.
사실 할게 딱히 없습니다.

설치는 관리자 계정으로 진행했지만 파일 다운로드 받거나 하는 것은 일반 계정으로 진행해도 상관없습니다.

$ ollama list

ollama 모델을 로딩 할 때 run으로 하면 되는데 그전에 로컬에 다운로드 받아 놓고 사용하면 좋을 것 같아서 로컬 저장소로 모델을 pull 해놓습니다. :)

$ ollama pull <model name>

4. Opencode 설치

오픈코드도 설치는 문제가 없습니다. su를 이용해서 관리자 권한으로 들어가서 설치 스크립트를 수행하면 설치 완료!! 

# curl -fsSL https://opencode.ai/install | bash

아.. 정정사항이 있습니다. Opencode 설치시 관리자 계정이 아닌 일반 계정에서도 문제없이 설치 됩니다. :)

$ curl -fsSL https://opencode.ai/install | bash

$ source ~/.bashrc

로 명령어를 실행시켜 주시면 설치되고 사용할 수 있습니다. :)

이제 이 다음부터가 문제입니다. Orz

커밍 쑨...

출처: @ye._.vely618