ollama를 실행시키는데...

최근에 openclaw, zeroclaw 테스트하면서 gemini나 anthropic과 같은 유료 API를 사용하지 않고 놀고 있는 데탑에다가 리눅스 설치해서 ollama 서비스를 올려서 테스트 하고 있습니다.

근데 GPU가 없다보니 사용할 수 있는 모델들에 한계가 있는데 파라미터개수가 1B이나 3B수준의 모델들만 다운받아 테스트하는데 핸드폰과 데스크탑의 답변 속도가 크게 차이가 없는 것 같더라구요

데스크탑의 사양이 좋은것은 아니지만 그래도 핸드폰 보다는 더 빨리 답변을 줘야하는것 아닌가하는데... 

그래서 사용하는 공기계와 데스크탑의 사양을 확인해봤는데... 메모리크기 제외하고는 공기계 사양이 더 좋은것 같더라구요 ㅎㅎ 

물론 리눅스 서버로 사용하는 VOSTRO를 구매한지가 이미 10년을 넘었으니... 당연한거 같기도합니다. ㅎㅎ 

결국에 메모리 크기만 공기계가 더 컸다면... 공기계를 루팅해서 사용하는게 더 좋은 선택지라는... 어쩔;; 

간만에 사양의 중요함을 다시 느끼네요 ㅎㅎ 

즐거운 주말 보내시기 바랍니다. :)

출처: @ye._.vely618

이번에는 Zeroclaw다!!

지난번 안드로이드 공기계에서 Openclaw를 설치하다가 실패해서 이번에는 Zeroclaw를 설치해보도록 하겠습니다.

일단 이것저것 많이 사용해보는 것으로...

여기가 공식 홈페이지입니다

그리고 여기는 빠른 시작 페이지 되겠습니다.

Zeroclaw 설치

설치는 그렇게 어렵지 않습니다. (물론 이전에 Openwork에서 삽질을 하도 해서 그런 것일 수 도)

여기 설치 페이지에 가서 보면 간단합니다.

전 그 중에서 zeroclaw를 git clone해서 bootstrap하는 방법(원클릭 부트스트랩)으로 진행했습니다.

Zeroclaw 설치

그전에 Ubuntu 사용자인경우 사전 설치 해주면 좋을 것을 먼저 설치해주면 되겠습니다.

# Linux (Debian/Ubuntu)

# apt install build-essential pkg-config

# Rust toolchain

$ curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

그리고 추가적으로 시스템 의존성과 rust를 함께 해결하고자 아래와 같이 추가적인 옵션인 --install-system-deps --install-rust을 함께 실행하였습니다. 이미 위에서 rust를 설치하였으나 혹시 몰라서 다시 한번 더 옵션을 넣었습니다.

$ git clone https://github.com/zeroclaw-labs/zeroclaw.git

$ cd zeroclaw

$ ./install.sh --install-system-deps --install-rust

※ 다만 일반 계정에서 ./install.sh를 실행하였으나 스스로 필요한 것들을 설치하기 위해서 관리자 비밀번호를 요구하니 sudo 설정 하시고 진행하시기 바랍니다. 

Zeroclaw 실행 및 환경설정

Zeroclaw에서도 앞선 Openwork처럼 환경설정이 필요합니다. 

환경설정 파일은 홈 폴더의 숨김 폴더안에 생성됩니다. 

$ ls ~/.zeroclaw/config.toml

음... 어쩌면 아직 config.toml 파일이 없을 수 도 있습니다. 만약 없다면, 우선 Zeroclaw를 한번 실행시켜 주십쇼

$ zeroclaw gateway

그런 후 다시 종료 시키면 환경설정 파일 안에 이런 저런 파라미터 값들이 추가되어 있습니다.

지금이 환경설정을 수정해줘야하는 시간입니다. :)

저의 경우 provider는 ollama, model은 llama3.2:3b을 사용하고, 원격 윈도우에서 웹으로 접근하려고 하기 때문에 아래와 같이 수정하였습니다.

$ vi ~/.zeroclaw/config.toml

api_url = "http://localhost:11434"
default_provider = "ollama"
default_model = "llama3.2:3b"

[gateway]
port = 3000
host = "0.0.0.0"
require_pairing = true
allow_public_bind = true

6 digi code를 입력해서 원격 PC에서 브라우저를 통해서 Zeroclaw를 실행하였으나... 문제는 제대로 모델과 통신이 안되더라구요.

저는 처음에

$ zeroclaw onboard 

로 시작하지 않고,

$ zeroclaw gateway

로 시작했는데, 이렇게 시작하면서 ollama 모델과 제대로 통신을 못하는 것인지 아직 해결은 못했습니다.

중간에 onboard를 실행시키니 기존 config.toml을 모두 overwite해서 기존 환경설정이 어그러져있더라구요.

ollama는 정상적으로 작동하는 것 처럼 보이는데 zeroclaw의 환경설정에서 제가 무엇인가 제대로 설정을 못잡아 준 것 같습니다. :)

다시 Zeroclaw와 함께 Openclaw, Openjarvis도 한번 설치해서 연동까지만 진행하는 기록들을 작성해보도록 하겠습니다. :)

출처: @ye._.vely618

로컬PC에서 LLM모델을 구동시켜보자. (OpenCode까지, 수정)

우분투가 설치된 로컬PC에서 여러 LLM들을 돌려보고자 OpenCode/OpenWork 설치를 시도하고 있는 것을 공유차 올려봅니다. :)

우선 현재 테스트 한 머신은 Intel i5, 16G 메모리(DDR3), 500G HDD, Intel 내장형 그래픽카드를 사용하는 PC되겠습니다!! 

지금은 Ubuntu 22.04.5 LTS를 기본 OS로 해서 OpenCode/OpenWork를 설치 테스트를 했는데

OpenCode까지는 큰 무리없이 설치가 마무리되었는데 OpenWork를 설치하는데 계속 에러가 빈번하게 발생해서 우선 지금까지 경험한 내용을 공유하도록 하겠습니다. 

1. Ubuntu 설치

Ubuntu 홈페이지가서 iso 파일을 다운로드 받아, 집에서 굴러다니는 USB 하나에 부팅/설치 USB로 만들어서 공 기계에 설치를 해주시면됩니다. 
(현재 저는 Ubuntu 22.04.5 LTS로 진행했는데, Ubuntu 24.04.4 LTS로 변경해서 진행할 예정입니다. )

2. 기본 설정 (root 권한)

Ubuntu를 다 설치 했다면 이것저것 설치할 때 관리자 권한을 요구하기도 하고 걍 root로 대부분 설치하게되더라구요;; 그래서 root 권환 확보가 필요합니다.

$ sudo passwd root

그러면 패스워드 입력하라고 하는 프롬프트가 나오는데 그냥 적어주시면 됩니다.

$ su -

# apt update
# apt upgrade

그리고 추가적으로 필요한 패키지나 tool들을 설치해야합니다.
※ 보통 이미 설치되어 있는 tool들도 있는데 혹시나해서 넣어놨습니다.

# apt install ufw git curl bzip2 wget cmake build-essential unzip libssl-dev libffi-dev pigz

gcc-10 g++-10 gcc g++ file plocate libgtk-3-dev libayatana-appindicator3-dev librsvg2-dev libjavascriptcoregtk-4.1-0 libsoup-3.0-0 libsoup-3.0-common libwebkit2gtk-4.1-0 libwebkit2gtk-4.1-dev nodejs npm

다 설치 후 원격 접속을 위한 ssh 접근 허용을 위해서 이렇게 포트를 열어줍니다.

# ufw allow ssh

나중에 더 필요하면 포트를 열면 됩니다. 포트 8080을 사용하고자 한다면 

# ufw allow 8080

3. Ollama 설치
Ollama 설치를 일반 계정으로 진행해보려고 했는데 sudo를 물어봐서 걍 관리자 권한인 root 계정으로 들어가서 했으니 참고 부탁드립니다.

# curl -fsSL https://ollama.com/install.sh | sh

이렇게 install.sh 실행시켜 주면 ollama serve 서비스 등록까지 되어서 이미 실행되고 있을 겁니다.
사실 할게 딱히 없습니다.

설치는 관리자 계정으로 진행했지만 파일 다운로드 받거나 하는 것은 일반 계정으로 진행해도 상관없습니다.

$ ollama list

ollama 모델을 로딩 할 때 run으로 하면 되는데 그전에 로컬에 다운로드 받아 놓고 사용하면 좋을 것 같아서 로컬 저장소로 모델을 pull 해놓습니다. :)

$ ollama pull <model name>

4. Opencode 설치

오픈코드도 설치는 문제가 없습니다. su를 이용해서 관리자 권한으로 들어가서 설치 스크립트를 수행하면 설치 완료!! 

# curl -fsSL https://opencode.ai/install | bash

아.. 정정사항이 있습니다. Opencode 설치시 관리자 계정이 아닌 일반 계정에서도 문제없이 설치 됩니다. :)

$ curl -fsSL https://opencode.ai/install | bash

$ source ~/.bashrc

로 명령어를 실행시켜 주시면 설치되고 사용할 수 있습니다. :)

이제 이 다음부터가 문제입니다. Orz

커밍 쑨...

출처: @ye._.vely618

안드로이드 공기계에 ollama 설치해보기

작년에 핸드폰을 교체하고 공기계 하나가 굴러다녀서 놀리느니 로컬에서 모델을 설치해서 사용해보고자 공기계에 ollama 설치기를 정리해봤습니다.

#준비물

- 공기계 (Jump2, 엑시노스1280, 메모리는 6GB)

자 그럼 설치를 해보도록 하겠습니다.

- 몇번을 재설치 하면서 그나마 괜찮은 방법으로 정리해봤습니다. 그리고 공기계에서 직접 타이핑하면서 설치 진행한 것입니다. :)

1. F-Droid 설치

Termux라는 에뮬레이터를 Google 스토어 통해서 설치했는데, 몇번 재설치를 하면서 F-Droid라는 설치 플랫폼을 사용해서 하는 것이 현재까지 괜찮아보입니다. 

링크 f-droid 

   

첫번째 이미지가 f-droid를 실행시켰을 때 화면이고, 두번째 이미지가 termux를 검색하였을 때 나오는 화면입니다.

2. Termux 설치

F-Droid를 실행해서 termux 검색해서 클릭하면 자동으로 설치

다만, 구글 스토어를 통해서 설치되는 것이 아니라 "보안 및 개인정보 보호" 메뉴에서 "보안 위험 자동 차단" 기능과 권한 설정을 해제해줘야 합니다.

Termux가 설치되면 아이콘이 화면에 보일것이고 터치하면 잘 실행이 됩니다. 

$ pkg update

$ pkg upgrade

$ termux-setup-storage

위와 같이 명령어를 실행시켜주고, proot-distro를 설치해서 조금 더 작업을 쉽도록 합니다.

$ pkg install proot-distro

$ proot-distro install ubuntu

$ proot-distro login ubuntu

proot-distro에서 ubuntu 설치 시 버전을 설정 할 수 있는 방법을 좀 찾아봤는데 일단 보이지 않는것 같아보입니다.

   

첫번째 화면은 Termux를 실행시킨 화면, 두번째는 proot-distro install ubuntu까지 실행시켜서 ubuntu가 설치된 화면됩니다.

아래 단계는 proot-distro login ubuntu를 실행해서 들어간 환경 안에서 진행되는 단계입니다.

3. Ollama 설치 (Inside ubuntu)

$ apt update

$ apt upgrade 

$ apt install curl wget git cmake python3-venv python3-pip

$ curl -fsSL https://ollama.com/install.sh | sh

$ ollama serve & 

또는 

$ ollama serve (하고 새 termux 세션열기)

$ ollama pull llama3.2:1b
   pull은 네트워크가 안정적으로 연결되지 않을 때 장치에 모델을 미리 다운로드하여 원활하게 작동하도록 모델을 다운로드 하는 명령어)

$ ollama run llama3.2:1b

음.. 테스트한 공기계인 Jump2에서는 파라미터가 1b이하의 파라미터만 문제없이 구동 됩니다. :)

4. 그외

 - open-webui 설치 일단 실패
open-webui 설치는 현재 시도 중인데, 잘 안될것 같습니다. open-webui는 python3.11기준으로 설치하라고 하는데 termux에서 사용하는 proot-distro의 ubuntu는 기본이 python3.13 으로 설치되서 쉽지않더라구요 repository 추가해서 설치해보려고 했는데 생각보다 잘 안되서 우선 잠깐 쉬었다가 다시 시도해 볼 예정입니다.

 - openclaw 설치 일단 실패
openclaw이 하도 핫해서 공기계에 한번 설치해볼까? 했는데 역시나 일단 무리인걸로.. 설치에 적합한 버전, 라이브러리들을 좀 더 찾아서 공부를 좀 해봐야할 것 같네요 :)

어떻게 따라하면 설치는 되는데... 결국 마지막에 Error가 발생해서 더 이상 진행이 되지 않습니다. 

그리고 공기계를 직접 루팅해서 권한을 모두 가져온 상태가 아니다보니 네트워크 관련해서 한계가 있었습니다. 같은 네트워크에서 다른 장치로 IP로 접근하도록 설정을 풀어줄수가 없더라구요...

다음에는 조금 더 유익한 내용으로 찾아뵙도록 하겠습니다. :)

  

출처: @ye._.vely618