Last Update 2026/02/28
低スペック寄りのPCでローカルLLMを動作させた際の記録です。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。
検証用PC
|
OS |
Debian GNU/Linux 12 (bookworm) |
|
CPU |
Intel(R) Core(TM) i5-14400F |
|
GPU |
GeForce RTX 3060 12GB |
|
メモリ |
DDR4 PC4-25600 32GB × 4 |
|
SSD |
crucial P310 CT1000P310SSD8-JP |
構築環境 : Docker + Ollama (特別な設定などは無い状態)
検証用プロンプト[英語]
Could you please recommend some great places in the US to see beautiful scenery? Around 10 places in all four directions.
検証用プロンプト[日本語]
おすすめの日本の絶景を教えてください。東西南北、10箇所程度、日本語で。
Qwen3
GPU無し[英語]
30b-a3b-instruct-2507-q4_K_M(17.7TPS)
GPU無し[日本語]
30b-a3b-instruct-2507-q4_K_M(16.8TPS)
GPU使用[英語]
30b-a3b-instruct-2507-q4_K_M(28.8TPS)
GPU使用[日本語]
30b-a3b-instruct-2507-q4_K_M(28.3TPS)
・TPS(tokens/s) は eval_count / eval_duration により算出
・モデルロード済みの検証は省略
qwen3:30b-a3b-instruct-2507-q4_K_M(GPU無し)[英語]
Model
architecture qwen3moe
parameters 30.5B
context length 262144
embedding length 2048
quantization Q4_K_M
2026-02-24
total_duration(合計時間) : 41479405742 (41.479s)
load_duration(モデルのロード時間) : 2279138249 ( 2.279s)
prompt_eval_count(評価されたプロンプトのトークン数) : 33
prompt_eval_duration(プロンプトの評価時間) : 548718378 ( 0.548s)
eval_count(生成トークン数) : 678
eval_duration(生成時間) : 38380236279 (38.380s)
real 0m41.491s
user 0m0.027s
sys 0m0.009s
メモリ使用量(RSS) : 18681372 KB
30b-a3b-instruct-2507-q4_K_M(GPU無し)[英語]
Model
architecture qwen3moe
parameters 30.5B
context length 262144
embedding length 2048
quantization Q4_K_M
2026-02-24
total_duration(合計時間) : 68290286692 (68.290s)
load_duration(モデルのロード時間) : 2283809650 ( 2.283s)
prompt_eval_count(評価されたプロンプトのトークン数) : 33
prompt_eval_duration(プロンプトの評価時間) : 571163706 ( 0.571s)
eval_count(生成トークン数) : 1095
eval_duration(生成時間) : 65146234325 (65.146s)
real 1m8.309s
user 0m0.043s
sys 0m0.017s
メモリ使用量(RSS) : 18703484 KB
qwen3:30b-a3b-instruct-2507-q4_K_M(GPU使用)[英語]
Model
architecture qwen3moe
parameters 30.5B
context length 262144
embedding length 2048
quantization Q4_K_M
2026-02-24
total_duration(合計時間) : 32880516711 (32.881s)
load_duration(モデルのロード時間) : 2608833985 ( 2.609s)
prompt_eval_count(評価されたプロンプトのトークン数) : 33
prompt_eval_duration(プロンプトの評価時間) : 413016370 ( 0.413s)
eval_count(生成トークン数) : 850
eval_duration(生成時間) : 29501697431 (29.502s)
real 0m32.891s
user 0m0.031s
sys 0m0.007s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 0% 38C P2 58W / 170W | 11491MiB / 12288MiB | 23% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1163 G /usr/lib/xorg/Xorg 112MiB |
| 0 N/A N/A 1905 G xfwm4 2MiB |
| 0 N/A N/A 2410 G /usr/bin/x-www-browser 213MiB |
| 0 N/A N/A 101324 C /usr/bin/ollama 11150MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 8214536 KB
30b-a3b-instruct-2507-q4_K_M(GPU使用)[日本語]
Model
architecture qwen3moe
parameters 30.5B
context length 262144
embedding length 2048
quantization Q4_K_M
2026-02-26
total_duration(合計時間) : 42898794865 (42.899s)
load_duration(モデルのロード時間) : 2513732879 ( 2.514s)
prompt_eval_count(評価されたプロンプトのトークン数) : 33
prompt_eval_duration(プロンプトの評価時間) : 410707571 ( 0.411s)
eval_count(生成トークン数) : 1123
eval_duration(生成時間) : 39690910637 (39.691s)
real 0m42.918s
user 0m0.045s
sys 0m0.010s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 0% 43C P2 59W / 170W | 11491MiB / 12288MiB | 18% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1163 G /usr/lib/xorg/Xorg 112MiB |
| 0 N/A N/A 1905 G xfwm4 2MiB |
| 0 N/A N/A 2410 G /usr/bin/x-www-browser 213MiB |
| 0 N/A N/A 109945 C /usr/bin/ollama 11150MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 8242892 KB