Last Update 2026/02/12
低スペック寄りのPCでローカルLLMを動作させた際の記録です。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。
検証用PC
|
OS |
Debian GNU/Linux 12 (bookworm) |
|
CPU |
Intel(R) Core(TM) i5-14400F |
|
GPU |
GeForce RTX 3060 12GB |
|
メモリ |
DDR4 PC4-25600 32GB × 4 |
|
SSD |
crucial P310 CT1000P310SSD8-JP |
構築環境 : Docker + Ollama (特別な設定などは無い状態)
検証用プロンプト
おすすめの日本の絶景を教えてください。東西南北、10箇所程度。
Gemma 3 (it-fp16) [日本語プロンプト]
GPU無し GPU使用・TPS(tokens/s) は eval_count / eval_duration により算出
・モデルロード済みの検証は省略
gemma3:1b-it-fp16(GPU無し)
Model
architecture gemma3
parameters 999.89M
context length 32768
embedding length 1152
quantization F16
2026-02-11
total_duration(合計時間) : 51349297050 (51.349s)
load_duration(モデルのロード時間) : 926182437 ( 0.926s)
prompt_eval_count(評価されたプロンプトのトークン数) : 26
prompt_eval_duration(プロンプトの評価時間) : 152806037 ( 0.153s)
eval_count(生成トークン数) : 876
eval_duration(生成時間) : 49641097976 (49.641s)
real 0m51.363s
user 0m0.032s
sys 0m0.004s
メモリ使用量(RSS) : 2749864 KB
gemma3:4b-it-fp16(GPU無し)
Model
architecture gemma3
parameters 4.3B
context length 131072
embedding length 2560
quantization F16
2026-02-11
total_duration(合計時間) : 178072407832 (178.072s)
load_duration(モデルのロード時間) : 2253915790 ( 2.254s)
prompt_eval_count(評価されたプロンプトのトークン数) : 26
prompt_eval_duration(プロンプトの評価時間) : 558525784 ( 0.559s)
eval_count(生成トークン数) : 875
eval_duration(生成時間) : 174606645801 (174.607s)
real 2m58.089s
user 0m0.047s
sys 0m0.025s
メモリ使用量(RSS) : 10184216 KB
gemma3:12b-it-fp16(GPU無し)
Model
architecture gemma3
parameters 12.2B
context length 131072
embedding length 3840
quantization F16
2026-02-11
total_duration(合計時間) : 390075695360 (390.076s)
load_duration(モデルのロード時間) : 4081556977 ( 4.082s)
prompt_eval_count(評価されたプロンプトのトークン数) : 26
prompt_eval_duration(プロンプトの評価時間) : 1787834138 ( 1.788s)
eval_count(生成トークン数) : 651
eval_duration(生成時間) : 383739586683 (383.740s)
real 6m30.095s
user 0m0.047s
sys 0m0.061s
メモリ使用量(RSS) : 26809680 KB
gemma3:27b-it-fp16(GPU無し)
Model
architecture gemma3
parameters 27.4B
context length 131072
embedding length 5376
quantization F16
2026-02-12
total_duration(合計時間) : 1099854448993 (1099.854s)
load_duration(モデルのロード時間) : 9436897601 ( 9.437s)
prompt_eval_count(評価されたプロンプトのトークン数) : 26
prompt_eval_duration(プロンプトの評価時間) : 6142334030 ( 6.142s)
eval_count(生成トークン数) : 791
eval_duration(生成時間) : 1083666065267 (1083.666s)
real 18m19.873s
user 0m0.108s
sys 0m0.082s
メモリ使用量(RSS) : 56965100 KB
gemma3:1b-it-fp16(GPU使用)
Model
architecture gemma3
parameters 999.89M
context length 32768
embedding length 1152
quantization F16
2026-02-11
total_duration(合計時間) : 7440628853 (7.441s)
load_duration(モデルのロード時間) : 1151719134 (1.152s)
prompt_eval_count(評価されたプロンプトのトークン数) : 26
prompt_eval_duration(プロンプトの評価時間) : 27916021 (0.028s)
eval_count(生成トークン数) : 696
eval_duration(生成時間) : 5934454376 (5.934s)
real 0m7.450s
user 0m0.023s
sys 0m0.009s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 0% 52C P2 144W / 170W | 2486MiB / 12288MiB | 92% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1242 G /usr/lib/xorg/Xorg 117MiB |
| 0 N/A N/A 1908 G xfwm4 2MiB |
| 0 N/A N/A 2437 G /usr/bin/x-www-browser 149MiB |
| 0 N/A N/A 84810 C /usr/bin/ollama 2204MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 1187592 KB
gemma3:4b-it-fp16(GPU使用)
Model
architecture gemma3
parameters 4.3B
context length 131072
embedding length 2560
quantization F16
2026-02-11
total_duration(合計時間) : 26477591183 (26.478s)
load_duration(モデルのロード時間) : 2134228845 ( 2.134s)
prompt_eval_count(評価されたプロンプトのトークン数) : 26
prompt_eval_duration(プロンプトの評価時間) : 43332965 ( 0.043s)
eval_count(生成トークン数) : 867
eval_duration(生成時間) : 23897756093 (23.898s)
real 0m26.496s
user 0m0.042s
sys 0m0.010s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 0% 62C P2 153W / 170W | 9166MiB / 12288MiB | 98% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1242 G /usr/lib/xorg/Xorg 117MiB |
| 0 N/A N/A 1908 G xfwm4 2MiB |
| 0 N/A N/A 2437 G /usr/bin/x-www-browser 149MiB |
| 0 N/A N/A 84893 C /usr/bin/ollama 8884MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 1975540 KB
gemma3:12b-it-fp16(GPU使用)
Model
architecture gemma3
parameters 12.2B
context length 131072
embedding length 3840
quantization F16
2026-02-11
total_duration(合計時間) : 259845609893 (259.846s)
load_duration(モデルのロード時間) : 4126837596 ( 4.127s)
prompt_eval_count(評価されたプロンプトのトークン数) : 26
prompt_eval_duration(プロンプトの評価時間) : 1015931299 ( 1.016s)
eval_count(生成トークン数) : 711
eval_duration(生成時間) : 254207017786 (254.207s)
real 4m19.864s
user 0m0.051s
sys 0m0.035s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 33% 50C P2 53W / 170W | 11378MiB / 12288MiB | 7% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1242 G /usr/lib/xorg/Xorg 117MiB |
| 0 N/A N/A 1908 G xfwm4 2MiB |
| 0 N/A N/A 2437 G /usr/bin/x-www-browser 149MiB |
| 0 N/A N/A 84981 C /usr/bin/ollama 11096MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 16382296 KB
gemma3:27b-it-fp16(GPU使用)
Model
architecture gemma3
parameters 27.4B
context length 131072
embedding length 5376
quantization F16
2026-02-12
total_duration(合計時間) : 1665410567853 (1665.411s)
load_duration(モデルのロード時間) : 8031114030 ( 8.031s)
prompt_eval_count(評価されたプロンプトのトークン数) : 26
prompt_eval_duration(プロンプトの評価時間) : 3410048074 ( 3.410s)
eval_count(生成トークン数) : 1574
eval_duration(生成時間) : 1652955635685 (1652.956s)
real 27m45.423s
user 0m0.112s
sys 0m0.160s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 33% 44C P2 49W / 170W | 11304MiB / 12288MiB | 0% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1259 G /usr/lib/xorg/Xorg 117MiB |
| 0 N/A N/A 1930 G xfwm4 2MiB |
| 0 N/A N/A 2344 G /usr/bin/x-www-browser 141MiB |
| 0 N/A N/A 12292 C /usr/bin/ollama 11030MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 47342976 KB