Last Update 2026/02/24
低スペック寄りのPCでローカルLLMを動作させた際の記録です。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。
検証用PC
|
OS |
Debian GNU/Linux 12 (bookworm) |
|
CPU |
Intel(R) Core(TM) i5-14400F |
|
GPU |
GeForce RTX 3060 12GB |
|
メモリ |
DDR4 PC4-25600 32GB × 4 |
|
SSD |
crucial P310 CT1000P310SSD8-JP |
構築環境 : Docker + Ollama (特別な設定などは無い状態)
検証用プロンプト[英語]
Could you please recommend some great places in the US to see beautiful scenery? Around 10 places in all four directions.
検証用プロンプト[日本語]
おすすめの日本の絶景を教えてください。東西南北、10箇所程度、日本語で。
gpt-oss
GPU無し[英語]
20b-MXFP4(10.4TPS)
120b-MXFP4(7.36TPS)
GPU無し[日本語]
20b-MXFP4(10.3TPS)
120b-MXFP4(7.42TPS)
GPU使用[英語]
20b-MXFP4(24.0TPS)
120b-MXFP4(8.34TPS)
GPU使用[日本語]
20b-MXFP4(26.1TPS)
120b-MXFP4(8.30TPS)
・TPS(tokens/s) は eval_count / eval_duration により算出
・モデルロード済みの検証は省略
gpt-oss:20b(GPU無し)[英語]
Model
architecture gptoss
parameters 20.9B
context length 131072
embedding length 2880
quantization MXFP4
2026-02-23
total_duration(合計時間) : 118678479822 (118.678s)
load_duration(モデルのロード時間) : 2165907707 ( 2.166s)
prompt_eval_count(評価されたプロンプトのトークン数) : 91
prompt_eval_duration(プロンプトの評価時間) : 2222617331 ( 2.226s)
eval_count(生成トークン数) : 1178
eval_duration(生成時間) : 113749275283 (113.749s)
real 1m58.697s
user 0m0.048s
sys 0m0.014s
メモリ使用量(RSS) : 13859668 KB
gpt-oss:120b(GPU無し)[英語]
Model
architecture gptoss
parameters 116.8B
context length 131072
embedding length 2880
quantization MXFP4
2026-02-23
total_duration(合計時間) : 337762645442 (337.763s)
load_duration(モデルのロード時間) : 17469885460 ( 17.470s)
prompt_eval_count(評価されたプロンプトのトークン数) : 91
prompt_eval_duration(プロンプトの評価時間) : 3257196874 ( 3.257)
eval_count(生成トークン数) : 2325
eval_duration(生成時間) : 316040507599 (316.041s)
real 5m37.815s
user 0m0.055s
sys 0m0.040s
メモリ使用量(RSS) : 64344328 KB
gpt-oss:20b(GPU無し)[日本語]
Model
architecture gptoss
parameters 20.9B
context length 131072
embedding length 2880
quantization MXFP4
2026-02-23
total_duration(合計時間) : 163923398388 (163.923s)
load_duration(モデルのロード時間) : 2187637165 ( 2.188s)
prompt_eval_count(評価されたプロンプトのトークン数) : 92
prompt_eval_duration(プロンプトの評価時間) : 2065592695 ( 2.066s)
eval_count(生成トークン数) : 1635
eval_duration(生成時間) : 158931620201 (158.932s)
real 2m43.944s
user 0m0.069s
sys 0m0.007s
メモリ使用量(RSS) : 13858468 KB
gpt-oss:120b(GPU無し)[日本語]
Model
architecture gptoss
parameters 116.8B
context length 131072
embedding length 2880
quantization MXFP4
2026-02-23
total_duration(合計時間) : 173465055748 (173.465s)
load_duration(モデルのロード時間) : 22841592887 ( 22.842s)
prompt_eval_count(評価されたプロンプトのトークン数) : 92
prompt_eval_duration(プロンプトの評価時間) : 5162302366 ( 5.162)
eval_count(生成トークン数) : 1076
eval_duration(生成時間) : 145037174968 (145.037s)
real 2m53.495s
user 0m0.036s
sys 0m0.035s
メモリ使用量(RSS) : 63864060 KB
gpt-oss:20b(GPU使用)[英語]
Model
architecture gptoss
parameters 20.9B
context length 131072
embedding length 2880
quantization MXFP4
2026-02-23
total_duration(合計時間) : 53342633022 (53.343s)
load_duration(モデルのロード時間) : 5964520199 ( 5.965s)
prompt_eval_count(評価されたプロンプトのトークン数) : 91
prompt_eval_duration(プロンプトの評価時間) : 215852496 ( 0.216s)
eval_count(生成トークン数) : 1116
eval_duration(生成時間) : 46580367715 (46.580s)
real 0m53.362s
user 0m0.031s
sys 0m0.010s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 0% 50C P2 71W / 170W | 11491MiB / 12288MiB | 27% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1170 G /usr/lib/xorg/Xorg 114MiB |
| 0 N/A N/A 1928 G xfwm4 2MiB |
| 0 N/A N/A 2467 G /usr/bin/x-www-browser 259MiB |
| 0 N/A N/A 85610 C /usr/bin/ollama 11102MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 3515348 KB
gpt-oss:120b(GPU使用)[英語]
Model
architecture gptoss
parameters 116.8B
context length 131072
embedding length 2880
quantization MXFP4
2026-02-23
total_duration(合計時間) : 189174852364 (189.175s)
load_duration(モデルのロード時間) : 12808515639 ( 12.809s)
prompt_eval_count(評価されたプロンプトのトークン数) : 91
prompt_eval_duration(プロンプトの評価時間) : 3134763691 ( 3.135)
eval_count(生成トークン数) : 1441
eval_duration(生成時間) : 172722386705 (172.722s)
real 3m9.233s
user 0m0.048s
sys 0m0.025s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 0% 56C P2 48W / 170W | 11168MiB / 12288MiB | 6% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1170 G /usr/lib/xorg/Xorg 113MiB |
| 0 N/A N/A 1928 G xfwm4 2MiB |
| 0 N/A N/A 2467 G /usr/bin/x-www-browser 153MiB |
| 0 N/A N/A 96910 C /usr/bin/ollama 10886MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 54269028 KB
gpt-oss:20b(GPU使用)[日本語]
Model
architecture gptoss
parameters 20.9B
context length 131072
embedding length 2880
quantization MXFP4
2026-02-23
total_duration(合計時間) : 66458786901 (66.459s)
load_duration(モデルのロード時間) : 4455452116 ( 4.455s)
prompt_eval_count(評価されたプロンプトのトークン数) : 92
prompt_eval_duration(プロンプトの評価時間) : 150006400 ( 0.150s)
eval_count(生成トークン数) : 1594
eval_duration(生成時間) : 61134669440 (61.135s)
real 1m6.469s
user 0m0.036s
sys 0m0.000s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 32% 62C P2 77W / 170W | 11750MiB / 12288MiB | 25% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1170 G /usr/lib/xorg/Xorg 113MiB |
| 0 N/A N/A 1928 G xfwm4 2MiB |
| 0 N/A N/A 2467 G /usr/bin/x-www-browser 151MiB |
| 0 N/A N/A 111776 C /usr/bin/ollama 11470MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 3033912 KB
gpt-oss:120b(GPU使用)[日本語]
Model
architecture gptoss
parameters 116.8B
context length 131072
embedding length 2880
quantization MXFP4
2026-02-23
total_duration(合計時間) : 185650587336 (185.651s)
load_duration(モデルのロード時間) : 9995984954 ( 9.996s)
prompt_eval_count(評価されたプロンプトのトークン数) : 92
prompt_eval_duration(プロンプトの評価時間) : 3335902691 ( 3.335s)
eval_count(生成トークン数) : 1425
eval_duration(生成時間) : 171649528844 (171.650s)
real 3m5.658s
user 0m0.033s
sys 0m0.010s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 0% 45C P2 46W / 170W | 11166MiB / 12288MiB | 2% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1170 G /usr/lib/xorg/Xorg 113MiB |
| 0 N/A N/A 1928 G xfwm4 2MiB |
| 0 N/A N/A 2467 G /usr/bin/x-www-browser 151MiB |
| 0 N/A N/A 119880 C /usr/bin/ollama 10886MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 53987688 KB