Last Update 2026/03/21
低スペック寄りのPCでローカルLLMを動作させた際の記録です。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。
検証用PC
|
OS |
Debian GNU/Linux 12 (bookworm) |
|
CPU |
Intel(R) Core(TM) i5-14400F |
|
GPU |
GeForce RTX 3060 12GB |
|
メモリ |
DDR4 PC4-25600 32GB × 4 |
|
SSD |
crucial P310 CT1000P310SSD8-JP |
構築環境 : Docker + Ollama (特別な設定などは無い状態)
検証用プロンプト[英語]
Could you please recommend some great places in the US to see beautiful scenery? Around 10 places in all four directions.
検証用プロンプト[日本語]
おすすめの日本の絶景を教えてください。東西南北、10箇所程度、日本語で。
Nemotron 3 Nano
GPU無し[英語]
30b-a3b-q4_K_M(14.3TPS)
GPU無し[日本語]
30b-a3b-q4_K_M(14.4TPS)
GPU使用[英語]
30b-a3b-q4_K_M(20.2TPS)
GPU使用[日本語]
30b-a3b-q4_K_M(20.4TPS)
・TPS(tokens/s) は eval_count / eval_duration により算出
・モデルロード済みの検証は省略
nemotron-3-nano:30b-a3b-q4_K_M(GPU無し)[英語]
Model
architecture nemotron_h_moe
parameters 31.6B
context length 1048576
embedding length 2688
quantization Q4_K_M
2026-03-01
total_duration(合計時間) : 141640290389 (141.640s)
load_duration(モデルのロード時間) : 8327878422 ( 8.328s)
prompt_eval_count(評価されたプロンプトのトークン数) : 41
prompt_eval_duration(プロンプトの評価時間) : 927355133 ( 0.927s)
eval_count(生成トークン数) : 1888
eval_duration(生成時間) : 131897072841 (131.897s)
real 2m21.659s
user 0m0.042s
sys 0m0.027s
メモリ使用量(RSS) : 25205076 KB
nemotron-3-nano:30b-a3b-q4_K_M(GPU無し)[日本語]
Model
architecture nemotron_h_moe
parameters 31.6B
context length 1048576
embedding length 2688
quantization Q4_K_M
2026-03-01
total_duration(合計時間) : 97491806144 (97.492s)
load_duration(モデルのロード時間) : 3313131226 ( 3.313s)
prompt_eval_count(評価されたプロンプトのトークン数) : 46
prompt_eval_duration(プロンプトの評価時間) : 988147767 ( 0.988s)
eval_count(生成トークン数) : 1336
eval_duration(生成時間) : 92810515289 (92.811s)
real 1m37.511s
user 0m0.037s
sys 0m0.027s
メモリ使用量(RSS) : 25184504 KB
-------------------------------------------------
【生成結果に関する検証】
・紹介ポイントは10箇所。東西南北も考慮(東・西 --- まとめで東西南北)
・言語混同が発生 「滝の流れが creating a curtain of water like a curtain of water」「sunset が大変美しい」
・地域・名称間違いが発生 (例)「俵山（たわらやま）渓谷 | 山形県・米沢市」「瀬戸内海の離島（苗字島・小豆島）」
・解説文中の間違い多数 (例)「標高2,799 mの日本一の山」「宮城県・仙台市 | 地下に広がるライトアップされた氷のアート」
・文章は違和感を感じないレベル(内容の評価を除く)
-------------------------------------------------
nemotron-3-nano:30b-a3b-q4_K_M(GPU使用)[英語]
Model
architecture nemotron_h_moe
parameters 31.6B
context length 1048576
embedding length 2688
quantization Q4_K_M
2026-03-01
total_duration(合計時間) : 132489135627 (132.489s)
load_duration(モデルのロード時間) : 3458320604 ( 3.458s)
prompt_eval_count(評価されたプロンプトのトークン数) : 41
prompt_eval_duration(プロンプトの評価時間) : 809750149 ( 0.810s)
eval_count(生成トークン数) : 2573
eval_duration(生成時間) : 127578838321 (127.579s)
real 2m12.509s
user 0m0.043s
sys 0m0.025s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 0% 47C P2 53W / 170W | 11583MiB / 12288MiB | 12% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1170 G /usr/lib/xorg/Xorg 118MiB |
| 0 N/A N/A 1912 G xfwm4 2MiB |
| 0 N/A N/A 2438 G /usr/bin/x-www-browser 243MiB |
| 0 N/A N/A 31906 C /usr/bin/ollama 11206MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 15196168 KB
nemotron-3-nano:30b-a3b-q4_K_M(GPU使用)[日本語]
Model
architecture nemotron_h_moe
parameters 31.6B
context length 1048576
embedding length 2688
quantization Q4_K_M
2026-03-01
total_duration(合計時間) : 59230709749 (59.231s)
load_duration(モデルのロード時間) : 3184784264 ( 3.185s)
prompt_eval_count(評価されたプロンプトのトークン数) : 46
prompt_eval_duration(プロンプトの評価時間) : 742630449 ( 0.743s)
eval_count(生成トークン数) : 1124
eval_duration(生成時間) : 55003424288 (55.003s)
real 0m59.250s
user 0m0.040s
sys 0m0.018s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 0% 51C P2 53W / 170W | 11581MiB / 12288MiB | 12% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1170 G /usr/lib/xorg/Xorg 118MiB |
| 0 N/A N/A 1912 G xfwm4 2MiB |
| 0 N/A N/A 2438 G /usr/bin/x-www-browser 243MiB |
| 0 N/A N/A 57888 C /usr/bin/ollama 11204MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 15157492 KB
-------------------------------------------------
【生成結果に関する検証】
・紹介ポイントは10箇所。東西南北も考慮
・言語混同が発生 「作り出す unique な景色」
・地域・名称間違いが発生 (例)「霧の森・乙女の湯（長野・上田）」「シモヤケ（長崎・**島原**）」
・解説文中の間違い多数
(例)「ラベンダー畑と青い空、真っ白なパインが作る」
「富士山（静岡・山梨）** | 国内最高峰のコンパクトな円錐形」
・文章は違和感を感じないレベル(内容の評価を除く)
-------------------------------------------------