Last Update 2026/03/20
低スペック寄りのPCでローカルLLMを動作させた際の記録です。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。
検証用PC
|
OS |
Debian GNU/Linux 12 (bookworm) |
|
CPU |
Intel(R) Core(TM) i5-14400F |
|
GPU |
GeForce RTX 3060 12GB |
|
メモリ |
DDR4 PC4-25600 32GB × 4 |
|
SSD |
crucial P310 CT1000P310SSD8-JP |
構築環境 : Docker + Ollama (特別な設定などは無い状態)
検証用プロンプト[英語]
Could you please recommend some great places in the US to see beautiful scenery? Around 10 places in all four directions.
検証用プロンプト[日本語]
おすすめの日本の絶景を教えてください。東西南北、10箇所程度、日本語で。
Qwen3.5
GPU無し[英語]
35b-a3b-q4_K_M(8.00TPS)
GPU無し[日本語]
35b-a3b-q4_K_M(7.95TPS)
・TPS(tokens/s) は eval_count / eval_duration により算出
・モデルロード済みの検証は省略
・GPU使用時の実測値はエラー発生のため除外
qwen3.5:35b-a3b-q4_K_M(GPU無し)[英語]
Model
architecture qwen35moe
parameters 36.0B
context length 262144
embedding length 2048
quantization Q4_K_M
requires 0.17.1
2026-02-28
total_duration(合計時間) : 594438625678 (594.439s)
load_duration(モデルのロード時間) : 7808509237 ( 7.809s)
prompt_eval_count(評価されたプロンプトのトークン数) : 35
prompt_eval_duration(プロンプトの評価時間) : 736456742 ( 0.736s)
eval_count(生成トークン数) : 4675
eval_duration(生成時間) : 584092305740 (584.092s)
real 9m54.458s
user 0m0.063s
sys 0m0.058s
メモリ使用量(RSS) : 25468468 KB
qwen3.5:35b-a3b-q4_K_M(GPU無し)[日本語]
Model
architecture qwen35moe
parameters 36.0B
context length 262144
embedding length 2048
quantization Q4_K_M
requires 0.17.1
2026-02-28
total_duration(合計時間) : 1021484128599 (1021.484s)
load_duration(モデルのロード時間) : 4039451871 ( 4.039s)
prompt_eval_count(評価されたプロンプトのトークン数) : 29
prompt_eval_duration(プロンプトの評価時間) : 658455970 ( 0.658s)
eval_count(生成トークン数) : 8061
eval_duration(生成時間) : 1013815504104 (1013.816s)
real 17m1.495s
user 0m0.047s
sys 0m0.099s
メモリ使用量(RSS) : 25556172 KB
-------------------------------------------------
【生成結果に関する検証】
・紹介ポイントは10箇所。東西南北も考慮
・言語混同無し
・存在が怪しい地名の生成 (例)「コタン・オロショベツ」「京都府・天の橋立...「福浦橋」からの眺めは」
・文章は違和感を感じないレベル(内容の評価を除く)
-------------------------------------------------