Last Update 2026/03/23
低スペック寄りのPCでローカルLLMを動作させた際の記録です。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。
検証用PC
|
OS |
Debian GNU/Linux 12 (bookworm) |
|
CPU |
Intel(R) Core(TM) i5-14400F |
|
GPU |
GeForce RTX 3060 12GB |
|
メモリ |
DDR4 PC4-25600 32GB × 4 |
|
SSD |
crucial P310 CT1000P310SSD8-JP |
構築環境 : Docker + Ollama (特別な設定などは無い状態)
検証用プロンプト[英語]
Could you please recommend some great places in the US to see beautiful scenery? Around 10 places in all four directions.
検証用プロンプト[日本語]
おすすめの日本の絶景を教えてください。東西南北、10箇所程度、日本語で。
LFM2
GPU無し[英語]
24b-q4_K_M(14.3TPS)
GPU無し[日本語]
24b-q4_K_M(14.4TPS)
GPU使用[英語]
24b-q4_K_M(20.2TPS)
GPU使用[日本語]
24b-q4_K_M(20.4TPS)
・TPS(tokens/s) は eval_count / eval_duration により算出
・モデルロード済みの検証は省略
lfm2:24b-q4_K_M(GPU無し)[英語]
Model
architecture lfm2moe
parameters 23.8B
context length 32768
embedding length 2048
quantization Q4_K_M
requires 0.17.1
2026-03-01
total_duration(合計時間) : 18029418434 (18.029s)
load_duration(モデルのロード時間) : 1950997754 ( 1.951s)
prompt_eval_count(評価されたプロンプトのトークン数) : 34
prompt_eval_duration(プロンプトの評価時間) : 486883041 ( 0.487s)
eval_count(生成トークン数) : 404
eval_duration(生成時間) : 15469368667 (15.469s)
real 0m18.049s
user 0m0.035s
sys 0m0.011s
メモリ使用量(RSS) : 14447128 KB
lfm2:24b-q4_K_M(GPU無し)[日本語]
Model
architecture lfm2moe
parameters 23.8B
context length 32768
embedding length 2048
quantization Q4_K_M
requires 0.17.1
2026-03-01
total_duration(合計時間) : 25939187291 (25.939s)
load_duration(モデルのロード時間) : 1942820510 ( 1.943s)
prompt_eval_count(評価されたプロンプトのトークン数) : 32
prompt_eval_duration(プロンプトの評価時間) : 440846547 ( 0.441s)
eval_count(生成トークン数) : 609
eval_duration(生成時間) : 23402614392 (23.403s)
real 0m25.958s
user 0m0.040s
sys 0m0.013s
メモリ使用量(RSS) : 14457864 KB
-------------------------------------------------
【生成結果に関する検証】
・紹介ポイントは10箇所。東西南北は無視(考慮した感じは有り)
・言語混同無し
・地域・名称間違いが発生 (例)「立山黒部アルファード」「東北地方：十勝川（北海道）」
・解説文中の間違い多数 (例)「富士吉本高原」「渡月橋、桧原猿楽寺の舞台」
・文章は違和感を感じないレベル(内容の評価を除く)
-------------------------------------------------
lfm2:24b-q4_K_M(GPU使用)[英語]
Model
architecture lfm2moe
parameters 23.8B
context length 32768
embedding length 2048
quantization Q4_K_M
requires 0.17.1
2026-03-01
total_duration(合計時間) : 16296660966 (16.297s)
load_duration(モデルのロード時間) : 2189807865 ( 2.190s)
prompt_eval_count(評価されたプロンプトのトークン数) : 34
prompt_eval_duration(プロンプトの評価時間) : 294636996 ( 0.295s)
eval_count(生成トークン数) : 709
eval_duration(生成時間) : 13669514167 (13.670s)
real 0m16.309s
user 0m0.030s
sys 0m0.008s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 0% 38C P2 69W / 170W | 11547MiB / 12288MiB | 32% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1181 G /usr/lib/xorg/Xorg 108MiB |
| 0 N/A N/A 1915 G xfwm4 2MiB |
| 0 N/A N/A 2439 G /usr/bin/x-www-browser 239MiB |
| 0 N/A N/A 12097 C /usr/bin/ollama 11184MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 3879908 KB
lfm2:24b-q4_K_M(GPU使用)[日本語]
Model
architecture lfm2moe
parameters 23.8B
context length 32768
embedding length 2048
quantization Q4_K_M
requires 0.17.1
2026-03-01
total_duration(合計時間) : 11916045119 (11.916s)
load_duration(モデルのロード時間) : 1879121049 ( 1.879s)
prompt_eval_count(評価されたプロンプトのトークン数) : 32
prompt_eval_duration(プロンプトの評価時間) : 237728448 ( 0.238s)
eval_count(生成トークン数) : 528
eval_duration(生成時間) : 9667833921 ( 9.668s)
real 0m11.925s
user 0m0.026s
sys 0m0.000s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 0% 41C P2 71W / 170W | 11760MiB / 12288MiB | 32% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1181 G /usr/lib/xorg/Xorg 108MiB |
| 0 N/A N/A 1915 G xfwm4 2MiB |
| 0 N/A N/A 2439 G /usr/bin/x-www-browser 116MiB |
| 0 N/A N/A 19313 C /usr/bin/ollama 11520MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 3525284 KB
-------------------------------------------------
【生成結果に関する検証】
・紹介ポイントは10箇所。東西南北も考慮
・言語混同無し
・地域・名称間違い無し
・文章は違和感を感じないレベル(内容の評価を除く)
-------------------------------------------------