Last Update 2026/03/24
低スペック寄りのPCでローカルLLMを動作させた際の記録です。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。
検証用PC
|
OS |
Debian GNU/Linux 12 (bookworm) |
|
CPU |
Intel(R) Core(TM) i5-14400F |
|
GPU |
GeForce RTX 3060 12GB |
|
メモリ |
DDR4 PC4-25600 32GB × 4 |
|
SSD |
crucial P310 CT1000P310SSD8-JP |
構築環境 : Docker + Ollama (特別な設定などは無い状態)
検証用プロンプト[英語]
Could you please recommend some great places in the US to see beautiful scenery? Around 10 places in all four directions.
検証用プロンプト[日本語]
おすすめの日本の絶景を教えてください。東西南北、10箇所程度、日本語で。
TranslateGemma
GPU無し[英語]
27b-it-q4_K_M(2.32TPS)
GPU無し[日本語]
27b-it-q4_K_M(2.27TPS)
GPU使用[英語]
27b-it-q4_K_M(5.41TPS)
GPU使用[日本語]
27b-it-q4_K_M(5.21TPS)
・TPS(tokens/s) は eval_count / eval_duration により算出
・モデルロード済みの検証は省略
translategemma:27b-it-q4_K_M(GPU無し)[英語]
Model
architecture gemma3
parameters 27.4B
context length 131072
embedding length 5376
quantization Q4_K_M
2026-03-01
total_duration(合計時間) : 297673242933 (297.673s)
load_duration(モデルのロード時間) : 3368045003 ( 3.369s)
prompt_eval_count(評価されたプロンプトのトークン数) : 34
prompt_eval_duration(プロンプトの評価時間) : 4222854572 ( 4.223s)
eval_count(生成トークン数) : 673
eval_duration(生成時間) : 289636651336 (289.637s)
real 4m57.689s
user 0m0.059s
sys 0m0.027s
メモリ使用量(RSS) : 19340496 KB
translategemma:27b-it-q4_K_M(GPU無し)[日本語]
Model
architecture gemma3
parameters 27.4B
context length 131072
embedding length 5376
quantization Q4_K_M
2026-03-01
total_duration(合計時間) : 728776952024 (728.777s)
load_duration(モデルのロード時間) : 3206576564 ( 3.207s)
prompt_eval_count(評価されたプロンプトのトークン数) : 29
prompt_eval_duration(プロンプトの評価時間) : 3577809470 ( 3.578s)
eval_count(生成トークン数) : 1634
eval_duration(生成時間) : 720857726105 (720.858s)
real 12m8.788s
user 0m0.081s
sys 0m0.051s
メモリ使用量(RSS) : 19359564 KB
-------------------------------------------------
【生成結果に関する検証】
・紹介ポイントは東西南北各10箇所づつ
・言語混同無し
・地域・名称間違いが発生 (例)「鶴沼（青森県）」「長島（鹿児島県）」
・文章は違和感を感じないレベル(内容の評価を除く)
-------------------------------------------------
translategemma:27b-it-q4_K_M(GPU使用)[英語]
Model
architecture gemma3
parameters 27.4B
context length 131072
embedding length 5376
quantization Q4_K_M
2026-03-01
total_duration(合計時間) : 89389648638 (89.390s)
load_duration(モデルのロード時間) : 3308455382 ( 3.308s)
prompt_eval_count(評価されたプロンプトのトークン数) : 34
prompt_eval_duration(プロンプトの評価時間) : 497320797 ( 0.497s)
eval_count(生成トークン数) : 461
eval_duration(生成時間) : 85281322635 (85.281s)
real 1m29.408s
user 0m0.047s
sys 0m0.014s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 0% 54C P2 69W / 170W | 11801MiB / 12288MiB | 22% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1181 G /usr/lib/xorg/Xorg 108MiB |
| 0 N/A N/A 1915 G xfwm4 2MiB |
| 0 N/A N/A 2439 G /usr/bin/x-www-browser 139MiB |
| 0 N/A N/A 44229 C /usr/bin/ollama 11538MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 8661384 KB
translategemma:27b-it-q4_K_M(GPU使用)[日本語]
Model
architecture gemma3
parameters 27.4B
context length 131072
embedding length 5376
quantization Q4_K_M
2026-03-01
total_duration(合計時間) : 126653044524 (126.653s)
load_duration(モデルのロード時間) : 3400355210 ( 3.400s)
prompt_eval_count(評価されたプロンプトのトークン数) : 29
prompt_eval_duration(プロンプトの評価時間) : 1240588484 ( 1.241s)
eval_count(生成トークン数) : 633
eval_duration(生成時間) : 121609089733 (121.609s)
real 2m6.672s
user 0m0.058s
sys 0m0.010s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 32% 57C P2 72W / 170W | 11537MiB / 12288MiB | 23% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1181 G /usr/lib/xorg/Xorg 108MiB |
| 0 N/A N/A 1915 G xfwm4 2MiB |
| 0 N/A N/A 2439 G /usr/bin/x-www-browser 139MiB |
| 0 N/A N/A 48955 C /usr/bin/ollama 11274MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 8957084 KB
-------------------------------------------------
【生成結果に関する検証】
・紹介ポイントは10箇所。東日本、西日本、日本全国の3分割
・言語混同無し
・地域・名称間違い 「兵庫県・夢咲の丘」
・解説文中の間違い 「**岩手県・早池峰山**: 標高2,700mを超える山で、」
・文章は違和感を感じないレベル(内容の評価を除く)
-------------------------------------------------