ローカルLLMの実測値比較

Last Update 2026/08/18

TOP - 各種テスト - LLM - ローカルLLMの実測値比較 - コーディング(設定用パラメータ比較) - Muse Glimmer (GPU無)

低スペック寄りのPCでローカルLLMを動作させた際の記録です。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。

検証用PC

OS	Debian GNU/Linux 12 (bookworm)
CPU	Intel(R) Core(TM) i5-14400F
GPU	GeForce RTX 3060 12GB
メモリ	DDR4 PC4-25600 32GB × 4
SSD	crucial P310 CT1000P310SSD8-JP

構築環境 : Docker + Ollama (特別な設定などは無い状態)

検証用プロンプト

``` ### 依頼内容 - コード生成 ### 指示 - C言語 - コード以外の出力は不要 - 中括弧スタイルはオールマン - テストコードも生成 - テストコードは別ファイル - 実行用ソースファイル名 : sample_code.c - テスト用ソースファイル名 : sample_test.c - 標準ヘッダ以外は使用しない - 戻り値はEXIT_SUCCESSを使用 - 関数はmain()の前で定義 ### コード仕様(sample_code.c) - コマンドラインから整数2つを取得 - [引数1]から[引数2]までをインクリメントして空白区切りで標準出力に出力 - 出力する文字列はmain()ではなく関数で生成 ### コード仕様(sample_test.c) - unity.hを使用しない ```

モデル詳細

Model architecture muse-glimmer parameters 27.9B context length 131072 embedding length 6656 quantization Q4_K_M requires 0.32.8 Capabilities completion vision tools thinking Projector architecture clip parameters 1.9B embedding length 1536 dimensions 6656 Parameters temperature 1 top_k 64 top_p 0.95

Muse Glimmer (GPU無) [実測結果一覧へ]

(1) temperature=---; top_p=---; top_k=--

(2) temperature=0.70; top_p=0.7; top_k=--

(3) temperature=0.50; top_p=0.7; top_k=--

(4) temperature=0.30; top_p=0.7; top_k=--

(5) temperature=0.15; top_p=---; top_k=--

(6) temperature=0.15; top_p=0.7; top_k=--

(7) temperature=0.15; top_p=0.5; top_k=--

(8) temperature=0.15; top_p=0.4; top_k=--

(9) temperature=0.15; top_p=0.7; top_k=32

(10) temperature=0.15; top_p=0.7; top_k=16

(11) temperature=0.10; top_p=0.7; top_k=--

(1) temperature=---; top_p=---; top_k=--

2026-08-15 total duration: 32m48.226706091s load duration: 10.305044496s prompt eval count: 233 token(s) prompt eval duration: 20.503615s prompt eval rate: 11.36 tokens/s eval count: 4314 token(s) eval duration: 32m17.406746s eval rate: 2.23 tokens/s (GPU無)

コード生成結果の概要

・C言語による生成・コード以外の出力無し・コードの記述スタイルをオールマンで生成・戻り値は stdlib.h の EXIT_*** を使用・文字列生成関数文字列用メモリはchar配列8192バイト固定引数値のチェック(エラー判定有) インクリメント+空白区切りで文字列用メモリに書き込み文字列用メモリへのポインタを返す・main() 引数個数のチェック(エラー処理有) 文字列生成関数の呼び出し・テストコードを別途生成実行用コードと同一の文字列生成関数定義を記述 main()を伴うテストコード文字列生成関数を5種類の引数の組み合わせでテスト実行 (1) 整数1 < 整数2 (2) 整数1 == 整数2 ただし、整数1、整数2が共に0 (3) 整数1 < 整数2 ただし、整数1が負数 (4) 整数1 == 整数2 (5) 整数1 > 整数2 (注) LLMの生成結果は毎回一定ではないため、結果によっては上記内容通りではないことが考えられます。

生成コードの実行結果

sample_code.c : 検証用プロンプトにて生成されたコード
sample_test.c : 生成されたテストコード

$ gcc -Wall -o sample_code sample_code.c $ gcc -Wall -o sample_test sample_test.c $ ./sample_code 1 5 1 2 3 4 5 $ ./sample_code -3 3 -3 -2 -1 0 1 2 3 $ ./sample_code 1 1 1 $ ./sample_code 5 1 $ ./sample_test test_1_to_5: PASS test_0_to_0: PASS test_neg_to_pos: PASS test_single: PASS test_desc: PASS

(2) temperature=0.70; top_p=0.7; top_k=--

2026-08-15 total duration: 25m1.689727109s load duration: 10.708821602s prompt eval count: 233 token(s) prompt eval duration: 20.972479s prompt eval rate: 11.11 tokens/s eval count: 3325 token(s) eval duration: 24m29.996684s eval rate: 2.26 tokens/s (GPU無)

コード生成結果の概要

・C言語による生成・コード以外の出力無し・コードの記述スタイルをオールマンで生成・戻り値は stdlib.h の EXIT_*** を使用・文字列生成関数メモリの確保はmain()側引数値のチェック(エラー判定有) インクリメント+空白区切りで文字列用メモリに書き込み・main() 引数個数のチェック(エラー処理有) 文字列用メモリはchar配列1024バイト固定文字列生成関数の呼び出し・テストコードを別途生成実行用コードと同一の文字列生成関数定義を記述 main()を伴うテストコード文字列生成関数を4種類の引数の組み合わせでテスト実行 (1) 整数1 < 整数2 (2) 整数1 == 整数2 ただし、整数1、整数2が共に0 (3) 整数1 < 整数2 ただし、整数1が負数 (4) 整数1 < 整数2 ただし、整数1、整数2が共に2桁 (注) LLMの生成結果は毎回一定ではないため、結果によっては上記内容通りではないことが考えられます。

生成コードの実行結果

sample_code.c : 検証用プロンプトにて生成されたコード
sample_test.c : 生成されたテストコード

$ gcc -Wall -o sample_code sample_code.c $ gcc -Wall -o sample_test sample_test.c $ ./sample_code 1 5 1 2 3 4 5 $ ./sample_code -3 3 -3 -2 -1 0 1 2 3 $ ./sample_code 1 1 1 $ ./sample_code 5 1 xxxxxxx ← メモリがヌル文字で初期化されていないため不定文字列を出力 $ vi sample_code.c ← メモリの初期化を追加 $ gcc -Wall -o sample_code sample_code.c $ ./sample_code 5 1 $ vi sample_test.c ← メモリの初期化を追加 $ gcc -Wall -o sample_test sample_test.c $ ./sample_test $ ← 成功時は何も表示されない

(3) temperature=0.50; top_p=0.7; top_k=--

2026-08-15 total duration: 31m10.518889066s load duration: 267.93336ms prompt eval count: 233 token(s) prompt eval duration: 928.746ms prompt eval rate: 250.88 tokens/s eval count: 4055 token(s) eval duration: 31m9.280523s eval rate: 2.17 tokens/s (GPU無)

コード生成結果の概要

・C言語による生成・コード以外の出力無し・コードの記述スタイルをオールマンで生成・戻り値は stdlib.h の EXIT_*** を使用・文字列生成関数メモリの確保はmain()側引数値のチェック(エラー判定有) インクリメント+空白区切りで文字列用メモリに書き込み・main() 引数個数のチェック(エラー処理有) 文字列用メモリはchar配列1024バイト固定文字列生成関数の呼び出し・テストコードを別途生成実行用コードと同一の文字列生成関数定義を記述 main()を伴うテストコード文字列生成関数を4種類の引数の組み合わせでテスト実行 (1) 整数1 < 整数2 (2) 整数1 == 整数2 (3) 整数1 < 整数2 ただし、整数1が負数 (4) 整数1 == 整数2 ただし、整数1、整数2が共に0 (注) LLMの生成結果は毎回一定ではないため、結果によっては上記内容通りではないことが考えられます。

生成コードの実行結果

sample_code.c : 検証用プロンプトにて生成されたコード
sample_test.c : 生成されたテストコード

$ gcc -Wall -o sample_code sample_code.c $ gcc -Wall -o sample_test sample_test.c $ ./sample_code 1 5 1 2 3 4 5 $ ./sample_code -3 3 -3 -2 -1 0 1 2 3 $ ./sample_code 1 1 1 $ ./sample_code 5 1 ← 空文字列が出力され、一見不具合無しの動作 $ ./sample_test PASS test1 PASS test2 PASS test3 PASS test4 ALL TESTS PASSED $ ./sample_code 5 1 xxxxxxx ← テスト後再実行。配列が初期化されていないため不定文字列を出力 $ vi sample_code.c ← メモリの初期化を追加 $ vi sample_test.c ← メモリの初期化を追加 $ gcc -Wall -o sample_code sample_code.c $ gcc -Wall -o sample_test sample_test.c $ ./sample_code 5 1 ← 正常出力となる空文字列 $ ./sample_test PASS test1 PASS test2 PASS test3 PASS test4 ALL TESTS PASSED

(4) temperature=0.30; top_p=0.7; top_k=--

2026-08-15 total duration: 25m54.551293686s load duration: 275.684381ms prompt eval count: 233 token(s) prompt eval duration: 929.582ms prompt eval rate: 250.65 tokens/s eval count: 3385 token(s) eval duration: 25m53.305165s eval rate: 2.18 tokens/s (GPU無)

コード生成結果の概要

・C言語による生成・コード以外の出力無し・コードの記述スタイルをオールマンで生成・戻り値は stdlib.h の EXIT_*** を使用・文字列生成関数メモリの確保はmain()側インクリメント+空白区切りで文字列用メモリに書き込み(エラー処理有) ・main() 引数個数のチェック(エラー処理有) 文字列用メモリはchar配列1024バイト固定文字列生成関数の呼び出し(エラー処理有) ・テストコードを別途生成実行用コードと同一の文字列生成関数定義を記述 main()を伴うテストコード文字列生成関数を4種類の引数の組み合わせでテスト実行 (1) 整数1 < 整数2 (2) 整数1 == 整数2 ただし、整数1、整数2が共に0 (3) 整数1 < 整数2 ただし、整数1が負数 (4) 整数1 < 整数2 ただし、整数1、整数2が共に2桁 (注) LLMの生成結果は毎回一定ではないため、結果によっては上記内容通りではないことが考えられます。

生成コードの実行結果

sample_code.c : 検証用プロンプトにて生成されたコード
sample_test.c : 生成されたテストコード

$ gcc -Wall -o sample_code sample_code.c $ gcc -Wall -o sample_test sample_test.c $ ./sample_code 1 5 1 2 3 4 5 $ ./sample_code -3 3 -3 -2 -1 0 1 2 3 $ ./sample_code 1 1 1 $ ./sample_code 5 1 xxxxxxx ← 配列が初期化されていないため不定文字列を出力 $ vi sample_code.c ← メモリの初期化を追加 $ vi sample_test.c ← メモリの初期化を追加 $ gcc -Wall -o sample_code sample_code.c $ gcc -Wall -o sample_test sample_test.c $ ./sample_code 5 1 ← 正常出力となる空文字列 $ ./sample_test test 1-5 PASS test 0-0 PASS test -2-2 PASS test 10-12 PASS

(5) temperature=0.15; top_p=---; top_k=--

2026-08-15 total duration: 26m31.395553305s load duration: 10.204060871s prompt eval count: 233 token(s) prompt eval duration: 21.314676s prompt eval rate: 10.93 tokens/s eval count: 3488 token(s) eval duration: 25m59.868095s eval rate: 2.24 tokens/s (GPU無)

コード生成結果の概要

・C言語による生成・コード以外の出力無し・コードの記述スタイルをオールマンで生成・戻り値は stdlib.h の EXIT_*** を使用・文字列生成関数メモリの確保はmain()側文字列用配列の初期化インクリメント+空白区切りで文字列用メモリに書き込み(エラー処理有) ・main() 引数個数のチェック(エラー処理有) 文字列用メモリはchar配列1024バイト固定文字列生成関数の呼び出し・テストコードを別途生成実行用コードと同一の文字列生成関数定義を記述 main()を伴うテストコード文字列生成関数を3種類の引数の組み合わせでテスト実行 (1) 整数1 < 整数2 (2) 整数1 == 整数2 ただし、整数1、整数2が共に0 (3) 整数1 < 整数2 ただし、整数1が負数 (注) LLMの生成結果は毎回一定ではないため、結果によっては上記内容通りではないことが考えられます。

生成コードの実行結果

sample_code.c : 検証用プロンプトにて生成されたコード
sample_test.c : 生成されたテストコード

(6) temperature=0.15; top_p=0.7; top_k=--

2026-08-15 total duration: 33m26.583493719s load duration: 268.810066ms prompt eval count: 233 token(s) prompt eval duration: 945.691ms prompt eval rate: 246.38 tokens/s eval count: 4490 token(s) eval duration: 33m25.334883s eval rate: 2.24 tokens/s (GPU無)

コード生成結果の概要

・C言語による生成・コード以外の出力無し・コードの記述スタイルをオールマンで生成・戻り値は stdlib.h の EXIT_*** を使用・文字列生成関数メモリの確保はmain()側文字列用配列の終端処理インクリメント+空白区切りで文字列用メモリに書き込み・main() 引数個数のチェック(エラー処理有) 文字列用メモリはchar配列1024バイト固定文字列生成関数の呼び出し・テストコードを別途生成実行用コードと同一の文字列生成関数定義を記述 main()を伴うテストコード文字列生成関数を3種類の引数の組み合わせでテスト実行 (1) 整数1 < 整数2 (2) 整数1 < 整数2 ただし、整数1、整数2が共に2桁 (3) 整数1 < 整数2 ただし、整数1が負数 (注) LLMの生成結果は毎回一定ではないため、結果によっては上記内容通りではないことが考えられます。

生成コードの実行結果

sample_code.c : 検証用プロンプトにて生成されたコード
sample_test.c : 生成されたテストコード

$ gcc -Wall -o sample_code sample_code.c $ gcc -Wall -o sample_test sample_test.c sample_test.c: In function ‘main’: sample_test.c:40:9: warning: variable ‘passed’ set but not used [-Wunused-but-set-variable] 40 | int passed = 1; | ^~~~~~ $ ./sample_code 1 5 1 2 3 4 5$ ./sample_code -3 3 -3 -2 -1 0 1 2 3$ ./sample_code 1 1 1$ ./sample_code 5 1 $ ./sample_test PASS test1 PASS test2 PASS test3

(7) temperature=0.15; top_p=0.5; top_k=--

2026-08-15 total duration: 28m3.241185488s load duration: 10.166921071s prompt eval count: 233 token(s) prompt eval duration: 20.57132s prompt eval rate: 11.33 tokens/s eval count: 3691 token(s) eval duration: 27m32.494539s eval rate: 2.23 tokens/s (GPU無)

コード生成結果の概要

・C言語による生成・コード以外の出力無し・コードの記述スタイルをオールマンで生成・戻り値は stdlib.h の EXIT_*** を使用・文字列生成関数メモリの確保はmain()側 start > end の場合はステップは-1 インクリメント+空白区切りで文字列用メモリに書き込み・main() 引数個数のチェック(エラー処理有) 文字列用メモリはchar配列1024バイト固定文字列生成関数の呼び出し・テストコードを別途生成実行用コードと同一の文字列生成関数定義を記述 main()を伴うテストコード文字列生成関数を3種類の引数の組み合わせでテスト実行 (1) 整数1 < 整数2 (2) 整数1 > 整数2 (3) 整数1 == 整数2 ただし、整数1、整数2が共に0 (注) LLMの生成結果は毎回一定ではないため、結果によっては上記内容通りではないことが考えられます。

生成コードの実行結果

sample_code.c : 検証用プロンプトにて生成されたコード
sample_test.c : 生成されたテストコード

(8) temperature=0.15; top_p=0.4; top_k=--

2026-08-15 total duration: 25m18.858272232s load duration: 250.233049ms prompt eval count: 233 token(s) prompt eval duration: 898.005ms prompt eval rate: 259.46 tokens/s eval count: 3430 token(s) eval duration: 25m17.646661s eval rate: 2.26 tokens/s (GPU無)

コード生成結果の概要

・C言語による生成・コード以外の出力無し・コードの記述スタイルをオールマンで生成・戻り値は stdlib.h の EXIT_*** を使用・文字列生成関数メモリの確保はmain()側文字列用配列の初期化インクリメント+空白区切りで文字列用メモリに書き込み・main() 引数個数のチェック(エラー処理有) 文字列用メモリはchar配列1024バイト固定文字列生成関数の呼び出し・テストコードを別途生成テスト対象関数の宣言 main()を伴うテストコード文字列生成関数を3種類の引数の組み合わせでテスト実行 (1) 整数1 < 整数2 (2) 整数1 == 整数2 ただし、整数1、整数2が共に0 (3) 整数1 < 整数2 ただし、整数1が負数 (注) LLMの生成結果は毎回一定ではないため、結果によっては上記内容通りではないことが考えられます。

生成コードの実行結果

sample_code.c : 検証用プロンプトにて生成されたコード
sample_test.c : 生成されたテストコード

$ gcc -Wall -o sample_code sample_code.c $ gcc -Wall -o sample_test sample_code.c sample_test.c /bin/ld: /tmp/ccYaGRdN.o: in function `main': sample_test.c:(.text+0x0): multiple definition of `main'; /tmp/ccPjbZBG.o:sample_code.c:(.text+0x10b): first defined here collect2: error: ld returned 1 exit status $ vi sample_code.c ← main()関数重複エラー解消のため条件付きコンパイル用の#ifndefマクロを追加 $ gcc -D TEST_MAIN -Wall -o sample_test sample_code.c sample_test.c $ ./sample_code 1 5 1 2 3 4 5 $ ./sample_code -3 3 -3 -2 -1 0 1 2 3 $ ./sample_code 1 1 1 $ ./sample_code 5 1 $ ./sample_test PASS

(9) temperature=0.15; top_p=0.7; top_k=32

2026-08-15 total duration: 32m47.476204742s load duration: 247.84062ms prompt eval count: 233 token(s) prompt eval duration: 905.057ms prompt eval rate: 257.44 tokens/s eval count: 4405 token(s) eval duration: 32m46.286203s eval rate: 2.24 tokens/s (GPU無)

コード生成結果の概要

・C言語による生成・コード以外の出力無し・コードの記述スタイルをオールマンで生成・戻り値は stdlib.h の EXIT_*** を使用・文字列生成関数 start > end の場合はNULL文字のみのメモリへのポインタを返す文字列長に応じたメモリの確保(エラー処理有) インクリメント+空白区切りで文字列用メモリに書き込み文字列用メモリへのポインタを返す・main() 引数個数のチェック(エラー処理有) 文字列生成関数の呼び出し(エラー処理有) 生成文字列の標準出力への出力文字列用メモリの解放・テストコードを別途生成テスト対象関数の宣言 main()を伴うテストコード文字列生成関数を3種類の引数の組み合わせでテスト実行 (1) 整数1 < 整数2 (2) 整数1 == 整数2 ただし、整数1、整数2が共に0 (3) 整数1 < 整数2 ただし、整数1が負数 (注) LLMの生成結果は毎回一定ではないため、結果によっては上記内容通りではないことが考えられます。

生成コードの実行結果

sample_code.c : 検証用プロンプトにて生成されたコード
sample_test.c : 生成されたテストコード

$ gcc -Wall -o sample_code sample_code.c $ gcc -Wall -o sample_test sample_code.c sample_test.c /bin/ld: /tmp/ccZnrXI5.o: in function `main': sample_test.c:(.text+0x0): multiple definition of `main'; /tmp/cc9b7Xuf.o:sample_code.c:(.text+0x118): first defined here collect2: error: ld returned 1 exit status $ vi sample_code.c ← main()関数重複エラー解消のため条件付きコンパイル用の#ifndefマクロを追加 $ gcc -D TEST_MAIN -Wall -o sample_test sample_code.c sample_test.c $ ./sample_code 1 5 1 2 3 4 5 $ ./sample_code -3 3 -3 -2 -1 0 1 2 3 $ ./sample_code 1 1 1 $ ./sample_code 5 1 $ ./sample_test PASS: 1-5 PASS: 3-3 PASS: -2-1 All tests passed

(10) temperature=0.15; top_p=0.7; top_k=16

2026-08-15 total duration: 26m31.620677592s load duration: 241.566978ms prompt eval count: 233 token(s) prompt eval duration: 916.557ms prompt eval rate: 254.21 tokens/s eval count: 3599 token(s) eval duration: 26m30.419376s eval rate: 2.26 tokens/s (GPU無)

コード生成結果の概要

・C言語による生成・コード以外の出力無し・コードの記述スタイルをオールマンで生成・戻り値は stdlib.h の EXIT_*** を使用・文字列生成関数 start > end の場合はNULL文字のみのメモリへのポインタを返す文字列長に応じたメモリの確保(エラー処理有) インクリメント+空白区切りで文字列用メモリに書き込み文字列用メモリへのポインタを返す・main() 文字列生成関数の呼び出し(エラー処理有) 生成文字列の標準出力への出力文字列用メモリの解放・テストコードを別途生成テスト対象関数の宣言 main()を伴うテストコード文字列生成関数を3種類の引数の組み合わせでテスト実行 (1) 整数1 < 整数2 (2) 整数1 == 整数2 ただし、整数1、整数2が共に0 (3) 整数1 < 整数2 ただし、整数1が負数 (注) LLMの生成結果は毎回一定ではないため、結果によっては上記内容通りではないことが考えられます。

生成コードの実行結果

sample_code.c : 検証用プロンプトにて生成されたコード
sample_test.c : 生成されたテストコード

$ gcc -Wall -o sample_code sample_code.c $ gcc -Wall -o sample_test sample_code.c sample_test.c /bin/ld: /tmp/ccF2PSpC.o: in function `main': sample_test.c:(.text+0x0): multiple definition of `main'; /tmp/cceQWXwk.o:sample_code.c:(.text+0xea): first defined here collect2: error: ld returned 1 exit status $ vi sample_code.c ← main()関数重複エラー解消のため条件付きコンパイル用の#ifndefマクロを追加 $ gcc -D TEST_MAIN -Wall -o sample_test sample_code.c sample_test.c $ ./sample_code 1 5 1 2 3 4 5 $ ./sample_code -3 3 -3 -2 -1 0 1 2 3 $ ./sample_code 1 1 1 $ ./sample_code 5 1 $ ./sample_test All tests passed

(11) temperature=0.10; top_p=0.7; top_k=--

2026-08-15 total duration: 37m1.59713134s load duration: 9.703079169s prompt eval count: 233 token(s) prompt eval duration: 20.437334s prompt eval rate: 11.40 tokens/s eval count: 4902 token(s) eval duration: 36m31.448103999s eval rate: 2.24 tokens/s (GPU無)

コード生成結果の概要

・C言語による生成・コード以外の出力無し・コードの記述スタイルをオールマンで生成・戻り値は stdlib.h の EXIT_*** を使用・文字列生成関数メモリの確保はmain()側文字列用配列の終端処理インクリメント+空白区切りで文字列用メモリに書き込み・main() 引数個数のチェック(エラー処理有) 文字列用メモリはchar配列1024バイト固定文字列生成関数の呼び出しテスト時にmain()除外のマクロを配置・テストコードを別途生成 sample_code.cをインクルード main()を伴うテストコード文字列生成関数を3種類の引数の組み合わせでテスト実行 (1) 整数1 < 整数2 (2) 整数1 == 整数2 ただし、整数1、整数2が共に0 (3) 整数1 < 整数2 ただし、整数1が負数 (4) 整数1 > 整数2 (5) 整数1 < 整数2 ただし、整数1、整数2が共に2桁 (注) LLMの生成結果は毎回一定ではないため、結果によっては上記内容通りではないことが考えられます。

生成コードの実行結果

sample_code.c : 検証用プロンプトにて生成されたコード
sample_test.c : 生成されたテストコード