ローカルLLMの実測値比較

Last Update 2026/03/11

TOP - 各種テスト - LLM - ローカルLLMの実測値比較実測結果一覧

検証用PC

OS	Debian GNU/Linux 12 (bookworm)
CPU	Intel(R) Core(TM) i5-14400F
GPU	GeForce RTX 3060 12GB
メモリ	DDR4 PC4-25600 32GB × 4
HDD	WD80EAAZ[8TB SATA600 5640](一部のみ)

構築環境 : Docker + Ollama (ほぼデフォルト設定)

実測結果一覧

モデル	パラメータ	量子化	GPU	言語	使用メモリ (GiB)	合計時間 (s)	トークン	生成時間 (s)	生成速度 (TPS)	備考
Gemma 3 (HDD使用) 参考値	270m	Q8_0	-	jp	0.0+0.6	10.416	1097	9.390	117
	270m	Q8_0	〇	jp	0.5+0.6	4.786	707	1.894	373
	1b	Q4_K_M	-	jp	0.0+1.2	22.526	903	21.084	42.8
	1b	Q4_K_M	〇	jp	1.0+0.8	8.740	474	2.341	202
	4b	Q4_K_M	-	jp	0.0+4.1	73.799	1019	71.181	14.3
	4b	Q4_K_M	〇	jp	3.8+1.1	34.133	802	8.926	89.8
	12b	Q4_K_M	-	jp	0.0+9.3	108.106	545	104.293	5.23
	12b	Q4_K_M	〇	jp	8.7+1.5	75.655	640	17.837	35.9
	27b	Q4_K_M	-	jp	0.0+18.4	351.826	789	344.903	2.29
	27b	Q4_K_M	〇	jp	11.0+8.3	288.815	868	167.491	5.18
Gemma 3	270m	Q8_0	-	jp	0.0+0.6	9.696	1017	8.697	117
			-	en	0.0+0.6	6.237	627	5.407	116
			〇	jp	0.5+0.6	3.049	737	1.971	374
				en	0.5+0.6	1.596	302	0.777	389
				jp	0.5+0.6	3.013	957	2.481	386	ロード済
				en	0.5+0.6	1.229	367	0.977	376	ロード済
	1b	Q4_K_M	-	jp	0.0+1.2	25.437	1035	23.670	43.7
			-	en	0.0+1.2	34.119	1388	32.325	42.9
			〇	jp	1.0+0.8	5.754	885	4.457	199
				en	1.0+0.8	5.592	984	4.708	209
				jp	1.0+0.8	3.613	649	3.173	205	ロード済
				en	1.0+0.8	5.802	1080	5.213	207	ロード済
		Q4_0	-	jp	0.0+1.7	23.114	808	21.870	36.9
			-	en	0.0+1.7	33.279	1190	32.133	37.0
			〇	jp	1.2+1.0	6.169	959	4.978	193
				en	1.2+1.0	6.204	930	5.042	184
				jp	1.2+1.0	4.930	855	4.466	191	ロード済
	4b	Q4_K_M	-	jp	0.0+4.1	61.521	858	58.700	14.6
			-	en	0.0+4.1	93.499	1296	90.087	14.4
			〇	jp	3.7+1.1	9.316	680	7.567	89.9
				en	3.8+1.1	15.542	1271	13.683	92.9
				jp	3.8+1.1	10.863	931	10.269	90.7	ロード済
				en	3.8+1.1	13.041	1162	12.422	93.5	ロード済
		Q4_0	-	jp	0.0+5.4	73.934	851	71.081	12.0
			-	en	0.0+5.4	97.704	1117	95.342	11.7
			〇	jp	4.4+1.9	12.731	917	10.828	84.7
				en	4.4+1.9	13.182	892	11.229	79.4
				jp	4.4+1.9	7.888	631	7.508	84.0	ロード済
	12b	Q4_K_M	-	jp	0.0+9.4	163.056	831	158.338	5.25
			-	en	0.0+9.3	261.855	1290	257.043	5.02
			〇	jp	8.7+1.5	20.055	599	16.257	36.8
				en	8.7+1.5	58.033	1921	55.291	34.7
				jp	8.7+1.5	16.533	588	16.044	36.6	ロード済
				en	8.7+1.5	40.499	1392	39.689	35.1	ロード済
		Q4_0	-	jp	0.0+11.2	134.438	621	128.753	4.82
			-	en	0.0+11.2	278.383	1265	273.318	4.63
			〇	jp	9.4+2.6	25.038	808	22.362	36.1
				en	9.4+2.6	33.375	1034	30.556	33.8
				jp	9.4+2.6	25.038	959	27.325	35.1	ロード済
	27b	Q4_K_M	-	jp	0.0+18.5	289.249	662	281.016	2.36
			-	en	0.0+18.4	700.762	1569	692.629	2.27
			〇	jp	11.0+8.4	161.080	807	154.522	5.22
				en	11.0+8.4	269.552	1347	264.744	5.09
				jp	11.0+8.4	167.723	859	165.848	5.18	ロード済
				en	11.3+8.1	251.645	1325	250.158	5.30	ロード済
		Q4_0	-	jp	0.0+20.6	731.943	1607	723.332	2.22
			-	en	0.0+20.6	502.000	1091	492.636	2.21
			〇	jp	11.1+10.4	129.983	638	126.192	5.06
				en	11.1+10.4	259.737	1249	255.474	4.89
				jp	11.1+10.4	126.547	637	125.731	5.07	ロード済