antirez--ds4/speed-bench/m5_max.csv

1	ctx_tokens	prefill_tokens	prefill_tps	gen_tokens	gen_tps	gen_first_ms	gen_steady_tokens	gen_steady_tps	kvcache_bytes
2	2048	2048	790.18	128	39.35	26.947	127	40.00	52184460
3	4096	2048	710.50	128	37.50	28.069	127	38.09	80373132
4	6144	2048	704.17	128	37.18	30.710	127	37.79	108561804
5	8192	2048	683.85	128	37.03	30.095	127	37.63	136750476
6	10240	2048	651.30	128	36.76	30.129	127	37.35	164939148
7	12288	2048	625.68	128	36.63	30.317	127	37.21	193127820
8	14336	2048	588.80	128	36.40	28.378	127	36.95	221316492
9	16384	2048	572.53	128	36.14	28.536	127	36.68	249505164
10	18432	2048	565.67	128	35.79	28.967	127	36.32	277693836
11	20480	2048	566.02	128	35.71	29.048	127	36.24	305882508
12	22528	2048	567.67	128	35.43	28.986	127	35.94	334071180
13	24576	2048	570.39	128	35.35	30.440	127	35.88	362259852
14	26624	2048	567.38	128	35.02	29.618	127	35.52	390448524
15	28672	2048	569.86	128	34.90	29.328	127	35.40	418637196
16	30720	2048	570.69	128	34.68	30.429	127	35.19	446825868
17	32768	2048	557.04	128	34.36	35.688	127	34.90	475014540
18	34816	2048	534.63	128	34.00	37.818	127	34.55	503203212
19	36864	2048	510.85	128	33.71	38.606	127	34.25	531391884
20	38912	2048	498.35	128	32.71	35.003	127	33.18	559580556
21	40960	2048	489.46	128	32.05	35.391	127	32.50	587769228
22	43008	2048	475.25	128	31.85	38.767	127	32.32	615957900
23	45056	2048	465.50	128	31.31	39.407	127	31.76	644146572
24	47104	2048	455.29	128	30.46	43.102	127	30.92	672335244
25	49152	2048	448.53	128	29.07	45.980	127	29.50	700523916
26	51200	2048	435.31	128	28.75	46.071	127	29.16	728712588
27	53248	2048	430.93	128	28.36	43.866	127	28.74	756901260
28	55296	2048	420.30	128	28.34	44.054	127	28.73	785089932
29	57344	2048	420.71	128	27.87	44.341	127	28.24	813278604
30	59392	2048	407.01	128	27.96	44.062	127	28.33	841467276
31	61440	2048	408.05	128	27.68	42.919	127	28.03	869655948
32	63488	2048	398.87	128	27.89	40.892	127	28.24	897844620
33	65536	2048	398.50	128	27.64	43.172	127	28.01	0