{
	"model": "neural-weights-en-us",
	"model_version": "5.3.0",
	"method": "isotonic-regression (PAVA) over per-span softmax confidence",
	"created_from": "data/eval/calibration/confidences-v530.jsonl",
	"n_total": 35600,
	"n_fit": 28480,
	"n_eval": 7120,
	"bins": 20,
	"ece_bins": 15,
	"metrics": {
		"ece_raw_eval": 0.0677000843149504,
		"ece_cal_eval": 0.002846303809090927,
		"mce_raw_eval": 0.22307581874524562,
		"mce_cal_eval": 0.05785123966942152,
		"mce_raw_eval_allbins": 0.9008025428391669,
		"mce_cal_eval_allbins": 0.3333333333333333,
		"brier_raw_eval": 0.02129048121980521,
		"brier_cal_eval": 0.015551509923503798,
		"ece_raw_oa_eval": 0.06975270093527261,
		"ece_cal_oa_eval": 0.0016543915961919663,
		"ece_raw_corpus_eval": 0.06690828086195735,
		"ece_cal_corpus_eval": 0.0036953442929299886
	},
	"per_tag_ece": {
		"house_number": {
			"n": 815,
			"acc": 0.9116564417177914,
			"ece_raw": 0.029552022755653974,
			"ece_cal": 0.060257174657242285
		},
		"locality": {
			"n": 1570,
			"acc": 0.9802547770700637,
			"ece_raw": 0.047909918029567525,
			"ece_cal": 0.007767010879028461
		},
		"postcode": {
			"n": 1570,
			"acc": 1.0,
			"ece_raw": 0.09229924577523453,
			"ece_cal": 0.016096487596793045
		},
		"region": {
			"n": 1244,
			"acc": 0.9991961414790996,
			"ece_raw": 0.07998184691784783,
			"ece_cal": 0.014224405573847645
		},
		"street": {
			"n": 828,
			"acc": 0.9927536231884058,
			"ece_raw": 0.07913034025409357,
			"ece_cal": 0.017993784066485708
		},
		"street_suffix": {
			"n": 554,
			"acc": 1.0,
			"ece_raw": 0.07655562851486138,
			"ece_cal": 0.017241106552309277
		},
		"venue": {
			"n": 366,
			"acc": 0.9863387978142076,
			"ece_raw": 0.07224547301920636,
			"ece_cal": 0.014302441134295414
		}
	},
	"per_locale_ece": {
		"DE": {
			"n": 185,
			"acc": 0.8918918918918919,
			"ece_raw": 0.08516095367022304,
			"ece_cal": 0.08311326848532197
		},
		"FR": {
			"n": 804,
			"acc": 0.9626865671641791,
			"ece_raw": 0.06773999694170439,
			"ece_cal": 0.0048981350022959955
		},
		"NL": {
			"n": 205,
			"acc": 1.0,
			"ece_raw": 0.15341190185268108,
			"ece_cal": 0.04619157395115916
		},
		"US": {
			"n": 5926,
			"acc": 0.9866689166385421,
			"ece_raw": 0.06788337090888338,
			"ece_cal": 0.00434667116440722
		}
	},
	"abstention_curve": [
		{
			"threshold": 0.5,
			"coverage": 0.9984550561797753,
			"precision": 0.9834013222675482,
			"reviewed": 0.0015449438202247423
		},
		{
			"threshold": 0.8,
			"coverage": 0.9955056179775281,
			"precision": 0.9844808126410836,
			"reviewed": 0.004494382022471877
		},
		{
			"threshold": 0.9,
			"coverage": 0.9922752808988764,
			"precision": 0.9851380042462845,
			"reviewed": 0.0077247191011236005
		},
		{
			"threshold": 0.95,
			"coverage": 0.9174157303370787,
			"precision": 0.9882118799755052,
			"reviewed": 0.08258426966292132
		},
		{
			"threshold": 0.97,
			"coverage": 0.8452247191011236,
			"precision": 0.9910269192422732,
			"reviewed": 0.15477528089887638
		}
	],
	"reliability_raw": [
		{
			"lo": 0.0,
			"hi": 0.06666666666666667,
			"n": 11,
			"conf": 0.00859130897395197,
			"acc": 0.0
		},
		{
			"lo": 0.06666666666666667,
			"hi": 0.13333333333333333,
			"n": 1,
			"conf": 0.09919745716083309,
			"acc": 1.0
		},
		{
			"lo": 0.13333333333333333,
			"hi": 0.2,
			"n": 2,
			"conf": 0.17642642318948423,
			"acc": 0.0
		},
		{
			"lo": 0.2,
			"hi": 0.26666666666666666,
			"n": 2,
			"conf": 0.2149186591032387,
			"acc": 1.0
		},
		{
			"lo": 0.26666666666666666,
			"hi": 0.3333333333333333,
			"n": 5,
			"conf": 0.3071612967943654,
			"acc": 0.6
		},
		{
			"lo": 0.3333333333333333,
			"hi": 0.4,
			"n": 5,
			"conf": 0.3589545138265823,
			"acc": 0.6
		},
		{
			"lo": 0.4,
			"hi": 0.4666666666666667,
			"n": 7,
			"conf": 0.4312700172192481,
			"acc": 0.7142857142857143
		},
		{
			"lo": 0.4666666666666667,
			"hi": 0.5333333333333333,
			"n": 13,
			"conf": 0.5000625265767356,
			"acc": 0.6923076923076923
		},
		{
			"lo": 0.5333333333333333,
			"hi": 0.6,
			"n": 12,
			"conf": 0.5644492849667573,
			"acc": 0.9166666666666666
		},
		{
			"lo": 0.6,
			"hi": 0.6666666666666666,
			"n": 30,
			"conf": 0.6344105236624018,
			"acc": 0.8
		},
		{
			"lo": 0.6666666666666666,
			"hi": 0.7333333333333333,
			"n": 48,
			"conf": 0.7016889167234245,
			"acc": 0.9166666666666666
		},
		{
			"lo": 0.7333333333333333,
			"hi": 0.8,
			"n": 129,
			"conf": 0.7691722432702582,
			"acc": 0.9922480620155039
		},
		{
			"lo": 0.8,
			"hi": 0.8666666666666667,
			"n": 208,
			"conf": 0.8409492900707859,
			"acc": 0.9423076923076923
		},
		{
			"lo": 0.8666666666666667,
			"hi": 0.9333333333333333,
			"n": 4146,
			"conf": 0.9156785010478844,
			"acc": 0.9852870236372407
		},
		{
			"lo": 0.9333333333333333,
			"hi": 1.0,
			"n": 2501,
			"conf": 0.9460267604697434,
			"acc": 0.9916033586565374
		}
	],
	"reliability_cal": [
		{
			"lo": 0.0,
			"hi": 0.06666666666666667,
			"n": 11,
			"conf": 0.04040404040404041,
			"acc": 0.0
		},
		{
			"lo": 0.06666666666666667,
			"hi": 0.13333333333333333,
			"n": 0,
			"conf": null,
			"acc": null
		},
		{
			"lo": 0.13333333333333333,
			"hi": 0.2,
			"n": 0,
			"conf": null,
			"acc": null
		},
		{
			"lo": 0.2,
			"hi": 0.26666666666666666,
			"n": 0,
			"conf": null,
			"acc": null
		},
		{
			"lo": 0.26666666666666666,
			"hi": 0.3333333333333333,
			"n": 0,
			"conf": null,
			"acc": null
		},
		{
			"lo": 0.3333333333333333,
			"hi": 0.4,
			"n": 0,
			"conf": null,
			"acc": null
		},
		{
			"lo": 0.4,
			"hi": 0.4666666666666667,
			"n": 0,
			"conf": null,
			"acc": null
		},
		{
			"lo": 0.4666666666666667,
			"hi": 0.5333333333333333,
			"n": 0,
			"conf": null,
			"acc": null
		},
		{
			"lo": 0.5333333333333333,
			"hi": 0.6,
			"n": 0,
			"conf": null,
			"acc": null
		},
		{
			"lo": 0.6,
			"hi": 0.6666666666666666,
			"n": 18,
			"conf": 0.6322493224932251,
			"acc": 0.6666666666666666
		},
		{
			"lo": 0.6666666666666666,
			"hi": 0.7333333333333333,
			"n": 3,
			"conf": 0.6666666666666666,
			"acc": 0.3333333333333333
		},
		{
			"lo": 0.7333333333333333,
			"hi": 0.8,
			"n": 0,
			"conf": null,
			"acc": null
		},
		{
			"lo": 0.8,
			"hi": 0.8666666666666667,
			"n": 22,
			"conf": 0.8305785123966942,
			"acc": 0.7727272727272727
		},
		{
			"lo": 0.8666666666666667,
			"hi": 0.9333333333333333,
			"n": 69,
			"conf": 0.9046716558417988,
			"acc": 0.8695652173913043
		},
		{
			"lo": 0.9333333333333333,
			"hi": 1.0,
			"n": 6997,
			"conf": 0.9842065663919752,
			"acc": 0.9862798342146635
		}
	],
	"table": [
		{
			"lo": 0.0,
			"hi": 0.05,
			"center": 0.025,
			"calibrated": 0.044444444444444446
		},
		{
			"lo": 0.05,
			"hi": 0.1,
			"center": 0.07500000000000001,
			"calibrated": 0.6
		},
		{
			"lo": 0.1,
			"hi": 0.15000000000000002,
			"center": 0.125,
			"calibrated": 0.6
		},
		{
			"lo": 0.15000000000000002,
			"hi": 0.2,
			"center": 0.17500000000000002,
			"calibrated": 0.6341463414634146
		},
		{
			"lo": 0.2,
			"hi": 0.25,
			"center": 0.225,
			"calibrated": 0.6341463414634146
		},
		{
			"lo": 0.25,
			"hi": 0.30000000000000004,
			"center": 0.275,
			"calibrated": 0.6341463414634146
		},
		{
			"lo": 0.30000000000000004,
			"hi": 0.35000000000000003,
			"center": 0.32500000000000007,
			"calibrated": 0.6341463414634146
		},
		{
			"lo": 0.35000000000000003,
			"hi": 0.4,
			"center": 0.375,
			"calibrated": 0.6341463414634146
		},
		{
			"lo": 0.4,
			"hi": 0.45,
			"center": 0.42500000000000004,
			"calibrated": 0.6666666666666666
		},
		{
			"lo": 0.45,
			"hi": 0.5,
			"center": 0.475,
			"calibrated": 0.8181818181818182
		},
		{
			"lo": 0.5,
			"hi": 0.55,
			"center": 0.525,
			"calibrated": 0.8333333333333334
		},
		{
			"lo": 0.55,
			"hi": 0.6000000000000001,
			"center": 0.5750000000000001,
			"calibrated": 0.8333333333333334
		},
		{
			"lo": 0.6000000000000001,
			"hi": 0.65,
			"center": 0.625,
			"calibrated": 0.9047619047619048
		},
		{
			"lo": 0.65,
			"hi": 0.7000000000000001,
			"center": 0.675,
			"calibrated": 0.9047619047619048
		},
		{
			"lo": 0.7000000000000001,
			"hi": 0.75,
			"center": 0.7250000000000001,
			"calibrated": 0.9354346720894764
		},
		{
			"lo": 0.75,
			"hi": 0.8,
			"center": 0.775,
			"calibrated": 0.9354346720894764
		},
		{
			"lo": 0.8,
			"hi": 0.8500000000000001,
			"center": 0.8250000000000001,
			"calibrated": 0.9354346720894764
		},
		{
			"lo": 0.8500000000000001,
			"hi": 0.9,
			"center": 0.875,
			"calibrated": 0.9354346720894764
		},
		{
			"lo": 0.9,
			"hi": 0.9500000000000001,
			"center": 0.925,
			"calibrated": 0.9907799651133815
		},
		{
			"lo": 0.9500000000000001,
			"hi": 1.0,
			"center": 0.9750000000000001,
			"calibrated": 0.9907799651133815
		}
	]
}