custom|hellaswag_cf|0|1
custom|arc_cf|0|1
custom|mmlu_cf|0|1
custom|mmlu_pro_cf|0|1
custom|boolq_cf|0|1
custom|commonsenseqa_cf|0|1
custom|winogrande_cf|0|1
custom|openbookqa_cf|0|1
custom|piqa_cf|0|1
custom|gsm8k|5|1
custom|math_cot|4|1

lighteval|belebele_arb_Arab_cf|0|1
lighteval|belebele_rus_Cyrl_cf|0|1
lighteval|belebele_zho_Hans_cf|0|1
lighteval|belebele_deu_Latn_cf|0|1
lighteval|belebele_fra_Latn_cf|0|1
lighteval|belebele_ita_Latn_cf|0|1
lighteval|belebele_por_Latn_cf|0|1
lighteval|belebele_spa_Latn_cf|0|1
lighteval|belebele_eng_Latn_cf|0|1

lighteval|global_mmlu_ca_ara_cf|0|1
lighteval|global_mmlu_ca_rus_cf|0|1
lighteval|global_mmlu_ca_zho_cf|0|1
lighteval|global_mmlu_ca_deu_cf|0|1
lighteval|global_mmlu_ca_fra_cf|0|1
lighteval|global_mmlu_ca_ita_cf|0|1
lighteval|global_mmlu_ca_por_cf|0|1
lighteval|global_mmlu_ca_spa_cf|0|1

lighteval|flores200:fra_Latn-eng_Latn|5|1
lighteval|flores200:eng_Latn-fra_Latn|5|1
lighteval|flores200:spa_Latn-eng_Latn|5|1
lighteval|flores200:eng_Latn-spa_Latn|5|1
lighteval|flores200:deu_Latn-eng_Latn|5|1
lighteval|flores200:eng_Latn-deu_Latn|5|1
lighteval|flores200:ita_Latn-eng_Latn|5|1
lighteval|flores200:eng_Latn-ita_Latn|5|1
lighteval|flores200:por_Latn-eng_Latn|5|1
lighteval|flores200:eng_Latn-por_Latn|5|1
lighteval|flores200:zho_Hans-eng_Latn|5|1
lighteval|flores200:eng_Latn-zho_Hans|5|1
lighteval|flores200:rus_Cyrl-eng_Latn|5|1
lighteval|flores200:eng_Latn-rus_Cyrl|5|1
lighteval|flores200:arb_Arab-eng_Latn|5|1
lighteval|flores200:eng_Latn-arb_Arab|5|1

lighteval|mlmm_hellaswag_ara_cf|0|1
lighteval|mlmm_hellaswag_rus_cf|0|1
lighteval|mlmm_hellaswag_zho_cf|0|1
lighteval|mlmm_hellaswag_deu_cf|0|1
lighteval|mlmm_hellaswag_fra_cf|0|1
lighteval|mlmm_hellaswag_ita_cf|0|1
lighteval|mlmm_hellaswag_por_cf|0|1
lighteval|mlmm_hellaswag_spa_cf|0|1