PoLEJ - Polish Open LLM Leaderboard

Polish Open LLM Leaderboard

T	Model / Adapter	Precision	Average	PPC ^A	PolEmo2 In ^A	8TAGS ^A	Belebele PL ^A	Belebele EN	LEK	PSC	DYK
N/AUnknown	Random Baseline	N/A	21.88	25.0	25.0	12.5	25.0	25.0	20.0	25.0	25.0
🔶fine-tuned	Voicelab/trurl-2-7b	float16	50.39	42.7	47.51	67.02	44.33	71.89	27.83	44.25	82.8
🟦RL-tuned	meta-llama/Llama-2-7b-chat-hf	float16	43.67	24.6	56.51	54.8	38.78	57.89	27.85	69.48	56.75
🟢pretrained	mistralai/Mistral-7B-v0.1	bfloat16	41.65	38.9	18.42	53.96	55.33	77.78	27.85	32.0	6.41
⭕instruction-tuned	Azurro/llama-2-7b-qlora-polish-instruct	float16	35.47	3.5	60.53	45.84	32.0	45.78	20.55	61.97	16.91
🟢pretrained	Azurro/llama-2-7b-qlora-polish	float16	24.59	8.9	21.05	35.18	33.22	43.56	19.99	57.05	19.14
🔶fine-tuned	Voicelab/trurl-2-13b-academic	8bit	54.8	45.2	54.29	65.48	54.22	81.33	28.95	32.65	16.91
🟢pretrained	meta-llama/Llama-2-7b-hf	float16	21.01	11.4	20.5	17.57	34.56	44.0	21.11	15.03	27.41
🟢pretrained	Azurro/APT-1B-Base	float32	6.22	1.1	3.05	6.27	14.44	15.0	16.16	0.09	0.39
🟦RL-tuned	meta-llama/Llama-2-13b-chat-hf	8bit	51.39	55.7	45.15	54.16	50.56	75.56	24.75	69.94	16.91
🔶fine-tuned	Typly/Pigeon-7B	float16	19.21	0.1	26.32	25.21	25.22	39.33	17.48	0.0	11.37
⭕instruction-tuned	Azurro/Mistral-7B-Instruct-v0.1-qlora-polish	bfloat16	43.93	39.6	39.75	58.37	38.0	73.44	24.88	0.37	16.42
🟢pretrained	tiiuae/falcon-7b	bfloat16	15.08	6.7	16.2	12.53	24.89	23.56	18.53	3.34	0.0
🟢pretrained	Azurro/APT3-500M-Base	float32	5.45	0.5	2.22	10.98	8.11	6.89	15.65	0.0	0.68
⭕instruction-tuned	tiiuae/falcon-7b-instruct	bfloat16	13.42	0.0	14.68	16.01	23.0	28.78	17.95	0.0	12.73
🟦RL-tuned	codellama/CodeLlama-34b-hf	4bit	36.66	0.2	44.88	57.02	44.56	62.78	22.96	1.95	48.59
⭕instruction-tuned	HuggingFaceH4/zephyr-7b-alpha	bfloat16	58.69	39.7	62.6	67.36	65.11	82.56	33.38	22.17	16.91
⭕instruction-tuned	mistralai/Mistral-7B-Instruct-v0.1	bfloat16	49.66	50.6	48.89	55.72	43.44	74.56	28.79	29.04	47.04
🟢pretrained	Azurro/APT2-1B-Base	float32	12.67	0.0	16.2	12.58	21.89	19.44	17.84	0.0	0.0

^A - Included in 'Average' Calculation

PoLEJ - Polska Lista Ewaluacji Językowych

The Polish Open LLM Leaderboard aims to track, rank, and evaluate open LLMs specifically for Polish. Right now, we limit the list of models to those that can run on a single consumer GPU with up to 24GB of VRAM. We believe it helps the Polish community pick up the right models more quickly and efficiently.

If you want us to add a new model to the leaderboard or if you want to contribute, please contact us at [email protected].

Copy the following snippet to cite these results:

                      
    @misc{polish-open-llm-leaderboard,
      author    = {Krzysztof Ociepa},
      title     = {Polish Open LLM Leaderboard},
      year      = {2023},
      publisher = {Azurro},
      url       = {https://polej.azurro.pl}
    }
    @software{eval-harness,
      author       = {Gao, Leo and
                      Tow, Jonathan and
                      Abbasi, Baber and
                      Biderman, Stella and
                      Black, Sid and
                      DiPofi, Anthony and
                      Foster, Charles and
                      Golding, Laurence and
                      Hsu, Jeffrey and
                      Le Noac'h, Alain and
                      Li, Haonan and
                      McDonell, Kyle and
                      Muennighoff, Niklas and
                      Ociepa, Chris
                      Phang, Jason and
                      Reynolds, Laria and
                      Schoelkopf, Hailey and
                      Skowron, Aviya and
                      Sutawika, Lintang and
                      Tang, Eric and
                      Thite, Anish and
                      Wang, Ben and
                      Wang, Kevin and
                      Zou, Andy},
      title        = {A framework for few-shot language model evaluation},
      month        = sep,
      year         = 2021,
      publisher    = {Zenodo},
      version      = {v0.0.1},
      doi          = {10.5281/zenodo.5371628},
      url          = {https://doi.org/10.5281/zenodo.5371628}
    }

We evaluate open language models on the following benchmarks using the Eleuther AI Language Model Evaluation Harness:

Belebele - The Belebele Benchmark for Massively Multilingual NLU Evaluation
PPC - Polish Paraphrase Corpus
PolEmo2 In - The PolEmo2.0 In-Domain
8TAGS - The 8 tags Benchmark
PSC - The Polish Summaries Corpus
DYK - Czy wiesz?
LEK - Polish LEK (Lekarski Egzamin Końcowy) questions. This is a private dataset with over 5000 questions from the past few years.

For all these evaluations, we use the 0-shot approach and the greedy_until model output type. Using regex filters, we extract answers from the model's response and then calculate accuracy. A higher score indicates better performance.

Here is a list of sample prompts for each task.

Belebele
Fragment: "Słońce nie ma takiej skorupy jak Ziemia, na której możesz stać. Słońce jest w całości z gazów, ognia oraz plazmy. Gaz rozrzedza się w miarę oddalania się od środka Słońca. Zewnętrzna obręcz, którą widzimy, patrząc na Słońce, nazywana jest fotosferą, co dosłownie oznacza „kulę światła”."
Pytanie: "Co staje się cieńsze w miarę oddalania się od środka Słońca?"
Możliwe odpowiedzi:
A - Plazma
B - Ogień
C - Gaz
D - Skorupa
Prawidłowa odpowiedź:
PPC
Zdanie A: "Prezydent Obama urodził się w Stanach Zjednoczonych."
Zdanie B: "Barack Obama urodził się w Ameryce."
Pytanie: jaka jest zależność między zdaniami A i B? Możliwe odpowiedzi:
A - wszystkie odpowiedzi poprawne
B - znaczą dokładnie to samo
C - mają podobne znaczenie
D - mają różne znaczenie
Prawidłowa odpowiedź:
PolEmo2 In
Opinia: "Nie wspominam jego Osoby przyjaznie wręcz przeciwnie dla pacjentów oschły albo agresywny odnoszenie się uniesionym głosem do osób starszych i nie tylko . . . : ( ( co do wiedzy nie moge sie wypowiedziec bo sam przezucił mnie w rece innego lekarza . . . moje szczeście w nieszczęściu . . ."
Określ sentyment podanej opinii. Możliwe odpowiedzi:
A - Neutralny
B - Negatywny
C - Pozytywny
D - Niejednoznaczny
Prawidłowa odpowiedź:
8TAGS
Tytuł: "Druga osoba wyleczona z HIV (od 1, 5 roku)."
Pytanie: jaka kategoria najlepiej pasuje do podanego tytułu?
Możliwe odpowiedzi:
A - film
B - historia
C - jedzenie
D - medycyna
E - motoryzacja
F - praca
G - sport
H - technologie
Prawidłowa odpowiedź:
PSC
Fragment 1: "Z każdym rokiem zmniejsza się udział TVP w rynku telewizyjnym. To dobrzej. Im większa będzie ofensywa telewizji prywatnych, tym szybciej ludzie TVP uświadomią sobie, że nie mają sensu próby pokonania konkurencji w szeroko rozumianej komercji. pieniądze z reklamy zablokowały reformy w TVP. TVP miota się od misji do komercji i z powrotem. Ci, którzy mają wpływ na TVP, powinni uświadomić sobie, że TVP nie jest za darmo."
Fragment 2: "Próby podbierania wyborców będą główną osią kampanii do parlamentu. Stawka najsilniejszych jest wyrównana i niezmienna od miesięcy. Liderzy to SLD i AWS. Za nimi plasują się PSL, UW, ROP i UP. AWS i SLD trudno będzie podbierać sobie głosy. O preferencjach politycznych Polaków wciąż często decyduje przeszłość. Duże znaczenie dawnych podziałów świadczy o tym, że nadchodzące wybory będą wyborami identyfikacji ideologicznej, nie zaś walką programów."
Pytanie: jaka jest zależność między fragmentami 1 i 2?
Możliwe odpowiedzi:
A - wszystkie odpowiedzi poprawne
B - dotyczą tego samego artykułu
C - dotyczą różnych artykułów
D - brak poprawnej odpowiedzi
Prawidłowa odpowiedź:
DYK
Pytanie: "która część zamku Habsburg zachowała się do czasów współczesnych?"
Sugerowana odpowiedź: "Do czasów współczesnych zachowała się narożna wieża zamku średniego (przedzamcza), część murów obwodowych oraz piwnice zamku wysokiego."
Czy sugerowana odpowiedź na zadane pytanie jest poprawna? Możliwe opcje:
A - brakuje sugerowanej odpowiedzi
B - nie, sugerowana odpowiedź nie jest poprawna
C - tak, sugerowana odpowiedź jest poprawna
D - brakuje pytania
Prawidłowa opcja:
LEK
Metadon jest:
A - Częściowym agonistą receptorów NMDA
B - Częściowym agonistą receptorów Ach
C - Częściowym agonistą receptorów GABA
D - Agonistą receptorów opioidowych
E - Antagonistą receptorów GABA
Odpowiedz krótko A, B, C, D lub E. Prawidłowa odpowiedź:

Polish Open LLM Leaderboard

Select columns to show