Statystyki modeli

Podział testowyMS (multi-signer) - w teście osoby obecne też w treningu (znane modelowi).SI (signer-independent) - w teście wyłącznie osoby niewidziane w treningu (test generalizacji).

Uni-Sign (zespół modeli)

Źródło transferu	Podział	BLEU-1	BLEU-2	BLEU-3	BLEU-4	ROUGE-L	BLEURT	chrF	BERTScore
OpenASL + How2Sign (6 modeli)	MS	34,62	20,69	14,17	10,36	24,43	44,37	27,89	89,24
OpenASL + How2Sign (2 modele)	SI	30,00	15,65	9,85	6,68	18,65	39,19	23,41	88,35

Skład zespołu

MS: sześć modeli Uni-Sign wybranych po kolei na zbiorze walidacyjnym. To modele z transferem z OpenASL i z How2Sign, każdy w dwóch wersjach z różnym ziarnem losowania, model uczony kolejno na OpenASL, How2Sign i PJM oraz model uczony na mieszance referencji i tłumaczeń innych modeli, które tych klipów nie widziały.

SI: dwa modele Uni-Sign, z transferem z OpenASL i z How2Sign.

Zespół uśrednia przewidywania modeli przy każdym kolejnym słowie, więc nie jest wynikiem pojedynczego modelu i kosztuje tyle obliczeń, ile modeli zawiera.

Uni-Sign

Źródło transferu	Podział	BLEU-1	BLEU-2	BLEU-3	BLEU-4	ROUGE-L	BLEURT	chrF	BERTScore
OpenASL	MS	32,61	18,41	12,10	8,53	21,72	42,43	26,04	88,91
How2Sign	MS	32,42	18,33	12,11	8,61	21,90	41,98	25,86	88,86
CSL-News	MS	26,42	12,69	7,70	5,16	16,35	36,36	20,56	87,79
brak (od zera)	MS	18,58	5,77	2,96	1,82	8,48	30,04	13,36	86,14
OpenASL	SI	29,28	14,93	9,18	6,09	17,62	38,16	22,82	88,18
How2Sign	SI	28,78	14,43	8,86	5,91	17,37	37,83	22,36	88,14
CSL-News	SI	21,98	7,89	4,00	2,41	11,36	31,31	16,80	87,01
brak (od zera)	SI	15,29	3,48	1,52	0,85	6,11	30,08	13,07	85,95

SpaMo

Źródło transferu	Podział	BLEU-1	BLEU-2	BLEU-3	BLEU-4	ROUGE-L	BLEURT	chrF	BERTScore
PHOENIX	MS	28,87	13,76	8,27	5,54	19,66	35,12	21,06	87,79
brak (tylko PJM)	MS	18,55	6,60	3,40	2,03	12,37	30,25	15,32	86,13
PHOENIX	SI	21,97	7,46	3,63	2,09	12,42	28,84	16,02	86,63
brak (tylko PJM)	SI	17,65	4,53	1,86	0,93	9,28	27,97	13,14	85,75

SpaMo (modyf.)

Źródło transferu	Podział	BLEU-1	BLEU-2	BLEU-3	BLEU-4	ROUGE-L	BLEURT	chrF	BERTScore
PHOENIX	MS	27,90	13,14	7,76	5,06	18,86	34,30	20,94	87,68
brak (tylko PJM)	MS	18,45	6,04	2,85	1,56	11,92	30,42	14,50	86,02
PHOENIX	SI	21,97	7,39	3,59	2,06	12,26	27,86	16,17	86,53
brak (tylko PJM)	SI	18,78	5,23	2,27	1,17	10,12	27,67	14,14	86,03

Pogrubiona jest najlepsza wartość w kolumnie w obrębie podziału, MS albo SI.