[NLP Project] Bert model 성능 기록
11월 12일
bert-base-multilingual-cased
epochs = 20, batch_size = 128
RMSprop
lr" 5e-5
f1 score : 82.17
Epoch 1/20
461/461 [==============================] - 356s 743ms/step - loss: 0.4317
- f1: 75.18
precision recall f1-score support
AT_B 0.85 0.90 0.87 1743
AT_I 0.76 0.87 0.81 500
ER_B 0.70 0.77 0.73 2853
ER_I 0.48 0.29 0.36 337
FW_B 0.46 0.23 0.31 284
FW_I 0.20 0.16 0.18 80
IM_B 0.80 0.79 0.79 214
IM_I 0.82 0.85 0.83 53
LD_B 0.50 0.38 0.43 157
LD_I 0.00 0.00 0.00 4
LT_B 0.00 0.00 0.00 18
LT_I 0.00 0.00 0.00 1
NM_B 0.58 0.44 0.50 480
NM_I 0.00 0.00 0.00 1
OC_B 0.62 0.64 0.63 1290
OC_I 0.00 0.00 0.00 10
PAD] 1.00 1.00 1.00 6302
RM_B 0.59 0.47 0.52 1273
RM_I 0.20 0.25 0.22 178
UM_B 0.90 0.91 0.91 3526
UM_I 0.76 0.60 0.67 614
VL_B 0.65 0.56 0.60 3804
VL_I 0.22 0.19 0.20 184
VT_B 0.78 0.73 0.75 3451
VT_I 0.64 0.82 0.72 1653
_ 0.72 0.71 0.72 18351
micro avg 0.76 0.74 0.75 47361
macro avg 0.51 0.48 0.49 47361
weighted avg 0.76 0.74 0.75 47361
Epoch 2/20
461/461 [==============================] - 343s 743ms/step - loss: 0.1486
- f1: 77.43
precision recall f1-score support
AT_B 0.85 0.92 0.88 1743
AT_I 0.77 0.88 0.82 500
ER_B 0.73 0.82 0.77 2853
ER_I 0.52 0.63 0.57 337
FW_B 0.52 0.31 0.39 284
FW_I 0.29 0.15 0.20 80
IM_B 0.78 0.88 0.83 214
IM_I 0.77 0.91 0.83 53
LD_B 0.50 0.52 0.51 157
LD_I 0.00 0.00 0.00 4
LT_B 0.30 0.17 0.21 18
LT_I 0.00 0.00 0.00 1
NM_B 0.61 0.65 0.63 480
NM_I 0.00 0.00 0.00 1
OC_B 0.58 0.73 0.65 1290
OC_I 0.00 0.00 0.00 10
PAD] 1.00 1.00 1.00 6302
RM_B 0.55 0.62 0.58 1273
RM_I 0.26 0.26 0.26 178
UM_B 0.90 0.93 0.92 3526
UM_I 0.71 0.82 0.76 614
VL_B 0.69 0.64 0.66 3804
VL_I 0.40 0.08 0.13 184
VT_B 0.70 0.76 0.73 3451
VT_I 0.86 0.37 0.51 1653
_ 0.74 0.77 0.76 18351
micro avg 0.77 0.78 0.77 47361
macro avg 0.54 0.53 0.52 47361
weighted avg 0.77 0.78 0.77 47361
Epoch 3/20
461/461 [==============================] - 343s 744ms/step - loss: 0.1151
- f1: 79.57
precision recall f1-score support
AT_B 0.88 0.92 0.90 1743
AT_I 0.81 0.90 0.85 500
ER_B 0.81 0.80 0.80 2853
ER_I 0.63 0.63 0.63 337
FW_B 0.44 0.45 0.45 284
FW_I 0.22 0.34 0.27 80
IM_B 0.80 0.92 0.85 214
IM_I 0.82 0.92 0.87 53
LD_B 0.51 0.48 0.50 157
LD_I 0.00 0.00 0.00 4
LT_B 0.30 0.17 0.21 18
LT_I 0.00 0.00 0.00 1
NM_B 0.63 0.58 0.61 480
NM_I 0.00 0.00 0.00 1
OC_B 0.70 0.70 0.70 1290
OC_I 0.00 0.00 0.00 10
PAD] 1.00 1.00 1.00 6302
RM_B 0.55 0.67 0.61 1273
RM_I 0.24 0.46 0.31 178
UM_B 0.92 0.92 0.92 3526
UM_I 0.78 0.79 0.79 614
VL_B 0.67 0.72 0.69 3804
VL_I 0.34 0.28 0.31 184
VT_B 0.75 0.76 0.76 3451
VT_I 0.66 0.87 0.75 1653
_ 0.77 0.78 0.77 18351
micro avg 0.78 0.81 0.80 47361
macro avg 0.55 0.58 0.56 47361
weighted avg 0.79 0.81 0.80 47361
Epoch 4/20
461/461 [==============================] - 343s 744ms/step - loss: 0.0936
- f1: 80.42
precision recall f1-score support
AT_B 0.88 0.92 0.90 1743
AT_I 0.82 0.89 0.85 500
ER_B 0.80 0.82 0.81 2853
ER_I 0.60 0.66 0.63 337
FW_B 0.46 0.47 0.46 284
FW_I 0.30 0.31 0.30 80
IM_B 0.82 0.89 0.85 214
IM_I 0.84 0.87 0.85 53
LD_B 0.54 0.54 0.54 157
LD_I 0.00 0.00 0.00 4
LT_B 0.33 0.22 0.27 18
LT_I 0.00 0.00 0.00 1
NM_B 0.65 0.67 0.66 480
NM_I 0.00 0.00 0.00 1
OC_B 0.74 0.66 0.70 1290
OC_I 0.00 0.00 0.00 10
PAD] 1.00 1.00 1.00 6302
RM_B 0.52 0.70 0.60 1273
RM_I 0.26 0.35 0.30 178
UM_B 0.92 0.94 0.93 3526
UM_I 0.75 0.88 0.81 614
VL_B 0.72 0.70 0.71 3804
VL_I 0.34 0.41 0.37 184
VT_B 0.79 0.75 0.77 3451
VT_I 0.67 0.88 0.76 1653
_ 0.77 0.79 0.78 18351
micro avg 0.79 0.82 0.80 47361
macro avg 0.56 0.59 0.57 47361
weighted avg 0.80 0.82 0.81 47361
Epoch 5/20
461/461 [==============================] - 343s 744ms/step - loss: 0.0787
- f1: 81.05
precision recall f1-score support
AT_B 0.91 0.93 0.92 1743
AT_I 0.86 0.88 0.87 500
ER_B 0.80 0.83 0.81 2853
ER_I 0.59 0.67 0.62 337
FW_B 0.52 0.48 0.49 284
FW_I 0.36 0.26 0.30 80
IM_B 0.81 0.93 0.86 214
IM_I 0.88 0.92 0.90 53
LD_B 0.52 0.47 0.50 157
LD_I 0.00 0.00 0.00 4
LT_B 0.17 0.11 0.13 18
LT_I 0.00 0.00 0.00 1
NM_B 0.66 0.68 0.67 480
NM_I 0.00 0.00 0.00 1
OC_B 0.73 0.71 0.72 1290
OC_I 0.00 0.00 0.00 10
PAD] 1.00 1.00 1.00 6302
RM_B 0.65 0.62 0.64 1273
RM_I 0.35 0.37 0.36 178
UM_B 0.91 0.94 0.93 3526
UM_I 0.76 0.84 0.79 614
VL_B 0.77 0.67 0.71 3804
VL_I 0.44 0.29 0.35 184
VT_B 0.84 0.75 0.79 3451
VT_I 0.83 0.76 0.79 1653
_ 0.78 0.78 0.78 18351
micro avg 0.82 0.80 0.81 47361
macro avg 0.58 0.57 0.57 47361
weighted avg 0.82 0.80 0.81 47361
Epoch 6/20
461/461 [==============================] - 343s 744ms/step - loss: 0.0668
- f1: 81.44
precision recall f1-score support
AT_B 0.90 0.93 0.92 1743
AT_I 0.86 0.89 0.87 500
ER_B 0.81 0.83 0.82 2853
ER_I 0.62 0.61 0.62 337
FW_B 0.55 0.47 0.51 284
FW_I 0.40 0.35 0.37 80
IM_B 0.82 0.89 0.86 214
IM_I 0.85 0.89 0.87 53
LD_B 0.58 0.39 0.47 157
LD_I 0.00 0.00 0.00 4
LT_B 0.20 0.17 0.18 18
LT_I 0.00 0.00 0.00 1
NM_B 0.60 0.70 0.65 480
NM_I 0.00 0.00 0.00 1
OC_B 0.74 0.70 0.72 1290
OC_I 0.00 0.00 0.00 10
PAD] 1.00 1.00 1.00 6302
RM_B 0.63 0.64 0.63 1273
RM_I 0.36 0.31 0.34 178
UM_B 0.92 0.94 0.93 3526
UM_I 0.81 0.79 0.80 614
VL_B 0.73 0.73 0.73 3804
VL_I 0.42 0.37 0.40 184
VT_B 0.79 0.76 0.77 3451
VT_I 0.73 0.82 0.78 1653
_ 0.78 0.80 0.79 18351
micro avg 0.81 0.82 0.81 47361
macro avg 0.58 0.58 0.58 47361
weighted avg 0.81 0.82 0.81 47361
Epoch 7/20
461/461 [==============================] - 343s 744ms/step - loss: 0.0564
- f1: 81.26
precision recall f1-score support
AT_B 0.89 0.93 0.91 1743
AT_I 0.81 0.88 0.85 500
ER_B 0.81 0.82 0.82 2853
ER_I 0.61 0.69 0.65 337
FW_B 0.51 0.51 0.51 284
FW_I 0.31 0.34 0.33 80
IM_B 0.83 0.92 0.87 214
IM_I 0.79 0.87 0.83 53
LD_B 0.50 0.58 0.54 157
LD_I 0.00 0.00 0.00 4
LT_B 0.23 0.33 0.27 18
LT_I 0.00 0.00 0.00 1
NM_B 0.66 0.65 0.66 480
NM_I 0.00 0.00 0.00 1
OC_B 0.72 0.76 0.74 1290
OC_I 0.00 0.00 0.00 10
PAD] 1.00 1.00 1.00 6302
RM_B 0.60 0.68 0.64 1273
RM_I 0.36 0.35 0.36 178
UM_B 0.91 0.95 0.93 3526
UM_I 0.76 0.84 0.80 614
VL_B 0.75 0.69 0.72 3804
VL_I 0.39 0.43 0.41 184
VT_B 0.80 0.75 0.78 3451
VT_I 0.79 0.81 0.80 1653
_ 0.78 0.79 0.78 18351
micro avg 0.81 0.82 0.81 47361
macro avg 0.57 0.60 0.58 47361
weighted avg 0.81 0.82 0.81 47361
Epoch 8/20
461/461 [==============================] - 343s 744ms/step - loss: 0.0473
- f1: 81.58
precision recall f1-score support
AT_B 0.91 0.92 0.91 1743
AT_I 0.85 0.89 0.87 500
ER_B 0.81 0.83 0.82 2853
ER_I 0.59 0.66 0.62 337
FW_B 0.44 0.58 0.50 284
FW_I 0.36 0.31 0.34 80
IM_B 0.86 0.87 0.86 214
IM_I 0.85 0.89 0.87 53
LD_B 0.50 0.51 0.50 157
LD_I 0.00 0.00 0.00 4
LT_B 0.27 0.22 0.24 18
LT_I 0.00 0.00 0.00 1
NM_B 0.64 0.70 0.67 480
NM_I 0.00 0.00 0.00 1
OC_B 0.72 0.74 0.73 1290
OC_I 0.00 0.00 0.00 10
PAD] 1.00 1.00 1.00 6302
RM_B 0.62 0.67 0.64 1273
RM_I 0.30 0.28 0.29 178
UM_B 0.92 0.94 0.93 3526
UM_I 0.77 0.79 0.78 614
VL_B 0.72 0.74 0.73 3804
VL_I 0.40 0.42 0.41 184
VT_B 0.80 0.75 0.78 3451
VT_I 0.76 0.82 0.79 1653
_ 0.78 0.80 0.79 18351
micro avg 0.81 0.82 0.82 47361
macro avg 0.57 0.59 0.58 47361
weighted avg 0.81 0.82 0.82 47361
Epoch 9/20
461/461 [==============================] - 343s 744ms/step - loss: 0.0393
- f1: 81.55
precision recall f1-score support
AT_B 0.91 0.92 0.92 1743
AT_I 0.85 0.89 0.87 500
ER_B 0.84 0.82 0.83 2853
ER_I 0.66 0.65 0.65 337
FW_B 0.60 0.45 0.52 284
FW_I 0.34 0.35 0.35 80
IM_B 0.87 0.89 0.88 214
IM_I 0.81 0.87 0.84 53
LD_B 0.46 0.59 0.52 157
LD_I 0.00 0.00 0.00 4
LT_B 0.33 0.28 0.30 18
LT_I 0.00 0.00 0.00 1
NM_B 0.68 0.68 0.68 480
NM_I 0.00 0.00 0.00 1
OC_B 0.77 0.74 0.75 1290
OC_I 0.00 0.00 0.00 10
PAD] 1.00 1.00 1.00 6302
RM_B 0.61 0.67 0.64 1273
RM_I 0.38 0.34 0.36 178
UM_B 0.92 0.94 0.93 3526
UM_I 0.77 0.84 0.80 614
VL_B 0.74 0.73 0.73 3804
VL_I 0.38 0.41 0.40 184
VT_B 0.80 0.73 0.76 3451
VT_I 0.78 0.78 0.78 1653
_ 0.79 0.79 0.79 18351
micro avg 0.82 0.82 0.82 47361
macro avg 0.59 0.59 0.59 47361
weighted avg 0.82 0.82 0.82 47361
Epoch 10/20
461/461 [==============================] - 343s 744ms/step - loss: 0.0342
- f1: 80.91
precision recall f1-score support
AT_B 0.89 0.92 0.91 1743
AT_I 0.83 0.89 0.86 500
ER_B 0.80 0.82 0.81 2853
ER_I 0.69 0.60 0.64 337
FW_B 0.57 0.50 0.53 284
FW_I 0.43 0.33 0.37 80
IM_B 0.82 0.89 0.85 214
IM_I 0.83 0.81 0.82 53
LD_B 0.47 0.59 0.52 157
LD_I 1.00 0.25 0.40 4
LT_B 0.11 0.11 0.11 18
LT_I 0.00 0.00 0.00 1
NM_B 0.61 0.74 0.67 480
NM_I 0.00 0.00 0.00 1
OC_B 0.69 0.75 0.72 1290
OC_I 0.00 0.00 0.00 10
PAD] 1.00 1.00 1.00 6302
RM_B 0.55 0.70 0.62 1273
RM_I 0.32 0.33 0.33 178
UM_B 0.91 0.94 0.93 3526
UM_I 0.77 0.83 0.80 614
VL_B 0.66 0.76 0.71 3804
VL_I 0.31 0.44 0.36 184
VT_B 0.76 0.77 0.77 3451
VT_I 0.75 0.79 0.77 1653
_ 0.78 0.81 0.79 18351
micro avg 0.79 0.83 0.81 47361
macro avg 0.60 0.60 0.59 47361
weighted avg 0.79 0.83 0.81 47361
Epoch 11/20
461/461 [==============================] - 343s 744ms/step - loss: 0.0278
- f1: 81.22
precision recall f1-score support
AT_B 0.88 0.93 0.91 1743
AT_I 0.83 0.90 0.86 500
ER_B 0.81 0.83 0.82 2853
ER_I 0.64 0.64 0.64 337
FW_B 0.54 0.54 0.54 284
FW_I 0.36 0.36 0.36 80
IM_B 0.80 0.90 0.85 214
IM_I 0.82 0.85 0.83 53
LD_B 0.46 0.59 0.52 157
LD_I 0.00 0.00 0.00 4
LT_B 0.21 0.39 0.27 18
LT_I 0.00 0.00 0.00 1
NM_B 0.63 0.71 0.67 480
NM_I 0.00 0.00 0.00 1
OC_B 0.72 0.77 0.75 1290
OC_I 0.00 0.00 0.00 10
PAD] 1.00 1.00 1.00 6302
RM_B 0.60 0.69 0.65 1273
RM_I 0.36 0.38 0.37 178
UM_B 0.92 0.94 0.93 3526
UM_I 0.78 0.81 0.79 614
VL_B 0.72 0.73 0.73 3804
VL_I 0.39 0.42 0.40 184
VT_B 0.76 0.75 0.75 3451
VT_I 0.78 0.76 0.77 1653
_ 0.78 0.80 0.79 18351
micro avg 0.80 0.82 0.81 47361
macro avg 0.57 0.60 0.58 47361
weighted avg 0.80 0.82 0.81 47361
Epoch 12/20
461/461 [==============================] - 343s 744ms/step - loss: 0.0248
- f1: 81.42
precision recall f1-score support
AT_B 0.89 0.94 0.91 1743
AT_I 0.87 0.88 0.88 500
ER_B 0.79 0.85 0.81 2853
ER_I 0.70 0.61 0.65 337
FW_B 0.54 0.46 0.50 284
FW_I 0.40 0.36 0.38 80
IM_B 0.78 0.89 0.83 214
IM_I 0.82 0.89 0.85 53
LD_B 0.50 0.54 0.52 157
LD_I 0.00 0.00 0.00 4
LT_B 0.20 0.22 0.21 18
LT_I 0.00 0.00 0.00 1
NM_B 0.60 0.74 0.66 480
NM_I 0.00 0.00 0.00 1
OC_B 0.72 0.76 0.74 1290
OC_I 0.00 0.00 0.00 10
PAD] 1.00 1.00 1.00 6302
RM_B 0.60 0.68 0.64 1273
RM_I 0.33 0.40 0.36 178
UM_B 0.91 0.94 0.93 3526
UM_I 0.75 0.85 0.79 614
VL_B 0.71 0.76 0.74 3804
VL_I 0.33 0.38 0.35 184
VT_B 0.80 0.75 0.77 3451
VT_I 0.76 0.82 0.79 1653
_ 0.78 0.80 0.79 18351
micro avg 0.80 0.83 0.81 47361
macro avg 0.57 0.60 0.58 47361
weighted avg 0.80 0.83 0.81 47361
Epoch 13/20
461/461 [==============================] - 343s 744ms/step - loss: 0.0222
- f1: 81.90
precision recall f1-score support
AT_B 0.90 0.93 0.92 1743
AT_I 0.83 0.90 0.87 500
ER_B 0.81 0.84 0.82 2853
ER_I 0.68 0.64 0.66 337
FW_B 0.58 0.50 0.54 284
FW_I 0.47 0.34 0.39 80
IM_B 0.81 0.90 0.85 214
IM_I 0.86 0.92 0.89 53
LD_B 0.55 0.53 0.54 157
LD_I 0.00 0.00 0.00 4
LT_B 0.35 0.33 0.34 18
LT_I 0.00 0.00 0.00 1
NM_B 0.69 0.66 0.68 480
NM_I 0.00 0.00 0.00 1
OC_B 0.70 0.77 0.73 1290
OC_I 0.00 0.00 0.00 10
PAD] 1.00 1.00 1.00 6302
RM_B 0.62 0.68 0.65 1273
RM_I 0.39 0.35 0.37 178
UM_B 0.93 0.94 0.93 3526
UM_I 0.81 0.81 0.81 614
VL_B 0.72 0.76 0.74 3804
VL_I 0.49 0.29 0.37 184
VT_B 0.78 0.76 0.77 3451
VT_I 0.80 0.76 0.78 1653
_ 0.79 0.80 0.79 18351
micro avg 0.81 0.82 0.82 47361
macro avg 0.60 0.59 0.59 47361
weighted avg 0.81 0.82 0.82 47361
Epoch 14/20
461/461 [==============================] - 343s 744ms/step - loss: 0.0194
- f1: 81.39
precision recall f1-score support
AT_B 0.90 0.92 0.91 1743
AT_I 0.81 0.90 0.85 500
ER_B 0.80 0.85 0.83 2853
ER_I 0.59 0.72 0.65 337
FW_B 0.45 0.54 0.49 284
FW_I 0.35 0.38 0.36 80
IM_B 0.82 0.89 0.85 214
IM_I 0.79 0.85 0.82 53
LD_B 0.51 0.48 0.49 157
LD_I 0.00 0.00 0.00 4
LT_B 0.24 0.22 0.23 18
LT_I 0.00 0.00 0.00 1
NM_B 0.56 0.75 0.64 480
NM_I 0.00 0.00 0.00 1
OC_B 0.76 0.70 0.73 1290
OC_I 0.00 0.00 0.00 10
PAD] 1.00 1.00 1.00 6302
RM_B 0.58 0.70 0.63 1273
RM_I 0.36 0.40 0.38 178
UM_B 0.93 0.94 0.94 3526
UM_I 0.76 0.86 0.81 614
VL_B 0.77 0.73 0.75 3804
VL_I 0.42 0.41 0.41 184
VT_B 0.78 0.75 0.76 3451
VT_I 0.77 0.75 0.76 1653
_ 0.78 0.80 0.79 18351
micro avg 0.81 0.82 0.81 47361
macro avg 0.57 0.60 0.58 47361
weighted avg 0.81 0.82 0.81 47361
Epoch 15/20
461/461 [==============================] - 343s 744ms/step - loss: 0.0174
- f1: 81.81
precision recall f1-score support
AT_B 0.90 0.94 0.92 1743
AT_I 0.85 0.89 0.87 500
ER_B 0.82 0.83 0.83 2853
ER_I 0.69 0.62 0.65 337
FW_B 0.54 0.51 0.52 284
FW_I 0.35 0.35 0.35 80
IM_B 0.82 0.88 0.85 214
IM_I 0.82 0.89 0.85 53
LD_B 0.55 0.51 0.53 157
LD_I 0.00 0.00 0.00 4
LT_B 0.28 0.28 0.28 18
LT_I 0.00 0.00 0.00 1
NM_B 0.69 0.69 0.69 480
NM_I 0.00 0.00 0.00 1
OC_B 0.75 0.73 0.74 1290
OC_I 0.00 0.00 0.00 10
PAD] 1.00 1.00 1.00 6302
RM_B 0.58 0.69 0.63 1273
RM_I 0.40 0.38 0.39 178
UM_B 0.92 0.94 0.93 3526
UM_I 0.78 0.83 0.81 614
VL_B 0.72 0.75 0.74 3804
VL_I 0.39 0.44 0.41 184
VT_B 0.76 0.78 0.77 3451
VT_I 0.81 0.77 0.79 1653
_ 0.79 0.80 0.79 18351
micro avg 0.81 0.83 0.82 47361
macro avg 0.58 0.60 0.59 47361
weighted avg 0.81 0.83 0.82 47361
Epoch 16/20
461/461 [==============================] - 343s 744ms/step - loss: 0.0155
- f1: 81.71
precision recall f1-score support
AT_B 0.90 0.92 0.91 1743
AT_I 0.84 0.88 0.86 500
ER_B 0.81 0.83 0.82 2853
ER_I 0.67 0.64 0.66 337
FW_B 0.49 0.53 0.51 284
FW_I 0.41 0.38 0.39 80
IM_B 0.83 0.91 0.87 214
IM_I 0.90 0.87 0.88 53
LD_B 0.48 0.55 0.51 157
LD_I 0.00 0.00 0.00 4
LT_B 0.33 0.28 0.30 18
LT_I 0.00 0.00 0.00 1
NM_B 0.69 0.69 0.69 480
NM_I 0.50 1.00 0.67 1
OC_B 0.70 0.76 0.73 1290
OC_I 0.00 0.00 0.00 10
PAD] 1.00 1.00 1.00 6302
RM_B 0.63 0.68 0.66 1273
RM_I 0.33 0.39 0.35 178
UM_B 0.92 0.95 0.93 3526
UM_I 0.72 0.90 0.80 614
VL_B 0.73 0.75 0.74 3804
VL_I 0.40 0.39 0.39 184
VT_B 0.75 0.76 0.76 3451
VT_I 0.77 0.77 0.77 1653
_ 0.79 0.80 0.80 18351
micro avg 0.81 0.83 0.82 47361
macro avg 0.60 0.64 0.62 47361
weighted avg 0.81 0.83 0.82 47361
Epoch 17/20
461/461 [==============================] - 343s 744ms/step - loss: 0.0146
- f1: 82.18
precision recall f1-score support
AT_B 0.91 0.93 0.92 1743
AT_I 0.87 0.86 0.87 500
ER_B 0.84 0.81 0.82 2853
ER_I 0.70 0.61 0.65 337
FW_B 0.55 0.49 0.51 284
FW_I 0.48 0.40 0.44 80
IM_B 0.83 0.92 0.87 214
IM_I 0.87 0.89 0.88 53
LD_B 0.54 0.54 0.54 157
LD_I 0.00 0.00 0.00 4
LT_B 0.35 0.33 0.34 18
LT_I 0.00 0.00 0.00 1
NM_B 0.74 0.68 0.71 480
NM_I 0.00 0.00 0.00 1
OC_B 0.76 0.75 0.75 1290
OC_I 0.00 0.00 0.00 10
PAD] 1.00 1.00 1.00 6302
RM_B 0.65 0.69 0.67 1273
RM_I 0.37 0.40 0.38 178
UM_B 0.92 0.95 0.93 3526
UM_I 0.77 0.86 0.81 614
VL_B 0.74 0.75 0.74 3804
VL_I 0.34 0.43 0.38 184
VT_B 0.75 0.78 0.76 3451
VT_I 0.78 0.80 0.79 1653
_ 0.80 0.80 0.80 18351
micro avg 0.82 0.83 0.82 47361
macro avg 0.60 0.60 0.60 47361
weighted avg 0.82 0.83 0.82 47361
Epoch 18/20
461/461 [==============================] - 343s 744ms/step - loss: 0.0132
- f1: 81.96
precision recall f1-score support
AT_B 0.89 0.94 0.91 1743
AT_I 0.85 0.90 0.87 500
ER_B 0.82 0.84 0.83 2853
ER_I 0.63 0.70 0.66 337
FW_B 0.53 0.52 0.53 284
FW_I 0.38 0.40 0.39 80
IM_B 0.82 0.90 0.86 214
IM_I 0.87 0.85 0.86 53
LD_B 0.48 0.57 0.52 157
LD_I 0.00 0.00 0.00 4
LT_B 0.32 0.33 0.32 18
LT_I 0.00 0.00 0.00 1
NM_B 0.67 0.73 0.70 480
NM_I 0.25 1.00 0.40 1
OC_B 0.77 0.76 0.76 1290
OC_I 0.00 0.00 0.00 10
PAD] 1.00 1.00 1.00 6302
RM_B 0.61 0.70 0.65 1273
RM_I 0.34 0.41 0.37 178
UM_B 0.92 0.93 0.93 3526
UM_I 0.74 0.89 0.81 614
VL_B 0.68 0.79 0.73 3804
VL_I 0.35 0.52 0.42 184
VT_B 0.81 0.75 0.78 3451
VT_I 0.78 0.79 0.79 1653
_ 0.78 0.81 0.80 18351
micro avg 0.80 0.83 0.82 47361
macro avg 0.59 0.66 0.61 47361
weighted avg 0.81 0.83 0.82 47361
Epoch 19/20
461/461 [==============================] - 343s 744ms/step - loss: 0.0118
- f1: 82.17
precision recall f1-score support
AT_B 0.91 0.92 0.91 1743
AT_I 0.87 0.88 0.88 500
ER_B 0.86 0.79 0.82 2853
ER_I 0.69 0.64 0.66 337
FW_B 0.64 0.48 0.55 284
FW_I 0.46 0.42 0.44 80
IM_B 0.81 0.87 0.84 214
IM_I 0.85 0.87 0.86 53
LD_B 0.56 0.46 0.51 157
LD_I 0.00 0.00 0.00 4
LT_B 0.29 0.22 0.25 18
LT_I 0.00 0.00 0.00 1
NM_B 0.72 0.67 0.69 480
NM_I 1.00 1.00 1.00 1
OC_B 0.73 0.76 0.74 1290
OC_I 0.00 0.00 0.00 10
PAD] 1.00 1.00 1.00 6302
RM_B 0.64 0.68 0.66 1273
RM_I 0.37 0.37 0.37 178
UM_B 0.92 0.94 0.93 3526
UM_I 0.81 0.80 0.80 614
VL_B 0.75 0.75 0.75 3804
VL_I 0.43 0.41 0.42 184
VT_B 0.84 0.72 0.78 3451
VT_I 0.80 0.79 0.80 1653
_ 0.79 0.79 0.79 18351
micro avg 0.83 0.82 0.82 47361
macro avg 0.64 0.62 0.63 47361
weighted avg 0.83 0.82 0.82 47361
Epoch 20/20
461/461 [==============================] - 343s 744ms/step - loss: 0.0114
- f1: 82.09
precision recall f1-score support
AT_B 0.91 0.93 0.92 1743
AT_I 0.84 0.89 0.87 500
ER_B 0.82 0.83 0.83 2853
ER_I 0.61 0.68 0.64 337
FW_B 0.49 0.54 0.51 284
FW_I 0.37 0.50 0.43 80
IM_B 0.82 0.90 0.86 214
IM_I 0.87 0.89 0.88 53
LD_B 0.48 0.59 0.53 157
LD_I 0.00 0.00 0.00 4
LT_B 0.26 0.28 0.27 18
LT_I 0.00 0.00 0.00 1
NM_B 0.71 0.67 0.69 480
NM_I 1.00 1.00 1.00 1
OC_B 0.72 0.76 0.74 1290
OC_I 0.00 0.00 0.00 10
PAD] 1.00 1.00 1.00 6302
RM_B 0.63 0.68 0.65 1273
RM_I 0.38 0.37 0.38 178
UM_B 0.92 0.95 0.93 3526
UM_I 0.75 0.86 0.80 614
VL_B 0.76 0.73 0.75 3804
VL_I 0.43 0.35 0.39 184
VT_B 0.76 0.77 0.77 3451
VT_I 0.77 0.82 0.79 1653
_ 0.79 0.80 0.80 18351
micro avg 0.81 0.83 0.82 47361
macro avg 0.62 0.65 0.63 47361
weighted avg 0.82 0.83 0.82 47361
11월 14일
epochs = 3, batch_size = 128
RMSprop
lr" 5e-5
f1 score : 60.37
Epoch 1/3
461/461 [==============================] - 357s 739ms/step - loss: 0.8212
- f1: 47.44
precision recall f1-score support
AT_B 0.36 0.50 0.42 1743
AT_I 0.40 0.34 0.37 500
ER_B 0.24 0.37 0.29 2853
ER_I 0.05 0.02 0.03 337
FW_B 0.17 0.06 0.09 284
FW_I 0.00 0.00 0.00 80
IM_B 0.47 0.23 0.31 214
IM_I 0.34 0.26 0.30 53
LD_B 1.00 0.02 0.04 157
LD_I 0.00 0.00 0.00 4
LT_B 0.00 0.00 0.00 18
LT_I 0.00 0.00 0.00 1
NM_B 0.53 0.21 0.30 480
NM_I 0.00 0.00 0.00 1
OC_B 0.11 0.17 0.13 1290
OC_I 0.00 0.00 0.00 10
PAD] 1.00 1.00 1.00 6302
RM_B 0.53 0.18 0.27 1273
RM_I 0.00 0.00 0.00 178
UM_B 0.60 0.59 0.60 3526
UM_I 0.43 0.39 0.41 614
VL_B 0.19 0.16 0.17 3804
VL_I 0.00 0.00 0.00 184
VT_B 0.48 0.34 0.40 3451
VT_I 0.32 0.47 0.38 1653
_ 0.46 0.46 0.46 18351
micro avg 0.48 0.47 0.47 47361
macro avg 0.30 0.22 0.23 47361
weighted avg 0.48 0.47 0.47 47361
Epoch 2/3
461/461 [==============================] - 341s 740ms/step - loss: 0.3272
- f1: 55.39
precision recall f1-score support
AT_B 0.61 0.61 0.61 1743
AT_I 0.60 0.56 0.58 500
ER_B 0.36 0.51 0.42 2853
ER_I 0.15 0.10 0.12 337
FW_B 0.28 0.11 0.16 284
FW_I 0.00 0.00 0.00 80
IM_B 0.61 0.39 0.47 214
IM_I 0.49 0.51 0.50 53
LD_B 0.36 0.25 0.30 157
LD_I 0.00 0.00 0.00 4
LT_B 0.00 0.00 0.00 18
LT_I 0.00 0.00 0.00 1
NM_B 0.57 0.31 0.40 480
NM_I 0.00 0.00 0.00 1
OC_B 0.22 0.32 0.26 1290
OC_I 0.00 0.00 0.00 10
PAD] 1.00 1.00 1.00 6302
RM_B 0.37 0.30 0.33 1273
RM_I 0.06 0.01 0.01 178
UM_B 0.71 0.72 0.71 3526
UM_I 0.60 0.57 0.58 614
VL_B 0.23 0.30 0.26 3804
VL_I 0.00 0.00 0.00 184
VT_B 0.42 0.67 0.51 3451
VT_I 0.52 0.38 0.44 1653
_ 0.53 0.55 0.54 18351
micro avg 0.53 0.58 0.55 47361
macro avg 0.33 0.31 0.32 47361
weighted avg 0.55 0.58 0.56 47361
Epoch 3/3
461/461 [==============================] - 341s 740ms/step - loss: 0.2636
- f1: 60.37
precision recall f1-score support
AT_B 0.70 0.63 0.66 1743
AT_I 0.62 0.62 0.62 500
ER_B 0.46 0.56 0.51 2853
ER_I 0.27 0.21 0.24 337
FW_B 0.42 0.16 0.23 284
FW_I 0.21 0.04 0.06 80
IM_B 0.53 0.53 0.53 214
IM_I 0.53 0.58 0.56 53
LD_B 0.48 0.29 0.37 157
LD_I 0.00 0.00 0.00 4
LT_B 0.00 0.00 0.00 18
LT_I 0.00 0.00 0.00 1
NM_B 0.55 0.37 0.44 480
NM_I 0.00 0.00 0.00 1
OC_B 0.44 0.17 0.24 1290
OC_I 0.00 0.00 0.00 10
PAD] 1.00 1.00 1.00 6302
RM_B 0.42 0.34 0.38 1273
RM_I 0.06 0.01 0.02 178
UM_B 0.73 0.76 0.75 3526
UM_I 0.52 0.64 0.57 614
VL_B 0.39 0.25 0.30 3804
VL_I 0.12 0.01 0.01 184
VT_B 0.66 0.58 0.61 3451
VT_I 0.60 0.55 0.57 1653
_ 0.57 0.55 0.56 18351
micro avg 0.63 0.58 0.60 47361
macro avg 0.40 0.34 0.36 47361
weighted avg 0.61 0.58 0.59 47361
klue/bert-base
epochs = 10, batch_size = 128
RMSprop
lr" 5e-5
f1 score :65.05
Epoch 1/10
461/461 [==============================] - 355s 739ms/step - loss: 0.8289
- f1: 46.87
precision recall f1-score support
AT_B 0.48 0.47 0.48 1743
AT_I 0.38 0.39 0.38 500
ER_B 0.17 0.42 0.24 2853
ER_I 0.04 0.04 0.04 337
FW_B 0.16 0.07 0.10 284
FW_I 0.00 0.00 0.00 80
IM_B 0.51 0.29 0.37 214
IM_I 0.31 0.38 0.34 53
LD_B 0.33 0.01 0.01 157
LD_I 0.00 0.00 0.00 4
LT_B 0.00 0.00 0.00 18
LT_I 0.00 0.00 0.00 1
NM_B 0.51 0.22 0.31 480
NM_I 0.00 0.00 0.00 1
OC_B 0.14 0.12 0.13 1290
OC_I 0.00 0.00 0.00 10
PAD] 1.00 1.00 1.00 6302
RM_B 0.51 0.18 0.26 1273
RM_I 0.00 0.00 0.00 178
UM_B 0.50 0.66 0.57 3526
UM_I 0.37 0.43 0.40 614
VL_B 0.24 0.13 0.17 3804
VL_I 0.00 0.00 0.00 184
VT_B 0.53 0.40 0.46 3451
VT_I 0.50 0.18 0.26 1653
_ 0.44 0.46 0.45 18351
micro avg 0.46 0.47 0.47 47361
macro avg 0.27 0.23 0.23 47361
weighted avg 0.48 0.47 0.46 47361
Epoch 2/10
461/461 [==============================] - 341s 739ms/step - loss: 0.3279
- f1: 57.56
precision recall f1-score support
AT_B 0.66 0.58 0.62 1743
AT_I 0.63 0.54 0.58 500
ER_B 0.43 0.54 0.48 2853
ER_I 0.18 0.23 0.20 337
FW_B 0.36 0.11 0.17 284
FW_I 0.12 0.07 0.09 80
IM_B 0.53 0.43 0.47 214
IM_I 0.47 0.51 0.49 53
LD_B 0.42 0.24 0.31 157
LD_I 0.00 0.00 0.00 4
LT_B 0.00 0.00 0.00 18
LT_I 0.00 0.00 0.00 1
NM_B 0.59 0.29 0.39 480
NM_I 0.00 0.00 0.00 1
OC_B 0.26 0.27 0.27 1290
OC_I 0.00 0.00 0.00 10
PAD] 1.00 1.00 1.00 6302
RM_B 0.45 0.28 0.35 1273
RM_I 0.05 0.01 0.01 178
UM_B 0.72 0.74 0.73 3526
UM_I 0.65 0.48 0.55 614
VL_B 0.27 0.28 0.28 3804
VL_I 0.00 0.00 0.00 184
VT_B 0.52 0.62 0.57 3451
VT_I 0.68 0.35 0.46 1653
_ 0.55 0.54 0.55 18351
micro avg 0.58 0.57 0.58 47361
macro avg 0.37 0.31 0.33 47361
weighted avg 0.58 0.57 0.57 47361
Epoch 3/10
461/461 [==============================] - 341s 740ms/step - loss: 0.2622
- f1: 60.13
precision recall f1-score support
AT_B 0.59 0.67 0.63 1743
AT_I 0.66 0.60 0.63 500
ER_B 0.50 0.57 0.53 2853
ER_I 0.27 0.23 0.25 337
FW_B 0.21 0.20 0.21 284
FW_I 0.11 0.07 0.09 80
IM_B 0.46 0.53 0.49 214
IM_I 0.55 0.58 0.57 53
LD_B 0.48 0.29 0.36 157
LD_I 0.00 0.00 0.00 4
LT_B 0.33 0.06 0.10 18
LT_I 0.00 0.00 0.00 1
NM_B 0.56 0.38 0.45 480
NM_I 0.00 0.00 0.00 1
OC_B 0.30 0.32 0.31 1290
OC_I 0.00 0.00 0.00 10
PAD] 1.00 1.00 1.00 6302
RM_B 0.45 0.33 0.38 1273
RM_I 0.07 0.02 0.03 178
UM_B 0.76 0.73 0.75 3526
UM_I 0.56 0.64 0.60 614
VL_B 0.34 0.31 0.32 3804
VL_I 0.18 0.01 0.02 184
VT_B 0.50 0.68 0.58 3451
VT_I 0.64 0.42 0.51 1653
_ 0.58 0.57 0.57 18351
micro avg 0.60 0.60 0.60 47361
macro avg 0.39 0.35 0.36 47361
weighted avg 0.60 0.60 0.60 47361
Epoch 4/10
461/461 [==============================] - 341s 740ms/step - loss: 0.2256
- f1: 61.87
precision recall f1-score support
AT_B 0.71 0.65 0.68 1743
AT_I 0.63 0.65 0.64 500
ER_B 0.52 0.58 0.55 2853
ER_I 0.26 0.25 0.25 337
FW_B 0.42 0.14 0.21 284
FW_I 0.20 0.07 0.11 80
IM_B 0.45 0.57 0.51 214
IM_I 0.59 0.62 0.61 53
LD_B 0.41 0.31 0.35 157
LD_I 0.00 0.00 0.00 4
LT_B 0.33 0.17 0.22 18
LT_I 0.00 0.00 0.00 1
NM_B 0.52 0.46 0.49 480
NM_I 0.00 0.00 0.00 1
OC_B 0.43 0.34 0.38 1290
OC_I 0.00 0.00 0.00 10
PAD] 1.00 1.00 1.00 6302
RM_B 0.46 0.34 0.39 1273
RM_I 0.10 0.03 0.04 178
UM_B 0.75 0.76 0.76 3526
UM_I 0.59 0.63 0.61 614
VL_B 0.33 0.38 0.35 3804
VL_I 0.08 0.05 0.06 184
VT_B 0.58 0.65 0.62 3451
VT_I 0.63 0.47 0.54 1653
_ 0.59 0.59 0.59 18351
micro avg 0.62 0.62 0.62 47361
macro avg 0.41 0.37 0.38 47361
weighted avg 0.62 0.62 0.62 47361
Epoch 5/10
461/461 [==============================] - 341s 739ms/step - loss: 0.1925
- f1: 63.20
precision recall f1-score support
AT_B 0.67 0.67 0.67 1743
AT_I 0.70 0.65 0.67 500
ER_B 0.59 0.55 0.57 2853
ER_I 0.29 0.26 0.28 337
FW_B 0.28 0.19 0.23 284
FW_I 0.21 0.15 0.18 80
IM_B 0.70 0.55 0.62 214
IM_I 0.73 0.66 0.69 53
LD_B 0.43 0.38 0.40 157
LD_I 0.00 0.00 0.00 4
LT_B 0.22 0.11 0.15 18
LT_I 0.00 0.00 0.00 1
NM_B 0.64 0.41 0.50 480
NM_I 0.00 0.00 0.00 1
OC_B 0.39 0.37 0.38 1290
OC_I 0.00 0.00 0.00 10
PAD] 1.00 1.00 1.00 6302
RM_B 0.45 0.37 0.41 1273
RM_I 0.10 0.04 0.06 178
UM_B 0.74 0.80 0.77 3526
UM_I 0.61 0.64 0.62 614
VL_B 0.43 0.32 0.37 3804
VL_I 0.14 0.02 0.04 184
VT_B 0.65 0.61 0.63 3451
VT_I 0.71 0.55 0.62 1653
_ 0.60 0.58 0.59 18351
micro avg 0.65 0.61 0.63 47361
macro avg 0.43 0.38 0.40 47361
weighted avg 0.64 0.61 0.63 47361
Epoch 6/10
461/461 [==============================] - 341s 740ms/step - loss: 0.1670
- f1: 63.84
precision recall f1-score support
AT_B 0.70 0.69 0.70 1743
AT_I 0.63 0.69 0.66 500
ER_B 0.57 0.57 0.57 2853
ER_I 0.34 0.20 0.25 337
FW_B 0.29 0.24 0.26 284
FW_I 0.20 0.14 0.16 80
IM_B 0.59 0.62 0.61 214
IM_I 0.61 0.64 0.62 53
LD_B 0.43 0.35 0.38 157
LD_I 0.00 0.00 0.00 4
LT_B 0.31 0.22 0.26 18
LT_I 0.00 0.00 0.00 1
NM_B 0.55 0.49 0.52 480
NM_I 0.00 0.00 0.00 1
OC_B 0.43 0.37 0.40 1290
OC_I 0.00 0.00 0.00 10
PAD] 1.00 1.00 1.00 6302
RM_B 0.38 0.42 0.40 1273
RM_I 0.06 0.08 0.07 178
UM_B 0.77 0.78 0.78 3526
UM_I 0.60 0.67 0.63 614
VL_B 0.42 0.37 0.39 3804
VL_I 0.09 0.04 0.06 184
VT_B 0.64 0.62 0.63 3451
VT_I 0.60 0.62 0.61 1653
_ 0.61 0.61 0.61 18351
micro avg 0.64 0.63 0.64 47361
macro avg 0.42 0.40 0.41 47361
weighted avg 0.64 0.63 0.64 47361
Epoch 7/10
461/461 [==============================] - 341s 740ms/step - loss: 0.1439
- f1: 63.40
precision recall f1-score support
AT_B 0.72 0.68 0.70 1743
AT_I 0.68 0.63 0.66 500
ER_B 0.55 0.59 0.57 2853
ER_I 0.32 0.27 0.29 337
FW_B 0.34 0.25 0.29 284
FW_I 0.19 0.11 0.14 80
IM_B 0.60 0.65 0.62 214
IM_I 0.73 0.68 0.71 53
LD_B 0.44 0.34 0.38 157
LD_I 0.00 0.00 0.00 4
LT_B 0.44 0.22 0.30 18
LT_I 0.00 0.00 0.00 1
NM_B 0.51 0.49 0.50 480
NM_I 0.00 0.00 0.00 1
OC_B 0.38 0.41 0.39 1290
OC_I 0.00 0.00 0.00 10
PAD] 1.00 1.00 1.00 6302
RM_B 0.43 0.41 0.42 1273
RM_I 0.11 0.08 0.09 178
UM_B 0.76 0.79 0.77 3526
UM_I 0.63 0.64 0.63 614
VL_B 0.40 0.41 0.41 3804
VL_I 0.14 0.05 0.08 184
VT_B 0.52 0.66 0.58 3451
VT_I 0.67 0.55 0.60 1653
_ 0.60 0.61 0.60 18351
micro avg 0.63 0.64 0.63 47361
macro avg 0.43 0.40 0.41 47361
weighted avg 0.63 0.64 0.63 47361
Epoch 8/10
461/461 [==============================] - 341s 740ms/step - loss: 0.1215
- f1: 64.36
precision recall f1-score support
AT_B 0.67 0.70 0.69 1743
AT_I 0.65 0.69 0.67 500
ER_B 0.57 0.61 0.59 2853
ER_I 0.28 0.38 0.32 337
FW_B 0.30 0.25 0.28 284
FW_I 0.18 0.16 0.17 80
IM_B 0.65 0.57 0.61 214
IM_I 0.60 0.64 0.62 53
LD_B 0.41 0.38 0.40 157
LD_I 0.00 0.00 0.00 4
LT_B 0.44 0.22 0.30 18
LT_I 0.00 0.00 0.00 1
NM_B 0.54 0.49 0.51 480
NM_I 0.00 0.00 0.00 1
OC_B 0.35 0.42 0.39 1290
OC_I 0.00 0.00 0.00 10
PAD] 1.00 1.00 1.00 6302
RM_B 0.41 0.41 0.41 1273
RM_I 0.11 0.08 0.09 178
UM_B 0.77 0.80 0.78 3526
UM_I 0.60 0.66 0.63 614
VL_B 0.42 0.38 0.40 3804
VL_I 0.10 0.07 0.08 184
VT_B 0.65 0.62 0.64 3451
VT_I 0.62 0.61 0.61 1653
_ 0.61 0.62 0.62 18351
micro avg 0.64 0.65 0.64 47361
macro avg 0.42 0.41 0.42 47361
weighted avg 0.64 0.65 0.64 47361
Epoch 9/10
461/461 [==============================] - 341s 739ms/step - loss: 0.1041
- f1: 63.77
precision recall f1-score support
AT_B 0.69 0.72 0.70 1743
AT_I 0.70 0.70 0.70 500
ER_B 0.55 0.63 0.59 2853
ER_I 0.34 0.32 0.33 337
FW_B 0.23 0.27 0.25 284
FW_I 0.25 0.10 0.14 80
IM_B 0.53 0.65 0.59 214
IM_I 0.71 0.74 0.72 53
LD_B 0.43 0.43 0.43 157
LD_I 0.00 0.00 0.00 4
LT_B 0.31 0.22 0.26 18
LT_I 0.00 0.00 0.00 1
NM_B 0.54 0.52 0.53 480
NM_I 0.00 0.00 0.00 1
OC_B 0.36 0.41 0.38 1290
OC_I 0.00 0.00 0.00 10
PAD] 1.00 1.00 1.00 6302
RM_B 0.37 0.46 0.41 1273
RM_I 0.09 0.04 0.06 178
UM_B 0.77 0.80 0.78 3526
UM_I 0.63 0.65 0.64 614
VL_B 0.40 0.43 0.42 3804
VL_I 0.11 0.06 0.08 184
VT_B 0.54 0.70 0.61 3451
VT_I 0.73 0.45 0.56 1653
_ 0.60 0.62 0.61 18351
micro avg 0.62 0.65 0.64 47361
macro avg 0.42 0.42 0.42 47361
weighted avg 0.63 0.65 0.64 47361
Epoch 10/10
461/461 [==============================] - 341s 739ms/step - loss: 0.0907
- f1: 65.05
precision recall f1-score support
AT_B 0.76 0.71 0.73 1743
AT_I 0.70 0.70 0.70 500
ER_B 0.57 0.61 0.59 2853
ER_I 0.32 0.31 0.31 337
FW_B 0.41 0.22 0.29 284
FW_I 0.20 0.11 0.15 80
IM_B 0.67 0.56 0.61 214
IM_I 0.67 0.70 0.69 53
LD_B 0.41 0.35 0.38 157
LD_I 0.00 0.00 0.00 4
LT_B 0.10 0.06 0.07 18
LT_I 0.00 0.00 0.00 1
NM_B 0.49 0.54 0.51 480
NM_I 0.00 0.00 0.00 1
OC_B 0.36 0.42 0.39 1290
OC_I 0.00 0.00 0.00 10
PAD] 1.00 1.00 1.00 6302
RM_B 0.48 0.40 0.44 1273
RM_I 0.10 0.10 0.10 178
UM_B 0.78 0.82 0.80 3526
UM_I 0.63 0.65 0.64 614
VL_B 0.43 0.41 0.42 3804
VL_I 0.12 0.07 0.09 184
VT_B 0.68 0.60 0.64 3451
VT_I 0.69 0.56 0.62 1653
_ 0.61 0.62 0.62 18351
micro avg 0.65 0.65 0.65 47361
macro avg 0.43 0.40 0.41 47361
weighted avg 0.65 0.65 0.65 47361