태그: Metric
15건의 항목
Pearson 상관계수
Pearson 상관계수는 두 숫자 변수가 같이 커지고 같이 작아지는지를 -1부터 1 사이 숫자로 요약한다. 정확히는 두 변수의 선형 관계(linear relationship) 를 측정한다. 핵심은 “두 변수가 평균을 기준으로 같은 방향으...
Spearman 순위상관계수
Spearman 순위상관계수는 두 변수의 원값을 순위로 바꾼 뒤 계산하는 상관계수다. 선형 관계가 아니라 단조 관계를 측정하므로, 값의 간격보다 순서가 중요한 데이터나 비선형 단조 관계에 적합하다.
BERTScore
BERTScore는 PLM의 Contextual Embedding을 활용하여 토큰 레벨의 의미적 유사성을 평가하는 지표다. Greedy Matching과 IDF 가중치를 결합하여 어휘 일치를 넘어선 문맥적 유사도를 산출한다.
공분산
공분산은 두 변수가 평균을 기준으로 같은 방향으로 움직이는지, 반대 방향으로 움직이는지를 측정한다. 양수이면 대체로 같이 커지고 같이 작아지는 경향, 음수이면 한쪽이 클 때 다른 쪽은 작아지는 경향이다. 다만 단위가 남아 있어서 크기 자...
분산(variance)
분산은 값들이 평균 주변에서 얼마나 퍼져 있는지를 측정한다. 각 값과 평균의 차이를 제곱해서 평균내므로 항상 0 이상이다. 값이 클수록 데이터가 평균에서 멀리 흩어져 있다.
표준편차
표준편차는 분산의 제곱근이다. 분산은 단위가 제곱되어 직관적으로 읽기 어렵기 때문에, 원래 데이터와 같은 단위로 퍼짐을 해석하려고 표준편차를 사용한다.
@zhangBERTScoreEvaluatingText2020
Contribution: BERT contextual embedding 기반의 text generation 자동 평가 메트릭. n-gram exact match 대신 token-level cosine similarity로 의미적 유사성...
Cohens Kappa
Cohen’s Kappa (\kappa) 는 두 평가자 간의 범주형 판정 일치도를 우연에 의한 일치 확률을 보정하여 측정하는 지표다. 단순 일치율의 한계를 보완하여 데이터 라벨링의 신뢰성이나 사람 평가(Human Evaluation)의...
Forecast Bias
Forecast Bias는 예측이 누적으로 과대인지 과소인지를 보는 signed metric이다. 이 노트에서는 forecast-minus-actual convention을 사용한 normalized forecast bias를 다룬다....
Fill Rate
Fill Rate(주문 충족률)는 예측 정확도 지표가 아니라, 고객이 요청한 수량 중 실제로 얼마나 충족했는지 를 보는 공급망 운영 지표다. 수요 예측은 Fill Rate에 간접적으로 영향을 준다. 과소예측은 결품을 만들고, 과대예측은...
Pinball Loss
Pinball Loss는 특정 분위수(quantile)를 예측하기 위한 비대칭 절대 오차 손실이다. \tau=0.5에서는 0.5|y-\hat{y}|가 되며, 평균 Pinball Loss에 2를 곱하면 MAE가 된다. \tau를 낮추면 낮...
WAPE
WAPE(가중 절대 퍼센트 오차)는 ‘전체 수요(실제값의 합)’ 대비 ‘전체 오차’가 얼마나 되는지를 보는 총량 기준의 예측 평가 지표다. 개별 건마다 오차율을 평균 내는 MAPE와 달리, 판매량이 많거나 규모가 큰 상품의 오차에 더 큰...