태그: NLP
6건의 항목
2024.12.02↻ 2026.06.13
개념 노트
BERTScore
BERTScore는 PLM의 Contextual Embedding을 활용하여 토큰 레벨의 의미적 유사성을 평가하는 지표다. Greedy Matching과 IDF 가중치를 결합하여 어휘 일치를 넘어선 문맥적 유사도를 산출한다.
2024.03.08↻ 2026.06.13
개념 노트
BM25
대표적인 sparse retrieval 알고리즘으로 TF-IDF, BM25 가 있다. TF-IDF 의 variation 인 BM25 는 문서 길이 페널티와 단어의 빈도 영향도를 제한한다. 단어 빈도의 영향도를 결정하는 파라미터는 k1 으...
2023.10.26↻ 2026.06.13
개념 노트
TF-IDF(Term Frequency-Inverse Document Frequency)
단어 빈도를 기반으로, 모든 문서에 흔히 나오는 단어에는 페널티를 주어 중요한 단어를 점수화한다. 값이 클수록 그 문서에서 중요한 단어다. 단어와 문서가 많아질수록 결과 행렬은 sparse matrix가 된다.
2025.10.15↻ 2026.06.13
개념 노트
K-HALU
무엇인가: 복수 정답을 허용하는 한국어 환각 판별 능력을 평가하기 위한 2,170개 규모의 객관식 벤치마크 데이터셋. 왜 중요한가: 단일 정답 위주의 기존 평가 방식과 달리, 실제 문서에서 발생할 수 있는 여러 환각 문장을 동시에 식별하...