LOTS-OResearch Notes

7건의 항목

7건2023.10 — 2026.09
2026.09.09
개념 노트

Entity Linking은 텍스트 개체를 지식베이스에 연결한다

Entity Linking은 문장 속 이름이 현실의 어느 대상을 가리키는지 찾아 지식베이스의 고유 항목과 연결하는 작업이다. 먼저 연결할 표현을 찾고(MD), 문맥에 맞는 대상을 고른다(ED). 맞는 항목이 지식베이스에 없으면 NIL로...

↻ 2026.10.095 min
2026.04.02
개념 노트

NegConstraint

무엇인가: 부정 제약 조건(Negative constraints)을 포함하는 복합 쿼리에 대한 정보 검색(IR) 시스템의 성능을 평가하기 위한 벤치마크 데이터셋. 왜 중요한가: 기존 Dense Retriever가 논리적 부정("...

↻ 2026.10.094 min
2026.03.19
개념 노트

Policy Gradient를 처음부터 이해하기

Policy gradient의 목표는 기대 return J(\theta)를 최대화하는 것이다. log-derivative trick을 쓰면 gradient를 trajectory 분포 위의 기댓값 형태로 바꿀 수 있다. baseline과...

↻ 2026.04.0925 min백링크 1
2025.10.15
개념 노트

K-HALU

무엇인가: 복수 정답을 허용하는 한국어 환각 판별 능력을 평가하기 위한 2,170개 규모의 객관식 벤치마크 데이터셋. 왜 중요한가: 단일 정답 위주의 기존 평가 방식과 달리, 실제 문서에서 발생할 수 있는 여러 환각 문장을 동시에 식별하...

↻ 2026.10.094 min
2024.12.02
개념 노트

BERTScore

BERTScore는 PLM의 Contextual Embedding을 활용하여 토큰 레벨의 의미적 유사성을 평가하는 지표다. Greedy Matching과 IDF 가중치를 결합하여 어휘 일치를 넘어선 문맥적 유사도를 산출한다.

↻ 2026.10.096 min
2024.03.08
개념 노트

BM25

대표적인 sparse retrieval 알고리즘으로 TF-IDF, BM25 가 있다. TF-IDF 의 variation 인 BM25 는 문서 길이 페널티와 단어의 빈도 영향도를 제한한다. 단어 빈도의 영향도를 결정하는 파라미터는 k1 으...

↻ 2026.10.095 min
2023.10.26
개념 노트

TF-IDF(Term Frequency-Inverse Document Frequency)

단어 빈도를 기반으로, 모든 문서에 흔히 나오는 단어에는 페널티를 주어 중요한 단어를 점수화한다. 값이 클수록 그 문서에서 중요한 단어다. 단어와 문서가 많아질수록 결과 행렬은 sparse matrix가 된다.

↻ 2026.10.099 min백링크 2