TL;DR

환각 여부 판별 능력을 평가하기 위한 벤치마크 데이터셋으로 multiple choice 데이터셋

복수의 정답을 허용하며, 환각 문장/정답 문장을 고르는 두가지 인스트럭션으로 구성

데이터셋 노트

1. 데이터셋 정보

이름: K-HALU: Multiple Answer Korean Hallucination Benchmark for Large Language Models

💡 Tip: 가능한 경우 원본 출처의 링크를 함께 기록하세요.

설명:
- 환각 여부 판별 능력을 평가하기 위한 벤치마크 데이터셋.
- 해당 데이터셋은 문화, 경제, 역사, 세계, 의료, 사회, 기술에 해당하는 7가지 도메인의 지문을 바탕으로 사실에 해당하는 내용과 환각에 해당하는 내용을 포함한 5개의 선택지로 구성됨. 각 샘플은 사실 또는 환각에 해당하는 선택지를 주어진 지시에 따라서 선별하여 정답으로 예측하도록 구성. 정답의 경우 5개 선택지의 레이블 인덱스를 나타내도록 리스트 형태로 표현되어 있으며, 복수의 정답을 허용함.
- 다음 두가지 인스트럭션으로 구성
  - 환각 문장을 고르는 인스트럭션: 주어진 문서의 내용과 다르거나 불확실한 환각 문장을 고르시오. 단, 환각 문장은 여러 개 존재할 수 있다.
  - 정답 문장을 고르는 인스트럭션: 주어진 문서를 통해 파악할 수 있는 내용에 해당하는 문장을 선택하시오. 단, 정답 문장은 여러 개 존재할 수 있다.
- https://github.com/J-Seo/K-HALU
- https://www.aihub.or.kr/aihubdata/data/view.do?&aihubDataSe=extrldata&dataSetSn=71872
라이선스: 한국정보화진흥원(NIA)의 데이터 이용 정책 및 등록 절차를 준수(AI-HUB)

⚠️ 주의: 라이선스를 확인하여 상업적 사용이 가능한지 반드시 확인하세요.

💡 Tip: 가능한 경우 데이터 셋 예시 스크린샷을 추가하세요.