TL;DR
- ํ๊ฐ ์ฌ๋ถ ํ๋ณ ๋ฅ๋ ฅ์ ํ๊ฐํ๊ธฐ ์ํ ๋ฒค์น๋งํฌ ๋ฐ์ดํฐ์ ์ผ๋ก multiple choice ๋ฐ์ดํฐ์
- ๋ณต์์ ์ ๋ต์ ํ์ฉํ๋ฉฐ, ํ๊ฐ ๋ฌธ์ฅ/์ ๋ต ๋ฌธ์ฅ์ ๊ณ ๋ฅด๋ ๋๊ฐ์ง ์ธ์คํธ๋ญ์ ์ผ๋ก ๊ตฌ์ฑ
๋ฐ์ดํฐ์ ๋ ธํธ
1. ๋ฐ์ดํฐ์ ์ ๋ณด
๐ก Tip: ๊ฐ๋ฅํ ๊ฒฝ์ฐ ์๋ณธ ์ถ์ฒ์ ๋งํฌ๋ฅผ ํจ๊ป ๊ธฐ๋กํ์ธ์.
- ์ค๋ช
:

- ํ๊ฐ ์ฌ๋ถ ํ๋ณ ๋ฅ๋ ฅ์ ํ๊ฐํ๊ธฐ ์ํ ๋ฒค์น๋งํฌ ๋ฐ์ดํฐ์ .
- ํด๋น ๋ฐ์ดํฐ์ ์ ๋ฌธํ, ๊ฒฝ์ , ์ญ์ฌ, ์ธ๊ณ, ์๋ฃ, ์ฌํ, ๊ธฐ์ ์ ํด๋นํ๋ 7๊ฐ์ง ๋๋ฉ์ธ์ ์ง๋ฌธ์ ๋ฐํ์ผ๋ก ์ฌ์ค์ ํด๋นํ๋ ๋ด์ฉ๊ณผ ํ๊ฐ์ ํด๋นํ๋ ๋ด์ฉ์ ํฌํจํ 5๊ฐ์ ์ ํ์ง๋ก ๊ตฌ์ฑ๋จ. ๊ฐ ์ํ์ ์ฌ์ค ๋๋ ํ๊ฐ์ ํด๋นํ๋ ์ ํ์ง๋ฅผ ์ฃผ์ด์ง ์ง์์ ๋ฐ๋ผ์ ์ ๋ณํ์ฌ ์ ๋ต์ผ๋ก ์์ธกํ๋๋ก ๊ตฌ์ฑ. ์ ๋ต์ ๊ฒฝ์ฐ 5๊ฐ ์ ํ์ง์ ๋ ์ด๋ธ ์ธ๋ฑ์ค๋ฅผ ๋ํ๋ด๋๋ก ๋ฆฌ์คํธ ํํ๋ก ํํ๋์ด ์์ผ๋ฉฐ, ๋ณต์์ ์ ๋ต์ ํ์ฉํจ.
- ๋ค์ ๋๊ฐ์ง ์ธ์คํธ๋ญ์
์ผ๋ก ๊ตฌ์ฑ
- ํ๊ฐ ๋ฌธ์ฅ์ ๊ณ ๋ฅด๋ ์ธ์คํธ๋ญ์
:
์ฃผ์ด์ง ๋ฌธ์์ ๋ด์ฉ๊ณผ ๋ค๋ฅด๊ฑฐ๋ ๋ถํ์คํ ํ๊ฐ ๋ฌธ์ฅ์ ๊ณ ๋ฅด์์ค. ๋จ, ํ๊ฐ ๋ฌธ์ฅ์ ์ฌ๋ฌ ๊ฐ ์กด์ฌํ ์ ์๋ค. - ์ ๋ต ๋ฌธ์ฅ์ ๊ณ ๋ฅด๋ ์ธ์คํธ๋ญ์
:
์ฃผ์ด์ง ๋ฌธ์๋ฅผ ํตํด ํ์ ํ ์ ์๋ ๋ด์ฉ์ ํด๋นํ๋ ๋ฌธ์ฅ์ ์ ํํ์์ค. ๋จ, ์ ๋ต ๋ฌธ์ฅ์ ์ฌ๋ฌ ๊ฐ ์กด์ฌํ ์ ์๋ค.
- ํ๊ฐ ๋ฌธ์ฅ์ ๊ณ ๋ฅด๋ ์ธ์คํธ๋ญ์
:
- https://github.com/J-Seo/K-HALU
- https://www.aihub.or.kr/aihubdata/data/view.do?&aihubDataSe=extrldata&dataSetSn=71872
- ๋ผ์ด์ ์ค: ํ๊ตญ์ ๋ณดํ์งํฅ์(NIA)์ ๋ฐ์ดํฐ ์ด์ฉ ์ ์ฑ ๋ฐ ๋ฑ๋ก ์ ์ฐจ๋ฅผ ์ค์(AI-HUB)
โ ๏ธ ์ฃผ์: ๋ผ์ด์ ์ค๋ฅผ ํ์ธํ์ฌ ์์ ์ ์ฌ์ฉ์ด ๊ฐ๋ฅํ์ง ๋ฐ๋์ ํ์ธํ์ธ์.
2. ๋ฐ์ดํฐ ๊ตฌ์กฐ
๐ก Tip: ๊ฐ๋ฅํ ๊ฒฝ์ฐ ๋ฐ์ดํฐ ์ ์์ ์คํฌ๋ฆฐ์ท์ ์ถ๊ฐํ์ธ์.
- ํน์ง:
- Multiple Choice Instruction ๋ฐ์ดํฐ์
- ๋ค์ํ ๋๋ฉ์ธ์ ๋ฐํ์ผ๋ก ๋ฒค์น๋งํฌ ๊ตฌ์ฑ
- ์ํ ์: 2k

3. ๊ตฌ์ถ ๋ฐฉ์
- ๋ฐฉ๋ฒ: 7๊ฐ ๋๋ฉ์ธ(๋ฌธํ, ๊ฒฝ์ , ์ญ์ฌ, ์ธ๊ณ, ์๋ฃ, ์ฌํ, ๊ธฐ์ )๋ณ ์ง๋ฌธ์ ๋ฐํ์ผ๋ก ์ฌ์ค/ํ๊ฐ ์ ํ์ง๋ฅผ ๊ตฌ์ฑ
- ์์ค: AI-HUB ๋ฑ๋ก ๋ฐ์ดํฐ
4. ํ์คํฌ ๋ฐ ํ์ฉ
- ์ฃผ์ ํ์คํฌ: Factuality Hallucination
- ๋ฒค์น๋งํฌ ์ฑ๋ฅ: [๋ชจ๋ธ ์ฑ๋ฅ (์๋ค๋ฉด)]

Discussion
Comments
๋๊ธ์ ์น์ธ ํ ๊ณต๊ฐ๋ฉ๋๋ค.