폴더: contents
55건의 항목
순열 검정
순열 검정(permutation test) 은 분포 가정 대신 데이터를 직접 재배열해 귀무가설 분포를 만들고, 관측 통계량이 그 분포에서 얼마나 극단적인지로 p-value를 세는 비모수 검정이다. 핵심 전제는 교환가능성(exchangea...
Parametric vs Non-parametric
모수적(parametric) 방법은 데이터가 고정된 수의 모수로 정의되는 분포족(정규분포 등)을 따른다고 가정한다. 가정이 맞으면 적은 데이터로 효율적이고 해석이 쉽지만, 틀리면 편향된다. 비모수적(non-parametric) 방법은 특...
부트스트랩
부트스트랩(bootstrap) 은 하나의 표본에서 복원추출로 유사 표본을 다수 만들어, 추정량의 표집분포(표준오차·신뢰구간)를 분포 가정 없이 근사하는 비모수 재표집법이다. 핵심 아이디어는 관측된 표본을 모집단의 대용(empirical...
Pearson 상관계수
Pearson 상관계수는 두 숫자 변수가 같이 커지고 같이 작아지는지를 -1부터 1 사이 숫자로 요약한다. 정확히는 두 변수의 선형 관계(linear relationship) 를 측정한다. 핵심은 “두 변수가 평균을 기준으로 같은 방향으...
Spearman 순위상관계수
Spearman 순위상관계수는 두 변수의 원값을 순위로 바꾼 뒤 계산하는 상관계수다. 선형 관계가 아니라 단조 관계를 측정하므로, 값의 간격보다 순서가 중요한 데이터나 비선형 단조 관계에 적합하다.
BERTScore
BERTScore는 PLM의 Contextual Embedding을 활용하여 토큰 레벨의 의미적 유사성을 평가하는 지표다. Greedy Matching과 IDF 가중치를 결합하여 어휘 일치를 넘어선 문맥적 유사도를 산출한다.
BM25
대표적인 sparse retrieval 알고리즘으로 TF-IDF, BM25 가 있다. TF-IDF 의 variation 인 BM25 는 문서 길이 페널티와 단어의 빈도 영향도를 제한한다. 단어 빈도의 영향도를 결정하는 파라미터는 k1 으...
Neuro-Symbolic IR
Neuro-Symbolic IR (NS-IR) 은 신경망의 의미적 매칭 능력과 기호 논리의 구조적 해석 능력을 결합한 하이브리드 검색 패러다임이다. 기존 Dense Retrieval이 취약한 부정(Negation), 불리언 로직(Bool...
TF-IDF(Term Frequency-Inverse Document Frequency)
단어 빈도를 기반으로, 모든 문서에 흔히 나오는 단어에는 페널티를 주어 중요한 단어를 점수화한다. 값이 클수록 그 문서에서 중요한 단어다. 단어와 문서가 많아질수록 결과 행렬은 sparse matrix가 된다.
공분산 행렬
공분산 행렬은 여러 변수의 분산(variance)과 공분산을 한 행렬에 모은 구조다. 대각 원소는 각 변수의 분산이고, 비대각 원소는 변수 쌍 사이의 공분산이다.
공분산
공분산은 두 변수가 평균을 기준으로 같은 방향으로 움직이는지, 반대 방향으로 움직이는지를 측정한다. 양수이면 대체로 같이 커지고 같이 작아지는 경향, 음수이면 한쪽이 클 때 다른 쪽은 작아지는 경향이다. 다만 단위가 남아 있어서 크기 자...
분산(variance)
분산은 값들이 평균 주변에서 얼마나 퍼져 있는지를 측정한다. 각 값과 평균의 차이를 제곱해서 평균내므로 항상 0 이상이다. 값이 클수록 데이터가 평균에서 멀리 흩어져 있다.
표준편차
표준편차는 분산의 제곱근이다. 분산은 단위가 제곱되어 직관적으로 읽기 어렵기 때문에, 원래 데이터와 같은 단위로 퍼짐을 해석하려고 표준편차를 사용한다.
Agent Skills - AI 에이전트에게 전문성을 부여하는 방법
AI 에이전트의 컨텍스트 부족 문제를 구조적으로 해결하는 패턴이다. Markdown 폴더 구조를 통해 에이전트에게 특정 작업 절차와 도메인 지식을 주입한다.
K-HALU
무엇인가: 복수 정답을 허용하는 한국어 환각 판별 능력을 평가하기 위한 2,170개 규모의 객관식 벤치마크 데이터셋. 왜 중요한가: 단일 정답 위주의 기존 평가 방식과 달리, 실제 문서에서 발생할 수 있는 여러 환각 문장을 동시에 식별하...
SSE vs NDJSON
SSE는 HTTP 응답 스트림 위에서 서버가 클라이언트로 이벤트를 보내기 위한 이벤트 스트림 프레이밍 규격이다. NDJSON은 JSON 값을 LF(\n) 또는 CRLF(\r\n) 줄 구분자로 하나씩 나열하는 줄 단위 데이터 포맷이다. 주...
UTF-8
UTF-8은 유니코드 코드 포인트 범위(U+0000부터 U+10FFFF까지) 중 surrogate code point range (U+D800부터 U+DFFF까지)를 제외한 유효한 코드 포인트, 즉 Unicode Scalar Value를...
@fangFewerHallucinationsMore2025
Contribution: fine-tuning/외부 정보 없이 범용 LLM만으로 동작하는 3단계 hallucination 억제 ASR 교정 프레임워크 (Pre-Detection + CoT Subtask + Verification) Pro...
@zhangBERTScoreEvaluatingText2020
Contribution: BERT contextual embedding 기반의 text generation 자동 평가 메트릭. n-gram exact match 대신 token-level cosine similarity로 의미적 유사성...
ASCII (American Standard Code for Information Interchange)
ASCII는 7비트 이진 코드를 사용하는 문자 인코딩 표준으로, 총 128개의 문자를 정의한다. 제어 문자(33개)와 출력 가능 문자(95개)로 구성되며, 현대 가변 길이 인코딩(UTF-8 등)의 근간이 된다. 0~127 범위의 코드 포...
Cohens Kappa
Cohen’s Kappa (\kappa) 는 두 평가자 간의 범주형 판정 일치도를 우연에 의한 일치 확률을 보정하여 측정하는 지표다. 단순 일치율의 한계를 보완하여 데이터 라벨링의 신뢰성이나 사람 평가(Human Evaluation)의...
MATH-500
무엇인가: OpenAI가 Let’s Verify Step by Step에서 held-out 평가셋으로 사용한 500개의 수학 문제 서브셋. 왜 중요한가: OpenAI의 “Let’s Verify Step by Step” 연구의 핵심 평가...
SSE (Server-Sent Events)
SSE는 HTTP 연결을 유지한 상태로 서버가 클라이언트에 실시간 이벤트를 푸시하는 단방향 스트리밍 프로토콜이다. text/event-stream 미디어 타입과 UTF-8 인코딩을 사용하며, 단순 텍스트 기반 필드 구조를 가져 구현이 가...
WIS 2026 월드 IT쇼 참관 후기 — AI 제품화는 서비스 통합에서 갈린다
WIS 2026에서 AI는 챗봇, Agent, 피지컬 AI, AICC, GPU 인프라, 개발·운영 플랫폼까지 넓은 범위로 전시되었다. 핵심은 AI 자체보다 고객 채널, 업무 프로세스, 운영 구조 안에서 AI가 어떤 역할을 맡는가였다.
시계열 검증에서 예측 기준일을 이동시키는 방법
Rolling-origin evaluation은 예측 기준일을 시간 순서대로 이동시키며 여러 번 평가하는 방법이다. 단일 cutoff의 운을 줄이고, 미래 정보가 과거 학습에 섞이는 것을 막는다.
정상성
정상성은 시계열의 통계적 성질이 시간에 따라 변하지 않는다는 가정이다. 실제 수요·트래픽 데이터는 trend, seasonality, regime shift 때문에 비정상인 경우가 많다.
시계열 데이터
시계열 데이터는 시간 순서가 의미를 갖고, 이전 관측값이 이후 관측값에 정보를 제공하는 데이터다. 이 때문에 일반 i.i.d. 데이터처럼 무작위로 섞어 학습·검증하면 시간 leakage가 생길 수 있다.
시계열 분해
시계열 분해는 관측값을 추세(trend), 계절성(seasonality), 잔차(residual)로 나누어 본다. 예측 모델의 feature와 오류 분석을 구조적으로 해석하는 데 유용하다.
Forecast Bias
Forecast Bias는 예측이 누적으로 과대인지 과소인지를 보는 signed metric이다. 이 노트에서는 forecast-minus-actual convention을 사용한 normalized forecast bias를 다룬다....
Regime Shift와 Structural Break
Regime shift는 시계열의 통계적 특성이 특정 시점 이후 달라지는 현상을 넓게 부르는 말이다. 엄밀한 분석에서는 structural break, level shift, trend change, variance change, reg...
단변량 타깃과 다변량 입력
시계열 예측에서 univariate, multivariate, multivariable은 타깃 개수와 입력 변수 개수를 섞어 쓰기 때문에 혼동된다. “univariate target with multivariate input”처럼 타깃과...
시계열 예측에서 예측 시점에 알 수 있는 변수와 알 수 없는 변수
시계열 예측에서 feature는 예측 시점에 알 수 있었는지를 기준으로 나눠야 한다. Future-known feature는 미래 기간의 값을 미리 알 수 있는 변수이고, past-only feature는 시간이 지나야 관측되는 변수다.
시계열 예측의 기준 시점과 예측 기간
시계열 예측에서는 언제 예측을 시작하는지와 얼마나 먼 미래를 예측하는지를 먼저 정해야 한다. 시계열 feature와 target은 항상 cutoff 기준으로 정의해야 한다.
여러 미래 시점을 예측하는 Multi-Horizon Forecasting
Multi-horizon forecasting은 하나의 예측 기준 시점에서 여러 미래 시점을 예측하는 문제다. recursive, direct, DirRec, MIMO 전략은 오류 누적과 학습 구조가 다르다.
외생변수와 내생변수
내생변수는 예측 대상 자체 또는 그 과거에서 나온 정보이고, 외생변수는 시스템 밖에서 주어지는 설명 변수다. 외생변수도 예측 시점에 알 수 있는지에 따라 사용 가능성이 달라진다.
Fill Rate
Fill Rate(주문 충족률)는 예측 정확도 지표가 아니라, 고객이 요청한 수량 중 실제로 얼마나 충족했는지 를 보는 공급망 운영 지표다. 수요 예측은 Fill Rate에 간접적으로 영향을 준다. 과소예측은 결품을 만들고, 과대예측은...
Pinball Loss
Pinball Loss는 특정 분위수(quantile)를 예측하기 위한 비대칭 절대 오차 손실이다. \tau=0.5에서는 0.5|y-\hat{y}|가 되며, 평균 Pinball Loss에 2를 곱하면 MAE가 된다. \tau를 낮추면 낮...
WAPE
WAPE(가중 절대 퍼센트 오차)는 ‘전체 수요(실제값의 합)’ 대비 ‘전체 오차’가 얼마나 되는지를 보는 총량 기준의 예측 평가 지표다. 개별 건마다 오차율을 평균 내는 MAPE와 달리, 판매량이 많거나 규모가 큰 상품의 오차에 더 큰...
MAPE
MAPE는 절대 오차를 실제값으로 나눈 뒤 평균낸 상대 오차 메트릭이다. 스케일 독립적으로 해석하기 쉽지만, 실제값이 0 또는 0에 가까울 때 값이 크게 흔들린다.
1-MAPE
1-MAPE는 MAPE를 “정확도”처럼 보이게 뒤집은 보고용 표현이다. 새 메트릭이 아니므로 MAPE의 한계를 그대로 물려받고, MAPE가 1을 넘으면 음수가 된다.
하네스 엔지니어링은 모델 바깥의 실행 환경을 설계하는 일이다
하네스(harness)는 AI 에이전트에서 모델을 제외한 나머지 전부를 가리킨다. 하네스 엔지니어링은 실행 환경 — 지시, 도구, 검증, 상태 — 을 설계하고 반복적으로 개선해, 에이전트가 같은 실수를 구조적으로 다시 못 하게 만드는 실...
SKU (Stock Keeping Unit)
SKU는 재고·판매·발주를 추적하기 위해 조직 내부에서 정의하는 상품/재고 관리 단위다. 예측과 메트릭에서는 SKU 자체보다 SKU에 매장, 채널, 날짜 등이 결합된 관측 단위가 중요하다.
스레드
스레드는 하나의 프로세스 안에서 실행되는 실행 흐름이다. 운영체제 수준 스레드는 같은 프로세스의 주소 공간을 공유하되, 각자 stack과 실행 상태를 가진다.
프로세스
프로세스는 운영체제가 실행 중인 프로그램 인스턴스를 관리하기 위해 만든 실행·자원·보호 경계다. 보통 독립된 가상 주소 공간을 가지며, 실제 실행 흐름은 하나 이상의 스레드로 표현된다.
[길벗 33차] 이펙티브 파이썬 3판 리뷰 — 바이브코딩 + AI 시대의 파이썬 기본기
Contribution: 125개 Item으로 Python 3.13 기준의 실무 관용구를 체계적으로 정리한 레시피북 Pros: 필요한 장만 발췌해 읽기 좋은 구조, 예외·동시성·테스트 같은 실무 주제가 간결한 권고로 정리, AI 시대 관...
1차 논리 (First-Order Logic)
1차 논리(FOL)는 객체에 대한 진술을 상수·변수·술어·양화사로 구조화하여, 속성·관계·일반 규칙을 형식적으로 표현하고 추론할 수 있게 하는 논리 체계이다.
@leeDEOTrainingFreeDirect2026
Contribution: Training-free negation-aware retrieval — encoder 고정 상태에서 query embedding을 contrastive loss로 직접 최적화하여 부정/제외 쿼리 처리 Pros:...
Base64 인코딩
Base64는 8비트 이진 데이터를 64개의 안전한 ASCII 인쇄 가능 문자로 변환하는 인코딩 방식이다. 3바이트(24비트)를 6비트씩 쪼개어 4개의 문자로 매핑하며, 원본 대비 데이터 크기가 약 33% 증가한다. 바이너리 데이터를 S...
JSON 값과 JSON 객체의 차이
JSON 값(value) 은 JSON 문법에서 허용하는 최상위 데이터 단위이며, 객체·배열·문자열·숫자·true·false·null을 모두 포함한다. JSON 객체(object) 는 중괄호({}) 안에 이름/값 쌍을 담는 구조화 타입으로...
NDJSON (Newline Delimited JSON)
NDJSON은 여러 JSON 인스턴스를 줄바꿈(\n)으로 구분하여 스트리밍 환경에서 메모리 효율적으로 처리할 수 있게 설계된 데이터 포맷이다. 개별 행은 유효한 단일 JSON 값이어야 하며, 전체 문서는 UTF-8로 인코딩되어야 한다.
NegBench
무엇인가: Vision-Language Model(VLM)의 부정(Negation) 이해 능력을 평가하기 위해 이미지, 비디오, 의료 도메인을 아우르는 79K 예제로 구성된 대규모 멀티모달 벤치마크. 왜 중요한가: 최신 VLM들이 부정...