정보 이득(Information Gain)은 어떤 기준으로 데이터를 나누기 전과 후에 줄어든 불확실성의 양이다. 불확실성을 엔트로피로 재고, 나누기 전 엔트로피에서 나눈 뒤의 엔트로피를 뺀 값이 정보 이득이다.
같은 이름이 두 분야에서 쓰인다. 머신러닝의 정보 이득은 결정 트리가 어떤 속성으로 데이터를 나눌지 고르는 기준이고, 검색의 정보 이득 점수는 사용자가 이미 본 문서에 없던 정보를 새 문서가 얼마나 담았는지 재는 값이다.
이 문서는 둘을 함께 다룬다. 계산 방식은 머신러닝 쪽이 원형이고, 검색 쪽은 그 발상을 문서 평가로 옮긴 것이다.
나누기 전 엔트로피에서 나눈 뒤의 가중 평균 엔트로피를 뺀다.
한국어 위키백과는 정보 이득을 "이전 상태에서 주어진 정보를 갖는 상태로 바뀔 때 정보 엔트로피 H의 변화"로 정의하고, 수식을 IG(T, a) = H(T) - H(T|a)로 적는다 (위키백과, 정보 이득).
엔트로피는 데이터가 얼마나 뒤섞여 있는지를 나타내는 값이다. 한 종류만 남으면 0이고, 두 종류가 반반이면 1이다.
문서 10건이 있고 그중 5건이 클릭됐다고 하자. 클릭 여부가 반반이므로 나누기 전 엔트로피는 1이다.
| 나누는 기준 | 그룹 | 문서 수 | 클릭 | 미클릭 | 엔트로피 |
|---|---|---|---|---|---|
| 제목에 숫자 있음 | 있음 | 4 | 4 | 0 | 0 |
| 제목에 숫자 있음 | 없음 | 6 | 1 | 5 | 0.650 |
| 본문이 긺 | 긺 | 5 | 3 | 2 | 0.971 |
| 본문이 긺 | 짧음 | 5 | 2 | 3 | 0.971 |
첫 번째 기준의 가중 평균 엔트로피는 0.4 곱하기 0에 0.6 곱하기 0.650을 더한 0.390이고, 정보 이득은 1에서 이를 뺀 0.610이다.
두 번째 기준은 두 그룹 모두 0.971이라 가중 평균도 0.971이고, 정보 이득은 0.029에 그친다.
같은 데이터라도 어디를 자르느냐에 따라 얻는 정보가 스무 배 넘게 차이난다. 결정 트리가 속성을 고르는 근거가 이 숫자다.
어떤 속성으로 먼저 가지를 칠지 정한다. 정보 이득이 가장 큰 속성이 그 노드의 분기 기준이 된다.
SAS는 이 방식을 "정보 이득이 가장 큰 속성에 따라 분할을 선택합니다. 이득은 비트 단위로 측정됩니다"라고 설명한다 (SAS, 정보 이득 및 이득비 계산).
같은 계산을 각 노드에서 반복하면서 트리가 자란다. 위 예시라면 제목에 숫자가 있는지부터 묻고, 그다음 노드에서 다시 남은 속성들의 정보 이득을 계산한다.
셋은 경쟁 관계가 아니라 역할이 다르다. 지니 불순도는 엔트로피를 대신할 수 있는 불순도 척도이고, 이득비는 정보 이득의 약점을 보정한 값이다.
| 개념 | 무엇을 재는가 | 정보 이득과의 관계 |
|---|---|---|
| 엔트로피 | 데이터가 섞인 정도 | 정보 이득의 기본 재료 |
| 지니 불순도 | 데이터가 섞인 정도 | 엔트로피 자리에 넣어 쓸 수 있는 대체 척도 |
| 정보 이득 | 분할로 줄어든 불순도 | 분기 기준을 고르는 값 |
| 이득비 | 분할 자체의 크기로 정규화한 정보 이득 | 정보 이득의 편향을 보정 |
정보 이득에는 알려진 약점이 있다. SAS는 이 방법이 "속성 수가 많은 변수를 기준으로 분할하는 경향이 있습니다"라고 지적한다.
값의 종류가 많은 속성일수록 그룹을 잘게 쪼개 엔트로피를 쉽게 0으로 만들기 때문이다. 회원 번호 같은 속성이 대표적이다.
이득비는 이 문제를 분할 정보로 나눠 보정한다. SAS 문서의 표기로 이득비는 GR(S) = G(S) / SI(S)이고, 여기서 G(S)가 정보 이득, SI(S)가 분할 정보다.
같은 이름을 쓰지만 재는 대상이 데이터가 아니라 문서다. 사용자가 이미 읽은 문서들에 없던 정보를 새 문서가 얼마나 더 주는지를 점수로 매긴다.
구글의 특허는 이 점수를 "특정 문서의 정보 이득 점수는 이미 사용자에게 제시된 다른 문서들에 담긴 정보를 넘어서 그 문서가 포함하고 있는 추가 정보를 나타낸다"고 정의한다 (Google Patents, US12013887B2 Contextual estimation of link information gain).
특허가 든 예시가 개념을 분명히 한다. 사용자가 이미 흔한 소프트웨어 수리에 관한 문서를 읽었다면, 소프트웨어 문제 해결을 포함한 일반적인 컴퓨터 수리 문서의 정보 이득 점수는 낮아진다 (Google Patents, US20200349181A1 Contextual estimation of link information gain).
점수는 사람이 매기지 않는다. 특허는 문서를 나타내는 데이터를 머신러닝 모델에 통과시켜 정보 이득 점수를 생성한다고 적고 있다.
| 구분 | 머신러닝의 정보 이득 | 검색의 정보 이득 점수 |
|---|---|---|
| 대상 | 데이터셋의 속성 | 개별 문서 |
| 기준점 | 분할 전 엔트로피 | 사용자가 이미 본 문서들 |
| 결과 | 분기할 속성 선택 | 문서의 제시 여부와 순서 |
| 값의 성격 | 재현 가능한 계산값 | 모델이 추정한 점수 |
확인된 것은 특허의 존재까지다. 구글이 이 점수를 검색 순위에 쓰고 있다고 공개적으로 확인한 적은 없다.
특허는 구현 증거가 아니다. 다만 이 특허 계열은 2020년 11월 공개 이후에도 계속 이어졌고, 가장 최근 등록본은 2024년 6월 18일 자로 발명자는 Victor Carbune와 Pedro Gonnet Anders다.
포기하지 않고 후속 출원을 이어간 특허라는 점은 참고할 만하다. 그래도 순위 요소로 단정할 근거는 되지 않는다.
방향이 같은 공식 문서는 따로 있다. 구글은 콘텐츠 자체 평가 질문으로 "검색결과의 다른 페이지와 비교할 때 콘텐츠가 상당한 가치를 제공하나요?"와 "콘텐츠에서 다른 출처를 활용하는 경우 단순히 출처를 복사하거나 다시 작성하지 않고 중요한 가치와 독창성을 더했나요?"를 제시한다 (Google Search Central, 도움이 되는 콘텐츠 만들기).
특허의 존재 여부와 무관하게 실무 결론은 같아진다. 이미 1페이지에 있는 내용을 다시 쓰는 문서는 평가받을 자리가 없다.
기준선을 먼저 확인하고, 그 기준선에 없는 것만 더한다. 순서를 바꾸면 정보 이득은 올라가지 않는다.
기준선 확인을 건너뛰고 분량만 늘리면 겹치는 내용이 함께 늘어난다. 정보 이득의 관점에서는 아무것도 더하지 않은 것과 같다.
이 원리를 AI 검색 인용까지 확장한 작업이 GEO이고, 인용될 자격을 만드는 신호는 AI 신뢰 신호에 정리했다.
결과는 LLM 인용과 AI 가시성으로 측정한다. 문서가 어떤 조각 단위로 검색되는지는 청킹, 여러 방식으로 후보를 건지는 검색 구조는 하이브리드 검색에서 다룬다.
이득비는 정보 이득을 분할 정보로 나눈 값이다. 값의 종류가 많은 속성이 유리해지는 편향을 줄이려고 만든 보정값이다.
SAS는 이득비를 "실질적으로 분할에 유용한 정보 이득의 비율을 결정할 때 해당 분할의 값을 함께 고려합니다"라고 설명한다 (SAS, 정보 이득 및 이득비 계산).
둘은 같은 자리에 들어가는 척도라 결과 트리가 크게 달라지지 않는 경우가 많다. 지니 불순도는 로그 계산이 없어 빠르고, 엔트로피 기반 정보 이득은 정보량 해석이 직관적이다.
선택 기준은 정확도보다 계산 비용과 팀의 관례다. 어느 쪽을 쓰든 분기 기준을 고르는 논리는 같다.
서치폴라리스가 AI 검색 가시성을 진단하고 GEO 실행까지 대행합니다.