교차 엔트로피 란 무엇입니까?

교차 엔트로피 란 무엇입니까?

---

교차 엔트로피가 무엇인지에 대한 설명이 많이 있다는 것을 알고 있지만 여전히 혼란 스럽습니다.

손실 함수를 설명하는 방법 일 뿐입니 까? 손실 함수를 사용하여 최소값을 찾기 위해 경사 하강 법 알고리즘을 사용할 수 있습니까?

---

교차 엔트로피는 일반적으로 두 확률 분포의 차이를 정량화하는 데 사용됩니다. 일반적으로 "진정한"분포 (기계 학습 알고리즘이 일치시키려는 분포)는 원-핫 분포로 표현됩니다.

예를 들어 특정 학습 인스턴스의 경우 레이블이 B (가능한 레이블 A, B, C 중)라고 가정합니다. 따라서이 학습 인스턴스의 원-핫 배포는 다음과 같습니다.

Pr(Class A)  Pr(Class B)  Pr(Class C)
        0.0          1.0          0.0

위의 "참"분포를 해석하면 학습 인스턴스가 클래스 A가 될 확률이 0 %, 클래스 B가 될 확률이 100 %, 클래스 C가 될 확률이 0 %임을 의미합니다.

이제 기계 학습 알고리즘이 다음 확률 분포를 예측한다고 가정합니다.

Pr(Class A)  Pr(Class B)  Pr(Class C)
      0.228        0.619        0.153

예측 분포가 실제 분포에 얼마나 가깝습니까? 이것이 교차 엔트로피 손실이 결정하는 것입니다. 다음 공식을 사용하십시오.

p(x)원하는 확률과 q(x)실제 확률 은 어디에 있습니까 ? 합계는 세 클래스 A, B, C를 초과합니다.이 경우 손실은 0.479입니다 .

H = - (0.0*ln(0.228) + 1.0*ln(0.619) + 0.0*ln(0.153)) = 0.479

이것이 당신의 예측이 실제 분포에서 얼마나 "잘못"또는 "멀리"있는지입니다.

교차 엔트로피는 가능한 많은 손실 함수 중 하나입니다 (다른 인기있는 것은 SVM 힌지 손실입니다). 이러한 손실 함수는 일반적으로 J (theta)로 작성되며 매개 변수 (또는 계수)를 최적의 값으로 이동하는 반복 알고리즘 인 경사 하강 법 내에서 사용할 수 있습니다. 아래 방정식 J(theta)에서 H(p, q). 그러나 H(p, q)먼저 매개 변수에 대한 미분을 계산해야합니다 .

따라서 원래 질문에 직접 답하려면 다음을 수행하십시오.

손실 함수를 설명하는 방법 일 뿐입니 까?

정확하고 교차 엔트로피는 두 확률 분포 간의 손실을 설명합니다. 가능한 많은 손실 함수 중 하나입니다.

그런 다음 예를 들어 경사 하강 법 알고리즘을 사용하여 최소값을 찾을 수 있습니다.

예, 교차 엔트로피 손실 함수는 경사 하강 법의 일부로 사용할 수 있습니다.

추가 읽기 : TensorFlow와 관련된 다른 답변 중 하나 .

참고 URL : https://stackoverflow.com/questions/41990250/what-is-cross-entropy