Страница 7 из 10
Принцип работы MSE заключается в следующем:
1. Для каждого примера в обучающем наборе данных модель делает предсказание. Это предсказание может быть числовым значением, таким как цена дома или температура, и модель пытается предсказать это значение на основе входных признаков.
2. Разница между предсказанным значением и фактическим значением (истинным ответом) для каждого примера вычисляется. Эта разница называется "остатком" или "ошибкой" и может быть положительной или отрицательной.
3. Эти ошибки возводятся в квадрат, что позволяет избежать проблем с отрицательными и положительными ошибками, которые могут взаимно компенсироваться. Ошибки возводятся в квадрат, чтобы большим ошибкам присваивать больший вес.
4. Затем вычисляется среднее значение всех квадратов ошибок. Это среднее значение является итоговой MSE.
Формула MSE для одного примера (i) выглядит следующим образом:
MSE(i) = (Предсказанное значение(i) – Фактическое значение(i))^2
Для всего набора данных с N примерами формула MSE выглядит так:
MSE = (1/N) * Σ (Предсказанное значение(i) – Фактическое значение(i))^2 от i=1 до N
Чем меньше значение MSE, тем ближе предсказания модели к фактическим данным, и, следовательно, модель считается более точной. Однако стоит помнить, что MSE чувствителен к выбросам и может быть неподходящим для задач, где ошибки в предсказаниях могут иметь разную важность.
–
Кросс
-
энтропия
:
Широко применяется в задачах классификации и измеряет разницу между распределением вероятностей
,
предсказанным моделью
,
и фактическими метками классов
.
Кросс-энтропия (Cross-Entropy) – это важная функция потерь, широко используемая в задачах классификации, особенно в машинном обучении и глубоком обучении. Она измеряет разницу между распределением вероятностей, предсказанным моделью, и фактическими метками классов в данных. Кросс-энтропия является мерой того, насколько хорошо модель приближает вероятностное распределение классов в данных.
Принцип работы кросс-энтропии заключается в сравнении двух распределений: предсказанных вероятностей классов моделью и фактических меток классов в данных. Её можно описать следующим образом:
1. Для каждого примера в наборе данных модель выдает вероятности принадлежности этого примера к разным классам. Эти вероятности могут быть представлены в виде вектора вероятностей, где каждый элемент вектора соответствует вероятности принадлежности примера к конкретному классу.
2. Фактичные метки классов для каждого примера также представляются в виде вектора, где один элемент вектора равен 1 (класс, к которому пример принадлежит), а остальные элементы равны 0.
3. Сравнивая вероятности, предсказанные моделью, с фактичными метками классов, вычисляется кросс-энтропия для каждого примера. Формула для вычисления кросс-энтропии для одного примера i выглядит так:
Cross-Entropy(i) = -Σ (Фактическая вероятность(i) * log(Предсказанная вероятность(i)))
Где Σ означает суммирование по всем классам.
4. Итоговая кросс-энтропия для всего набора данных вычисляется как среднее значение кросс-энтропии для всех примеров. Это позволяет оценить, насколько хорошо модель соответствует фактичным данным.
Кросс-энтропия имеет следующие важные характеристики:
– Она может быть использована для многоклассовой и бинарной классификации.
– Она штрафует модель за неверные уверенные предсказания вероятностей, что позволяет сделать её более уверенной и точной.
– Она штрафует большие различия между фактическими метками и предсказанными вероятностями сильнее, что делает её чувствительной к выбросам.
Выбор кросс-энтропии как функции потерь в задачах классификации обусловлен тем, что она стимулирует модель предсказывать вероятности классов, что часто является необходимым в задачах классификации.
–
Категориальная кросс
-
энтропия
:
Используется в задачах многоклассовой классификации
,
где классы не взаимосвязаны
.
Категориальная кросс-энтропия (Categorical Cross-Entropy) – это функция потерь, которая часто применяется в задачах многоклассовой классификации, где классы не взаимосвязаны и каждый пример может быть отнесен к одному и только одному классу из набора классов. Эта функция потерь измеряет расхождение между вероятностным распределением, предсказанным моделью, и фактичными метками классов.
Применение категориальной кросс-энтропии в задачах многоклассовой классификации выглядит следующим образом:
1. Для каждого примера в наборе данных модель предсказывает вероятности принадлежности этого примера к каждому классу. Эти вероятности образуют вектор вероятностей, где каждый элемент соответствует вероятности принадлежности к одному из классов.
2. Фактичные метки классов для каждого примера также представляются в виде вектора, где один элемент равен 1 (класс, к которому пример принадлежит), а остальные элементы равны 0.
3. Сравнивая вероятности, предсказанные моделью, с фактичными метками классов, вычисляется категориальная кросс-энтропия для каждого примера. Формула для вычисления категориальной кросс-энтропии для одного примера i выглядит следующим образом:
Categorical Cross-Entropy(i) = -Σ (Фактическая вероятность(i) * log(Предсказанная вероятность(i)))
Где Σ означает суммирование по всем классам.
4. Итоговая категориальная кросс-энтропия для всего набора данных вычисляется как среднее значение категориальной кросс-энтропии для всех примеров.
Важно отметить, что в задачах многоклассовой классификации категориальная кросс-энтропия учитывает, как хорошо модель предсказывает вероятности для всех классов. Если предсказания близки к фактическим меткам классов, то значение категориальной кросс-энтропии будет близким к нулю, что указывает на хорошую производительность модели.
Важным аспектом применения категориальной кросс-энтропии является использование активационной функции "Softmax" на выходном слое модели, чтобы преобразовать необработанные значения в вероятности классов. Категориальная кросс-энтропия обычно работает с этими вероятностями, что делает её подходящей для задач многоклассовой классификации.
–
Бинарная кросс
-
энтропия
:
Применяется в задачах бинарной классификации
,
где есть два класса
.
Бинарная кросс-энтропия (Binary Cross-Entropy), также известная как логистическая потеря (Logistic Loss), является функцией потерь, применяемой в задачах бинарной классификации, где есть два класса: класс "положительный" и класс "отрицательный". Эта функция потерь измеряет расхождение между предсказанными вероятностями и фактичными метками классов.
Применение бинарной кросс-энтропии в задачах бинарной классификации выглядит следующим образом:
1. Модель предсказывает вероятности для класса "положительный" (обычно обозначенного как класс 1) и вероятности для класса "отрицательный" (обычно обозначенного как класс 0) для каждого примера. Обычно это делается с использованием активационной функции "Sigmoid", которая преобразует необработанные выходы модели в вероятности, лежащие в интервале от 0 до 1.
2. Фактичные метки классов для каждого примера также представляются в виде бинарного вектора, где один элемент вектора равен 1 (класс 1 – "положительный"), а другой элемент равен 0 (класс 0 – "отрицательный").
3. Сравнивая предсказанные вероятности моделью с фактичными метками классов, вычисляется бинарная кросс-энтропия для каждого примера. Формула для вычисления бинарной кросс-энтропии для одного примера i выглядит следующим образом:
Binary Cross-Entropy(i) = -[Фактичная метка(i) * log(Предсказанная вероятность(i)) + (1 – Фактичная метка(i)) * log(1 – Предсказанная вероятность(i))]