Перейти к содержимому
Compvision.ru
Smorodov

Трактовка кривых обучения.

Recommended Posts

Есть такой график обучения сети, см. приложенную картинку.

По нему видно, что тестовая выборка имеет меньшее значение функции потерь чем обучающая выборка.

Обычно в литературе встречается обратная ситуация. 

Тестовая выборка честная, то есть никак не связана с обучающей.

Меня несколько озадачило взаимное расположение кривых функции потерь.

Как бы Вы трактовали такой график?

Screenshot from 2016-03-05 22:15:55.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Если в валидационную выборку попали объекты одного класса, а алгоритм больше ошибается на объектах другого класса, то возможна такая картина...

Грубо говоря: позитивы он обрабатывает корректно всегда, но при этом фолсит на негативах...тогда на баче содержащем в равной степени и негативы и позитивы функция потерь будет иметь значение больше, чем на валидационной выборке, где одни позитивы.

Но это пример "из разряда фантастики"

  • Like 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Выборки сбалансированы всех классов строго одинаковое количество.

Классов 6 это распознавалка эмоций.

В валидационной выборке лица людей, отсутствующих в обучающей.

Я кажется начинаю понимать :) 

Я обучаю итерациями, добавляя на следующем круге семплы на которых классификатор ошибается. Еще и с двукратным бустом.

То есть, я добавляю сложные примеры для обучающей выборки, смещая её, в то время как тестовая выборка всегда одинаковая.

Таким образом обучающая выборка становится сложнее тестовой.

Видимо я перемудрил :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Кстати, по поводу извращенных методов тренировки. А не пробовал к задаче мультиклассовой классификации применть loss-функцию типа каких-нибудь triplet loss function?  

  • Like 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Спасибо за наводку, попробую.

Сейчас точность в 82-84% упирается, думается это потолок инфы в датасете.

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
1 hour ago, Smorodov said:

Спасибо за наводку, попробую.

Сейчас точность в 82-84% упирается, думается это потолок инфы в датасете.

 

82-84% - это на той базе лиц, где ~2M сэмплов?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Не, на 100 персонах, +15 в тестовой выборке.

Семплов порядка 200к.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Создайте учётную запись или войдите для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать учётную запись

Зарегистрируйтесь для создания учётной записи. Это просто!

Зарегистрировать учётную запись

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас


  • Сейчас на странице   0 пользователей

    Нет пользователей, просматривающих эту страницу

×