Перейти к содержимому
Compvision.ru
mrgloom

найти нелинейное подпространство

Recommended Posts

Допустим есть N выборок, в каждой выборке по k>=2 сэмплов(кол-во сэмплов в выборке может различаться), а каждый сэмпл это вектор длиною L(кстати интересно еще если и вектора будут разной длины) и мы должны найти такое нелинейное подпространство чтобы после проекции туда наших данных получилось (допустим по евклидовой метрике) что расстояние между сэмплами в выборке минимально, а расстояние между разными выборками максимально.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

хотя я подумал, если взять среднее по выборке, то задача как бы упрощается и можно уже применять любой алгоритм по уменьшению размерности типа PCA наверно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

похоже задача сводится к чему то типа

Learning Similarity\ Learning Similarity Metric\Distance Metric Learning

еще есть идея запихнуть в MultiClass SVM, но надо как то потом вытащить параметры подпространства для последующего использования(реально ли это?), а не просто классифицировать.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Если вектора будут одинаковой длины - я бы действовал грубой силой.

Нелинейный проектор - это многослойный персептрон, у которого число вых.нейронов равно желаемой размерности подпространства.

Обучение - с помощью "нелокальной" целевой функции (такой, которая не позволяет вычислить невязки и производные для одного примера без знания того, как сеть сработала на остальных примерах). Функция эта штрафует примеры каждой выборки за отклонение от среднего вектора их проекций, и максимизирует расстояния между средними векторами проекций выборок.

Придётся, правда, поиграться с относительным весом каждого из штрафных макрослагаемых (за внутривыборочное расстояние между проекциями и за расстояния между средними для проекций выборок).

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

и как это на английском называется? есть что то готовое?

и еще вопрос как потом проверять результат проекции?

тут вот например пишут про LDA, что

find a projection such that, in the projected space, the ratio of interclass

variance to intra-class variance is maximized.

но вроде как на практике работает плохо, т.к. этот метод линейный.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

На английском - не называется. Это русская придумка (см нейрокнижку Жени Миркеса)

Проверять результаты - так же, как пишут про LDA. У нейросетки-то целевая функция будет в виде двух макрослагаемых - суммы (по всем классам) сумм внутриклассовых расстояний (от точки до центральной проекции для её класса) и суммы межклассовых расстояний (между центрами проекций классов). Отнормировать все нужные слагаемые аккуратно (на число классов или на число точек в классе) - и управляйте нужным отношением ratio of interclass variance to intra-class variance через добавление ещё одного множителя-коэффициента (к какому-то одному из макрослагаемых).

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Создайте учётную запись или войдите для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать учётную запись

Зарегистрируйтесь для создания учётной записи. Это просто!

Зарегистрировать учётную запись

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас


  • Сейчас на странице   0 пользователей

    Нет пользователей, просматривающих эту страницу

×