Распознавание одежды

[Konstantin Ivanov 0]

Добрый день. Подскажите какими алгоритмами или методами (есть ли примеры) можно решить следующую задачу.

Пользователь фотографирует человека в одежде. Потом он должен обвести или вырезать максимальный кусок одежды на фото, который бы идентифицирующий эту одежду (так чтобы не захватывать ничего кроме одежды). Как найти все картинки в базе данных, на которых встречается этот кусок? Если кусок одежды немного деформирован? (Например одежда лежит не очень ровно или помята)? Насколько реально это делать в реальном времени если в бд несколько тысяч картинок?

Можно ли решить эту задачу если одежда не на человека, а просто лежит на ровной какой-нибудь поверхности, на полу или на столе? (Например, как в прилагаемом файле).

Спасибо!

[mrgloom 242]

http://ieeexplore.ieee.org/xpl/freeabs_all.jsp?arnumber=5076806

если найдете где в свободном доступе, то там вроде про одежду и делают с помощью SIFT.

http://en.wikipedia.org/wiki/Scale-invariant_feature_transform

http://en.wikipedia.org/wiki/Interest_point_detection

ну так погуглите еще по Content-based image retrieval (CBIR)

http://en.wikipedia.org/wiki/Content-based_image_retrieval

http://en.wikipedia.org/wiki/Bag_of_words_model_in_computer_vision

скорость и точность будут зависеть от множества параметров.

[Nuzhny 243]

http://ieeexplore.ieee.org/xpl/freeabs_all.jsp?arnumber=5076806

если найдете где в свободном доступе, то там вроде про одежду и делают с помощью SIFT.

Найти легко

[mrgloom 242]

там

Purchase article: $19

[Nuzhny 243]

Да? А я нажимаю на ссылку "pdf" справа и скачиваю бесплатно. Причём я там не зарегистрирован.

[mrgloom 242]

у меня ссылка на pdf серая и не нажимается

[Nuzhny 243]

у меня ссылка на pdf серая и не нажимается

Странно, странно... Так должно точно получиться:

3522a035.pdf

[Konstantin Ivanov 0]

Спасибо большое, всем ответившим, статья кое-что прояснила, хотя далеко и не всё. Насколько мне удалось понять, в ней описан в общих чертах способ, как отнести одежду к определённому классу: например, по фотографии брюк определить что это тип одежды - брюки, юбка - что это именно юбка.

А в исходной задаче надо, чтобы по конкретной модели брюк - сказать что это именно эта модель, а не какая другая. Хочется если не решить, то понять насколько сложная эта задача и хватит ли ума и сил, чтобы стоило за неё браться, покаместь прихожу к выводу, что это сложная задача и может много месяцев уйти на пробу разных подходов, подгон параметров и может в итоге получиться неудовлетворительный результат.

[mrgloom 242]

подгон параметров и может в итоге получиться неудовлетворительный результат.

добро пожаловать в мир компьютерного зрения.

думаю, что задача решаемая,точность зависит от исходных фотографий и наперед спрогнозировать сложно.

есть какие то готовые системы Content-based image retrieval наверно их можно подогнать под текущую задачу.

основные методы это цвет и форма всего объекта(ну еще дескрипторы или какие то маленькие специальные части). соответсвенно цвет портится от плохого освещения, форма будет отличатся от одежды надетой на человека и на полу(в базе)+ еще ведь разные размеры.

Можно ли решить эту задачу если одежда не на человека, а просто лежит на ровной какой-нибудь поверхности, на полу или на столе? (Например, как в прилагаемом файле).

этот вариант кажется более реальным.во всяком случае я думаю начать надо с этого, чтобы хотя бы понять насколько отличаются элементы в базе.

я тут думаю скорее надо определить тип одежды, сузив тем самым круг поиска, а затем по цвету\рисунку и логотипам определять конкретный экземпляр.

Насколько реально это делать в реальном времени если в бд несколько тысяч картинок?

в итоге вы будете хранить не сами картинки, а их дескрипторы и наверняка можно их хранить в какой то структуре данных, где они каким то образом предварительно сгруппированы\кластеризованы\отсортированы для более быстрого поиска.

[mrgloom 242]

вот пример кстати (плохой)

http://www.ipol.im/pub/demo/my_affine_sift/archive?key=D0A08DBD2A03F1F56D7EAD54D5BAF024

http://www.ipol.im/pub/demo/my_affine_sift/archive?key=F4AD8EA750825484D1077F37C59DE319

http://www.ipol.im/pub/demo/my_affine_sift/archive?key=F30414ABE51C05259E24B376D94BAFBD

http://www.ipol.im/pub/demo/my_affine_sift/archive?key=C34D46839A29A2CE15B8955B9368748E

[mrgloom 242]

http://www.cs.sunysb.edu/~kyamagu/research/clothing_parsing/

до чего дошел прогресс

[mrgloom 242]

а где интересно можно взять базу таких картинок?

http://demo.ipol.im/demo/my_affine_sift/arc/A7/65E0B409ED123607D0F0277EADE276/output_sift_v.png

http://demo.ipol.im/demo/my_affine_sift/arc/54/49E9296954B641C4CCDA143F80C01B/output_sift_v.png

[Smorodov 579]

Думаю можно на ebay попытаться самому собрать.

Есть еще https://www.mturk.com/mturk/welcome

,но они вроде пока не работают с жителями РФ как с заказчиками.

А так, там за весьма небольшие деньги можно создать заказ на подобные вещи.

[mrgloom 242]

нужны пара человек в одежде и просто одежда.

я думаю они врядли сами соберут базу, они могут только отлейблить её.

[mrgloom 242]

http://similar4.ru/ru/howitworks

не совсем то, но похоже по смыслу, но там работает именно CBIR система наверно.

[mrgloom 242]

спустя 4 года

http://www.cs.unc.edu/~hadi/iccv_2015.pdf

http://www.cs.unc.edu/~hadi/

 

Изменено October 3, 2015 пользователем mrgloom