Localization for N objects as regression

[mrgloom 242]

Возможно ли решить задачу локализации для N объектов (т.е. на каждом фото у нас всегда по N объектов), как задачу регрессии (т.е. если мы хотим предсказывать bbox, то регрессия на N*4 чисел)?

Для 1 объекта эта задача решается.

А для N объектов я попробовал в лоб и вроде как не работает

Правда немного другая формулировка задачи: на изображении может быть от 1 до N кругов и надо предсказать центр и радиус каждого круга.

https://github.com/mrgloom/position-and-radius-estimation-example

Я думаю не работает потому что объекты как бы получаются не ordered и в этом вся проблема.

[Nuzhny 243]

Не очень понятно, в чём сложность задачи.

[mrgloom 242]

Это всего лишь пример и сложности нет если решать алгоритмами computer vision, а хочется решить через CNN.

[BeS 53]

On 9/19/2017 at 5:13 PM, mrgloom said:

Это всего лишь пример и сложности нет если решать алгоритмами computer vision, а хочется решить через CNN.

А чем какой-нибудь YOLO - не регрессор? Вместо BBox'ов предсказывай окружности и вуаля)

[mrgloom 242]

Так то да, это работает как раз потому что предсказывается сдвиг и пр. вокруг клетки, которая имеет фиксированную позицию.

Но тогда непонятно например как работало тут - Multi-digit Number Recognition from Street View Imagery using Deep Convolutional Neural Networks

https://static.googleusercontent.com/media/research.google.com/ru//pubs/archive/42241.pdf

т.е. положение цифр меняется (на картинках цифры например лесенкой могут быть), т.е. грубо говоря сеть как то должна научится читать слева направо (т.е. чтобы вывести строку как ответ сеть должна уметь выдать буквы в правильном порядке).

[BeS 53]

9 hours ago, mrgloom said:

Так то да, это работает как раз потому что предсказывается сдвиг и пр. вокруг клетки, которая имеет фиксированную позицию.

Но тогда непонятно например как работало тут - Multi-digit Number Recognition from Street View Imagery using Deep Convolutional Neural Networks

https://static.googleusercontent.com/media/research.google.com/ru//pubs/archive/42241.pdf

т.е. положение цифр меняется (на картинках цифры например лесенкой могут быть), т.е. грубо говоря сеть как то должна научится читать слева направо (т.е. чтобы вывести строку как ответ сеть должна уметь выдать буквы в правильном порядке).

Ну либо сетка находит регион, где есть текст, а потом подбирает параметры пространственного преобразования, приводящие строку к осмысленному текст...вроде бы даже всякие там Spatial Transform Network для текстов использовали.