Перейти к содержимому
Compvision.ru

mrgloom

Пользователи
 Профиль  Активность

  • Количество публикаций

    2 302

  • Зарегистрирован

  • Посещение

  • Days Won

    142

Сообщения, опубликованные пользователем mrgloom

  7. Опубликовано · Report reply

    Да, можно даже искуственно нагенерить таких картинок и предсказывать например матрицу перспективного искажения 3x3 вытянутую в вектор, т.е. решаем задачу как регрессию и предсказываем 9 чисел.

  8. Опубликовано · Report reply

    Еще немного в другую сторону(про просмотр затайленых карт/изображений):

    Помниться как то пробовал запустить это на базе polymaps и flask, но из коробки не заработало вроде:

    https://github.com/DmitryUlyanov/large-image-viewer

     И еще проект на который он ссылается(не пробовал):

    https://github.com/ebenolson/kaggle-ndsb-visualization

     

    Еще:

    https://github.com/klokantech/iiifviewer

    https://openseadragon.github.io/

    https://annotorious.github.io/

    И судя по списку https://github.com/lovasoa/dezoomify#supported-zoomable-image-formats

    существует много форматов и вьюверов.

     

    Еще типа terrapattern:

    https://github.com/gakarak/AirBaseMarking

    http://www.terrapattern.com

    https://github.com/CreativeInquiry/terrapattern

     

  11. Опубликовано · Report reply

    По поводу визуализатора который может показывать лейбл когда наводишь мышку, хотелось бы что то такое только в 2d и что то посерьёзнее(тут 10к только) с LOD (аля gogole maps) и отсечением по view'у.

    http://projector.tensorflow.org/

     

    Хотя тут уже 500к точек крутится.

    https://threejs.org/examples/webgl_buffergeometry_points.html

  12. Опубликовано · Report reply

    Пофиксил пару багов

    1. Отключение просчета lire фич для экономии времени.
    2. Отключение сортировки в main.openFolder при которой падает

     

    Загрузил ~250 кластеров ~2k изображений 256x256 для просмотра, каждый кластер это подпапка с изображениями в главной папке.


    1. Clustertag не поддерживает изначальную кластеризацию (в статье было про weka), а только отображение готовых кластеров.
    2. Кластеры отображаются в пространстве не по похожести.
    3. Изображения внутри кластера отображаются не по похожести.
    4. Нет возможности перетаскивать изображения между кластерами.
    5. Нет возможности понять что это за текущий кластер и изображение.

     

    Вообщем так себе.
     

  14. Опубликовано · Report reply

    Есть ли какие то похожие тулы, а то свой велосипед не хочется писать.

    ClusterTag: Interactive Visualization, Clustering and Tagging Tool for Big Image Collections

    http://delivery.acm.org/10.1145/3080000/3079018/p112-pogorelov.pdf?ip=195.239.134.130&id=3079018&acc=OA&key=4D4702B0C3E38B35.4D4702B0C3E38B35.4D4702B0C3E38B35.64DFBF5EFE36E0A2&CFID=849769676&CFTOKEN=62449524&__acm__=1515578108_aca3aef562017e4ee61fee9656e94828

     

    код на java

    https://bitbucket.org/mpg_projects/clustertag

     

  15. Опубликовано · Report reply

    > Типа того, из статей, с этим бились и явно указывали на такой артефакт в статье про UNet.

    Так там это в контексте того, что изображение тайлится, а потом склеивается, а если целиком пихать то норм, не?

    >Без skip-connections ступенчатые декодеры отвраттельно работают.

    Segnet (без unpooling'а с индексами как в оригинальной статье) у меня нормально работает, или о каких декодерах речь?

    > з.ы. а зачем ты используешь  FCN, причем такой извращеный с апсемплингом в 32 раза?

    Я не в продакшн, а для бенчмарка.

    >Вообще в "боевых" архитектурах обычно не кропают края.

    Тогда надо размер изображения подгонять под конкретную сеть, например чтобы на 32 делилось целиком (для VGG16).

  16. Опубликовано · Report reply

    Ну тут вот без нахлеста работает, т.е. (2, 2), strides=(2, 2), видимо потому что concatenation идёт с нормальными слоями без дырок и это компенсирует.

    https://github.com/jocicmarko/ultrasound-nerve-segmentation/blob/master/train.py#L55

    Я пробовал на FCN 5 раз по (2, 2) и были артефакты насколько помню.

     

    Краевые эффекты от того что padding='same', добивается нулями? где то можно про это почитать?

     

    В caffe репе они кстати пишут:

    Цитата

    Why pad the input?: The 100 pixel input padding guarantees that the network output can be aligned to the input for any input size in the given datasets, for instance PASCAL VOC. The alignment is handled automatically by net specification and the crop layer. It is possible, though less convenient, to calculate the exact offsets necessary and do away with this amount of padding.

     

  17. Опубликовано · Report reply

    Понял что pad и crop нужен для того чтобы подавать изображения на которые сетка 'не расчитана', т.е. чтобы не получалось дробных значений, когда мы сжимаем блоб в 32 раза (для vgg16).

     

    Еще не понятно как у них учится без взвешивания классов:

    https://arxiv.org/pdf/1605.06211.pdf

    Class balancing
    Fully  convolutional  training  can  balance  classes  by  weighting  or  sampling  the  loss.  Although our  labels  are  mildly  unbalanced  (about 3/4 are  background), we find class balancing unnecessary.

     

    У меня на Pascal Voc 2012 у которого 70% background class обучается так, что предсказывает всё как background, пробовал так же убирать этот класс и так же предсказывает больше классы которые более представлены в выборке по кол-ву пикселей.

  18. Опубликовано · Report reply

    Да в этом и было дело.

    Кстати попробовал сделать не сразу 64 32, а 5 раз по 2 2 и не заработало, хотя вот в unet как раз 2 2 используется.

    https://github.com/jocicmarko/ultrasound-nerve-segmentation/blob/master/train.py#L55 

     

    Еще непонятно в чем смысл падинга и кропа в оригинальной сетке на caffe?

    https://github.com/shelhamer/fcn.berkeleyvision.org/blob/master/voc-fcn32s/train.prototxt#L27

    https://github.com/shelhamer/fcn.berkeleyvision.org/blob/master/voc-fcn32s/train.prototxt#L509

     

     

    Запилил пример на keras по мотивам https://github.com/ZFTurbo/ZF_UNET_224_Pretrained_Model

    Пока добавил unet, segnet, fcn.

    https://github.com/mrgloom/keras-semantic-segmentation-example

    • Like 1

  19. Опубликовано · Report reply

    Мой вопрос не в этом, а в том что у меня явно видны блоки как у jpeg сжатия, а у них плавные границы, хоть и грубые.

     

    Походу там stride 32, а kernel 64, а у меня 32 и 32, надо попробовать.

    https://github.com/shelhamer/fcn.berkeleyvision.org/blob/master/pascalcontext-fcn32s/train.prototxt#L505

    Хотя и не понятно как ' Deconvolution ' слой в caffe работает по сравнению с Conv2DTranspose.

  20. Опубликовано · Report reply

    За счёт чего в оригинальной статье получают 'сглаженный' результат? даже для FCN-32S, где по идее должно быть увеличении сжатого блоба в 32 раза.

    https://github.com/shelhamer/fcn.berkeleyvision.org/blob/master/voc-fcn32s/train.prototxt

    https://people.eecs.berkeley.edu/~jonlong/long_shelhamer_fcn.pdf

     

    Я пробовал такую версию на базе VGG16 или проблема в том, что Conv2DTranspose не подходит? 

    def get_fcn_vgg16_32s(inputs):
    
    bn = BatchNormalization()(inputs)
    
    # Block 1
    x = Conv2D(64, (3, 3), activation='relu', padding='same', name='block1_conv1')(bn)
    x = Conv2D(64, (3, 3), activation='relu', padding='same', name='block1_conv2')(x)
    x = MaxPooling2D((2, 2), strides=(2, 2), name='block1_pool')(x)

    # Block 2
    x = Conv2D(128, (3, 3), activation='relu', padding='same', name='block2_conv1')(x)
    x = Conv2D(128, (3, 3), activation='relu', padding='same', name='block2_conv2')(x)
    x = MaxPooling2D((2, 2), strides=(2, 2), name='block2_pool')(x)

    # Block 3
    x = Conv2D(256, (3, 3), activation='relu', padding='same', name='block3_conv1')(x)
    x = Conv2D(256, (3, 3), activation='relu', padding='same', name='block3_conv2')(x)
    x = Conv2D(256, (3, 3), activation='relu', padding='same', name='block3_conv3')(x)
    x = MaxPooling2D((2, 2), strides=(2, 2), name='block3_pool')(x)

    # Block 4
    x = Conv2D(512, (3, 3), activation='relu', padding='same', name='block4_conv1')(x)
    x = Conv2D(512, (3, 3), activation='relu', padding='same', name='block4_conv2')(x)
    x = Conv2D(512, (3, 3), activation='relu', padding='same', name='block4_conv3')(x)
    x = MaxPooling2D((2, 2), strides=(2, 2), name='block4_pool')(x)

    # Block 5
    x = Conv2D(512, (3, 3), activation='relu', padding='same', name='block5_conv1')(x)
    x = Conv2D(512, (3, 3), activation='relu', padding='same', name='block5_conv2')(x)
    x = Conv2D(512, (3, 3), activation='relu', padding='same', name='block5_conv3')(x)
    x = MaxPooling2D((2, 2), strides=(2, 2), name='block5_pool')(x)
    
    x = Conv2D(128, (3, 3), activation='relu', padding="same")(x)
    
    x = Conv2DTranspose(128, kernel_size=(32, 32), strides=(32, 32), padding='same')(x)
    
    return x

     

    binary_crossentropy_result.png

  21. Опубликовано · Report reply

    В итоге sloth вроде как неплох, раздражает только 1 вещь что при создании полигона надо жать каждый раз на кнопку, а не по клику мыши.

    https://github.com/cvhciKIT/sloth/issues/145

    И еще поддержка никакая, т.к. проект старый.

     

  22. Опубликовано · Report reply

    https://github.com/lzx1413/labelImgPlus

    В итоге заработало под windows на anaconda python 2, но не работает сохранение.

    https://github.com/wkentaro/labelme

    И это заработало, но при сохранении зачем то сохраняется изображение прямо в json  как бинарная строка (но это довольно легко убрать) и еще нет загрузки сразу нескольких изображений как в labelImg и нет выбора из списка лейблов, а надо каждый раз руками прописывать.

    Еще попробовал https://github.com/cvhciKIT/sloth

    Но полигоны там нельзя перемещать и изменять, только удалять.

  23. Опубликовано · Report reply

    https://lear.inrialpes.fr/people/klaeser/software_image_annotation 

    Погонял prebiuild binaries для винды

    Не читает .jpg.

    Большие изображения загружает, но когда добавляешь маску лагает.

    Ну и там разметка кисточкой, а хотелось бы полигонами.

  24. Опубликовано · Report reply

    Хочется нормальный тул для разметки полигонами, который работает на винде и убунте, умеет делать zoom мышкой, поддерживает большие изображения.
     
    То что посмотрел:
     
    1. https://github.com/lzx1413/labelImgPlus
        Нет prebuild binaries для винды, надо ставить под python 2
    2. https://github.com/AKSHAYUBHAT/ImageSegmentation
        Разметка кистью типа graphcut, не то что надо.
        Непонятно как билдить\деплоить, часть под веб.
    3. https://github.com/wkentaro/labelme
        Есть баг при сохранении разметки - видимо из-за того что юникод по разному в python2 и python3.
        Нету (или не работает) ctrl + mouse wheel для zoom.
        Надо собирать под анаконду, но на винде норм работает.
    4. https://github.com/seanbell/opensurfaces-segmentation-ui
        Непонятно как билдить\деплоить, часть под веб.
        Похоже только под linux, непонятно как сохранять данные.
    5. https://github.com/CSAILVision/LabelMeAnnotationTool
        Тоже клиент-сервер-браузерное решение, непонятно как билдить\деплоить.
         Что то старое.
    6. https://github.com/kyamagu/js-segment-annotator
        Чистый js, работает из коробки в браузере (без сервера и локально).
        Надо руками копировать изображение в соответствующую папку и добавлять его в мета информацию, иначе его не видно.
        Разметка по суперпикселям, не подходит.
        Вешает браузер на размерах изображения 8k x 5k.
×