English / Russian version

Инструкция

по работе с Web-сервисом ParticlesNN по поиску частиц на изображениях сканирующей зондовой микроскопии с помощью методов глубокого машинного обучения

 

Окунев А.Г.1,2,3, Машуков М.Ю.3, Нартова А.В.2,1, Матвеев А.В.1,2

1Новосибирский государственный университет, ул. Пирогова, д. 1, г. Новосибирск, Россия
2Институт катализа им. Г.К. Борескова СО РАН, пр. Ак. Лаврентьева, д. 5, г. Новосибирск, Россия

                                                                                                                   3Высший колледж информатики НГУ, г. Новосибирск, Россия

Общие положения

Web-cервис ParticlesNN создан на основе нейронной сети CascadeRCNN, обученной на изображениях наночастиц, полученных с помощью метода сканирующей туннельной микроскопии [1]. Обученная нейронная сеть способна распознавать наночастицы как четкие контуры. Web-cервис производит обработку полученных результатов, определяя размеры контуров, их статистические параметры – степень покрытия, концентрацию, средний размер, распределение частиц по размерам.

Web-cервис ParticlesNN отличается от других программных продуктов следующими особенностями:

1)     возможна обработка изображений, которые содержат высокочастотные шумы, артефакты, характерные для изображений зондовой микроскопии, без дополнительной обработки;

2)     пользователь может проводить корректировку контуров с помощью внешних программных продуктов;

3)     реализована статистическая обработка нескольких изображений;

4)     результаты обработки выдаются в виде гистограммы и таблиц, в которых доступна информация по всем идентифицированным объектам.

Подход к распознаванию частиц с помощью нейронных сетей позволяет со временем, по накоплению размеченных данных, улучшать качество распознавания.

Кроме того, web-cервис способен работать с изображениями любых объектов, представленных в виде пятен интенсивности – микрочастиц (например, СЭМ), биологических клеток, объектов на изображениях с квадрокоптеров и т.п.

Загрузка данных

При открытии адреса http://particlesnn.nsu.ru/files открывается список ваших ранее обработанных файлов и файлов, открытых для всех.

Рекомендуется загружать файл в формате .txt, созданный в программе WSxM [2] и содержащий в хэдере информацию о масштабе изображениях в нанометрах (ASCII Matrix Files или ASCII Matrix Files with labels). В этом случае в выходных данных результаты будут представлены и в пикселях, и в нанометрах.

Также поддерживается загрузка файлов в обычных форматах графических файлов (.bmp, .png и другие) и формате .json, созданном в программе Labelme [3]. При загрузке в этих форматах, результаты будут представлены только в пикселях.

Нейронная сеть менее эффективна в случае мелких частиц и/или их большого количества. Программные ограничения – не более 500 частиц на изображении.

Рекомендуемое разрешение изображения – от 250*250 до 3000*3000 пикселов.

Для загрузки файла внизу страницы необходимо нажать на кнопку «Обзор» и выбрать необходимый файл. Рекомендуем также заполнить поле «Description». После этого нажать на кнопку «Upload», откроется новая страница, на которой происходит обработка данных.

Обработка данных

В поле модели «Processing ML model» выбирается способ обработки данных. В настоящее время их три, первые две основаны на одной и той же нейронной сети, но отличаются наличием дополнительной обработки контуров. Третья модель (dummy model) – для служебного пользования. Рекомендуем параметр модели «Processing ML model» оставить по умолчанию, в дальнейшем количество моделей будет увеличено, и будут даны комментарии по каждой модели. Поле «Comments» заполняется по вашему желанию.

После этого для запуска обработки необходимо нажать на кнопку «Process». Изображение обрабатывается в течение примерно одной минуты. Для получения результатов необходимо обновить страницу браузера (как правило, выглядит как зеленая стрелочка, направленная по кругу на панели браузера).

После обработки данных появятся результаты распознавания: список файлов, обработанное изображение, статистические результаты, гистограмма распределения найденных частиц по размерам.

Сервис выдает результаты найденных частиц в двух вариантах: 1) найденных нейронной сетью; 2) уточненные контуры, полученные после применения процедуры фиттинга профиля каждой частицы гауссовым 3D-распределением.

1.     Список файлов:

- xxx.logфайл отчёта о ходе обработки (технический файл);
- xxx_Img_contours_predicted_fitted.bmpизображение с контурами (представлено слева от списка файлов), «predicted» (найденных нейронной сетью, зеленым цветом) и fit (фиттинг гауссовым 3D-распределением, красным цветом);
- xxx_Img_masks_predicted.bmp – изображение с масками найденных нейронной сетью частиц;
- xxx_Stat_bbox_predicted.csv – таблица (открывается в Excel) с данными по обнаруженным частицам, содержащая столбцы: index - номер частицы; bbox_center_x, bbox_center_yx и y координаты частицы; area_pixels – площадь частицы в пикселях; diameter_pixelsпроектированный диаметр (статистический диаметр) частицы, рассчитываемый из предположения, что частица представлена кругом, площадь которого равна площади частицы; area_nm2 – площадь частицы в нм (если загружался файл в формате .txt с информацией о масштабе изображения); diameter_nm – диаметр частицы в нм;
- xxx_Stat_bbox_predicted_Commas.csv
– аналогичен предыдущему файлу, но поля таблицы разделены запятой, а не точкой с запятой;
- xxx_Stat_contours_predicted_fitted.csv
- таблица (открывается в Excel) с данными по обнаруженным частицам и уточненным контурам в пикселях. Таблица содержит дополнительные столбцы: d_min_pred – минимальный диаметр частицы, проведенный через центр масс, d_max_pred – максимальный диаметр; area_fit – площадь частицы, уточненной с помощью фиттинга профиля каждой частицы гауссовым 2D-распределением, d_fit, d_min_fit, d_max_fit – минимальный и максимальный диаметры уточненных частиц, проведенные через центр масс;
- xxx_Vis_Labelme_fitted.json – файл в формате программы Labelme, в которой возможно провести корректировку контуров частиц, найденных нейронной сетью и уточненных с помощью фиттинга профиля каждой частицы гауссовым 3D-распределением;
- xxx_Vis_Labelme_predicted.json – файл в формате программы Labelme, в которой возможно провести корректировку контуров частиц, найденных нейронной сетью;
- xxx_Vis_VGG_predicted_fitted.json файл в формате ресурса VGG Image Annotator (VIA, [4]), где можно он-лайн провести корректировку контуров частиц, найденных нейронной сетью и уточненных с помощью фиттинга профиля каждой частицы гауссовым 3D-распределением;

 

2.     Статистические результаты:

Unique masksстатистика по контурам частиц, найденных нейронной сетью.

Average particle areaсредняя площадь частиц. Определена как S0=S/N;

Total particles area площадь всех частиц S;

Overlapping area – площадь перекрывания частиц;

Detected particles – количество частиц, найденных нейронной сетью;

Particles area – доля изображения, занятая частицами (в %);

Mid-surface diameter – среднеповерхностный диаметр (d=(4S0/π)0,5);

Mid-surface diameter std. dev. – стандартное отклонение среднеповерхностного диаметра;

Average projected area diameter – среднее значение проектированного диаметра (статистического диаметра);

Average projected area diameter std. dev. – стандартное отклонение среднего значения проектированного диаметра;

Density – количество частиц на 1000 пикселей;

 

Аналогичные результаты представлены для контуров частиц, уточненных с помощью фиттинга профиля каждой частицы гауссовым 3D-распределением (Fit masks statistics);

 

3.     Гистограмма распределения частиц по размерам.

Для более детального статистического анализа рекомендуем воспользоваться более профессиональными программными продуктами, например, ресурсом [5].

Корректировка контуров

В случае, если пользователя не вполне устраивает результат распознавания нейронной сетью, то существует возможность корректировки контуров, добавления или удаления ошибочно найденных контуров с помощью внешних программных продуктов – Labeme, [3]. После корректировки Web-cервис позволяет проводить статистическую обработку по уточненным контурам. Для этого файл в формате xxx.json нужно загрузить на главной странице и получить результат обработки.

Конфиденциальность

Вы можете работать на сайте без регистрации, в режиме гостя. В этом случае просим обратить внимание, что вверху страницы появляется надпись «Save the link to this page. It is only accessible through this link». Для дальнейшей работы с результатами распознавания необходимо сохранить ссылку на своем компьютере, она будет служить вашим паролем к данной странице (ссылку при необходимости можно передавать коллегам и открывать на любом компьютере, как shared link в Dropbox или Google Drive). Также возможен вариант, когда пользователь обращается к администратору и делает результат распознавания «открытым», в этом случае ссылка появится на главной странице сайта и сохранять её не потребуется.

Тем не менее, мы рекомендуем зарегистрироваться на сайте. В этом случае вы сможете легко увидеть все загруженные вами файлы.

Дополнительные возможности

Статистическая обработка нескольких изображений

Исключение границ из статистики

Литература:

[1] A.G. Okunev, A.V. Nartova, A.V. Matveev, "Recognition of Nanoparticles on Scanning Probe Microscopy Images using Computer Vision and Deep Machine Learning," 2019 IEEE International Multi-Conference on Engineering, Computer and Information Sciences (SIBIRCON), Novosibirsk, Russia, 2019, pp. 0940-0943 doi:10.1109/SIBIRCON48586.2019.8958363

[2] I. Horcas, R. Fernandez, J.M. Gomez-Rodriguez, J. Colchero, J. Gomez-Herrero, A.M. Baro. WSXM: a software for scanning probe microscopy and a tool for nanotechnology, Rev. Sci. Instrum., 78 (2007), 013705-1–013705-8, https://doi.org/10.1063/1.2432410

http://www.wsxm.es/download.html

[3] Ketaro Wada, labelme: Image Polygonal Annotation with Python (2016), https://github.com/wkentaro/labelme

particlesnn.nsu.ru/data/static/tools/labelme.exe

[4] http://www.robots.ox.ac.uk/~vgg/software/via/via.html

[5] https://www.wessa.net/histo.wasp