DATAset
"Гамбит"

программа разметки изображений DATASET для обучения любых нейросетей на любые объекты
для систем видеоконтроля широкого назначения

С помощью этой программы вы можете сами создавать себе и другим нейронные сети
без специальных знаний

Весь процесс рассчитан на «чайников», искусственный интеллект теперь доступен людям без образования.

Да, крупных компаний, которые уже продают нейронные сети, понимающие любые объекты, уже много. Но ни Гугл, ни Самсунг, ни Майкрософт не будут специально для Вас обучать нейронную сеть, чтобы она пускала в дом конкретно вашу собаку, чтобы она записывала показания конкретно вашего счетчика, чтобы она контролировала стрелку на конкретно вашем приборе, чтобы она следила за засорением ливнестоков конкретно у вашего дома (иначе потечет подвал), чтобы она отслеживала качество продукции на конкретно вашем производстве, чтобы она искала брак на конкретно вашем станке, чтобы она следила за соблюдением правил работы конкретно ваших сотрудников… Этот список бесконечен – так много у людей есть собственных задач в области ИИ.

Ни Гугл, ни Самсунг, ни Майкрософт не будут специально для Вас ДОобучать и ПЕРЕобучать нейронную сеть, если конкретно у вас происходят ложные сработки или нет положительных распознаваний.

Не у всех есть деньги на крутых программистов. Не все вообще понимают, как это работает.  Спецлаб дает простой понятный инструмент для создания ИИ, доступный каждому. И попробовать его можете прямо сейчас.

Всё просто, берете обычную видеокамеру, или мобильный телефон, или любую систему видеонаблюдения, снимаете  видеоролик того объекта или процесса, который вы хотели бы контролировать. Затем помещаете этот видео ролик в программу «Гамбит» и выделяете там нужные вам предметы. Пройдя определенное количество видеокадров, вы получаете так называемый ДАТАСЕТ, который является основой для обучения любой нейронной сети.

Закачиваете его в наше ИИ-облако, где он превращается в готовую к применению нейронную сеть. Причем, сразу с  сервисными функциями. Например, система может послать Вам электронное письмо, если Ваш любимый цветок начал вянуть. Или замкнуть реле Умного дома, если камера обнаружила лужу воды на полу. Или… миллион вариаций, это настоящая фабрика нейросетей.

Хотя... эта программа изначально создана совсем не для такого элементарного применения. С помощью ее можно создавать датасеты для обнаружения серьезных процессов и большого многообразия искомых предметов. Например, те же оставленные предметы имеют сотни тысяч различных видов от сумок и пакетов до коробок и чемоданов.  И здесь нужна рабочая сила, много - много размеченных картинок. ПО от Спецлаб позволяет загружать «удаленщиков» работой, в том числе и для нужд Спецлаб. Желающие Welcome!

В этом случае, конечно, не все так просто. Нужны внимательность и усидчивость, чтобы аккуратно выделять заданные объекты в большом их количестве. Эти качества не относятся к образованности или вообще к области знаний, сюда хорошо подойдут, например, люди, умеющие вязать. Или выполнять другую постоянно повторяющуюся работу. Поэтому мы берем не всех, а только тех, кто не делает обшибок. Но Вы можете попробовать, мы даем три попытки. В связи с либерализацией законов принимаем и детей с 14 лет. Но во всех случаях у кандидата должны быть базовые знания компьютерной грамотности, как послать письмо, скачать или положить файл на облако. Учить завязывать шнурки мы не будем.

Гамбит – не столько коммерческий продукт, сколько сопутствующий. Мы сами постоянно занимаемся обучением нейросетей, и ничего удобного и доступного в Интернете не нашли, не смотря на, казалось, бы валовое размножение нейронных сетей. В подавляющем большинстве это большая помойка, об их качестве мы еще расскажем. Но даже если нашу программу сравнить с проектами не для всех (их не скачаешь бесплатно и даже не всегда найдешь в Интернете, потому что крупные фирмы скрывают стратегический потенциал) как AI-Markup, VisionAnnotator, ObjectMapper, SegmentPro, SegmentMaster, все это нам показалось неудобным и ущербным. А главное – там нет обратной связи, качество разметки никак не контролируется, люди работают вслепую. Не говоря уже про самообучение и прочие полезные фишки.

Чтобы вы не мучались вопросом, из чего выбирать, мы даем перечень ближайших конкурентов: CVAT, TensorFlow, Prolific, SuperAnnotate, G2 Deals, Dataloop, V7, Labelbox, Encord, Clarifai, Kili, Labellerr, Keymakr. И все они имеют гораздо больше возможностей, чем в Гамбите - вот только возможности воспользоваться ими есть не у каждого, а только у программистов.  В программе от Спецлаб лишь несколько простых понятных кнопок -  и именно это делает ее доступной. 

Спецлаб создал Гамбит прежде всего, для себя и использует для большого числа своих продуктов, основанных на тренировке нейросетей для систем видеонаблюдения, от видеоблейзера до GOAlcity. Эта система разметки постоянно обкатывается на наших сотрудниках и почти каждую неделю выходит новая версия – еще умнее, еще удобнее.

Мы будем рады услышать отзывы и предложения по новым идеям в этой области! Потому что нам самим это нужно. Основной функционал бесплатен – пользуйтесь во имя ИИ! Платными будут только функции высшего пилотажа, которые мы уже начали вставлять для тренировки нейросетей. Одна из них уже есть – и она отучает от ложных сработок. Ничего подобного мы не видели в софте Гугла или других AI-гигантов. Если их нейросеть на что-то лажает, то ничем это не выковырнешь. А именно ложные сработки убивают любую хорошую идею.

Именно качество датасета определяет, насколько эффективно будет работать нейронная сеть. Огромный опыт Спецлаб вложен в методику создания мета-данных. Эта фраза не о чем Вам не говорит? Тогда найдите хоть одну фирму в России, которая разместила свой обзор работающей системы на нейронных сетях, например, в Ютьюб, раньше даты этого ролика!  А слово "видеоаналитика" вообще придумано в Спецлаб 24 года назад.  И тоже обратите на даты видеороликов - на Ютьюбе невозможно подделать время публикации.

Специальная методика разметки данных для систем видеоконтроля описывается и в хелпе, и в обучающих видеороликах. Также проводятся обучающие семинары для всех желающих. Всё просто и доступно, конец мудрым непонятностям в ИИ!

Посмотреть на Рутьюб

Распространенные вопросы по разметке ДАТАСЕТов.

Почему в исходном материале ВИДЕО, а не фотографии, как у большинства подобных компаний?

Вовсе необязательно, вы можете сразу залить картинки скопом и размечать их. Но конкретно наша методика рекомендует брать видео. Это и проще, и полезнее, потому что: 

• Наши нейросети используются, в основном, для поиска данных в контенте, получаемого с видеокамер, например, в системах видеонаблюдения. Поэтому логично, что мы обучаем на материале, полученном с видеокамер. 

• Фотографии по своей структуре, по качеству, по кодекам, по процессу съемки и много еще по чему значительно отличаются от кадров из видеопотока. Это совсем другой материал, чаще более качественный, нежели тот, что взят из видео. А нам нужна реальность из жизни. 

• Отдельно нужно сказать про картинки из Интернета, для видеонаблюдения они не подходят от слова "совсем". А для задач, где рулит Фотошоп, вполне.  

• К тому же видео почти совсем исключает дубликаты – повторяющиеся картинки. Даже в одном и том же ракурсе не бывает одинаковых кадров. При этом мы берем лишь несколько картинок из каждой секунды видео (иногда меньше при статике), в которую может входить обычно от 10 до 60 кадров.

Почему в вашей методике разметки стоит 70% - как необходимость видимости объекта?

Вы можете использовать свою методику, наша соответствует нашему опыту использования нейросетей, и здесь важно:

• Уйти вообще от ложных сработок, т.к. качество событийного видеонаблюдения отличает достоверность. 

• В реальной жизни мы видим не какую-то одну картинку, а целый видеосюжет, например, человек с автоматом не замирает в одной позе, а постоянно "крутит" своим оружием во всех плоскостях. В каждой секунде до 60 кадров, в одном из них да будет ракурс, имеющий 70% видимости оружия. К тому же, как правило, на объекте не одна, а несколько десятков камер. Все равно хороший кадр найдется. 

• Сама нейросеть при понижении уровня достоверности может ловить фрагменты размеченных областей, для этого пользователю достаточно выставить соответствующую настройку (если ему не так важна достоверность, как скорость реакции).  

Почему в вашей методике разметки не используется контурная сегментация, а выделяются прямоугольники вместе с фоном?

Мы планируем добавить и такую - для каких-то других задач,  но:

• Конкретно в нашей сфере видеоконтроля выделение объекта без фона показало результат хуже, чем с фоном. Бесфоновые фигуры лучше распознаются на контрастном фоне, а в условиях реальной жизни такие редко встречаются.  В системах видеонаблюдения обычно все пестрит, да еще и переливается различного рода помехами, даже если они и не заметны глазу.  

• Не случайно наш вариант датасета называют диким, потому что фон в нем играет важную роль, и для него есть особая методика работы (в другом ролике). 

• Более того, чаще одна тысяча размеченных картинок выигрывает у миллиона, если у той тысячи правильно подготовлен фон конкретного объекта.  

Почему Спецлаб не использует множество разметчиков для одной и той же картинки для получения наилучшего качества по принципу большинства?

У нас, как мы считаем, более искусная программа ревизии качества. Во-первых, есть средство для быстрой проверки качества большого числа картинок скопом. И это делает отдельный человек. Там 1000 картинок проверяется за 10 минут. Вполне нормальный тайминг. Во-вторых, проще сразу обучить нейростеь на том, что есть, а потом ее переобучить.

У нас существует программа дообучения с совместным  переообучением уже обученной нейросети. И здесь надо рассказать поподробнее.

Дело в том, что нейросеть – это все еще черный ящик. И сколько бы мы не изобретали методик по созданию датасетов (кстати, Спецлаб – автор собственной уникальной методики – специально для видеонаблюдения), она может воспринять контент совсем не так, как его видит человек.

Всегда есть и будет движение вперед. Новые клиенты, новые условия, новые камеры, новые кодеки, новые фоны… Мы постоянно дообучаем существующие нейросети.

Во время этого процесса разметчик активирует кнопку «НЕЙРОСЕТЬ», которая ищет в новых картинках заложенные в нее предметы. Если не находит, человек доразмечает не выявленные – для чего изначально и создавался этот модуль. Но в нем есть и уникальная, созданная пока только в Спецлабе возможность – двухуровневая работа над ошибками.

Ели нейросеть ошибается и, например, вместо машины срабатывает на письменный стол, то человек присваивает этой выделенной зоне значение – ошибка. И программа «Гамбит» находит в ранее обученном датасете те картинки которые вызвали такую обшибку. На сегодня это высший пилотаж, который существует только в модуле  "Сегмент-мастер" от компании Спецлаб. По сути мы можем вычищать ДАТАСЕТ на всех стадиях своего обновления.

Ошибочные картинки с разметкой выкидываются – это первый уровень дообучения. А полученное изображение переводится в другую категорию, т.е. по сути, даже если первый уровень как-то не сработает, еще раз на этот же вид сработки не будет.

И этот процесс мы поставили на поток. В системах видеонаблюдения компании Спецлаб есть специальная функция – Указать, что объект определен неправильно. Множество людей пользуется нашим ПО и устройства в целях видеонаблюдения в разных условиях и внутри и на улице с разными видами объектов и процессов. И, если они замечают ложную сработку, то она автоматом приходит к нам на переобучение.

К этому надо добавить, что Спецлаб раздает бесплатно софт для видеонаблюдения и для Windows, и для Линукс, и для Андроид. Это бесплатное для нас переобучение. Валидация оттачивается естественным путем на реальных жизненных примерах.

Почему Спецлаб не использует уже готовые нейронные сети для помощи в разметке, как другие подобные программы?

Такой функционал есть, но зачем на чужие обшибки? Даже с учетом возможности правки разметчик целиком и полностью полагается на уже предложенную разметку - этот путь мы проходили и исключили для себя. Вместо этого мы используем предыдущий вариант нейросети для ее дообучения. И это не одно и тоже. В нашем варианте мы вычищаем своё родное - без влияния извне. 

К тому же существующие нейросети предлагают банальный набор объектов, большинство из которых нам совсем не нужны в области видеоконтроля. Люди и машины брать смысла нет, потому что для них полно готовых нейросетей. А столовые приборы, медведи, жирафы и прочие ненужности , ну, совсем погоды не делают. 

Тем не менее, в Гамбит можно загрузить любую нейросеть любого производителя. Описанное выше - лишь наше мнение. А вы можете пользоваться.