Embedded Files
Видеонаблюдение на базе нейронных сетей
СПЕЦИФИКАЦИЯ
Автономное устройство комплексной безопасности
Автономное устройство комплексной безопасности
видеоблейзер версии «Forzet»
Разработано и изготовлено в Спецлаб
Штатное исполнение (возможны другие форм-факторы под заказ клиента):
Климатический защищенный корпус – IP66, без трущихся элементов и отверстий вентиляции, не требующий специального помещения и охлаждения.
Габариты: 165x127x71.
Применение: внутреннее и уличное, стационарное и мобильное (повышенная ударопрочность) для использования на транспорте.
Диапазон рабочих температур:
- Базовый -40 - +26,
- Ультра -40 - +40
Вариант УЛЬТРА для жарких регионов
Вычислительная база:
Восьмиядерный процессор SoC - Rockchip RK3588 с четырьмя ядрами @ 2,4 ГГц и четырьмя ядрами @ 1,8 ГГц.
Quad Core A76 and Quad Core A55
Сопроцессоры: =======, ====, ===. (Закрытая информация.)
Системная память - 8 Гб LPDDR4x (возможно 16 Гб).
Графический процессор:
Arm Mali G610MC4.
Видео выходы: 2x HDMI 2,1 до 8K p60.
Аппаратные 3D-фильтры сглаживания при масштабировании: =====. (Закрытая информация.)
Поддержка сенсорных экранов с полным управлением устройством: ЕСТЬ.
Нейросетевая платформа:
NPU 6TOPS 3.0 (Neural Processing Unit), =========. (Закрытая информация.)
Штатные нейросети: на базе YOLO v8, =================. (Закрытая информация.)
Базовый размер нейросети: «S».
Собственная программа разметки DATAset: Gambit
Кодеки:
H.264/265 (аппаратно).
Распаковка данных: 10-битный декодер - 8K.
Локальная трансляция потоков IP-камер по RTSP и сетевая ретрансляция по HTTPS с наложением мета-данных в форматах: JSON, ===== (возможны варианты).
Аппаратное сжатие общего видео в комплексном формате: 10-битный кодер - 8K.
Двухстороннее расжатие - сжатие.
Типы подключаемых камер: IP, USB, некоторые MIPI CSI.
Количество IP-каналов:
2/4/8/12/16 (в зависимости от конструкции).
Базовый комплект поддерживает 8 IP-потоков качества FULL-HD на вход и на выход.
WEB-интерфейс:
HTTPS, получение видео H264/H265 и архивных видео-событий совместно, метаданных в JSON (возможны варианты),
API для сторонних разработчиков,
RTSP-сервер.
Кибербезопасность:
защищенный протокол HTTPS, два типа доступа по логину-паролю, плавающий IP (усложняет перехват физического провода – нужен административный доступ к роутеру, который знает MAK).
Порты периферии (специализированные версии могут быть расширены):
Ethernet RJ45 2,5 Гбит,
2 порта USB 3.0 типа A,
2 порта USB 2.0,
1 порт MIPI CSI,
4 порта SATA (в версии с жестким диском).
Аналоговое аудио:
Двухканальный микрофон,
Двухканальный выход на динамики.
Электропитание:
Напряжение - 12 Вольт. Штатный сетевой адаптер – 220/12
Потребление тока при максимальной нагрузке - 1.7 Ампера.
Периферия автоматики (в базовой версии):
4 датчика на замыкание и размыкание,
4 ключа типа сухой контакт с возможностью коммутировать нагрузку до 3х Ампер,
разъём 12 Вольт для питания датчиков и или камер(максимальная нагрузка 600мА).
Интеграция сторонних устройств: по TCP/IP, RTSP и RS-485 или по «сухому контакту» (для устаревших систем).
Программа управления логикой: ВИДЕО+периферия с «SL++».
Операционная система:
SL-Android 12. (видоизменный Linux).
Средство повышения надежности - Аппаратный Увочдог.
Базовое программное обеспечение: SpecLab-VB 3.15 (множество модификаций).
Базовый набор нейронных сетей: человек, лицо, автомобиль, грузовик, велосипед, мотоцикл, трамвай-поезд.
Базовые специализированные нейронные сети: оружие (автомат Калашникова, пистолет, винтовка-ружье), идентификация автомобильного номера, распознавание QR-кода…
Базовый набор поведенческих нейронных сетей: падение, руки вверх, одна рука в отмеченной зоне, наклон.
Возможность обучать собственные нейронные сети: ПО Gambit
Интеграция с устройством: API для разработчиков
Емкость записи: Flash 128 Гб (штатно). Дополнительно можно подключить два USB-диска (внешне), IP-массив диск (внешне) или поставить внутрь SSD/HDD-диск на 2 Гб (можно больше, проверено на этом).
ПРИМЕНЕНИЕ
ПРИМЕНЕНИЕ
Многофункциональное климатическое устройство «видеоблейзер» с нейросетевым распознаванием объектов может использоваться, в зависимости от программы, как видео-охранный комплекс любого типа объекта, уличная сигнализация с высокой степенью защиты от естественных помех, рабочее место оператора видеонаблюдения, средство для автоматизации автостоянок, антитеррористическая система безопасности с поиском оружия, адаптивный «умный светофор», составная точка видеонаблюдения «Безопасного города», база автоматического сбора биометрических данных лиц, база автоматического сбора автомобильных номеров на проезжей части, структура ситуационных центров для вывода видеопотоков на видеостены, система контроля технологических процессов и в прочих целях, где есть видеокамеры, датчики и устройства управления, а также средства связи и оповещения.
Тип устройства - FPGA продвинутого типа
Тип устройства - FPGA продвинутого типа
Видеоблейзер можно программировать под себя без знания компьютерной грамотности. Вся логика описывается бытовым языком. Все настройки привязаны к понятию «чувствительность»: если пользователю не хватает каких-то сработок, он ее просто увеличивает; если есть лишние сработки, он ее просто уменьшает. Такая архитектура избавляет от знания большого числа терминов и технологий.
Для разработчиков дается более продвинутый инструментарий – и тоже без высоких требований к квалификации. В видеоблейзер можно загрузить файлы собственных обученных нейросетей в любом из форматов ONNX (по умолчанию YOLA12).
Для совсем слабых разработчиков дается программа разметки объектов, с которой может справиться любая домохозяйка – «Гамбит».
Во всех случаях видеоблейзер может обеспечивать более высокое качество распознавания, чем любая даже самая крупная компания. Ни Гугл, ни Майкрософт не будут исправлять своих ошибок. А Спецлаб предоставляет инструмент дообучения нейросети, если она начинает ложно срабатывать, например, при смене сезонов, когда резко меняется фон и освещение.
Разработчики ПО могут воспользоваться API интеграции и писать собственное ПО для своих задач.
Разработчики нейронных сетей могут использовать программу разметки для своих систем.
ТАКТИКО-ТЕХНИЧЕСКИЕ ХАРАКТЕРИСТИКИ
ТАКТИКО-ТЕХНИЧЕСКИЕ ХАРАКТЕРИСТИКИ
Потоковое видео
C каждой IP-камеры берется только один поток (лучший) и на просмотр, и на запись. Это совершенно не влияет на производительность устройства, не перегружает его процессоры – они достаточно мощные, чтобы обработать большое число каналов HD. А также разгружает сеть (не нужно гнать второй канал) и камеру – ее второй поток можно использовать другими устройствами.
Отображение видео реального времени и событий:
Монитор подключается к устройству. Таким образом может быть организовано локальное место оператора видеонаблюдения, домашний телевизор в качестве охранного монитора, монитор последней инстанции на выходе из дома или масштабная видео-стена ситуационного центра.
Непосредственно к устройству подключается монитор разрешением до 8K по разъему HDMI. На него может выводится как многоканальное видео вместе с панелями событий, так и каждый канал IP-камеры в отдельности – в увеличенном виде на весь экран.
В базовой версии 8 окон для живого видео IP-камер и нижняя Панель для событий. Она может состоять из нескольких полос, на каждой из которых можно задать свой тип событий.
В качестве презентации события может выводится не весь кадр, а увеличенное место в нем, где произошло обнаружение искомого объекта. Например, крупно лицо вместо всего человека с полным фоном.
Также можно просмотреть Журнал событий с вырезанными из кадров местами, где происходят действия распознанных целей. Таким образом сокращается объем информации, который необходимо охватывать пользователю.
2. Просмотр видео по сети. Таким же образом видеопотоки отображаются по сети в любом браузере любого устройства. WEB-интерфейс получает видеопотоки с наложением данных нейросетей. Прилагаемое API позволяет использовать метаданные в других программах и приложениях.
Живое видео в обоих случаях качается на устройство с камер и с устройства в WEB всегда в полном разрешении! Даже, если в этот момент просматривается только одна камера на полный экран или все камеры в уменьшенном виде. Это нужно для обработки этих потоков нейросетями в хорошем качестве, а также для работы других задач и клиентских подключений. Мощности видеоблейзера вполне хватает для большого числа каналов высокого разрешения (самый частый вопрос – не надо волноваться!), он имеет аппаратные сопроцессоры, поэтому основной процессор в обычном режиме загружен лишь на 30-40%. Все дополнительные функции видеоблейзера, связанные с логикой отработки сценариев, никак не пересекаются и не страдают.
Производительность на фоне многозадачности:
Персональный компьютер на Windows или видеорегистратор на Linux фундаментально устроены так, что на них невозможно контролировать загрузку процессоров или памяти. Большие операционные системы сами по себе могут неожиданно начать свопить память, индексировать файлы или выполнять целый ряд своих сервисных задач. Вам наверняка приходилось наблюдать, как уровень загрузки процессора вашего компьютера неожиданно взлетал к 100%. Видеопотоки могут подвисать на несколько секунд – минут, пропускать данные, отказывать в доступе клиентам. Многозадачность – это зло с точки зрения высоко нагрузочного видеонаблюдения. Видеоблейзер спроектирован так, что на каждую задачу выделена соответствующая аппаратная часть. Сжатием – разжатием кодеков занимается отдельный чип, нейросетями – другой, и т.д. А для общих задач почти полностью разгружен основной процессор. В штатном режиме он используется лишь на 30 – 40% своей мощности (вы это можете проверить из операционной системы). Поэтому при возникновении ситуации, когда задействуется сложная логика работы (оценка большого числа факторов, оповещение, рассылка тревожных данных, контроль собственных параметров…) видеоблейзер имеет громадный запас, чтобы выполнить все операции без задержек.
А вот частота кадров просмотра в браузере зависит от мощности того компьютера или устройства, на котором запущен браузер - к сожалению, кодек H.264/265 требует ресурсов для разжатия. Если в видеоблейзере стоят специальные чипы для распаковки видео, то в ПК будет грузится Центральный процессор.
Деинтерлейсинг масштабирования:
Для вывода изображения на монитор, непосредственно подключенный к видеоблейзеру по HDMI, используются 3D-фильтры обработки изображения, устраняющие негативные эффекты. За счет аппаратных средств видеоблейзера достигается высочайшее качество картинки, и эта высоконагрузочная обработка также никак не влияет на основной процессор. При работе с браузером используется видеокарта устройства, на котором он запущен. Без должной аппаратной поддержки изображение может рябить, некачественно интерполироваться и проявлять другие негативные явления, вызванные, прежде всего, масштабированием.
Отличный вариант для видеостен.
Видеоблейзеры могут служить приемным оборудованием для ситуационных центров с выводом видеопотоков на большие экраны разрешением до 8К. Вместо шумных, требующих охлаждения, дорогого обслуживания и много места для размещения ПК с большими видеокартами, видеоблейзеры без всех этих проблем доставляют видео на мониторы, разжимая его на просмотр.
Видео-клиент
В качестве видео-клиента может выступать любой, даже слабый компьютер, например, дешевый ноутбук, смартфон или умный телевизор. При этом не требуются мощные видеокарты для нейросетей, т.к. на клиент поступает уже предобработанная нейросетями мета-информация, представляющая из себя легкие текстовые данные.
Видеоблейзер отдает живые потоки IP-камер также, как если бы их отдавали сами камеры, т.е. без пережатия. Поверх накладывается протокол JSON (возможны варианты), в видео монтируется визуальная информация об обнаруженных объектах в виде геометрических фигур с подписями на них.
Штатно к видеоблейзеру может быть подключен любой браузер или более функциональное ПО - клиентская часть ПО для Windows – GOALcity (на 4 камеры поставляется бесплатно). Аналитическая панель «Внимание!» может принимать событийные видеоролики.
Отдельное частично бесплатное ПО идет к планшетным домофонам при организации событийного видеонаблюдения в коттеджах. Как для Windows, так для Android-планшетов.
Открытый протокол API позволяет разработчикам подключать свои устройства и программы, и под любые OS.
Мета-данные.
Вместе с потоковым видео поступают мета-данные обо всех обнаруженных нейросетями объектах с координатами их местоположения. Для построения ситуационной логики живые каналы не нужны, достаточно анализировать мета-информацию. Она в сотни раз меньше по объему, чем живое видео. И полностью передает формализованное содержание происходящего - принимающим программам не нужно само видео, чтобы провести анализ.
ВИДЕОАНАЛИТИКА
ВИДЕОАНАЛИТИКА
Событийная видеоаналитика представлена двумя основными режимами:
1. Пишется ВСЁ, если обнаружены полезные объекты, заданные пользователем, с разбивкой на N-секундные ролики (для удобства рассылки). Полная запись нейросетевого архива с циклическим самостиранием. Люди и другие сами по себе подвижные цели пишутся всегда, автотранспорт пишется только когда движется. Не пишутся повторяющиеся кадры (пустой фон) и помехи.
2. Начальные моменты событий, определяемых видеосемантикой. N-секунд при каждой смене сцены, вызванной новыми объектами или новым поведением старых. (Появился человек, появился еще один человек или несколько, поехала машина, обнаружено оружие, обнаружены еще предметы, похожие на оружие, обнаружен номер автомобиля, обнаружен еще один или несколько ГРЗ, считался QR-код…) Нет сработок на уже обнаруженные цели, если они не изменили своих свойств или характера движений. Например, номер одного и того же автомобиля не определяется дважды, пока он не выйдет из зоны видимости на заданное время – после нового появления снова определится.
Логика использования событий.
Каждое из видеособытий (появление видеоролика) обоих режимов может являться триггером для активации алгоритма Логики, запрограммированного пользователем. А также может быть составным условием этой логики.
Жесткий не перенастраиваемый режим.
В специализированных версиях (под конкретные заказы) может поставлен собственный режим реакции и записи. Он упрощает настройку логики, но не позволяет отклониться от этой логики. Например, моментальное закрытие дверей на первый же кадр с оружием.
В базовой версии пройдет несколько секунд и, может, даже десятков секунд (в зависимости от настроек), прежде чем произойдет реакция. Это нужно учитывать.
Неизменяемая логика также используется в специализированных продуктах, например, Автоматический автопаркинг.
Пользователю дается только минимальное количество настроек для подключения устройств, а также средства для ведения базы автономеров.
Совсем как отдельный продукт выглядит интерфейс систем управления светофорными объектами или средств фиксации нарушений ПДД.
В любом случае можно поменять назначение устройства, запросив другую прошивку.
Например, систему охраны дома можно превратить в Автопаркинг и наоборот.
Частичная видимость:
Объекты нейросети могут перекрываться с высокой степенью перекрытия (в некоторых случаях до 80%), при этом сохраняется высокая точность распознавания даже в перспективе удаления.
Отдельная папка выделяется под сохранение ЛИЦ для подсчета, долгосрочного хранения, одновременного отображения и поиска.
Размер нейросети:
В базовой комплектации используется размер нейросети категории «S», что достаточно в большинстве случаев. Для сложных уличных объектов с особо большим количеством помех поставляются нейросети повышенного разрешения категории «Экстрасайз». Например, для охраны периметров в лесу с большим количеством осадков, птиц, насекомых (ползающих по камерам), снежных вихрей, растительности, ветровой нагрузки и проч. И все это на большие расстояния вдаль!
Такая повышенная чувствительность часто применяться для охраны гособъектов, например мостов, чтобы по максимуму задействовать нейросеть по распознаванию дронов для обнаружения целей вдалеке.
Настройка нейросетей.
Нейросети Спецлаб разработаны на основе искусственного интеллекта, поэтому не требуют специальных настроек. Однако, по привычке пользователю дается интерфейс изменения точности распознавания, размеров объектов, времени устойчивого определения и маскирования отдельных участков.
Наиболее востребованным является маскирование, потому что в зону видимости могут попадать статуэтки интерьера.
Впрочем, неподвижные объекты алгоритмы видеоблейзера могут и так не учитывать, даже если нет маски.
Но с динамическим изображением из телевизора сложнее.
Его экран лучше полностью закрашивать маской.
Подключаемые сервисы и облака
Видеозаписи могут уходить в следующих направлениях:
Мессенджер Telegram,
В любой обычный БРАУЗЕР,
Панель «Внимание!» программы GOALcity,
В облачный портал Farwit (Далекий свидетель),
На смартфон хозяина (пока через облако или панель «Внимание!»),
Долгосрочный архив событий АЦС,
В личное или корпоративное пространство клиента по интегрированному протоколу.
Всеобъемлющая ЛОГИКА
Всеобъемлющая ЛОГИКА
Видеоблейзер может анализировать как мета-данные от нейросетей с видеокамер, так и данные, приходящие с различного рода датчиков – в общем комплексе условий для принятия решения.
Пользователь просто выбирает возможные варианты для каждого элемента, описанные простым человеческим языком.
В базовой версии доступно 4 датчика в подключении по «сухому контакту» с оценкой линии на замкнуто - разомкнуто. В специализированных версиях интегрируются протоколы сторонних устройств с в подключении по IP или RS-485 с оценкой состояний любого уровня и типа. Таким образом можно подключать любые системы от турникетов с домофонами до светофорных объектов с антидронами.
Таким же образом производится управление устройствами. В базовой версии на борту видеоблейзера установлено 4 достаточно мощных реле на 220 В. Сторонние девайсы интегрируются по IP или RS-485.
Программирование Логики производится на человеческом разговорном языке.
Так, если бы человек сам рассказывал, что он хочет сделать.
Архивы
Видеоблейзеры - это вычислительные мощности, которые анализируют содержимое и превращают его в формализованные события. На себя они пишут лишь оперативный архив на 128 Гб событий. Благодаря им не нужны мощные компьютеры с дорогими видеокартами, постоянное видео долгосрочного хранения можно писать или на сетевые диски, или на самые простые ПК. Время хранения архива будет зависеть от объема дисков.
Для небольших объектов локального архива хватает, для больших - ставится ОДИН (можно очень дешевый - т.к. процессоры не используются) ПК и дисковый массив на нужное количество дней записи, где будут объединены архивы всех видеокамер со всех видеоблейзеров с помощью программы GOALcity для ПК.
Оперативная запись хранится на самих видеоблейзерах и доступна от нескольких дней до нескольких месяцев - в зависимости от активности. А постоянная долговременная запись идет на Архивный сервер GOALcity.
При этом записывается и база мета-данных, что позволяет делать поиск и выборку без загрузки тяжелых видео-архивов.
Кибербезопасность
Кроме стандартных протоколов защиты, видеоблейзер использует плавающую логику смены IP для защиты от физического подключения к сетевому проводу сети передачи данных. Даже, если злоумышленник проник на сам объект во внутреннюю сеть, недостаточно пытаться подбирать логин-пароль на устройстве, нужен также логин-пароль и от роутера, т.к. привязка к устройству идет только через МАК. А для этого уже нужен высший пилотаж, если админ не дремлет. Обратиться к видеоблейзеру можно только через роутер. Даже, если каким-то образом будет пойман динамически меняющийся IP-адрес, через некоторое неизвестное никому время, он поменяется. Таким образом, внутренний враг не сможет установить постоянное устройство или программу, отслеживающие видеоблейзер.
Для особо охраняемых объектов поставляется специализированная версия без статических IP и MAK адресов. Клиентская программа или расширение для браузера – только они знают, как находить видеоблейзер в сети.
Для разработчиков
Видеоблейзер может поставляться без программной прошивки (по цене железа) или иметь базовый набор функций для компаний – разработчиков ПО. На базе удобного и экономичного устройства легко создать собственный продукт с возможностями искусственного интеллекта. Для этого необязательно уведомлять разработчика, вы можете сами взять протоколы умного устройства здесь.
Page updated
Google Sites
Report abuse