Статья

Российский разработчик решил проблему хранения данных видеонаблюдения

Бизнес Интеграция Внедрения Инфраструктура
мобильная версия
, Текст: Михаил Левкевич

Системы видеонаблюдения используются в разных отраслях. По прогнозам экспертов, к 2020 г. количество видеокамер, используемых в городах, вырастет до 1 млрд. Таким образом, на рынке вырастет спрос на доступные и надежные системы для хранения и обработки большого объема данных.

Принимая во внимание высокие нагрузки, характерные для данной индустрии, российская компания «Рэйдикс» и глобальный вендор аппаратного обеспечения HGST (бренд Western Digital) разработали комплексное решение для видеонаблюдения и видеоаналитики рекордной производительности. СХД Raidix Video Surveillance предназначена для хранения данных с высокой плотностью на стандартном серверном оборудовании. С ее помощью обеспечивается высокий уровень надежности, низкая стоимость хранения данных с гарантированно высокой производительностью чтения и записи в многопоточном режиме.

Высокая производительность

Системы видеонаблюдения предъявляют повышенные требования к ресурсам СХД и медиасерверов для работы аналитического ПО. В соответствии со стандартами индустрии «Рэйдикс» уделяет особое внимание производительности.

Raidix Video Surveillance может параллельно обрабатывать сотни видеопотоков и сохранять целостность больших объемов данных, при этом пиковая производительность может достигать 40 ГБ/с. Таким образом, система готова к обработке и хранению видеопотоков высокого разрешения от VGA до Full HD. Такие характеристики могут быть необходимы муниципальным службам или правоохранительным органам в случаях экстренных ситуаций или при расследовании преступлений.

При этом система хранения данных Raidix поддерживает работу в режиме кластера Active-Active «из коробки», без использования внешних компонентов. Высокая производительность систем хранения на операциях чтения и записи данных достигается при использовании конфигураций RAID 7.3 и RAID N+M и поддерживается в режиме отказа накопителей и при реконструкции массивов.

Для поддержания когерентности кэш-памяти (возможности доступа нескольких процессоров к одной области памяти) применяются высокопроизводительные интерфейсы, исключающие узкие места при синхронизации кэша. От сбоев питания кэш защищается за счет использования дополнительных SPS-модулей.

Технология упреждающей реконструкции Advanced Reconstruction позволяет системе хранения поддерживать заданную скорость передачи данных даже в режиме деградации массива при перестроении RAID. При этом процесс реконструкции массива не сказывается на работе других дисков и общей производительности системы.

Система хранения данных Raidix постоянно отслеживает 1/2048-ю часть диска и восстанавливает только поврежденные данные на лету. При этом приоритет процесса восстановления данных может регулироваться во время работы. В результате такого подхода реконструкция поврежденных блоков осуществляется с высокой скоростью и гарантирует корректную запись всех потоков данных. Для пользователей это означает сокращение времени реконструкции и упрощение обслуживания дисковых полок. СХД Raidix поддерживает подключение по всем распространенным интерфейсам для блочного и файлового доступа: SAN (Fibre Channel, iSCSI, SAS, InfiniBand) и NAS (NFS, AFP, SMB и другие).

Использование стандартных аппаратных ресурсов x86-64 и шасси высокой плотности позволяет достичь минимальной стоимости владения, а также стоимости 1 ГБ и IOps. Raidix Video Surveillance имеет гибкую настройку времени хранения данных с помощью параметра WORM (Write Once – Read Many). Это позволяет запретить изменение или удаление файла после его создания и таким образом защитить важные записи. Для систем видеонаблюдения защита от потери данных является важной задачей. Даже частичная потеря информации при сохранении видеоданных может привести к потере всего записываемого видеопотока.

Гибкая масштабируемость. Дисковые полки от HGST (бренд Western Digital)

Одним из вызовов для администраторов систем видеонаблюдения становится сложность изменения конфигурации при добавлении новых объектов. Решение Raidix допускает гибкую прозрачную масштабируемость за счет добавления новых дисковых полок и контроллеров – без остановки процессов ввода-вывода. По заявлению производителя, допускается масштабирование инфраструктуры видеонаблюдения до 1800 терабайт. При использовании высокопроизводительного кластера ExaSphere и файловой системы HyperFS система может масштабироваться до 16 экзабайт. Квантами масштабирования системы являются отдельный узел хранения и дисковая полка JBOD на 60 дисков.

Дисковая полка является удачным решением для задач, при которых требуется объем хранения от 200ТБ. Видеонаблюдение – одна из типичных областей применения JBOD, поскольку с помощью JBOD обеспечивается гибкая масштабируемость архитектуры, большой объем хранения за невысокую стоимость, а также высокая производительность для последовательного доступа. По этой же причине крупные корпоративные заказчики могут использовать полки для создания файловых репозиториев и прочих сценариев хранения неструктурированной информации.

Частью комплексного решения Raidix является дисковая полка от компании HGST (бренд Western Digital). В полке высотой 4U используются 60 дисковых накопителей 3.5” HGST Ultrastar. Полка работает через SAS 12 Гбит/с по двум или четырем путям через два модуля ввода-вывода и обеспечивает высокую доступность и оперативную замену дисков через съемную верхнюю крышку. Кроме того, в дисковой полке соблюдается избыточность N+1 и возможность горячей замены активных компонентов (блоки питания, модули ввода-вывода, вентиляторы).

JBOD — простой набор дисков без сложного функционала. Оптимизацию и защиту дискового пространства берет на себя RAID-адаптер или соответствующие программные решения

За счет применения стандартного оборудования удается гибко подобрать оптимальную конфигурацию для формирования высокоскоростной отказоустойчивой системы хранения данных для масштабных систем видеонаблюдения. В системе хранения используются диски, рассчитанные на применение в промышленных системах и работу под большими нагрузками в круглосуточном режиме.

Внутренние стенки полки представляют собой высококачественную алюминиевую сотовую конструкцию, обеспечивающую высокую прочность и снижение вибрации. Также вибрация снижается за счет подпружиненных элементов конструкции дисковых кареток. Каретки поддерживают установку дисков 3.5 и 2.5 дюйма SAS и SATA без дополнительных переходников.

Модули ввода-вывода поддерживают стандарт SES-3 для управления полкой по SAS-интерфейсу, горячее обновление микрокода, каскадирование до 4-х полок, а также SAS-зонирование T10. Полка спроектирована оптимально с точки зрения электропитания и охлаждения и подходит для использования в ЦОД с повышенной температурой в машинных залах. HGST обеспечивает беспрецедентную 5-летнюю гарантию на сам JBOD и все диски, продаваемые с полкой.

Надежность системы

Для больших систем хранения данных актуальна проблема возможной потери данных, особенно если речь идет о видеопотоке высокого качества. Одна из основных задач решения Raidix – сохранение целостности информации. Использование уникальных алгоритмов расчетов RAID, в частности RAID 7.3, позволяет добиться рекордной скорости и надежности хранения данных. Массив остается работоспособным при выходе из строя до трех дисков в группе без потери производительности. При этом скорость расчета и перекодирования RAID достигает до 25 Гб/с для одного ядра контроллера. Таким образом, вероятность потери данных в RAID 7.3 на 10000% меньше в сравнении с RAID 6. Отметим, что решение RAID 7.3 – патентованная разработка Raidix.

Решение Raidix обеспечивает отказоустойчивость системы при выходе из строя дисков или дисковой полки, не имеет единой точки отказа и обеспечивает уровень доступности от «шести девяток» (99,9999). При построении горизонтально-масштабируемых инфраструктур метаданные кластера зеркалируются между различными узлами, тем самым обеспечивается непрерывная работа кластера при отказе серверов метаданных.

Уникальная технология устранения повреждений данных Silent Data Corruption Protection позволяет автоматически отслеживать и восстанавливать скрытые ошибки на дисках вне зависимости от типа диска и производителя. Построение аппаратной платформы на основе стандартных серверных комплектующих приводит к снижению стоимости решения и его обслуживания. Это важно для систем видеонаблюдения, которые постоянно используются и часто являются источником данных для аналитического программного обеспечения.

В конечном счете, большие объемы хранимой информации требуют решения, которое имеет приемлемую стоимость и эффективно выполняет поставленные задачи. Система от компании «Рэйдикс», вертикально масштабируемая с помощью дисковых полок от HGST, позволяет снизить накладные расходы на оборудование и обеспечить развитую и надежную инфраструктуру видеонаблюдения для предприятий, муниципальных ИТ-служб, комплексных городских проектов по обеспечению безопасности. Комплект поставки включает оборудование для полного функционирования системы: от предустановленных дисков и серверов от надежных вендоров и управляющего программного обеспечения до средств сетевого соединения.