Историки данных и качество воды: превращение потоков данных датчиков в записи

Техническое введение · Инженерная перспектива · Опубликовано: 29 сентября 2026

Ключевые выводы

  • Data historian — это система учета всего, что изменяется в процессе со временем. Она собирает временные данные процесса с датчиков, PLC, DCS и SCADA-систем — обычно по таким протоколам, как OPC UA или Modbus, — и записывает каждое измерение как пару тег-значение с временной меткой и кодом качества [1].
  • Сжатие — это то, что делает хранение данных с высокой частотой доступным на протяжении многих лет. При 10,000 тегов, записывающих данные раз в секунду, необработанное хранилище составляет примерно 27 GB в день (около 10 TB в год без сжатия), а компрессия swinging-door обычно уменьшает это в 10-20 раз [2].
  • На водоочистных станциях базы данных SCADA historian ведут журнал непрерывных данных процесса — мутность, остаточный хлор, значения CT, производительность фильтров — с интервалами, требуемыми правилами EPA для питьевой воды в 40 CFR Part 141, поэтому инспекторы все чаще запрашивают именно запись historian, а не журнал [3].
  • Пробел в архиве должен оставаться видимым. Интервал, в котором не было собрано ни одного валидного значения — collector недоступен, связь потеряна, источник перестал отвечать, — никогда нельзя тихо интерполировать так, будто сигнал просто оставался неизменным [4].
  • Формат вывода уже существует. Water Quality Exchange (WQX) от EPA — это стандартная структура, через которую более 900 федеральных, региональных, племенных и других организаций передают данные мониторинга качества воды в национальное хранилище данных [5].
  • Проверка масштаба: коммунальное предприятие среднего размера с 100,000 умных счетчиков, передающих почасовые показания, генерирует примерно 8.7 million строк по счетчикам в день, а общий ежедневный прием данных, включая SCADA-телеметрию, может превышать 10 million строк [6].

Что такое Historian — и чем он не является

Data historian — это специализированное программное обеспечение, предназначенное для сбора, хранения и извлечения временных данных процесса с промышленного оборудования — датчиков, PLC, распределенных систем управления, SCADA. Оно подключается к устройствам предприятия по промышленным протоколам, таким как OPC UA, OPC DA и Modbus, и записывает каждое измерение как пару тег-значение с временной меткой и кодом качества, применяя промышленное сжатие, чтобы годы высокочастотных временных рядов оставались пригодными для хранения и запросов. В отраслевых процессах, включая водоочистку, historian является системой учета всего, что изменяется в процессе со временем [1].

Три уточнения снимают большую часть путаницы. Во-первых, historian — это не система управления: PLC принимает решения и действует за миллисекунды, а historian запоминает. Во-вторых, это не универсальная бизнес-база данных. Транзакционные базы данных делают упор на точность каждой записи; historian создается для последовательного, высокоскоростного приема значений в порядке времени и быстрого извлечения по временным окнам. В-третьих, это не data lake. Historian хранит исходную инженерную истину процесса в инженерных единицах, а аналитические платформы строятся поверх него, а не заменяют его.

Для качества воды это различие важно, потому что сами измерения — pH, электропроводность, мутность, остаточный хлор, растворенный кислород — являются доказательной базой как для управления процессом, так и для отчетности по нормативам. То, где хранится это доказательство и насколько честно оно сохранено, определяет, что предприятие сможет доказать позже.

Сжатие, временные метки и коды качества: механика доказательств

Historian оправдывает себя благодаря двухступенчатой схеме фильтрации, которую стоит объяснить каждому, кто когда-либо задавался вопросом, почему тренд выглядит “слишком гладким” или почему архив не рос десять лет.

Этап первый — exception reporting. На интерфейсе новое значение передается вверх только тогда, когда оно отличается от последнего переданного значения больше чем на заданную deadband. Сигнал без изменений почти не создает трафика; изменяющийся сигнал сообщает о каждом значимом сдвиге.

Этап второй — swinging-door compression. Внутри архива алгоритмы, такие как метод swinging-door trending, сохраняют новую точку только тогда, когда отклонение от прямой линии, соединяющей ранее сохраненные точки, превышает compression deviation. В результате получается кусочно-линейное приближение, погрешность которого ограничена заданным допуском. Опубликованные инженерные расчеты показывают масштаб эффекта: 10,000 тегов, записывающих данные раз в секунду, генерируют порядка 27 GB необработанных данных в день, около 10 TB в год, а swinging-door compression обычно сокращает это в 10-20 раз [2].

Две настройки определяют, усиливает или ослабляет эта механика запись о качестве воды:

  • Compression deviation — это решение о точности. Для тегов, критичных к соответствию нормам, многие предприятия сохраняют каждое значение без потерь и используют сжатие только для быстро меняющихся некритичных сигналов. Неверный deadband на теге остаточного хлора может сгладить краткое отклонение, которое регулятор захотел бы увидеть.
  • Интерполяционная семантика определяет, что означает отображение тренда. Большинство historian-систем могут возвращать либо записанные значения, либо интерполированные значения между записанными точками. Оба варианта допустимы, но отчет, который молча принимает интерполированные значения за измерения, — это отчет, который когда-нибудь поставит автора в неловкое положение.

Коды качества — третий столп. Каждое сохраненное значение несет флаг — good, bad или uncertain [1] — и дисциплинированное предприятие делает эти флаги частью записи, а не внутренней деталью. Когда датчик калибровался в 02:00, данные этого окна должны сообщать об этом навсегда.

Где historian находится в цепочке данных о качестве воды

Современная водоочистная станция — это многоуровневая система, и historian занимает в ней конкретный уровень. Полевые датчики измеряют; PLC и RTU управляют и буферизуют; уровень SCADA подает тревоги и осуществляет надзор; historian архивирует; уровни отчетности и аналитики потребляют данные. На практике системы water SCADA подключаются к приборам и контроллерам по Modbus TCP/IP, DNP3 и OPC UA, а базы данных SCADA historian ведут журнал непрерывных данных процесса — мутность, остаточный хлор, значения CT, производительность фильтров — с интервалами, требуемыми правилами EPA для питьевой воды в 40 CFR Part 141 и сопоставимыми правилами штатов [3].

Объемы данных оправдывают такую архитектуру. Коммунальное предприятие среднего размера с 100,000 AMI-точек, передающих почасовые показания, производит примерно 8.7 million строк данных счетчиков в день, а с учетом SCADA-телеметрии от станций и насосных станций ежедневный прием может превышать 10 million строк — еще до учета датчиков качества воды или лабораторных проб [6].

Уровень цепочки данных Ответственность Важные точки выбора
Полевые датчики и анализаторы Измерение и преобразование в сигналы; источник качества данных Нативный цифровой выход (Modbus RTU/TCP или аналогичный); одновременное многопараметрическое измерение с одного зонда; самодиагностика и передача состояний неисправности
Уровень PLC / RTU Управление в реальном времени; буферизация связи Store-and-forward при потере связи, чтобы ниже по цепочке не возникал пробел архива
Уровень SCADA / HMI Тревоги, интерфейс оператора, уставки Дисциплина управления аварийными сигналами; синхронизация времени между объектами
Data historian Архив с временными метками; сжатие; коды качества Разрешение (raw vs compressed per tag), горизонт хранения, стратегия deadband, видимость кодов качества
Отчетность, аналитика, cloud Средние значения, экспорт для соответствия нормам, AI-модели Стандартные пути экспорта (SQL, REST); структуры данных, совместимые с WQX; управляемая синхронизация с облаком вместо разовых загрузок

Плохие значения, пробелы и правила, которые сохраняют записи честными

Два типа сбоев объясняют большую часть проблем в записях качества воды на основе historian, и для обоих есть хорошо установленные правильные ответы.

Первый — пробел: интервал, в котором архив не содержит валидных данных, потому что сбор остановился — collector недоступен, связь потеряна, прибор не в сети. Правильная обработка должна быть явной. Архив должен отмечать отсутствие, а не заполнять его, и при извлечении данных через пробел никогда нельзя тихо интерполировать так, будто сигнал оставался неизменным [4]. Честно видимый пробел — это оперативный сигнал: что вышло из строя, когда и как надолго. Сглаженный пробел — это сфабрикованная запись.

Второй — плохое значение: показание, которое поступило, но является неверным, будь то из-за пузырьков у датчика, дрейфующего зонда в середине калибровки или застывшего значения связи. Правильный инструмент здесь — код качества historian [1]. Отметьте значение как uncertain или bad, сохраните его в архиве, сознательно исключите его из средних значений и зафиксируйте обслуживание, которое это объясняет. Ручное редактирование исторических данных процесса для заполнения пробелов или исправления значений нарушает базовые ожидания целостности данных и не выдержало бы аудита; исправление должно быть в конфигурации — резервные датчики, автоматическое переключение источника, пороги качества — а не в данных.

Как извлекать записи обратно: аудиты, отчеты и cloud

Польза historian проявляется, когда кто-то задает вопрос: инспектор, инженер-технолог, AI-модель. Инспекторы все чаще хотят видеть записи непрерывного мониторинга, а не отдельные замеры, потому что несколько ручных записей за смену не могут доказать непрерывное соблюдение требований. Historian превращает ежемесячный отчет из задачи ручной компиляции в задачу экспорта [3].

Для отчетности по ambient и экологическим данным формат назначения уже существует. Water Quality Exchange от EPA определяет стандартный набор элементов данных, к которому data partners сопоставляют свои записи перед передачей в национальное хранилище данных STORET, и через него проходят данные качества воды, отправляемые более чем 900 федеральными, региональными, племенными и другими организациями [5]. Предприятие, чья внутренняя модель данных — единицы измерения, временные метки, квалификаторы результатов — повторяет эту дисциплину, делает экспорт тривиальным. То, которое изобретает собственные правила, превращает это в проект.

Cloud-платформы располагаются ниже historian по цепочке, а не рядом с ним. Архив остается близко к системе управления, где живут его записи; управляемые, агрегированные или полные копии уходят наружу для аналитики. Цель проектирования лучше всего сформулировать одной строкой: датчики, которые питают вашу AI-модель воды, а не только вашу панель. Для этого модели нужно видеть синхронизированные, помеченные качеством, многопараметрические данные с честными временными метками — именно тот контракт, который предоставляет правильно настроенный historian. Многопараметрические in-line анализаторы Shanghai ChiMay созданы как источники для такого контракта, публикуя цифровой выход Modbus с одновременным отбором параметров; документация по продукту собрана на странице онлайн многопараметрического анализатора воды Shanghai ChiMay.

Чек-лист выбора

  • Разрешение по классу тегов. Определите, какие теги критичны к соответствию нормам, и храните их без потерь; остальные сжимайте намеренно, а не по умолчанию.
  • Горизонт хранения. Соответствуйте или превышайте срок хранения записей, требуемый регулятором, и убедитесь, что архивные, а не только online-данные остаются доступными для запросов.
  • Интерфейсы. OPC UA или DA и Modbus на стороне сбора [1]; SQL, REST и файловый экспорт на стороне потребления; структуры, сопоставимые с WQX, для экологической отчетности [5].
  • Дисциплина времени. Один clock для SCADA, historian и приборов. Неопределенность временной метки — это повреждение данных, которое не исправит ни один алгоритм сжатия.
  • Прозрачность кодов качества. Если historian знает, что значение плохое, каждый потребитель — тренд, отчет, модель — тоже должен иметь возможность это знать.
  • Поведение при пробелах. Подтвердите, что система отображает пробелы как пробелы [4], и что настройки exception и compression документируются для каждого тега [2].

Historian — это неприметная инфраструктура, и именно поэтому она определяет результат. Когда приходит аудит или модель начинает обучение, предприятие, способное предоставить полный, честный, временно размеченный архив, выигрывает на фактах.

Источники

[1] boTec — Process Historian (glossary). Определяет data historian как специализированное программное обеспечение, которое собирает, хранит и извлекает временные данные процесса с датчиков, PLC, DCS и SCADA по таким протоколам, как OPC UA, OPC DA и Modbus, записывая каждое измерение как пару тег-значение с временной меткой и кодом качества.
https://botec.com/glossary/process-historian

[2] SYMESTIC — Industrial Data Historian: Time-Series DBs & Compression. Приводит арифметику хранения для 10,000 тегов при записи раз в секунду: примерно 27 GB в день в сыром виде и 10 TB в год без сжатия, сокращаемые типичным коэффициентом 10-20 с помощью swinging-door compression.
https://www.symestic.com/en-us/what-is/industrial-data-historian

[3] NFM Consulting — How SCADA Systems Work in Water Treatment Plants. Описывает протоколы water SCADA (Modbus TCP/IP, DNP3, OPC UA) и отмечает, что базы данных SCADA historian ведут журнал непрерывных данных процесса — мутность, остаточный хлор, значения CT, производительность фильтров — с интервалами, требуемыми EPA 40 CFR Part 141 и правилами штатов.
https://www.nfmconsulting.com/knowledge/how-scada-works-water-treatment-plants

[4] Merobix — What Are Data Gaps in Historians? Объясняет, что data gap — это интервал, в котором архив не содержит валидных данных, потому что сбор остановился, и что пробелы должны фиксироваться явно, а не тихо интерполироваться так, будто сигнал оставался неизменным.
https://www.merobix.com/blog/what-is-a-data-gap-historian

[5] U.S. EPA — Water Quality Data / Water Quality Exchange (WQX). Описывает WQX как универсальный формат для обмена данными качества воды, с передачей данных от более чем 900 федеральных, региональных и племенных агентств и других организаций.
https://19january2025snapshot.epa.gov/waterdata/water-quality-data

[6] TigerData — Water Utilities Database: How to Store and Query SCADA, AMI, and Quality Data at Scale. Оценивает коммунальное предприятие среднего размера с 100,000 AMI-endpoints примерно в 8.7 million строк по счетчикам в день, при этом общий ежедневный прием превышает 10 million строк, когда SCADA-телеметрия включена.
https://www.tigerdata.com/learn/water-utilities-database-how-to-store-query-scada-ami-quality-data-at-scale

Об авторе: Подготовлено редакционной технической командой Shanghai ChiMay — группой, стоящей за документацией по inline-анализаторам качества воды Shanghai ChiMay, ежедневно работающей над проектами измерения pH, электропроводности и многопараметрического контроля, где интеграция на уровне Modbus и данные, готовые для historian, являются частью продукта, а не второстепенной задачей.