Работа с экспериментальными данными в среде WinABD

Наиболее важные особенности WinABD, отличающие наш пакет от других аналогичных инструментов, состоят в следующем:

1) Визуально-ориентированная среда анализа данных

Ключевой элемент архитектуры WinABD – это визуально-ориентированная среда анализа данных, в которой приоритет отдается исследователю, а не формальным процедурам и методам, чьи оптимальные свойства часто теряются при столкновении с реальными данными.

Реализуя эту концепцию, мы включили в WinABD гибкие инструменты графического представления экспериментальных реализаций. Ряды длиной многие миллионы точек отображаются практически без задержки, можно «на лету» развернуть любой фрагмент ряда со сколь угодно подробной детальностью. Оси координат размечаются в реальной календарной шкале, причем степень детализации этой шкалы оптимизируется динамически. Нет никаких ограничений на совместное отображение данных, измеряемых с разной периодичностью, с несовпадающими датами начала и окончания наблюдений. Результаты любых вычислений автоматически представляются не только в цифровом, но и в графическом виде. Все это дает исследователю полный контроль при выборе методов и оценке их эффективности при работе с неидеальными данными, получаемыми при полевых наблюдениях.

 

2) Обеспечивается полный цикл операций, необходимых при работе с рядами

WinABD – это одна из немногих программ, обеспечивающий полный цикл операций при работе с данными геофизического мониторинга. Наличие встроенной системы управления персональной базой данных временных рядов позволяет организовать структурированное хранение данных типа «временной ряд» непосредственно в среде WinABD. Для предварительной подготовки данных, выявления и выбраковки дефектных значений можно использовать любые методы из имеющихся в программе.

Кроме того, WinABD содержит мощный исследовательский комплекс, содержащий большое количество стандартных и специальных инструментов для работы с экспериментальными данными, и интерактивную среду визуализации данных, в полной мере учитывающую календарную структуру исследуемых рядов. Таким образом, отпадает необходимость в приобретении и освоении дополнительных инструментов, реализующих функции СУБД, статистической обработки и/или визуализации данных, а также в их интеграции друг с другом и/или с используемыми инструментами анализа данных.

 

3) Глубокая поддержка календарной структуры данных

Наличие встроенной СУБД имеет как свои плюсы, так и некоторые минусы (например, первичное оформление данных в базу требует определенных усилий). Однако все эти минусы с лихвой перекрываются теми возможностями, которые открываются благодаря глубокой интеграции СУБД, системы анализа данных и инструментов визуализации данных. Это избавляет исследователя от необходимости помнить о том, в каких файлах (столбцах) и в каких форматах хранятся данные, как выбрать нужный фрагмент сигнала. Вместо этого можно работать с хорошо паспортизированными выборками. Во всех диалогах, при любых операциях с данными, настройке параметров обработки и протоколировании результатов анализа используется привычная шкала календарного времени и мнемонически содержательные имена рядов, а не условные «номера точек». Это существенно повышает удобство работы.

Еще более важно, что WinABD обеспечивает корректную совместную обработку данных с неодинаковой календарной структурой. Даже если даты начала или окончания наблюдений у различных параметров не совпадают, для совместного анализа будут автоматически выбраны те значения, которые измерялись одновременно (правило синхронизации наблюдений). Если отличается периодичность наблюдений, то перед выполнением вычислений такие ряды автоматически пересчитываются к согласованной шкале времени.

 

4) Обработка рядов с пропусками без каких-либо ограничений

Обычно перед использованием статистических методов требуется заполнить пропущенные наблюдения каким-либо способом. Но для этого надо иметь какую-то априорную модель поведения измеряемой величины. А ведь построение такой модели как раз и может быть целью исследования, и на начальном этапе анализа она еще не известна. Во-вторых, многие вычисления правильнее выполнять по фактически измеренным данным, не прибегая к искусственному заполнению пропусков. Имеются и другие причины, по которым обязательное явное заполнение пропусков далеко не всегда является лучшим решением.

Модель данных WinABD лишена любых подобных ограничений. Явное заполнение пропусков, конечно, возможно (для этого в WinABD имеется большое количество инструментов), однако оно не является обязательным ни в какой ситуации. Любые методы могут работать с рядами, содержащими пропуски.

Такая архитектура приводит к некоторым дополнительным «накладным расходам» при вычислениях и требует известного усложнения алгоритмов. Взамен исследователь получает такие инструменты анализа данных, которые почти невозможно реализовать при стандартных подходах.

 

5) Специальные возможности при обработке в скользящем окне

Обработка в скользящем окне – это важнейший инструмент анализа данных, получаемых при геофизическом и ином мониторинге. В WinABD имеется большое количество методов, работающих в скользящем окне. В отличие от любых других пакетов статистического анализа, WinABD позволяет выполнять такую обработку без уменьшения длины ряда и изменения периодичности наблюдений. Это позволяет произвольно комбинировать методы скользящего окна и строить сколь угодно сложные алгоритмы анализа данных даже при работе с рядами ограниченной длительности.

 

6) Большое разнообразие инструментов анализа данных

WinABD предоставляет исследователю большое количество инструментов для первичной обработки рядов с нестандартными свойствами и исследования их структуры, выявления зависимостей и взаимосвязей между сигналами. При анализе таких данных требуются особые подходы к оценке значимости результатов – в WinABD есть необходимые для этого средства. При включении в пакет стандартных статистических методов все они соответствующим образом дорабатывались, чтобы обеспечить корректную обработку неидеальных экспериментальных рядов. Также в WinABD имеется несколько уникальных методов анализа данных, разработанных авторами под влиянием решавшихся ими практических и научных задач.

 

7) Особенности интерфейса

В отличие от большинства других пакетов статистического анализа, рабочее пространство WinABD хранится не в оперативной памяти, а на диске. Это позволяет загружать в выборку неограниченные объемы данных, а результаты счета не будут потеряны даже при аварийном завершении сеанса работы. Состояние рабочей области запоминается при окончании сеанса работы и восстанавливается при следующем запуске WinABD.

Все действия пользователя и результаты расчетов сохраняются в специальном протоколе обработки данных, что позволяет использовать эти результаты в наиболее удобной форме.

WinABD имеет русскоязычный интерфейс и развернутую контекстно-зависимую справочную систему. Вместе с тем, при разработке пакета основное внимание уделялось функциональности, а не интерфейсу. Поэтому освоение пакета может потребовать определенных усилий.