Концепция пропусков данных

Экспериментальные ряды почти неизбежно содержат пропуски наблюдений. Обычно пропущенные измерения заполняются каким-либо способом на этапе предварительной подготовки данных. Однако этот подход имеет очевидные недостатки. Явное заполнение пропусков всегда предполагает наличие какой-либо априорной модели поведения измеряемой величины. На самом деле, почти всегда можно предложить несколько разумных моделей для интерполяции пропусков. Обязательный выбор одной из этих моделей уже на этапе предварительной обработки данных далеко не всегда является оптимальным решением.

В WinABD используется принципиально иной подход к обработке пропущенных наблюдений. Модель данных WinABD допускает наличие пропусков и перерывов в наблюдениях на любом этапе анализа.

Действительно, оценить среднее значение или автоковариацию почти всегда можно по фактически выполненным наблюдениям, и при этом не важно, чередуются ли они с пропусками, или нет. Нет никакого смысла явно заполнять пропуски данных перед выполнением таких операций. Именно это и делает WinABD. Разумеется, в формулы при этом вводятся необходимые поправки: пересчитываются весовые и нормировочные коэффициенты, учитываются другие эффекты. По возможности, формулы корректируются так, чтобы обеспечить получение несмещенных оценок.

Некоторые методы – например, метод БПФ – алгоритмически не допускают наличия пропусков. В этом случае рекомендуется перед вызовом метода заполнить пропуски данных, для чего в WinABD имеется множество инструментов. Если пользователь это не сделает, то метод сам заполнит пропуски перед проведением вычислений.

Описанный подход приводит к некоторым дополнительным «накладным расходам» при вычислениях и требует известного усложнения алгоритмов. Взамен исследователь получает такие инструменты анализа данных, которые очень сложно реализовать при стандартных подходах. А главное, обеспечивается получение гораздо более обоснованных статистических заключений, чем в случае обязательного заполнения пропусков уже на стадии подготовки данных.

Благодаря описанной технологии проверка и отбраковка сомнительных наблюдений может быть выполнена не только на стадии предварительной подготовки ряда, но и на любом этапе анализа. Только в простых случаях брак визуально выглядит как резкий выброс. Использование «конвейера» обработки данных WinABD позволяет разрабатывать итеративные или настраиваемые процедуры выбраковки дефектных наблюдений, применяемые на всех стадиях процессинга данных.