Линейная фильтрация данных посредством сглаживания скользящим средним

Преобразование экспериментальных данных, иначе - входных данных /(t), в некоторую выходную функцию y(i) проводится путем применения к входным данным оператора фильтра L:

Операторы L могут быть линейными и нелинейными.

Линейным оператором L (или линейным фильтром) называется оператор, который удовлетворяет следующим условиям:

где С = const,/i(t) и /2(t) - различные входные функции. Операторы, которые не удовлетворяют хотя бы одному из этих условий, называются нелинейными, как и соответствующие им фильтры.

Большой класс линейных фильтров (операторов) по отношению к непрерывным функциям определяется интегралом свертки (интегралом Дюамеля) [132]

Дискретным аналогом интеграла Дюамеля, т. е. дискретным аналогом свертки, является выражение

Непрерывная функция /г(т) в (П.1) или дискретная функция hk в (П.2) называется весовой функцией линейного фильтра.

Уравнения свертки (П.1) и (П.2) устанавливают связь между входным и выходным сигналами через весовую функцию h{т) или через ее дискретный аналог hk.

Если Yiy), H{v) и F(v) - Фурье-преобразования функций y(t),/i(t) и f{t), то согласно теореме о свертке [134]

Функцию

называют передаточной функцией (или частотной характеристикой) линейного фильтра, а ее модуль

называют амплитудно-частотной характеристикой (АЧХ) фильтра или коэффициентом передачи линейной системы. Поскольку

то функцию

называют фазово-частотной характеристикой фильтра. Если мнимая часть передаточной функции 1тН равна нулю, то н = 0, и такой фильтр не вносит искажений в фазу исходного сигнала. Как правило, стараются использовать именно такого рода фильтры.

Построение (или синтез) фильтров в частотной области посредством задания передаточной функции Н(у) = Н(у)е1(рн - весьма распространенный и наиболее простой прием в силу развитого аппарата преобразования Фурье. Если мы задали передаточную функцию и вычислили спектр исходного сигнала F(y), то результат фильтрации можно вычислить, применив обратное преобразование Фурье к (П.З) [134]:

Естественно, что при переходе к дискретной ограниченной по времени записи сигнала, мы будем сталкиваться с теми же проблемами, что и при реализации дискретного преобразования Фурье: предельная анализируемая частота - это частота Найквиста vN = 1/(2At), где At - шаг дискретизации записи; в спектре могут возникать ложные пики [134].

Простейшим низкочастотным фильтром является процедура сглаживания исходных данных скользящим средним (или скользящим окном). Итак, пусть At - шаг дискретизации, сглаживание осуществляем по (2М + 1) точкам, т. е. с периодом Т0 = (2М + 1)Дt. Граничная частота равна v0 = 1 0. В этом случае дискретный аналог интеграла Дюамеля имеет вид

Значения весовых коэффициентов здесь все одинаковы и равны Посчитаем частотную характеристику этого фильтра:

Здесь для удобства введено обозначение: z = exp[—i2nv • At]. Легко видеть, что справа в скобках стоит убывающая геометрическая прогрессия вида alt atq, а^2,... а^71-1, в которой аг = z~M,q = z,n = 2М + 1. Сумма этой прогрессии равна

Если числитель и знаменатель разделить на 2 i, то получим отношение синусов. Окончательно частотная характеристика фильтра сглаживания скользящим средним по (2М + 1) точкам будет такой:

Видно, что частотная характеристика данного фильтра имеет только действительную часть, мнимая часть равна нулю, поэтому фазовых сдвигов гармоник после фильтрации не происходит. Главное, чтобы сглаживание проводилось по нечетному числу дискретов. Последовательное применение такого фильтра с разными значениями М позволяет подавлять все высокие частоты в исходном сигнале. Недостатки обычны для линейных фильтров. Во-первых, в результате фильтрации сокращается длина записи данных на 2М членов, во-вторых, подавляются не только высокие частоты, но и уменьшаются амплитуды низкочастотных составляющих.

На рис. П.1 представлены амплитудно-частотные характеристики (АЧХ) фильтров сглаживания по 3 точкам (кривая 7), по 5 точкам (кривая 2) и последовательно по 3 и по 5 точкам (кривая 3). Фильтры такого вида используются для подавления случайных помех. Шаг дискретизации здесь и далее для простоты будем считать равным единице, размерность частоты - обратная величина размерности времени, в шкале которой определена функция fj. Частота v = vN = 0,5 - это частота Найквиста, т. е. максимальная частота, которая может быть выявлена из записи функции /у с шагом дискретизации At = 1.

Из рис. П.1 видно, что АЧХ фильтров сглаживания скользящим средним далеки от АЧХ идеальных низкочастотных фильтров, для которых |H(v)| равна единице в полосе пропускания и равна нулю за пределами этой полосы. Крутизна среза мала, имеют место заметные боковые лепестки (кривые 1 и 2), которые, правда, можно практически устранить, если применить последовательное сглаживание по 3 и 5 точкам (кривая 3). Главное же достоинство этих фильтров заключается в том, что они требуют минимального числа весовых коэффициентов, и в результате происходит минимальное сокращение исходного ряда после его обработки. Например, для построения фильтра с косинусным сглаживанием вблизи граничной частоты v0, который бы обеспечивал на порядок лучшее подавление помех, нежели фильтр сглаживания скользящим средним, необходимо, чтобы выполнялось условие [132]

где ^ - полуширина среза вблизи частоты v0, причем ^ « v0. Для v0 = 0,2 и ^ = 0,01 получаем (2М + 1) > 130. Выполнить это условие даже для 300-летней шкалы временных геофизических рядов невозможно, не говоря уже о более коротких рядах.

В наших исследованиях статистической связи солнечной активности с геофизическими процессами использовалась процедура сглаживания исходных данных 11-летними скользящими средними. АЧХ этих фильтров показаны на рис. П.2. Видно, что двукратное сглаживание 11-летними скользящими средними исходного ряда практически полностью подавляет все гармоники с периодами меньше 11 лет. С другой стороны, имеет место заметное уменьшение амплитуд гармоник с периодами и больше 11 лет.

П.1. Амплитудно-частотные характеристики фильтров сглаживания скользящим средним по 3 точкам (кривая 1), по 5 точкам (кривая 2), а также последовательно по 3 и по 5 точкам (кривая 3)

Рис. П.1. Амплитудно-частотные характеристики фильтров сглаживания скользящим средним по 3 точкам (кривая 1), по 5 точкам (кривая 2), а также последовательно по 3 и по 5 точкам (кривая 3)

П.2. АЧХ фильтров сглаживания 11-летними скользящими средними (кривая 1) и дважды 11-летними скользящими средними (кривая 2)

Рис. П.2. АЧХ фильтров сглаживания 11-летними скользящими средними (кривая 1) и дважды 11-летними скользящими средними (кривая 2)

В некоторых случаях предпочтительнее бывает использовать для подавления 11-летней цикличности процедуру последовательного сглаживания по 3, 5 и 11 точкам. АЧХ такого фильтра представлена на рис. П.З (кривая 3). В этом случае амплитуды низкочастотных гармоник подавляются в меньшей степени.

Посредством последовательного сглаживания исходных данных и вычитания одного сглаженного ряда из другого можно сконструировать полосовой фильтр. Если X - исходный ряд; Х - ряд X, сглаженный по 11 точкам, Х1123 - ряд X, сглаженный последовательно по 11 и по 23 точкам, то разность (Хг1 — Х11>23) представляет собой результат действия на X полосового фильтра с амплитудно-частотной характеристикой, показанной на рис. П.4. Видно, что АХЧ этого фильтра имеет заметные боковые пики, которые, правда, можно устранить, если к ряду (Хг1 — Х1123) применить еще сглаживание последовательно по 3 и по 5 точкам.

Необходимо отметить, что как низкочастотная фильтрация, используемая для подавления в исходной записи шумов и высокочастотных гармоник (или цикличностей с заданными характерными временами), так и полосовая фильтрация случайных процессов представляют собой неоднозначную процедуру обработки данных. Дело в том, что из случайного процесса, который характеризуется непрерывным спектром, посредством линейной фильтрации можно выделить гармонику (или цикличность) желаемой частоты, что в свое время и было показано А.Б. Питтоком [145].

П.З. АЧХ фильтров сглаживания последовательно по 3 и 5 точкам (кривая 1), по 11 точкам (кривая 2) и последовательно по 3, 5 и 11 точкам (кривая 3)

Рис. П.З. АЧХ фильтров сглаживания последовательно по 3 и 5 точкам (кривая 1), по 11 точкам (кривая 2) и последовательно по 3, 5 и 11 точкам (кривая 3)

П.4. АЧХ полосового фильтра, предназначенного для выделения цикличностей с периодом 23At (At - шаг дискретизации)

Рис. П.4. АЧХ полосового фильтра, предназначенного для выделения цикличностей с периодом 23At (At - шаг дискретизации)

П.5. Результат фильтрации ряда случайных чисел (пояснения к легенде в тексте)

Рис. П.5. Результат фильтрации ряда случайных чисел (пояснения к легенде в тексте)

В качестве примера, как и в работе [145], рассмотрим синтезированный ряд X двухсот случайных чисел в интервале (0, 1). Применим к ряду X процедуры сглаживания по И точкам ), последовательно по 11 и по 23 точкам 1123) и вычислим разность (Xг1Х112зУ Результат всех вычислений показан на рис. П.5.

Анализ рис. П.5 показывает, что в результате сглаживания скользящими средними из ряда случайных чисел выделяются некие регулярные колебания, которых в исходном ряде по определению не содержится. Поэтому результаты цифровой фильтрации реальных данных необходимо интерпретировать с обязательным привлечением априорной информации, в качестве которой можно использовать данные спектрального анализа и оценки дисперсий исходного и фильтрованных рядов.

В спектре исходного ряда двух сотен рассмотренных выше случайных чисел, полученного методом максимальной энтропии, проявляются все возможные гармоники (рис. П.6). Наибольшей амплитудой обладают, естественно, гармоники в высокочастотной части спектра, однако имеет место и заметный по амплитуде пик, соответствующий колебаниям с характерным периодом около 9 единиц. С появлением ложных пиков при анализе спектрального состава методом максимальной энтропии ограниченной выборки случайного процесса приходится считаться [311].

П.6. Спектральный состав ряда случайных чисел

Рис. П.6. Спектральный состав ряда случайных чисел

Полезным, как отмечено выше, представляется сравнение дисперсий исходного ряда и фильтрованных рядов. Для представленных на рис. П.5 рядов X, Х Х1123 и (Х±1 — Х1123) дисперсии равны соответственно 0,094; 0,007; 0,003 и 0,003. Дисперсии фильтрованных данных более чем на порядок меньше дисперсии исходного ряда. Отсюда можно сделать предварительный вывод о недостаточной достоверности выявленных в результате фильтрации цикличностей.

 
Посмотреть оригинал
< Пред   СОДЕРЖАНИЕ   ОРИГИНАЛ