Как выделить полезный сигнал из шума

Спасибо всем, кто откликнулся! В последние несколько недель был завален другими делами, поэтому не отвечал.

Условия поставлены очень неточно (к сожалению, на форуме это встречается постоянно). Приведите конкретные цифры, пожалуйста, а именно: частоту, диапазон ее изменения, модель шума, или хотя бы его спектральные хар-ки.

Далее, непонятно, что Вы подразумеваете под “амплитудой” шума?

Данная работа – мой дипломный проект. Моя задача – разработка общего алгоритма выделения полезного сигнала из шума и последующая его реализация в виде устройства. На данном этапе условия следующие: есть вихревой измеритель скорости, частота сигнала прямопропорциональна скорости потока. Пока “идеальные” условия – сигнал с датчика – синусоида. Частота меняется (скорость потока непостоянна). Шум более-менее постоянен (собственные шумы устройств и трубы) но может изменятся – помехи от других устройств, удары по трубе, “гул” в трубах, шум от насосов и т.д. Пока рассматриваю “идеальные” условия – белый шум, со временем не меняется.

Проблемма – амплитуда полезного сигнала уменшается с уменьшением скорости потока квадратично. Измерение на больших скоростях не представвляет сложности – соотношени сигнал/шум 10 к 1. Но при снижении частоты соотношение сигнал/шум составляет 1 к 1 (точка 200 – 300 Гц , в зависимости от датчика и среды, где проводятся измерения), при дальнейше сниженни частоты – 1 к 10. Из-за этого есть возможность измерять только большие скорости, на нижней же части диапазона измерений (0 – 5%) просто отключать измерения и не учитывать расход. Моя задача – отодвинуть нижнюю границу как можно ниже.

Первое, что приходит в голову – преобразование Фурье. При указанных Вами условиях “палка” от полезного сигнала будет выделяться на фоне “мусора” от шума так, что с шумом ее никогда не спутаешь. Точность оценки частоты – порядка Fд/N, где Fд – частота дискретизации, N – длина преобразования.

Если для заданной точности требуется нереальное N, но известно, что периодический сигнал только один, то можно попробовать адаптивный самонастраивающийся фильтр (как вариант – ФАПЧ типа аналоговой), после чего мерить частоту/период на его выходе.

Сам склоняюсь к работе со спектром. В ближайшие пару дней попытаюсь промоделировать.

попробуйте знаковый коррелятор

Слышал что неплох метод медианного центра

s_yakov и rar_а не могли бы Вы рассказать более подробно? Не совсем пойму о чем речь.

Можно попробовать БПФ.

Я обычно делаю БПФ а потом корреляторами уточняю до требуемого значения

Если рессурсы серьезно ограничены то можно попробовать достаточно инерционный ФАПЧ

А литература подойдет любая по системам автоматического регулирования

С точки зрения науки есть только один метод – узкополосная фильтрация, а как его реализовать – дело вкуса. В аналоговом виде проще фАПЧ, там, в зависимости от условий, можно реализовать фильтр до единиц гц шириной. В цифровом виде проще БПФ, Однако, у этого метода есть некоторые недостатки. АЧХ одного канала имеет вид sin(x)/x, да к тому же соседние каналы перекрываются. С первым недостатком борются применением оконных функций, а со вторым – дискриминаторной обработкой.

Была мысль использовать фазовую автоподстройку под частоту полезного синала, вот только есть сомнения, буду ли “успевать бегать” за изменением частоты, и не буду ли “застрявать” на точках, типа 50 Гц, где есть стабильные и сильные помехи…

БПФ – как это расшифровываеться?

Была еще мысль работать с амплитудами, т.к. амплитуда шума распределена по з-ну Гауса, а полезный сигнал будет периодически сдвигать распределение.

Вобщем впереди три свободных дня – буду моделировать.

Еще раз благодарю ВСЕХ, кто ответил и ответит!

Источник

Основы метода.

Рассмотрим снова периодический сигнал. Но теперь нас будет интересовать не только обнаружение, но и выделение его на фоне шума, т. е. восстановление формы сигнала.

В разд. 10.2 мы видели, что взаимная корреляция периодического сигнала с гребневой функцией того же периода дает исходный сигнал. Пусть функция (разд. 2.6) имеет период . Рассмотрим функцию

С точностью до погрешности оценки . Следовательно, (с той же точностью). Мы получаем, таким образом, способ выделения сигнала из шума.

Увеличение отношения сигнал/шум.

Пусть Взаимная корреляция функций равна

Представим в виде суммы двух слагаемых:

и

Интеграл можно записать в виде

где

Обозначим целую часть отношения через М, тогда

или

Отсюда следует, что

Так как — периодическая функция с периодом , то

Интеграл представляет собой остаточной шум, так как он равен нулю только при бесконечно большом Т. Если Т имеет конечное значение, то дисперсия интеграф, являющаяся

дисперсией оценки равна

или

Полученное выражение можно записать в виде

Так как , то в предположении, что корреляция равна нулю при получим

Среднеквадратичное отклонение будет равно . Сравнивая отношение сигнал/шум до вычисления корреляции и после вычисления корреляции, найдем увеличение отношения сигнал/шум где М — число периодов, и усиление по амплитуде

Если Т — поушое время интегрирования, а — период сигнала, то

или

где — основная частота, т. е. самая низкая частота сигнала.

Выделение повторяющегося сигнала на фоне шума в случаях, когда известны моменты появления самого сигнала или связанного с ним вспомогательного сигнала.

В общем случае эта задача содержит два аспекта: 1) обнаружение сигнала; 2) выделение сигнала с наименьшей ошибкой.

Отметим два частных случая, когда нет необходимости устанавливать присутствие сигнала:

а) сигнал периодически повторяется через промежуток времени без изменения формы:

б) периодический сигнал обнаруживается всякий раз не непосредственно, а через предшествующее ему событие с известным временем появления (рис. 12.1).

Очевидно, что оба этих случая (периодический сигнал и сигнал, связанный со стимулятором не имеют принципиального различия. В целях упрощения выкладок предположим, что реализуется первый случай.

Рис. 12.1.

Метод, который будет изучен, известен под названием метода усреднения (или накопления данных). Укажем два наиболее важных его приложения:

• получение импульсной характеристики системы по отклику, который представляет собой импульсную характеристику, искаженную шумами;

• физиологические процессы, где имеют дело с изучением наведенных потенциалов.

При исследовании физиологических процессов измеряют разность потенциалов, которую изменяют в ходе процесса, используя для этого внешнюю контролируемую причину, называемую стимулятором. Так обстоит дело в электроэнцефалографии, электромиографии, электрокардиографии, электрокортикографии и др. Промежуток времени, в течение которого действует стимулятор, предполагается достаточно малым. Время между действием стимулятора и появлением отклика (говорят также «наведенного отклика») называется временем задержки (или мертвым временем). Оно равно временному сдвигу в импульсной характеристике.

Сформулируем две основные гипотезы, к которым, однако, нужно относиться с осторожностью (тем более что нет простых способов проверки их законности):

• сигнал повторяется тождественно, т. е. без изменения формы;

• сигнал жестко связан во времени со стимулятором, т. е. время задержки считается постоянным.

Основы метода усреднения.

Предполагая, что высказанные гипотезы справедливы, рассмотрим периодический сигнал содержащий шум . В электроэнцефалографии этим шумом будет электроэнцефалограмма, соответствующая нормальному режиму», а также всегда возможные помехи.

Условия, налагаемые на шум Прежде всего предположим, что шум является стационарным процессом порядка, так что его среднее значение средняя мощность и автокорреляционная функция инвариантны относительно трансляции вдоль временной оси.

Предположим также, что шум центрирован, т. е. его среднее значение равно нулю, а спектр не содержит постоянной составляющей. В этом случае дисперсия равна средней мощности Р, а называется эффективным значением шума.

Очевидно, что определенные выше средние значения тем ближе к точным, чем больше Т. Выражение представляет собой оценку величины

Усреднение. Итак, рассмотрим сигнал Так как — периодическая функция с периодом то

при любом целом

Запишем отношение сигнал/шум в виде Мы ввели отношение сигнал/шум по амплитуде, так как именно с этой величиной имеет дело исследователь.

Пусть М — число импульсов стимулятора за некоторый промежуток времени. Рассмотрим сумму М соответствующих

сигналов, деленную на

Положим тогда

Вследствие периодичности Следовательно,

отсюда вытекает равенство Найдем

Изменив порядок операций суммирования и усреднения, получим

Так как — центрированная функция, то

Вычислим

Отметим, что

тогда

Таблица 12.1. (см. скан)

Эта двойная сумма может быть преобразована (табл. 12.1) в сумму трех слагаемых:

Поскольку то

или

Если автокорреляционная функция шума равна нулю при любом времени запаздывания по модулю, большему или равному то

Если при этих условиях отношение сигнал/шум до усреднения было равно в результате усреднения оно стало равным

Мы пришли к классическому результату, согласно которому отношение олгнал/шум умножается на

Рис. 12.2.

Если же, напротив, автокорреляционная функция шума не равна нулю для (рис. 12.2), то

В этом случае отношение сигнал/шум на выходе определяется выражением

Таким образом, если автокорреляционная функция становится достаточно малой через несколько периодов уменьшение отношения сигнал/шум не будет существенным. Поэтому первоначальная гипотеза о том, что шум не коррелирован для времен, больших не является обязательной. Можно, следовательно, допустить, что в результате суммирования М сигналов отношение сигнал/шум умножается на Это означает, что если при усиление равно 10, то при оно

дополнительно увеличится только в 3,16 раза, так как

Ошибки, обусловленные природой шума.

Итак, увеличивая число М, мы могли бы получить сколько угодно большое значение отношения сигнал/шум. Однако число М ограниченно. Естественно, возникает вопрос: можно ли при фиксированном М увеличить отношение сигнал/шум? Единственный способ добиться этого состоит в увеличении этого отношения на входе интегратора. А этого можно достичь путем уменьшения эффективной величины шума входящей в знаменатель дроби Чтобы уменьшить надо применить фильтрацию. Однако проведение фильтрации вслепую связано с риском исказить форму сигнала Поэтому желательно было бы знать спектральную плотность сигнала чтобы использовать такой фильтр, параметры которого были бы подобраны в соответствии с (проблема оптимального фильтра).

Однако расчеты показывают, что улучшение отношения сигнал/шум подчиняется логарифмическому закону, и если удастся сделать фильтр, близкий к оптимальному, то дальнейшее его усовершенствование за счет более тщательной подгонки параметров не дает ощутимого эффекта.

Так как обычно форма сигнала бывает известна заранее, то его спектральную плотность находят с помощью преобразования Фурье. Исходя из этого, можно изготовить такой фильтр, который исключит все частоты, находящиеся вне спектральной полосы сигнала (рис. 12.3).

Рис. 12.3.

Классические интеграторы не позволяют провести необходимые измерения формы сигнала. Однако все чаще появляются приборы, с помощью которых эту процедуру можно выполнить. Осуществить после этого необходимую фильтрацию уже несложно.

Ошибки, обусловленные неприменимостью выдвинутых гипотез о свойствах сигнала.

Напомним эти гипотезы:

• время задержки между актом стимуляции и появлением сигнала постоянно;

• сигнал тождественно повторяет свою форму.

В общем случае нет никаких убедительных доводов в пользу этих гипотез. Напротив, имеется достаточно соображений, их опровергающих.

Рассмотрим первую гипотезу. Хорошо известно, что время задержки не постоянно; оно зависит от индивидуума и его психофизического состояния. Исследуем, что происходит, если время задержки флюктуирует около среднего значения. Ограничимся наиболее простым случаем, когда наведенный потенциал представляет собой узкий импульс (рис. 12.4).

Рис. 12.4.

Было бы ошибочно отсюда сделать вывод о форме наведенного потенциала. Результатом наблюдения является свертка где — распределение времени задержки — наведенный потенциал.

Иными словами, дело обстоит так, как будто истинный наведенный потенциал проходит через фильтр с импульсной характеристикой Отсюда следует, что можно сделать ложное заключение о различной форме наведенных потенциалов для двух лиц с сильно различающимися распределениями времен задержки, хотя не исключено, что отличаются друг от друга только функции распределения а не потенциалы. Кроме того, изменение во времени формы наведенного потенциала может быть вызвано изменением времени задержки. Поэтому необходимо уметь каким-либо методом определять функцию распределения

Предположим теперь, что время задержки постоянно, а форма наведенного потенциала меняется, т. е. она тождественно не повторяется. Здесь можно допустить серьезную ошибку. Если не повторяет тождественно своей формы, то, как известно, это равносильно добавлению к повторяющемуся сигналу медленно флюктуирующего шума. В данном случае метод суммирования не дает эффекта гашения шума пропорционально и даже в пределе процесс суммирования не приводит к исчезновению шума. Если предположить, что указанная добавка к наведенному потенциалу является медленно

меняющейся функцией, т. е. соответствующий ей спектр занимает полосу, меньшую, чем спектральная полоса наведенного потенциала, то тогда можно надеяться на улучшение с помощью фильтрации. Но верно ли это предположение? Можно лишь утверждать, имея в виду аналогию с электрооптикой, что параметры системы зависят от времени, т. е. система нестационарна, и что метод усреднения в данном случае, строго говоря, неприменим. Если же его все-таки применить, то получится не истинный наведенный потенциал, а некоторое среднее значение (в очень широком смысле) потенциалов, которые мы рассматриваем.

Вывод, который можно сделать в настоящее время, состоит в том, что метод усреднения — один из самых плодотворных; хорошо известно его успешное применение. Однако надо помнить, что для его применения требуется выполнение ряда условий. И если получаемые результаты оказываются в некотором смысле «странными», то надо в первую очередь пересмотреть эти условия.

Принцип действия многочисленных интеграторов описан в гл. 16.

Источник

По роду своей деятельности мне приходится осуществлять контроль различных параметров наземных импульсно-фазовых радионавигационных систем (ИФРНС) «Чайка» и Loran-C. В этой статье я хочу поделиться одним из методов обнаружения времени прихода импульса ИФРНС при наличии шумов. Метод применим во многих задачах поиска сигнала известной формы.

Системы относятся к классу гиперболических систем и основаны на измерении разности времени прихода радиоимпульсов, принимаемых от цепочки передающих станций. В каждой цепочке одна из станций является ведущей, а остальные – ведомые. Все они точно синхронизируются.

Основной проблемой при детектировании сигналов ИФРНС является искажение формы принимаемых радиоимпульсов за счет наложения на поверхностную волну отраженных составляющих. Составляющие сигнала, которые не распространяются вдоль поверхности, проходят различные пути за различное время. Невозможно надежно предсказать время их прихода. Однако, очевидно, что отраженные составляющие сигнала распространяются медленнее поверхностной составляющей. Они также влияют на форму принимаемого сигнала. Форма принимаемого радиоимпульса может изменяться в зависимости от времени года, времени суток, а также от погодных условий и географической местности. Для выполнения задач навигации необходим алгоритм выделения начала поверхностной составляющей радиоимпульса.

Принимаемый сигнал xt (t) во временной области может быть представлен следующим уравнением:
(1)

где xg (t) – поверхностная составляющая, амплитуда и задержка n-ной отраженной составляющей определяются коэффициентами kn и tn, а e (t) — шумовая компонента.
Ниже изображены эталонный импульс ИФРНС и его спектр после прохождения полосового фильтра приемника. Частота дискретизации составляет 5 МГц.

В качестве примера рассмотрим смоделированный радиоимпульс, состоящий из поверхностной и отраженной составляющих. На рисунках ниже представлены графики, на котором изображена модель импульса, состоящая из двух составляющих смещенных друг от друга на 130 мкс. Амплитуда отраженной составляющей в 2 раза ниже амплитуды поверхностной составляющей.

Эквивалентное представление сигнала в частотной области описывается как:
(2)

где Xt (f), Xg (F) и E (f) — спектры сигналов xt (t), xg (t) и e (t).
Примем, что спектр эталонного нормированного сигнала системы «Лоран-С» или «Чайка» обозначается как X0 (f).
Очевидно, что
(3)

где kg — амплитуда поверхностной составляющей. Если выражение для Xg (f) из формулы (3) подставить в формулу (2) и разделить почленно все слагаемые на X0 (f), получится выражение
(4)

На рисунке ниже изображен график результата деления спектра сигнала на спектр эталона. Изображенный красным, график представляет собой горизонтальную пилообразную линию во всей области частот.

Обратное преобразование Фурье над выражением (4) дает формулу
(5)

Математический смысл выражения (5) заключается в том, что во временной области мы получаем пики в виде дельта-функций в моменты появления как поверхностной, так и всех отраженных составляющих сигнала, нормированные по амплитуде.
На рисунке ниже изображен график детектирования начала составляющих сигнала. Как видно из графика отношение амплитуд составляющих сигнала равно двум и расстояние между пиками составляет 130 мкс, что соответствует параметрам построенной модели.

Метод обычного деления спектров хорошо действует для идеальных сигналов. При добавлении в сигнал шумовой составляющей эффективность метода резко ухудшается. На рисунках ниже изображен график детектирования начала сигнала при соотношении сигнал/шум 25 дБ. Как видно из рисунков определение начала сигналов выполнить невозможно.

На графике спектра можно заметить, что внутри полосы шириной приблизительно 30 кГц с центром в точке 100 кГц результат деления спектров имеет горизонтальный пилообразный вид как при использовании метода деления спектров на идеальном не зашумленном сигнале. Использование прямоугольного окна шириной 30 кГц с центром в точке 100 кГц позволяет устранить влияние шумов перед операцией обратного преобразования Фурье. На рисунке ниже изображен график детектирования начала сигнала при использовании оконной фильтрации зашумленного сигнала. Два максимума графика позволяют обнаружить начало каждой из составляющих сигнала на фоне шума и также оценить отношение их амплитуд.

Метод деления спектров с применением оконного сглаживания эффективен при соотношении сигнал/шум выше 12 дБ. Наиболее эффективным типом окна признано прямоугольное окно с полосой 30 кГц. На рисунках ниже изображен реальный импульс цепочки Northern Sea of China Chain и график обнаружения его начала.

Оригинальная статья расположена здесь. Алгоритм в настоящее время применяется мной для контроля параметров станций ИФРНС Дальневосточного региона.

Источник