Декомпозиционный синтетический подход для оптимального нелинейного оценивания



Скачать 106.58 Kb.
Дата02.05.2016
Размер106.58 Kb.
УДК 519
О. С. АМОСОВ

(Комсомольский-на-Амуре государственный технический университет, г. Комсомольск-на-Амуре)

С. Г. БАЕНА

(Университет ИТМО, г. Санкт-Петербург)


ДЕКОМПОЗИЦИОННЫЙ СИНТЕТИЧЕСКИЙ ПОДХОД ДЛЯ ОПТИМАЛЬНОГО НЕЛИНЕЙНОГО ОЦЕНИВАНИЯ



Рассмотрен использующий декомпозицию синтетический подход для решения задачи оптимального нелинейного оценивания процессов на основе искусственных нейронных сетей, нечетких систем, вейвлетов и их комбинаций. На примере показано, что с помощью декомпозиционных систем достигается высокая точность оценивания и при этом скорость обучения этих систем значительно выше скорости обучения исходных систем без декомпозиции.

Введение

Задача нелинейного оценивания состояния систем и процессов является фундаментальной и до сих пор требует поиска эффективных алгоритмов [7]. Для ee решения наиболее часто используются байесовский подход и метод наименьших квадратов (МНК) [5]. Для численной реализации алгоритмов в рамках указанных подходов используются методы стохастической аппроксимации на основе искусственных нейронных сетей (НС) [8, 11–14], систем нечеткой логики (НчС) [6, 9] и вейвлетов [1,10]. Несмотря на разные теоретические положения, лежащие в основе описания НС, НчС и вейвлетов, которые могут применяться как раздельно, так и совместно, их объединяет возможность практического применения при реализации алгоритмов оценивания на основе класса нелинейных параметрически заданных функций [14–15].

Анализ приведенной литературы показал, что до сих пор остаются непроработанными такие вопросы как: 1) проектирование архитектур НС, НчС и вейвлет систем для задач оценивания; 2) значительное снижение вычислительных затрат при настройке алгоритмов оценивания; 3) эффективность применения различных алгоритмов обучения и их влияние на процедуру оценивания.

Целью данной работы явилось существенное повышение быстродействия обучения субоптимальных нейросетевых, нечетких и вейвлет систем оценивания, построенных на использовании принципов декомпозиции. Предлагаемый доклад посвящен разработке декомпозиционных синтетических структур, реализующихся как фильтры с растущей памятью на основе НС, НчС, вейвлетов и их комбинаций.




__________________________

Научный руководитель профессор, заместитель заведующего кафедрой "Информационно-навигационные системы" Университета ИТМО, Степанов Олег Андреевич.

Нелинейная задача оценивания

Постановка задачи оценивания. Необходимо оценить -мерный вектор по -мерным измерениям . Заметим, что в некоторых случаях измерения могут быть записаны следующим образом [14]

,

где -мерная в общем случае нелинейная вектор функция векторного аргумента, которая обычно считается известной; а – случайный вектор, передающий наличие ошибок измерения.



Постановка и решение нелинейной задачи оценивания с помощью синтетических алгоритмов в рамках байесовского подхода

Для решения задачи оценивания в рамках байесовского подхода предлагается вычислительный метод оценивания с его реализацией на основе синтетических алгоритмов оценивания с использованием декомпозиции.

1) Вводится класс параметрически заданных функций .

2) При наличии обучающего множества



(1)

определяется среднеквадратический критерий оптимизации [14–15]



(2)

где – формируемая оценка.

3) Критерий (2) оптимизируется на основе минимизации эмпирического риска [3]

, при ,

где – заданная точность; .

4) При минимизации критерия (2) для вычисления оценки используется синтетическая система, реализующая преобразование

, , (3)

где – вход синтетических систем; – матрица, отвечающая за параметры этих систем: при это массив смещений и весовых коэффициентов НС; – матрица, определяющая набор свободных параметров (параметры функций принадлежности и весовые коэффициенты правил); – массив аппроксимирующих и детализирующих коэффициентов сигнала.

5) После обучения системы, располагая измерением по формуле (3) определяется и само значение оценки.

С учетом сказанного можно следующим образом уточнить постановку задачи оценивания в рамках предложенного подхода [6]. Располагая измерением , обучающим множеством (1) и используя критерий (2), конкретизировать алгоритм нахождения оценки в виде (3), т.е. найти , минимизирующую (2), а затем вычислить само ее значение для измерения .



Декомпозиционные синтетические системы нелинейного оценивания

Для повышения быстродействия настройки алгоритмов оценивания предлагается использование принципа декомпозиции сложных систем. Синтетические системы могут быть декомпозированы с использованием трех базовых представлений подсистем. К ним относят: каскадное, параллельное соединение элементов, а также соединение замыканием обратной связи [1].

С этой целью может быть построена иерархическая синтетическая система как для нерекуррентного, так и для рекуррентного оценивания применительно к нелинейным задачам обработки информации (рис. 1). При этом все возможные декомпозиционные схемы будут находиться между указанными на рис. 1 б и 1 в) граничными фильтрами с растущей памятью.



а) б) в)

Рис. 1. Схемы оценивания:


а) исходная для нерекуррентного оценивания;
б) рекуррентное оценивание с использованием декомпозиции с одним измерением;
в) рекуррентное оценивание с использованием декомпозиции с несколькими измерениями

Иллюстрирующий пример решения задач оценивания

Для доказательства преимуществ предлагаемого подхода возьмем в качестве примера скалярную задачу нелинейного оценивания для негауссовских функций плотности распределения вероятностей (ф.п.р.в.) переменной состояния x и шума v , для которой имеется точное байесовское решение и получено решение с помощью НС и НчС без использования декомпозиции [6, 9, 14].



Пример. Необходимо оценить равномерно распределенную на интервале случайную величину по зашумленным измерениям вида , , в которых ошибки измерений , представляют собой независимые друг от друга и от центрированные случайные величины, равномерно распределенные в интервале . В этом примере , , . Необходимо отметить, что апостериорная ф.п.р.в. здесь не является гауссовской, так как и , – равномерно распределенные случайные переменные. При проведении моделирования принималось: , , .

Сравнение точности оценивания проводится с решением для оптимального нелинейного оценивания, рассмотренным в работе [14]. Были получены и исследованы среднеквадратичные отклонения (СКО) ошибок оценивания: выборочные СКО ошибок для нелинейных оптимальных оценок и выборочные СКО ошибок для нейросетевых, нечетких и вейвлет оценок , , d означает декомпозиционную структуру.

Для всех синтетических систем применяется самая простая схема декомпозиции, имеющая два входа и один выход (рис. 1 б).

Выборочные СКО были рассчитаны следующим образом:



,, (4)

,. (5)

Для получения приемлемых результатов по точности оценивания число реализаций N для обучения синтетических систем (НС, НчС, вейвлетов) было выбрано равным 20000. После обучения осуществлялась проверка. С этой целью дополнительно моделировалось еще пар реализаций , для разных , . Моделирование систем проводилось в среде MatLab.



Моделирование НС прямого распространения

В качестве исходной нелинейной сети прямого распространения (FFNN) соответствующей рис. 1 а) выбрана двухслойная НС с последовательными связями с i входами, с =20 нейронами в скрытом слое и одним нейроном в выходном слое. При этом выход НС FFNN определяется как:



, (6)

где , , , – смещения и веса нейронов скрытого слоя; ,, – смещение и веса нейрона выходного слоя FFNN; – число нейронов скрытого слоя; – активационная функция для нейронов скрытого слоя; – активационная характеристика нейрона выходного слоя.

Для НС применяется схема декомпозиции, имеющая два входа и один выход (рис. 1 б). Для настройки параметров FFNN применялись алгоритмы обучения Левенберга-Маркварда – Levenberg-Marquardt (LM) и регуляризация Байеса – Bayesian Regulation (BR). На рис. 2 представлены СКО ошибок оценивания, вычисление которых рассчитывается по формулам (4), (5).

На рис. 3 а) и б) – отражает время обучения системы (в секундах), а – аппроксимация, полученная с помощью МНК, которая отражает закономерность изменения времени обучения алгоритма от количества измерений.

Из сравнения графиков (рис. 3) исходной системы и с предлагаемой нами декомпозицией FFNN LM видно, что декомпозиция дает выигрыш при обучении в несколько раз, в среднем в 5-7 раз, в зависимости от количества измерений. Даже при использовании алгоритма обучения BR и декомпозиции время обучения уменьшается примерно в 2 раза. Время оценивания с использованием НС в режиме реальной работы с декомпозицией и без декомпозиции составляет десятки мкс.

Рис. 2. СКО ошибок оценивания.




а) б)

Рис. 3. Время обучения НС прямого распространения при алгоритме обучения Levenberg-Marquardt: а) – исходной системы, б) – с применением декомпозиции.



Моделирование нечеткой системы

Для НчС, как и в случае с НС, применяется схема декомпозиции, имеющая два входа и один выход (рис. 1 б). Для оценки измеряемой величины используются системы нечеткого логического вывода типа Сугено с p входами и правилами [2, 9]:



,

где – нечеткая система;



или ; – функция принадлежности k-го входа; ; – вектор параметров для .

Таким образом, для получения оценки, близкой к оптимальной нелинейной оценке, необходимо для заданного количества измерений создать и обучить НчС в соответствии с критерием (2), определив тем самым оптимальные параметры . На рис. 2 представлены СКО ошибок нечеткого оценивания, вычисленные по формуле (5), а на рис. 4 – время обучения НчС.





а) б)

Рис. 4. Время обучения НчС: а) –исходной системы,


б) – системы с применением декомпозиции.

Из сравнения графиков (рис. 4) для исходной системы и системы с декомпозицией видно, что выигрыш по времени обучения составляет более чем на 3 порядка.



Моделирование с использованием вейвлетов

Решение задачи оценивания с использованием вейвлетов сводится к использованию стохастической схемы регрессии в следующем виде [10]



, (7)

где , а считается шумом.

Уравнение (7) называется регрессионным уравнением. Основная задача заключается в нахождении уравнения регрессии по выборочным данным векторов и , , , которые записываются в виде . На основе вейвлетов для нахождения функции регрессии общую проблему регрессии предлагается свести к классической модели.

При решении задачи оценивания с помощью регрессии и вейвлетов существенное значение имеет размерность входных данных. На данный момент для вейвлет-преобразования нет программных средств, реализующих многомерную обработку информации. В среде MatLab реализована возможность только для одномерного и двумерного вейвлет-преобразования. Поэтому нами предлагается по аналогии с нейросетевым и нечетким подходами использовать двумерное вейвлет-преобразование по схеме декомпозиции, представленной на рис. 1 б). На рис. 2 представлено решение одного рационального варианта вейвлет-оценивания. Был выбран эмпирическим путем набор параметров, который позволил получить близкое приближение к субоптимальным нейронным сетям. Для достижения точности были подобраны следующие параметры: число выборок ; количество областей значения переменной равно 500; пороговая обработка проводилась с помощью мягкого трешолдинга; вейвлет - Добеши 6, с уровнем разложения 8. При перемасштабировании использовалась интерполяция с помощью сплайнов. Заметим, что для решения нерекуррентной задачи с возрастающим количеством измерений с помощью декомпозиции удалось применить двумерное вейвлет-преобразование.



Заключение

1) Показано, что с помощью декомпозиционных синтетических систем может

быть достигнута высокая точность оценивания, которая близка к предельно достижимой точности оптимального нелинейного алгоритма. При этом скорость обучения декомпозиционных синтетических систем значительно, в несколько раз для НС и порядков для НчС, выше скорости обучения исходных синтетических систем без декомпозиции.

2) Получены результаты для решения задачи оценивания с помощью НС прямого распространения с декомпозицией и без таковой для разных алгоритмов обучения.

3) Предложены декомпозиционные нечеткие системы, которые преодолевают значительные вычислительные трудности обучения нечеткой системы при количестве входов большем, чем 5, сохраняя точность оценивания.

4) Для вейвлет-оценивания предлагается переход от многомерной обработки к двумерной с использованием декомпозиции.



Работа проводилась при поддержке гранта РФФИ 15-08-08593a.

Литература


1. Амосов, О.С. Оптимальное нелинейное оценивание с использованием иерархических синтетических систем / О.С. Амосов, С.Г. Баена // XXI Санкт-Петербургская межд. конф. по интегрированным навигационным системам. - СПб: ОАО «Концерн «ЦНИИ «Электроприбор», 2014. – C. 126–131.

2. Амосов, О.С. Субоптимальное оценивание случайных последовательностей с использованием иерархических нечетких систем / О.С. Амосов, Е.А. Малашевская, С.Г. Баена // Информатика и системы управления. – 2013. – № 3 (37). – С. 123–133.

3. Вапник, В.Н. Восстановление зависимостей по эмпирическим данным. – М.: Наука, 1979. – 447 с.

4. Медич, Дж. Статистически оптимальные линейные оценки и управление: Пер с англ./ Под ред. А.С. Шаталова.– М.: Энергия, 1973.– 440 с.

5. Степанов, О.А. Применение теории нелинейной фильтрации в задачах обработки навигационной информации. – СПб.: ГНЦ РФ–ЦНИИ «Электроприбор», 1998. – 370 с.

6. Степанов, О.А. Нечеткие и байесовские алгоритмы в задаче нелинейного оценивания / О.А. Степанов, А.В. Осипов, В.А. Васильев // Гироскопия и навигация. – 2009. – № 1 (64). – С. 22–35.



7. Степанов, О.А. Фильтр Калмана. История и современность. (К 80-летию Рудольфа Эмиля Калмана) // Гироскопия и навигация. – 2010. – № 2 (69). – С. 107-121.

8. Alessandri, A. Sliding-window neural state estimation in a power plant heater line / A. Alessandri, T. Parisini, R. Zoppoli // Proceedings of the American Control Conference San Diego. – California, June 1999. – P. 880–884.

9. Amosov, O.S. Optimal Estimation by Using Fuzzy Systems / O.S. Amosov, L.N. Amosova // Proceedings of the 17th IFAC World Congress. – Seoul, Korea, July 6-11, 2008. – P. 6094-6099.

10. Amosov, O.S. Random Sequences Optimal Estimation by Using Regression and Wavelets / O.S. Amosov, L.N. Amosova // 7th IEEE International Conference on Control and Automation. – Christchurch, New Zealand, December 9–11, 2009. – P. 2293–2298.

11. Haykin, S. Optimum nonlinear filtering / S. Haykin, P. Yee // IEEE Trans. On Signal Processing. – 1997. Vol. 45, No 11. – P.2774–2786.

12. Lo, J. T. H. Synthetic approach to optimal filtering // IEEE Trans. Neural Networks. – 1994. – Vol. 5, N 5. – P. 803–811.

13. Parlos, A.G. An algorithmic approach to adaptive state filtering using recurrent neural networks / A.G. Parlos, S.K. Menon, A.F. Atiya // IEEE Trans. Neural Networks. 2001. – Vol.12, No 6. – P. 1411–1432.

14. Stepanov, O.A. Optimal Estimation by Using Neural Networks / O.A. Stepanov, O.S. Amosov // Proceeding of the 16-th IFAC World Congress. – Prague, Czech Republic July 3–8, 2005. – 6 p.

15. Stepanov, O.A. Optimal Estimation Algorithms Based on the Monte Carlo Method and Neural Networks for Nonlinear Navigational Problems / O.A. Stepanov, O.S. Amosov // Proceedings of the IEEE CAC/CACD/ICC. – Munich, Germany, October 4–6, 2006. – P. 1432–1437.

__________________________

«Текст доклада согласован с научным руководителем».





База данных защищена авторским правом ©bezogr.ru 2016
обратиться к администрации

    Главная страница