Е.А. Катковский,  кандидат технических наук, E-mail: katkovsky@mail.ru

В настоящей работе подводится итог многолетних разработок автора в области применения искусственных нейронных сетей (ИНС) для различных задач, возникающих при анализах безопасности объектов атомной энергетики. Автор отошел от копирования опыта разработки т.н. расчетных кодов для моделирования теплогидравлических и физических процессов, происходящих в объектах атомной энергетики и последовательно разрабатывает новые подходы к решению проблемы создания программных средств (ПС, кодов) моделирования.

Реализация новой стратегии создания ПС моделирования разбита на последовательные этапы разработки. Причем каждый этап будет обеспечивать решение конкретной задачи (проблемы), стоящей перез разработчиком ПС моделирования. 

Каковы же этапы создания ПС? Ниже будет представлен и обоснован каждый этап, но начнем с Этапа 1.

Этап 1. Создания методик и ПС для нового константного обеспечения задач моделирования

Под новым константным обеспечением (КО) автор подразумевает нетрадиционный в этой области подход с применением ИНС. При этом предлагаеться полностью заменить традиционную форму представления константного обеспечения на нейросетевую.

Нейросетевая форма непривычна для многих, но дает существенные преимущества при её применении – точность, простоту реализации алгоритмов, скорость выполнения нейросетевых алгоритмов, гибкость использования в разных ПС.

Что автор относит к понятию традиционного КО?

Это расчетные методики, расчетные формулы, табличные данные разных справочников, диаграммы и графики.

Причем, во многих случаях, традиционное КО имеет разное представление одних и тех же данных (в виде формул, таблиц, графиков, диаграмм и др.)

Нейросетевое КО объединяет в себе суть традиционного КО с появлением нового качественного продукта для применения в тех же сферах.

Этап создания методик и ПС для нового константного обеспечения задач моделирования в работе разбит на части (подразделы).

 

Часть 1. Методы нейронных сетей для расчета термодинамических свойств веществ.

Аннотация. В части 1. работы приводится теоретическое обоснование и практические результаты применения нейронных сетей для определения и вычисления термодинамических свойств веществ.

На примере воды, находящейся в разных областях состояния, приведены конкретные результаты применения нейронных сетей ряда классов для группового расчета её термодинамических свойств. Исследованы минимально необходимые размеры нейронных сетей в зависимости от числа определяемых термодинамических свойств. Проанализирована точность получаемых результатов.

Введение. На применение нейронных сетей авторов натолкнула теорема академика Колмогорова, завершившая его серию исследований для непрерывных функций: «Каждая непрерывная функция N переменных, заданная на единичном кубе N-мерного пространства, представима с помощью операций сложения, умножения и суперпозиции из непрерывных функций одного переменного» [1]. На этом фоне совершенно неожиданно выглядит тот факт, что любой многочлен от многих переменных может быть получен из одного произвольного нелинейного многочлена от одного переменного с помощью линейных операций и суперпозиции. Доказательство этой теоремы дано в [2].

Теория нейронных сетей включают широкий круг вопросов из разных областей науки: биофизики, математики, информатики, схемотехники и технологии. Поэтому понятие "нейронные сети" детально определить сложно.

Искусственные нейронные сети (ИНС) — совокупность моделей биологических нейронных сетей. ИНС представляют собой сеть элементов — искусственных нейронов (перцептронов) — связанных между собой синаптическими соединениями. ИНС обрабатывает входную информацию и в процессе изменения своего состояния во времени формирует совокупность выходных сигналов. Работа сети состоит в преобразовании входных сигналов во времени, в результате чего меняется внутреннее состояние сети и формируются выходные воздействия. Большинство моделей ИНС требуют обучения. В общем случае, обучение — такой выбор параметров сети, при котором ИНС лучше всего справляется с поставленной проблемой. Обучение — это задача многомерной оптимизации, и для ее решения существует множество алгоритмов.

Искусственные нейронные сети — набор математических и алгоритмических методов для решения широкого круга задач. Выделим характерные черты искусственных ИНС как универсального инструмента для решения задач:

 ИНС — средство обработки информации:

·        гибкая модель для нелинейной аппроксимации многомерных функций;

·        средство прогнозирования во времени для процессов, зависящих от многих переменных;

·        классификатор по многим признакам, дающий разбиение входного пространства на области;

·        средство распознавания образов;

·        инструмент для поиска по ассоциациям;

·        модель для поиска закономерностей в массивах данных.

ИНС свободны от ограничений обычных компьютеров благодаря параллельной обработке и сильной связанности нейронов.

Современные искусственные ИНС по сложности и "интеллекту" приближаются к нервной системе насекомого, но уже сейчас демонстрируют ценные свойства:

1.     Обучение. Выбрав одну из моделей ИНС, создав сеть и выполнив алгоритм обучения, мы можем обучить ИНС решению задачи, которая ей по силам. Нет никаких гарантий, что это удастся сделать при выбранных: сети, алгоритме и задаче. Но, если все сделано правильно, то обучение бывает успешным.

2.     Способность к обобщению. После обучения ИНС становится нечувствительной к малым изменениям входных сигналов (шуму или вариациям входных образов) и дает правильный результат на выходе.

3.     Способность к абстрагированию. Если предъявить сети несколько искаженных вариантов входного образа, то ИНС сама может создать на выходе идеальный образ, с которым она никогда не встречалась.

Автору представляется, что использование ИНС на таком важном и обширном поле деятельности как определение термодинамических свойств веществ сильно отстает от требований современной науки и, в особенности, практики.

Фактически ни один практический расчет какого-либо теплообменного устройства не может обойтись без вычисления различных термодинамических (и физических тоже!) свойств сред (материалов, теплоносителей и так далее), использующихся в нем. При решении ряда важных практических задач расчет свойств занимает львиную долю в общем объеме вычислений.

Сюда следует отнести задачи оптимизации теплообменных устройств, расчеты аварийных и переходных процессов, имитационное моделирование и так далее.

Хорошо, если свойства среды, с которой Вы имеете дело, кем-то обобщены и описаны соответствующими уравнениями, легко поддающимися реализации на ЭВМ. А что делать, если в Вашем распоряжении - лишь таблица с экспериментально определенными (да и то не во всем необходимом Вам диапазоне) точками состояния?

Автор считает, что использование уникальных возможностей ИНС позволяет оптимально решать все вышеупомянутые проблемы:

1.     - повышение быстродействия вычисления свойств;

2.     - получение готовых программ расчета свойств на основе экспериментальных данных;

3.     - обоснование распространения свойств веществ на области, в которых пока нет экспериментально подтвержденных данных.

 

Обоснование необходимости применения ИНС

Теоретической предпосылкой к описанию термодинамических свойств веществ являются выводы термодинамики (см. [7]) из которых следует, что, как правило, свойства определяются по одному или двум термодинамическим параметрам. На практике этими параметрами в подавляющем большинстве являются давление P и температура Т, т.к. эти параметры легко измеримы при экспериментальном определении свойств веществ.

В практических теплотехнических расчетах часто используются: энтальпия - h, удельный объем - v, внутренняя энергия – u.

Все эти, и многие другие термодинамические параметры связаны между собой уравнениями термодинамики, с помощью которых можно выразить одни пары параметров через другие пары параметров.

На практике задача вычисления термодинамических свойств связана с особенностью решаемой проблемы.

Например, при стационарных расчетах гидродинамики и теплопередачи удобно определять все свойства через Р и h, а при нестационарных расчетах – через v и u.

Международные организации, такие, например, как IAPWS [8] , не «позаботились» о практических нуждах инженеров и исследователей, и автору не известно ни одного уравнения состояния с независимыми парами параметров (Р, h) или (v,u).

Многие преодолели эту трудность, создав методики и программы пересчета исходных уравнений состояния с использованием итерационных процедур либо с непосредственной интерполяцией таблиц свойств.

Автор сам в 1975-1980 г. Участвовал в создании комплекса программ расчета всех термодинамических свойств воды и водяного пара по различным парам параметров на основе итерационных процедур и сплайн-интерполяции [9, 10].

Выход новых, более точных уравнений состояния во многом обесценивает проделанную ранее работу, т.к. с новыми данными приходится переделывать готовые и оптимизированные программы!

Часто в практических расчетах нет нужды использовать программы и методики, охватывающие весь возможный диапазон изменения параметров, но, в узком диапазоне изменения параметров программа должна работать быстро и точно!

Автор утверждает, что все указанные выше, да и многие другие проблемы, разрешимы с помощью ИНС!

 

Основные определения

(Здесь и далее, автор применяет терминологию и использует припрограмму NEUROSOLUTION-5 [12]).

 Рассмотрим многомерную функцию y = f(x), где вектор y имеет N_O компонент, а вектор x — N_I компонент. Самый простой способ формализации — использовать ИНС с N_I входами и N_O выходами.

Компоненты вектора x подаются на вход сети, y — снимаются на выходе. ИНС обучается на известных значениях функции f.

 

Выбор количества нейронов и слоев

Нет строго определенной процедуры для выбора количества нейронов и количества слоев в сети.

Чем больше количество нейронов и слоев, тем шире возможности сети, тем медленнее она обучается и работает, и тем более нелинейной может быть зависимость «вход-выход».

Количество нейронов и слоев связано:

1.     со сложностью задачи;

2.     с количеством данных для обучения;

3.     с требуемым количеством входов и выходов сети;

4.     с имеющимися ресурсами: памятью и быстродействием машины, на которой моделируется ИНС.

Были попытки записать эмпирические формулы для числа слоев и нейронов, но применимость формул оказалась очень ограниченной.

Если в сети слишком мало нейронов или слоев:

1.     ИНС не обучится и ошибка при работе сети останется большой;

2.     на выходе сети не будут передаваться резкие колебания аппроксимируемой функции y(x).

Превышение требуемого количества нейронов тоже мешает работе сети.

Если нейронов или слоев слишком много:

1.     быстродействие будет низким, а памяти потребуется много — на фон-неймановских ЭВМ;

2.     ИНС переобучится: выходной вектор будет передавать незначительные и несущественные детали в изучаемой зависимости y(x), например, шум или ошибочные данные;

3.     зависимость выхода от входа окажется резко нелинейной: выходной вектор будет существенно и непредсказуемо меняться при малом изменении входного вектора x;

4.     ИНС будет неспособна к обобщению: в области, где нет или мало известных точек функции y(x) выходной вектор будет случаен и непредсказуем, не будет адекватен решаемой задаче.

Подготовка входных и выходных данных

Данные, подаваемые на вход сети и снимаемые с выхода, должны быть правильно подготовлены.

Один из распространенных способов — нормализация (масштабирование):

X=(x-m)*C                                                                                                      1

где x — исходный вектор;

 X – нормализованный вектор;

 Вектор m — усредненное значение совокупности входных данных;

 С — масштабный коэффициент.

Нормализация желательна, чтобы привести данные в допустимый диапазон. Если этого не сделать, то возможно несколько проблем:

1.     нейроны входного слоя или окажутся в постоянном насыщении (|m| велико, дисперсия входных данных мала), или будут все время заторможены (|m| мало, дисперсия мала);

2.     весовые коэффициенты примут очень большие или очень малые значения при обучении (в зависимости от дисперсии), и, как следствие, растянется процесс обучения и снизится точность.

Определим методы обучения и критерии качества обучения нейросети.

Алгоритмы обучения бывают с учителем и без. Алгоритм называется алгоритмом с учителем, если при обучении известны и входные, и выходные векторы сети. Имеются пары «вход + выход» —« известные условия задачи и решение». В процессе обучения ИНС меняет свои параметры и учится давать нужное отображение X→Y. ИНС учится давать результаты, которые нам уже известны. За счет способности к обобщению сетью могут быть получены новые результаты, если подать на вход вектор, который не встречался при обучении.

Алгоритм относится к обучению без учителя, если известны только входные векторы, и на их основе ИНС учится давать наилучшие значения выходов. Что понимается под “наилучшими” — определяется алгоритмом обучения.

Перцептрон обучается с учителем. Это означает, что должно быть задано множество пар векторов:

Большая часть методов обучения — итерационные. Параметрам сети (весовым коэффициентам и пороговым уровням) присваиваются малые начальные значения. Затем параметры изменяются так,

чтобы ошибка E убывала. Изменения продолжаются до тех пор, пока ошибка не станет достаточно малой.

Наиболее простая оценка Е - т.н. процентная ошибка, определяемая как:

Заметим, что %Error может легко вводить в заблуждение. Например, пусть ваши выходные данные находятся в диапазоне от 0 до 100. Для одного образца ваш истинный выход - 0.1, и ваш фактический выход - 0.2. Даже при том, что две величины весьма близки, %Error  для этого образца = 100!

Среднеквадратическая погрешность (MSE) может являться отличным критерием (к сожалению, не единственным!) успеха нейросетевой аппроксимации:

Мы нашли способ вычислить уравнение регресса, но мы все еще не имеем меры того, как успешно кривая регресса представляет отношения между x и d. Величина среднеквадратичной ошибки (MSE) может лишь определить, какая кривая лучше всего соответствует данным, но не обязательно доказывает, хорошо ли соответствует она данным, потому что MSE зависит от абсолютной величины образцов данных. Например, просто изменяя масштабы данных, мы можем изменить MSE, не изменяя самих данных. Коэффициент корреляции решает эту проблему.

Коэффициент корреляции (r) между двумя случайными переменными x и d определяется как:

Итак, определив критерии обучения, можем перейти к самому обучению.

Общая схема обучения перцептрона:

1.     Инициализировать веса и параметры функции активации в малые ненулевые значения;

2.     Подать на вход один образ и рассчитать выход;

3.     Посчитать ошибку E, сравнив d и y.

4.     Изменить веса и параметры функции активации так, чтобы ошибка E уменьшилась.

5.     Повторить шаги 2-4 до тех пор, пока ошибка не перестанет убывать или не станет достаточно малой.

Здесь веса меняются так, что убывает не E, а E^s, относящаяся к образу s, а не ко всему обучающему множеству. Шаги в данном варианте алгоритма делаются не в направлении убывания E, а в направлении убыли E^s, таким образом, E не обязательно должна убывать. Какие условия необходимы для существенной убыли E? Опыт показывает, что для этого необходимо отсутствие упорядоченности в предъявлении образов, т.е. в выборе s на каждой итерации. Если образы выбираются случайно из обучающего множества, то ошибка E чаще всего убывает. Если же есть упорядоченность (например, образы предъявляются циклически: 1-й, 2-й, ..., S-й, 1-й,...) то чаще всего E(t), где t — время обучения, не имеет предела при t→∞ т.е. алгоритм расходится. В этом случае E^s тоже убывает при каждом изменении параметров, но при следующей коррекции для образа (s + 1) ошибка E^s+1 убывает, а E^s, относящаяся к предыдущему образу, возрастает сильнее, так что E может увеличиться. ИНС "забывает" текущий образ при предъявлении следующего.

Чтобы шаг по параметрам на каждой итерации делался в правильном направлении, надо провести усреднение по S, т.е. предъявить все образы, и коррекции вычислять по всем образам сразу. Такие алгоритмы называются алгоритмами с пакетной коррекцией (batch update). Они требуют больших затрат вычислительного времени и памяти, но сходятся за меньшее число итераций.

В большинстве случаев E при таком методе обучения сходится и достигает локального минимума. Для каждой конкретной задачи нет гарантий, что E сойдется к приемлемому значению за конечное число шагов.

Для однослойного перцептрона алгоритм обучения очевиден. Как обобщить этот простой алгоритм на случай многослойной сети? Эту задачу решает алгоритм Румельхарта-Хинтона-Вильямса (Rumelhart, Hinton, & Williams) (алгоритм обратного распространения ошибки). Он был предложен в различных вариациях в нескольких научных работах, существует также множество улучшенных версий алгоритма. Достаточно подробно этот алгоритм изложен в [3-5], и здесь нет необходимости его описывать.

 

Результаты применения ИНС для аппроксимации термодинамических свойств

Наиболее изученным веществом с точки зрения термодинамических свойств является вода. Это и понятно, т.к. с использованием воды в качестве теплоносителя или рабочего тела работает подавляющее большинство теплопередающих устройств, машин и механизмов. Кроме того, в силу значительной нелинейности свойств воды, уравнения, описывающие ее термодинамические свойства, весьма сложны [8, 10] (область описания свойств разбита на несколько подобластей, в каждой из которых сами свойства описываются полиномами вплоть до 40 степени включительно!)

Автор выбрал воду и водяной пар еще и потому, что мог контролировать все результаты, получаемые ИНС, с помощью пакета программ Н2О [9-10], и использовать этот пакет для «обучения» ИНС.

Из большого числа иерархий ИНС автор использовал для экспериментов «ИНС прямого распространения» с использованием многослойного перцептрона (ИНС МП) с функцией активации - гиперболическим тангенсом (здесь и далее используется устоявшаяся к настоящему времени терминология ИНС, см., например [1-4]) как наиболее простую и наглядную. Проводились эксперименты и с другими ИНС:

·        Модулярные ИНС;

·        Элмана – Джордана (Elman-Jordan) ИНС;

·        RBF( Radial Basis Function) ИНС;

·        Рекуррентные ИНС с полной и частичной рекурсией.

Однако каких либо преимуществ в исследуемом вопросе они не показали.

В практическом плане всем интересно применение единых алгоритмов для:

1.     Расчета термодинамических свойств на линии насыщения;

2.     Расчета термодинамических свойств во всей области состояния;

Проведенные вычислительные эксперименты не ставили целью получить оптимальную ИНС, однако показали следующие впечатляющие результаты:

1.     Была построена ИНС для аппроксимации термодинамических свойств на линии насыщения по температуре насыщения в диапазоне температур от 273.16К до 647.14К.

Вектор выходов ИНС включал в себя следующие величины: давление, производную давления по температуре, энтальпии, плотности, энтропии, изобарные теплоемкости, скорости звука, удельные вязкости, удельные теплопроводности и коэффициент поверхностного натяжения – всего 17 параметров.

Ниже приведены результаты двух экспериментов с одним и двумя скрытыми слоями нейронов (по 17 нейронов в каждом). Критерием окончания обучения ИНС принималось состояние, когда ИНС начала переобучаться. Переобучение – это процесс, когда ИНС просто запоминает обучающий набор и неспособна обобщить проблему.

На рис.1 изображены две таблицы из результатов расчетов по программе обучения ИНС и один график. Верхняя таблица представляет критерии, вычисленные по формулам (1-6) для ИНС с одним скрытым слоем нейронов, а нижняя таблица - то же для ИНС с двумя скрытыми слоями. На каждом цикле обучения (в терминологии ИНС - эпохе) проводилась проверка работы ИНС на независимом наборе (CV - Cross Validation) данных для определения правильности процесса обучения. На графике представлена типичная кривая изменения MSE в зависимости от номера эпохи обучения (верхняя кривая – обучающий набор, нижняя – CV).

Сам набор обучения составлял 80 векторов данных, набор CV – 25 векторов.

Из полученных данных видно, что ИНС с одним скрытым слоем нейронов уже дает прекрасный результат!

Сходимость, судя по кривой обучения Рис.1, достаточно хорошая, т.е. ИНС обучается за небольшое число эпох.

Рис. 1

 

2.     Была построена ИНС для аппроксимации термодинамических свойств во всей области состояния по температуре в диапазоне от 273.16К до 647.14К и плотности в диапазоне от 1004 , до 0,4 .

Вектор выходов ИНС включал в себя следующие величины: давление, энтальпия и ее производные по температуре и плотности, энтропия и ее производные по температуре и плотности, внутренняя энергия и ее производные по температуре и плотности, изохорная теплоемкость, скорость звука, функция Гельмгольца и ее производные по температуре и плотности, функция Гиббса – всего 18 параметров.

Ниже приведены результаты двух экспериментов с одним и двумя скрытыми слоями нейронов (по 18 нейронов в каждом). Критерием окончания обучения ИНС принималось состояние, когда ИНС начинала переобучаться.

На рис.2 изображены две таблицы из результатов расчетов по программе обучения ИНС для всей области свойств воды и пара. Левая таблица представляет критерии, вычисленные по формулам (1-6) для ИНС с одним скрытым слоем нейронов, а правая таблица - то же для ИНС с двумя скрытыми слоями. Сам набор обучения составлял 1400 векторов данных, набор CV – 600 векторов.

Рис. 2

Проведенные эксперименты с областями, включающими в себя метастабильные состояния воды и пара, заключенные между спинодалью и бинодалью дают не менее высокоточные результаты.

 

Выводы

1.     ИНС прекрасно проводит аппроксимацию (интерполяцию) сложной функции.

2.     В отличие от интерполяционного полинома ИНС хорошо предсказывает значение функции за пределами области определения.

3.      Получаемая структура ИНС прекрасно подходит для практических расчетов, т.к. получается подпрограмма единообразного вычисления, хорошо реализуемая на процессорах с большим КЭШем (cash) или на параллельных компьютерах. Проверенная разница между быстродействием программ, реализующих ИНС и между обычными зависимостями на процессоре Intel-i7 - составила 18 раз! Автор не ставил целью этой работы получение наилучших результатов, хотя очевидно, что при специальном подборе структуры ИНС и функций активации нейронов в перцептроне, можно добиться значительно лучших показателей точности и быстродействия. Оптимальному выбору архитектуры и структуры ИНС будет посвящен отдельный этап «НовОЙ стратегиИ рАзработки программных средств для анализа безопасности АЭС»

4.     Подходы, использованные автором при аппроксимации термодинамических свойств, могут быть обобщены и на другое константное обеспечение расчетов на ЭВМ тепловых, гидродинамических и физико-химических процессов. Это актуально, например, при создании нового поколения расчетных кодов для анализа аварийных и переходных процессов в ЯЭУ (Ядерных Энергетических Установках).

 

Список литературы

1.     Колмогоров А.Н. «О представлении непрерывных функций нескольких переменных суперпозициями непрерывных функций меньшего числа переменных». Докл. АН СССР, 1956. Т. 108, №. 2 С.179-182.

2.     Горбань А.Н. «Обобщенная аппроксимационная теорема и вычислительные возможности нейронных сетей». Вычислительный центр СО РАН в г.Красноярске, 1993.

3.     Суровцев И.С., Клюкин В.И., Пивоварова Р.П. «Нейронные сети.» Воронеж: ВГУ, 1994.

4.     Уоссермен Ф. «Нейрокомпьютерная техника: теория и практика.» М.: Мир, 1992.

5.     Мкртчян С.О. «Нейроны и нейронные сети. (Введение в теорию формальных нейронов)» М.: Энергия, 1971.

6.     Гилл Ф., Мюррей У., Райт М. «Практическая оптимизация.» М.: Мир, 1985.

7.     Вукалович М.П., Новиков И.И. «Термодинамика.» М., 1984

8.       IAPWS «Industrial Formulation 1997 for the Thermodynamic Properties of Water and Steam. InteRNAtional Association for the Properties of Water and Steam» / Executive Secretary R.B. Dooley. Electric Power Research Institute. Palo Alto. CA 94304, USA

9.       Катковский Е.А., Никонов С.П. «О методах расчета на ЭВМ теплофизических свойств газов и жидкостей», Препринт ИАЭ, 3263/3, Москва, 1980 г.

10.   Никонов С.П., Никонов А.П., Катковский Е.А. «Н2О-пакет прикладных программ для расчета теплофизических свойств и их производных для воды и пара.» Препринт ИАЭ, 3344/16 Москва, 1980 г.

11. W. Wagner et al.,” The IAPWS Industrial Formulation 1997 for the Thermodynamic Properties of Water and Steam”, ASME J. Eng. Gas Turbines and Power, Vol. 122 (2000) pp. 150-182.

12.  J.C. Principe, N.R. Euliano, W. C. Lefebvre - Neural and Adaptive Systems: Fundamentals Through Simulations, 2000, John Wiley and Sons.