proatom.ru - сайт агентства ПРоАтом
Авторские права
  Агентство  ПРоАтом. 27 лет с атомной отраслью!              
Навигация
· Главная
· Все темы сайта
· Каталог поставщиков
· Контакты
· Наш архив
· Обратная связь
· Опросы
· Поиск по сайту
· Продукты и расценки
· Самое популярное
· Ссылки
· Форум
Журнал
Журнал Атомная стратегия
Подписка на электронную версию
Журнал Атомная стратегия
Атомные Блоги





PRo IT
Подписка
Подписку остановить невозможно! Подробнее...
Задать вопрос
Наши партнеры
PRo-движение
АНОНС

Вышла в свет книга Б.И.Нигматулина и В.А.Пивоварова «Реакторы с тяжелым жидкометаллическим теплоносителем. История трагедии и фарса». Подробнее 
PRo Погоду

Сотрудничество
Редакция приглашает региональных представителей журнала «Атомная стратегия»
и сайта proatom.ru.
E-mail: pr@proatom.ru Савичев Владимир.
Время и Судьбы

[30/01/2023]     Программно-методический аппарат для Новой стратегии

разработки программных средств анализа безопасности АЭС

Е.А. Катковский,  кандидат технических наук, E-mail: katkovsky@mail.ru

Автор в своих разработках по Искусственным Нейронным Сетям (ИНС) использует специальную программную систему NeuroSolutions которая имеет развитый графический интерфейс пользователя (NeuroSolutions GUI). (Какие архитектуры и структуры нейронных сетей можно строить средствами пакета NeuroSolutions можно найти на  http://www.neurosolutions.com/neurosolutions ).



NeuroSolutions удовлетворяет практически всем требованиям для автоматизации проектирования, обучения и получения результатов ИНС в практически применимой форме. 

В основе NeuroSolutions GUI лежит "Breadboard” (Макет).

Моделирование ИНС построено и управляются на макетах. В NeuroSolutions проектирование нейронной сети очень похоже на прототипирование электронной схемы. В электронной схеме компоненты, такие как резисторы, конденсаторы и катушки индуктивности сначала выстраиваются на макете. В NeuroSolutions вместо этого использует нейронные компоненты, такие как Aксоны, Cинапсы и Присоединители. Компоненты связаны вместе, чтобы сформировать цепь. Электронная схема передает электроток между своими компонентами. Цепь (то есть, нейронная сеть) NeuroSolutions передает деятельность между своими компонентами, и названа машиной потока данных. Когда цепь проверена, вводятся данные и исследуется ответ системы в различных точках. Электронная схема использовала бы инструмент, такой как осциллограф, для этой задачи. Сеть NeuroSolutions использует один или больше ее компонентов в пределах семьи исследований (например, MegaScope). ИНС строятся на макете, выбирая компоненты из палитр, отпечатывая их на макете, и затем связывая их, чтобы сформировать топологию сети. Как только топология установлена, и ее компоненты формировались, моделированием можно управлять. Пример функционального макета показан ниже:

 

 

Рис. 1. Пример макета с выбором скрытого слоя многослойного персептрона (MLP),

 

Новые макеты создаются, выбирая их из специального меню. В результате создается т.н. "NewBreadboard" – незавершенный Макет. Новый макет может позже быть сохранен. Сохранение макета экономит топологию, конфигурацию каждого компонента и (произвольно) их весов. Поэтому, макет может быть сохранен в любой точке во время обучения и затем восстановлен позже. Экономия весов - урегулирование параметра для каждого компонента, который содержит адаптивные веса. Эти параметры могут быть установлены для всех компонентов на макете или только отобранных.

Макеты позволяют строить достаточно сложные и не исследованные ранее архитектуры и структуры ИНС.

За всеми архитектурами нейронных сетей, которые то и дело возникают последнее время, уследить непросто. Даже понимание всех аббревиатур, которыми бросаются профессионалы, поначалу может показаться невыполнимой задачей. Поэтому я решил составить шпаргалку по таким архитектурам. Большинство из них — нейронные сети, но некоторые — звери иной породы. Хотя все эти архитектуры подаются как новейшие и уникальные, когда я изобразил их структуру, внутренние связи стали намного понятнее.

 

У изображения нейросетей в виде графов есть один недостаток: граф не покажет, как сеть работает. Например, вариационный автоэнкодер (variational autoencoders, VAE) выглядит в точности как простой автоэнкодер (AE), в то время как процесс обучения у этих нейросетей совершенно разный. Сценарии использования различаются еще сильнее: в VAE на вход подается шум, из которого они получают новый вектор, в то время как AE просто находят для входных данных ближайший соответствующий вектор из тех, что они “помнят”. Добавлю еще, что этот обзор не имеет цели объяснить работу каждой из топологий изнутри.

Следует отметить, что не все (хотя и большинство) из используемых здесь сокращений общеприняты. Под RNN иногда понимают рекурсивные нейронные сети (recursive neural networks), но обычно эта аббревиатура означает рекуррентную нейронную сеть (recurrent neural network). Но и это еще не все: во многих источниках вы встретите RNN как обозначение для любой рекуррентной архитектуры, включая LSTM, GRU и даже двунапраленные варианты. Иногда похожая путаница происходит с AE: VAE, DAE и им подобные могут называть просто AE. Многие сокращения содержат разное количество N в конце: можно сказать “сверточная нейронная сеть” — CNN (Convolutional Neural Network), а можно и просто “сверточная сеть” — CN.

Составить полный список топологий практически невозможно, так как новые появляются постоянно. Даже если специально искать публикации, найти их может быть сложно, а некоторые можно просто упустить из виду. Поэтому, хотя этот список поможет создать представление о мире искусственного интеллекта, нельзя считать его исчерпывающим, особенно, если читать эту статью спустя долгое время после ее появления.

 

Для каждой из архитектур, изображенной на схеме, я привел очень короткое описание. Некоторые из них будут полезны, если вы хорошо знакомы с несколькими архитектурами, но не знакомы конкретно с этой.


Сети прямого распространения (Feed forward neural networks, FF or FFNN) и перцептроны (perceptrons, P) очень просты — они передают информацию от входа к выходу. Считается, что у нейронных сетей есть слои, каждый из которых состоит из входных, скрытых или выходных нейронов. Нейроны одного слоя между собой не связаны, при этом каждый нейрон этого слоя связан с каждым нейроном соседнего слоя. Простейшая мало-мальски рабочая сеть состоит из двух входных и одного выходного нейрона и может моделировать логический вентиль — базовый элемент цифровой схемы, выполняющий элементарную логическую операцию. FFNN обычно обучают методом обратного распространения ошибки, подавая модели на вход пары входных и ожидаемых выходных данных. Под ошибкой обычно понимаются различные степени отклонения выходных данных от исходных (например, среднеквадратичное отклонение или сумма модулей разностей). При условии, что сеть обладает достаточным количеством скрытых нейронов, теоретически она всегда сможет установить связь между входными и выходными данными. На практике использование сетей прямого распространения ограничено, и чаще они используются совместно с другими сетями.

 

Rosenblatt, Frank. “The perceptron: a probabilistic model for information storage and organization in the brain.” Psychological review 65.6 (1958): 386.  Оригинал в формате  PDF

Сети радиально-базисных функций (radial basis function, RBF) — это FFNN с радиально-базисной функцией в качестве функции активации. Больше здесь нечего добавить. Мы не хотим сказать, что она не используется, но большинство FFNN с другими функциями активации обычно не выделяют в отдельные группы. 

Broomhead, David S., and David Lowe. Radial basis functions, multi-variable functional interpolation and adaptive networks. No. RSRE-MEMO-4148. ROYAL SIGNALS AND RADAR ESTABLISHMENT MALVERN (UNITED KINGDOM), 1988. » Оригинал в формате  PDF

Нейронная сеть Хопфилда — полносвязная сеть (каждый нейрон соединен с каждым), где каждый нейрон выступает во всех трех ипостасях. Каждый нейрон служит входным до обучения, скрытым во время него и выходным после. Матрица весов подбирается таким образом, чтобы все «запомненные» вектора являлись бы для нее собственными. Однажды обученная одному или нескольким образам система будет сходиться к одному из известных ей образов, потому что только одно из этих состояний является стационарным. Отметим, что это не обязательно соответствует желаемому состоянию (к сожалению, у нас не волшебный черный ящик). Система стабилизируется только частично из-за того, что общая “энергия” или “температура” сети во время обучения постепенно понижается. Каждый нейрон обладает порогом активации, соизмеримым с этой температурой, и если сумма входных данных превысит этот порог, нейрон может переходить в одно из двух состояний (обычно -1 или 1, иногда 0 или 1). Узлы сети могут обновляться параллельно, но чаще всего это происходит последовательно. В последнем случае генерируется случайная последовательность, которая определяет порядок, в котором нейроны будут обновлять свое состояние. Когда каждый из нейронов обновился и их состояние больше не изменяется, сеть приходит в стационарное состояние. Такие сети часто называют ассоциативной памятью, так как они сходятся к состоянию, наиболее близкому к заданному: как человек, видя половину картинки, может дорисовать недостающую половину, так и нейронная сеть, получая на входе наполовину зашумленную картинку, достраивает ее до целой

 

Hopfield, John J. “Neural networks and physical systems with emergent collective computational abilities.” Proceedings of the national academy of sciences 79.8 (1982): 2554-2558. » Оригинал в формате  PDF

Цепи Маркова (Markov Chains, MC или discrete time Markov Chain, DTMC) — своего рода предшественники машин Больцмана (BM) и сетей Хопфилда (HN). В цепях Маркова мы задаем вероятности перехода из текущего состояния в соседние. Кроме того, это цепи не имеют памяти: последующее состояние зависит только от текущего и не зависит от всех прошлых состояний. Хотя цепь Маркова нельзя назвать нейронной сетью, она близка к ним и формирует теоретическую основу для BM и HN. Цепи Маркова также не всегда являются полносвязными. 

Hayes, Brian. “First links in the Markov chain.” American Scientist 101.2 (2013): 252. » Оригинал в формате  PDF


Машины Больцмана (Boltzmann machines, BM) во многом похожи на сети Хопфилда, но в них некоторые нейроны помечены как входные, а некоторые остаются скрытыми. Входные нейроны становятся выходными, когда все нейроны в сети обновляют свои состояния. Сначала весовые коэффициенты присваиваются случайным образом, затем происходит обучение методом обратного распространения, или в последнее время все чаще с помощью алгоритма contrastive divergence (когда градиент вычисляется при помощи марковской цепи). BM — стохастическая нейронная сеть, так как в обучении задействована цепь Маркова. Процесс обучения и работы здесь почти такой же, как в сети Хопфилда: нейронам присваивают определенные начальные состояния, а затем цепь начинает свободно функционировать. В процессе работы нейроны могут принимать любое состояние, и мы постоянно перемещаемся между входными и скрытыми нейронами. Активация регулируется значением общей температуры, при понижении которой сокращается и энергия нейронов. Сокращение энергии вызывает стабилизацию нейронов. Таким образом, если температура задана верно, система достигает равновесия.
 
Hinton, Geoffrey E., and Terrence J. Sejnowski. “Learning and releaming in Boltzmann machines.” Parallel distributed processing: Explorations in the microstructure of cognition 1 (1986): 282-317. » Оригинал в формате  PDF

 


Ограниченная машина Больцмана (Restricted Boltzmann machine, RBM), как ни удивительно, очень похожа на обычную машину Больцмана. Основное отличие RBM от BM в том, что они ограничены, и следовательно, более удобны в использовании. В них каждый нейрон не связан с каждым, а только каждая группа нейронов соединена с другими группами. Входные нейроны не связаны между собой, нет соединений и между скрытыми нейронами. RBM можно обучать так же, как и FFPN, за небольшим отличием: вместо передачи данных вперед и последующего обратного распространения ошибки, данные передаются вперед и назад (к первому слою), а затем применяется прямое и обратное распространение (forward-and-back propagation).
 
Smolensky, Paul. Information processing in dynamical systems: Foundations of harmony theory. No. CU-CS-321-86. COLORADO UNIV AT BOULDER DEPT OF COMPUTER SCIENCE, 1986. » Оригинал в формате  PDF 

Автоэнкодеры (Autoencoders, AE) — нечто подобное FFNN, это скорее другой способ использования FFNN, чем принципиально новая архитектура. Основная идея автоэнкодеров — автоматическое кодирование (как при сжатии, а не при шифровании) информации, отсюда и название. Сеть напоминает по форме песочные часы, так как скрытый слой меньше, чем входной и выходной; к тому же она симметрична относительно средних слоев (одного или двух, в зависимости от четности/нечетности общего количества слоев). Самый маленьких слой почти всегда средний, в нем информация максимально сжата. Все, что расположено до середины — кодирующая часть, выше середины — декодирующая, а в середине (вы не поверите) — код. AE обучают методом обратного распространения ошибки, подавая входные данные и задавая ошибку равной разницу между входом и выходом. AE можно построить симметричными и с точки зрения весов, выставляя кодирующие веса равными декодирующим. 
Bourlard, Hervé, and Yves Kamp. “Auto-association by multilayer perceptrons and singular value decomposition.” Biological cybernetics 59.4-5 (1988): 291-294. » Оригинал в формате  PDF 

Разреженный автоэнкодер (Sparse autoencoder, AE) — в некоторой степени антипод AE. Вместо того чтобы обучать сеть представлять блоки информации на меньшем “пространстве”, мы кодируем информацию так, чтобы она занимала больше места. И вместо того чтобы заставлять систему сходиться в центре, а затем обратно расширяться до исходного размера, мы, наоборот, увеличиваем средние слои. Сети этого типа могут применяться для извлечения множества маленьких деталей из набора данных. Если бы мы стали обучать SAE тем же методом, что и AE, мы получили бы в большинстве случаев абсолютно бесполезную сеть, где на выходе получается ровно то же, что и на входе. Чтобы этого избежать, мы вместо входных данных выдаем на выходе входные данные плюс штраф за количество активированных нейронов в скрытом слое. Это в какой-то мере напоминает биологическую нейронную сеть (spiking neural network), в которой не все нейроны постоянно находятся в возбужденном состоянии.
 
Marc’Aurelio Ranzato, Christopher Poultney, Sumit Chopra, and Yann LeCun. “Efficient learning of sparse representations with an energy-based model.” Proceedings of NIPS. 2007. » Оригинал в формате  PDF 

Архитектура вариационных автоэнкодеров (VAE) такая же, как и у обычных, но обучают их другому — приблизительному вероятностному распределению входных образцов. Это в какой-то степени возвращение к истокам, так как VAE немножко ближе к машинам Больцмана. Тем не менее, они опираются на Байесовскую математику касательно вероятностных суждений и независимости, которые интуитивно понятны, но требуют сложных вычислений. Базовый принцип можно сформулировать так: принимать в расчет степень влияния одного события на другое. Если в одном месте происходит определенное событие, а другое событие случается где-то еще, то эти события вовсе не обязательно связаны. Если они не связаны, то распространение ошибки должно это учитывать. Это полезный подход, так как нейронные сети — своего рода огромные графы, и иногда бывает полезно исключить влияние одних нейронов на другие, проваливаясь в нижние слои.
 
Kingma, Diederik P., and Max Welling. “Auto-encoding variational bayes.” arXiv preprint arXiv:1312.6114 (2013). » Оригинал в формате  PDF 

Шумоподавляющие (помехоустойчивые) автоэнкодеры (Denoising autoencoders, DAE) — это такое AE, которым на подаем на вход не просто данные, а данные с шумом (например, делая картинку более зернистой). Тем не менее, ошибку мы вычисляем прежним методом, сравнивая выходной образец с оригиналом без шума. Таким образом, сеть запоминает не мелкие детали, а крупные черты, так как запоминание небольших деталей, постоянно меняющихся из-за шума, часто не приводит никуда.
 
Vincent, Pascal, et al. “Extracting and composing robust features with denoising autoencoders.” Proceedings of the 25th international conference on Machine learning. ACM, 2008. » Оригинал в формате  PDF 

Глубокие сети доверия (Deep belief networks, DBN) — сети, представляющие собой композицию нескольких RBM или VAE. Такие сети показали себя эффективно обучаемыми одна за другой, когда каждая сеть должна научиться кодировать предыдущую. Этот метод также называют “жадное обучение”, он заключается в принятии оптимального на данный момент решение, чтобы получить подходящий, но, возможно, не оптимальный результат. DBN могут обучаться методами contrastive divergence или обратным распространением ошибки и учатся представлять данные в виде вероятностной модели, в точности как RBM или VAE. Однажды обученную и приведенную к стационарному состоянию модель можно использовать для генерации новых данных.
 
Bengio, Yoshua, et al. “Greedy layer-wise training of deep networks.” Advances in neural information processing systems 19 (2007): 153. » Оригинал в формате  PDF 

Свёрточные нейронные сети (convolutional neural networks, CNN) и глубокие свёрточные нейронные сети (deep convolutional neural networks, DCNN) кардинально отличаются от других сетей. Они используются в основном для обработки изображений, иногда для аудио и других видов входных данных. Типичным способом применения CNN является классификация изображений: если на вход подается изображение ТАНКА, сеть выдаст «ТАНК», если картинка БТР — «БТР». Такие сети обычно используют «сканер», не обрабатывающий все данные за один раз. Например, если у вас есть изображение 200х200, вы захотите строить слой сети из 40 тысяч узлов. Вместо это сеть считает квадрат размера 20х20 (обычно из левого верхнего угла), затем сдвинется на 1 пиксель и считает новый квадрат, и т.д. Заметьте, что мы не разбиваем изображение на квадраты, а скорее ползем по нему. Эти входные данные затем передаются через свёрточные слои, в которых не все узлы соединены между собой. Вместо этого каждый узел соединен только со своими ближайшими соседями. Эти слои имеют свойство сжиматься с глубиной, причём обычно они уменьшаются на какой-нибудь из делителей количества входных данных (например, 20 узлов в следующем слое превратятся в 10, в следующем — в 5), часто используются степени двойки. Кроме сверточных слоев есть также так называемые слои объединения (pooling layers). Объединение — это способ уменьшить размерность получаемых данных, например, из квадрата 2х2 выбирается и передается наиболее красный пиксель. На практике к концу CNN прикрепляют FFNN для дальнейшей обработки данных. Такие сети называются глубокими (DCNN), но названия их обычно взаимозаменяемы.
 
LeCun, Yann, et al. “Gradient-based learning applied to document recognition.” Proceedings of the IEEE 86.11 (1998): 2278-2324. » Оригинал в формате  PDF 

Развёртывающие нейронные сети (deconvolutional networks, DN), также называемые обратными графическими сетями, — это свёрточные нейронные сети наоборот. Представьте, что вы передаёте сети слово “танк” и обучаете ее генерировать картинки танков путем сравнения получаемых картинок с реальными изображениями танков. DNN тоже можно объединять с FFNN. Стоит заметить, что в большинстве случаев сети передаётся не строка, а бинарный классифицирующий вектор: например, <0, 1> — это танк, <1, 0> — БТР, а <1, 1> — и танк, и БТР. Вместо слоев объединения, которые часто встречаются в CNN, здесь присутствуют аналогичные обратные операции, обычно интерполяцию или экстраполяцию.
 
Zeiler, Matthew D., et al. “Deconvolutional networks.” Computer Vision and Pattern Recognition (CVPR), 2010 IEEE Conference on. IEEE, 2010. » Оригинал в формате  PDF 

Название “Глубокие сверточные обратные глубинные сети (Deep convolutional inverse graphics networks, DCIGN)" может ввести в заблуждение, так как на самом деле это вариационные автоэнкодеры со сверточными и развертывающими сетями в качестве кодирующей и декодирующей частей соответственно. Такие сети представляют черты изображения в виде вероятностей и могут научиться строить изображение кошки и собаки вместе, взглянув лишь на картинки только с кошками и только с собаками. Кроме того, вы можете показать этой сети фотографию вашего кота с надоедливой соседской собакой и попросить ее вырезать собаку и изображения, и DCIGN справится с этой задачей, даже если никогда не делала ничего подобного. Разработчики также продемонстрировали, что DCIGN может моделировать различные сложные преобразования изображений, например, изменение источника света или поворот 3D объектов. Такие сети обычно обучают методом обратного распространения.
 
Kulkarni, Tejas D., et al. “Deep convolutional inverse graphics network.” Advances in Neural Information Processing Systems. 2015. Оригинал в формате  PDF 

Генеративные состязательные сети (Generative adversarial networks, GAN) принадлежат другому семейству нейросетей, это близнецы — две сети, работающие вместе. GAN состоит из любых двух сетей (но чаще это сети прямого распространения или сверточные), где одна из сетей генерирует данные (“генератор”), а вторая — анализирует (“дискриминатор”). Дискриминатор получает на вход или обучающие данные, или сгенерированные первой сетью. То, насколько точно дискриминатор сможет определить источник данных, служит потом для оценки ошибок генератора. Таким образом, происходит своего рода соревнование, где дискриминатор учится лучше отличать реальные данные от сгенерированных, а генератор стремится стать менее предсказуемым для дискриминатора. Это работает отчасти потому, что даже сложные изображения с большим количеством шума в конце концов становятся предсказуемыми, но сгенерированные данные, мало отличающиеся от реальных, сложнее научиться отличать. GAN достаточно сложно обучить, так как задача здесь — не просто обучить две сети, но и соблюдать необходимый баланс между ними. Если одна из частей (генератор или дискриминатор) станет намного лучше другой, то GAN никогда не будет сходиться.
 
Goodfellow, Ian, et al. “Generative adversarial nets.” Advances in Neural Information Processing Systems. 2014. Оригинал в формате  PDF 

Рекуррентные нейронные сети (Recurrent neural networks, RNN) — это те же сети прямого распространения, но со смещением во времени: нейроны получают информацию не только от предыдущего слоя, но и от самих себя в результате предыдущего прохода. Следовательно, здесь важен порядок, в котором мы подаем информацию и обучаем сеть: мы получим разные результаты, если сначала скормим ей “молоко”, а затем “печеньки”, или если сначала “печеньки”, а потом уже “молоко”. У RNN есть одна большая проблема — это проблема исчезающего (или взрывного) градиента: в зависимости от используемой функции активации информация со временем теряется, так же как и в очень глубоких сетях прямого распространения. Казалось бы, это не такая уж серьезная проблема, так как это касается только весов, а не состояний нейронов, но именно в весах хранится информация о прошлом; если вес достигнет значения 0 или 1 000 000, то информация о прошлом состоянии станет не слишком информативной. RNN могут использоваться в самых разнообразных областях, так как даже данные, не связанные с течением времени (не звук или видео) могут быть представлены в виде последовательности. Картинка или строка текста могут подаваться на вход по одному пикселю или символу, так что вес будет использоваться для предыдущего элемента последовательности, а не для того, что случилось X секунд назад. В общем случае, рекуррентные сети хороши для продолжения или дополнения информации, например, автодополнения.
 
Elman, Jeffrey L. “Finding structure in time.” Cognitive science 14.2 (1990): 179-211. Оригинал в формате  PDF 

Долгая краткосрочная память (Long short term memory, LSTM) — попытка побороть проблему взрывного градиента, используя фильтры (gates) и блоки памяти (memory cells). Эта идея пришла, скорее, из области схемотехники, а не биологии. У каждого нейрона есть три фильтра: входной фильтр (input gate), выходной фильтр (output gate) и фильтр забывания (forget gate). Задача этих фильтров — сохранять информацию, останавливая и возобновляя ее поток. Входной фильтр определяет количество информации с предыдущего шага, которое будет храниться в блоке памяти. Выходной фильтр занят тем, что определяет, сколько информации о текущем состоянии узла получит следующий слой. Наличие фильтра забывания на первый взгляд кажется странным, но иногда забывать оказывается полезно: если нейросеть запоминает книгу, в начале новой главы может быть необходимо забыть некоторых героев из предыдущей. Показано, что LSTM могут обучаться действительно сложным последовательностям, например, подражать Шекспиру или сочинять простую музыку. Стоит отметить, что так как каждый фильтр хранит свой вес относительно предыдущего нейрона, такие сети достаточно ресурсоемки.
 
Hochreiter, Sepp, and Jürgen Schmidhuber. “Long short-term memory.” Neural computation 9.8 (1997): 1735-1780. Оригинал в формате  PDF 

Управляемые рекуррентные нейроны (Gated recurrent units, GRU) — разновидность LSTM. У них на один фильтр меньше, и они немного иначе соединены: вместо входного, выходного фильтров и фильтра забывания здесь используется фильтр обновления (update gate). Этот фильтр определяет и сколько информации сохранить от последнего состояния, и сколько информации получить от предыдущего слоя. Фильтр сброса состояния (reset gate) работает почти так же, как фильтр забывания, но расположен немного иначе. На следующие слои отправляется полная информация о состоянии — выходного фильтра здесь нет. В большинстве случаем GRU работают так же, как LSTM, самое значимое отличие в том, что GRU немного быстрее и проще в эксплуатации (однако обладает немного меньшими выразительными возможностями).
 
Chung, Junyoung, et al. “Empirical evaluation of gated recurrent neural networks on sequence modeling.” arXiv preprint arXiv:1412.3555 (2014). Оригинал в формате  PDF
 

Нейронные машины Тьюринга (Neural Turing machines, NMT) можно определить как абстракцию над LSTM и попытку “достать” нейросети из “черного ящика”, давая нам представление о том, что происходит внутри. Блок памяти здесь не встроен в нейрон, а отделен от него. Это позволяет объединить производительность и неизменность обычного цифрового хранилища данных с производительностью и выразительными возможностями нейронной сети. Идея заключается в использовании адресуемой по содержимому памяти и нейросети, которая может читать из этой памяти и писать в нее. Они называются нейронными машинами Тьюринга, так как являются полными по Тьюриингу: возможность читать, писать и изменять состояние на основании прочитанного позволяет выполнять все, что умеет выполнять универсальная машина Тьюринга.
 
Graves, Alex, Greg Wayne, and Ivo Danihelka. “Neural turing machines.” arXiv preprint arXiv:1410.5401 (2014). Оригинал в формате  PDF 

Двунаправленные RNN, LSTM и GRU (BiRNN, BiLSTM и BiGRU) не изображены на схеме, так как выглядят в точности так же, как их однонаправленные коллеги. Разница лишь в том, что эти нейросети связаны не только с прошлым, но и с будущим. Например, однонаправленная LSTM может научиться прогнозировать слово “рыба”, получая на вход буквы по одной. Двунаправленная LSTM будет получать также и следующую букву во время обратного прохода, открывая таким образом доступ к будущей информации. А значит, нейросеть можно обучить не только дополнять информацию, но и заполнять пробелы, так, вместо расширения рисунка по краям, она может дорисовывать недостающие фрагменты в середине.

 

Schuster, Mike, and Kuldip K. Paliwal. “Bidirectional recurrent neural networks.” IEEE Transactions on Signal Processing 45.11 (1997): 2673-2681. Оригинал в формате  PDF

 


Глубокие остаточные сети (Deep residual networks, DRN) — это очень глубокие FFNN с дополнительными связями между слоями, которых обычно от двух до пяти, соединяющими не только соседние слои, но и более отдаленные. Вместо того, чтобы искать способ находить соответствующие исходным данным входные данные через, скажем, пять слоев, сеть обучена ставить в соответствие входному блоку пару “выходной блок + входной блок”. Таким образом входные данные проходят через все слои нейросети и подаются на блюдечке последним слоям. Было показано, что такие сети могут обучаться образцам глубиной до 150 слоев, что намного больше, чем можно ожидать от обычной 2-5-слойной нейросети. Тем не менее, было доказано, что сети этого типа на самом деле просто RNN без явного использования времени, а также их часто сравнивают с LSTM без фильтров.

 

He, Kaiming, et al. “Deep residual learning for image recognition.” arXiv preprint arXiv:1512.03385 (2015). Оригинал в формате  PDF

 


Нейронные эхо-сети (Echo state networks, ESN) — еще один вид рекуррентных нейросетей. Они выделяются тем, что связи между нейронами в них случайны, не организованы в аккуратные слои, и обучаются они по-другому. Вместо подачи на вход данных и обратного распространения ошибки, мы передаем данные, обновляем состояния нейронов и в течение некоторого времени следим за выходными данными. Входной и выходной слои играют нестандартную роль, так как входной слой служит для инициализации системы, а выходной слой — в качестве наблюдателя за порядком активации нейронов, который проявляется со временем. Во время обучения изменяются связи только между наблюдателем и скрытыми слоями.

 

Jaeger, Herbert, and Harald Haas. “Harnessing nonlinearity: Predicting chaotic systems and saving energy in wireless communication.” science 304.5667 (2004): 78-80. Оригинал в формате  PDF

 


Extreme learning machines (ELM) — это те же FFNN, но со случайными связями между нейронами. Они очень похожи на LSM и ESN, но используются скорее подобно сетям прямого распространения, и не это связано не с тем, что они не являются рекуррентными или импульсными, а с тем, что их обучают методом обратного распространения ошибки.

 

Cambria, Erik, et al. “Extreme learning machines [trends & controversies].” IEEE Intelligent Systems 28.6 (2013): 30-59. Оригинал в формате  PDF

 


Машины неустойчивых состояний (Liquid state machines, LSM) подобны ESN. Главное их отличие в том, что LSM — это разновидность импульсных нейронных сетей: на замену сигмоидальной кривой приходят пороговые функции, и каждый нейрон также является накопительным блоком памяти. Когда состояние нейрона обновляется, значение рассчитывается не как сумма его соседей, а складывается с самим собой. Как только порог превышен, энергия освобождается и нейрон посылает импульс другим нейронам.

 

Maass, Wolfgang, Thomas Natschläger, and Henry Markram. “Real-time computing without stable states: A new framework for neural computation based on perturbations.” Neural computation 14.11 (2002): 2531-2560. Оригинал в формате  PDF

 


Метод опорных векторов (Support vector machine, SVM) служит для нахождения оптимальных решений в задачах классификации. В классическом смысле метод способен категоризировать линейно разделяемые данные: например, определить, на каком кадре изображен Танк, а на каком — Бронетранспортер. В процессе обучения сеть как бы размещает все Танки и Бронетранспортеры на 2D-графике и пытается разделить данные прямой линией так, чтобы с каждой стороны были данные только одного класса и чтобы расстояние от данных до линии было максимальным. Используя трюк с ядром, можно классифицировать данные размерности n. Построив 3D граф, мы сможем отличить Танк от Бронетранспортера и от обычного трактора, и чем выше размерность, тем больше объектов поля боя можно классифицировать. Этот метод не всегда рассматривается как нейронная сеть.

 

Cortes, Corinna, and Vladimir Vapnik. “Support-vector networks.” Machine learning 20.3 (1995): 273-297. Оригинал в формате  PDF

 


И наконец, последний обитатель этого зоопарка — самоорганизующаяся карта Кохонена (Kohonen networks, KN, или organising (feature) map, SOM, SOFM). KN использует соревновательное обучение для классификации данных без учителя. Сеть анализирует свои нейроны на предмет максимального совпадения с входными данными. Наиболее подходящие нейроны обновляются так, чтобы еще ближе походить на входные данные, кроме того, к входным данным приближаются и веса их соседей. То, насколько изменится состояние соседей, зависит от расстояния до наиболее подходящего узла. KN также не всегда относят к нейронным сетям.

 

Kohonen, Teuvo. “Self-organized formation of topologically correct feature maps.” Biological cybernetics 43.1 (1982): 59-69. Оригинал в формате  PDF

 

 

В приведенных архитектурах НС нет указания на конкретное использование функций активации (ФА) Аксонов ИНС. В специальной литературе по ИНС приводится достаточно много примеров ФА. Часто применяют ФА в виде гиперболического тангенса или Сигмоидальной ФА. Неопределенность в вопросе выбора ФА обусловлена огромным многообразием потенциально имеющихся ФА и недостаточной теоретической обоснованности конкретных применений. Так что одним из главных преимуществ качественного ПО для обучения ИНС является возможность варьирования одновременно в одной ИНС разных ФА. Что и реализовано в NeuroSolutions.

 

Важным свойством пакета NeuroSolutions является его сопряжение с MS Visual Studio.

 

Поскольку результатом обучения ИНС в NeuroSolutions является текст программы на С++ или VB, то передавая этот текст в MS Visual Studio можно сразу получать исполняемый .exe-модуль, пригодный для готового применения! О таком применении будет приводиться несколько конкретных примеров, один из которых уже описан в первой части Стратегии.

 

Таким образом можно уже сделать промежуточный вывод о том, что под Новую Стратегию разработки программных средств анализа безопасности АЭС подведен вполне работоспособный базис.

 

 

 
Связанные ссылки
· Больше про Безопасность и чрезвычайные ситуации
· Новость от Proatom


Самая читаемая статья: Безопасность и чрезвычайные ситуации:
О предупреждении аварий на сложном объекте

Рейтинг статьи
Средняя оценка работы автора: 0
Ответов: 0

Проголосуйте, пожалуйста, за работу автора:

Отлично
Очень хорошо
Хорошо
Нормально
Плохо

опции

 Напечатать текущую страницу Напечатать текущую страницу

"Авторизация" | Создать Акаунт | 26 Комментарии | Поиск в дискуссии
Спасибо за проявленный интерес

Re: Программно-методический аппарат для Новой стратегии (Всего: 0)
от Гость на 30/01/2023
Всё-таки историческая роль Катковского в отношении растраты советского запаса крылатых ракет в не-ядерном варианте, по объектам энергетики Украины - масштабнее, чем вся его профессиональная деятельность за пол-века.
Раньше бывало, бесятся на форумах мракобесные ура-патриоты, а случайно заглянувший серьёзный представитель НАТО ставил их на место одной короткой фразой вроде: "- Россия, где твои авианосцы?". Ведь правда: были же при СССР, хотя и очень плохонькие - тем не менее, штук восемь /из них два недостроены/. Теперь нет ни одного, учитывая что  возрастный неисправный "Адмирал Кузнецов" используется в качестве плавучей казармы/. 
Теперь смогут сказать:"- Россия, где твои крылатые ракеты?".Запас надо лет десять восстанавливать нынешними мизерными по темпу поставками промышленности - и то не до начальных цифр. Но история может не дать России столько времени. 



[ Ответить на это ]


Re: Программно-методический аппарат для Новой стратегии (Всего: 0)
от Гость на 30/01/2023
Заслуга Катковского в уничтожении 60% энергетики Украины (по данным ее президента) никогда не забудется Россией!А если вспомнить приснопамятного Арестовича, который полгода назад радовался, что последняя из 100 ракет России сбита меткими выстрелами из рогатки. то можно задаться вопросом: "Россия, где твои броненосцы?"Чем теперь победите НАТО?Металла у России совсем не осталось (ну разве только от тех 6000 укропных танков, ржавеющих в степях и лесах древней нэзалэжной!
А вот поставят еще 1000 танков немцы с пиндосами, то подорвут вашу металлургию лет этак на 100, да и газу чтобы резать металлолом у вас не хватит!


[
Ответить на это ]


Re: Программно-методический аппарат для Новой стратегии (Всего: 0)
от Гость на 31/01/2023
Россию спасет искусственный интеллект! Естественного очень не хватает. Ведь только Катковский придумал бомбить украинскую энергетику, а ему помогли ИНСы )) Теперь вот Новая Стратегия разработки программных средств. Пора. К звездам )


[ Ответить на это ]


Re: Программно-методический аппарат для Новой стратегии (Всего: 0)
от Гость на 31/01/2023
Часто на проатоме, когда не хватает интеллекта (ни естественного, ни искусственного) начинают обсуждать не тему поста, а личность автора или вообще политику президента, правительства и цены на водку с/без закуски!
Уважаемые участники проатома, давайте пить дружно!


[
Ответить на это ]


Re: Программно-методический аппарат для Новой стратегии (Всего: 0)
от Гость на 31/01/2023
Часто на проатоме, когда не хватает интеллекта (ни естественного, ни искусственного) начинают обсуждать не тему поста, а личность автора или вообще политику президента, правительства и цены на водку с/без закуски!
Уважаемые участники проатома, давайте пить дружно!


[
Ответить на это ]


Re: Программно-методический аппарат для Новой стратегии (Всего: 0)
от Гость на 31/01/2023
31 января 1865 года Дмитрий Иванович Менделеев защитил свою докторскую на тему «О соединении спирта с водой». Именно этот день официально считается днем рождения водки.


[
Ответить на это ]


Re: Программно-методический аппарат для Новой стратегии (Всего: 0)
от Гость на 31/01/2023
Согласно ПБЯ  ядерная безопасность РУ и АС определяется техническим совершенством проектов. Позволят ли ИНС повысить это техническое совершенство? По-моему, так вряд ли. Имеем, например, прецедент влезания в проекты ВАБ-овцев. Сильно что-то усовершенствовалось? Покажите, что. Зато затраты на проектирование выросли существенно. При этом появились нормативные критерии и их уже не выгнать. Если бы всякий такой инструмент был опциональным и удобным для конструктора, то кто бы возражал? На чем Катковский собрался обучать свою ИНС? Судя по публикациям, на расчетах, которые и естественный-то далеко не всегда правильно понимает.


[ Ответить на это ]


Re: Программно-методический аппарат для Новой стратегии (Всего: 0)
от Гость на 31/01/2023
В своей статье "О соответствии требованиям МАГАТЭ кодов RELAP‑5 и Athlet" (см. Атомная стратегия №172 2021г.) я уже писал о новых эффектах применения ИНС. Напр. ИНС точно указали в методиках используемых расчетных схемах места нарушения законов сохранения - стыки и разветвления разнородных элементов (типа входов/выходов ГЦТ изв корпус реактора).
Аналогично была "поймана за руку" применяемая в кодах формула расчета теплоотдачи и режимов течения в U-образных трубах ПГ, которые в методиках считались как прямые.В следующих статьях по развитию "Стратегии..." я приведу конкретные реализации усовершенствования методик расчета течения в непрямых каналах.
Что касается ВАБ, здесь появилось достаточно много работ по применению ИНС вместо традиционных методик типа ДО.
Позже я и об этом напишу. Всему свое время. 


[
Ответить на это ]


Re: Программно-методический аппарат для Новой стратегии (Всего: 0)
от Гость на 31/01/2023
Аналогично была "поймана за руку"... При обсуждении статьи на проатоме "рука" куда-то пропала. Теперь вылезла вновь.


[
Ответить на это ]


Re: Программно-методический аппарат для Новой стратегии (Всего: 0)
от Гость на 31/01/2023
"рука" куда-то пропала 
Это "рука" - у кого надо "рука"!


[
Ответить на это ]


Re: Программно-методический аппарат для Новой стратегии (Всего: 0)
от Гость на 31/01/2023
Что касается ВАБ, здесь появилось достаточно много работ по применению ИНС вместо традиционных методик типа ДО.
Позже я и об этом напишу. Всему свое время.  .
..   ??? Что такое ВАБ известно. А что же такое ДО ???


[ Ответить на это ]


Re: Программно-методический аппарат для Новой стратегии (Всего: 0)
от Гость на 31/01/2023
ДО - ТАК КЛИЧУТ У НАС Free Fault Tree Analysis


[
Ответить на это ]


Re: Программно-методический аппарат для Новой стратегии (Всего: 0)
от Гость на 01/02/2023
МОСКВА, 31 янв - РИА Новости. Президент России Владимир Путин поручил до сентября внести в нацпроекты и госпрограммы изменения, предусматривающие внедрение ИИ во всех отраслях экономики и соцсферы, соответствующее  поручение [kremlin.ru] опубликовано на сайте Кремля."Правительству Российской Федерации: обеспечить внесение в национальные проекты и государственные программы Российской Федерации изменений, предусматривающих внедрение технологий искусственного интеллекта в каждой отрасли экономики и социальной сферы", - говорится в тексте поручения.Поручение необходимо выполнить до 1 сентября 2023 года.


[
Ответить на это ]


Re: Программно-методический аппарат для Новой стратегии (Всего: 0)
от Гость на 01/02/2023
....до 1 сентября 2023 года... – Во, блин! Настоящие кондовые совки. Опять развитие будем осуществлять командно-административным методом. Вскоре будут гулаги для усиления прогресса. Путинизм – это даже не социализм, это нечто более архаичное. 


[
Ответить на это ]


Re: Программно-методический аппарат для Новой стратегии (Всего: 0)
от Гость на 02/02/2023
Путинизм – это даже не социализм, это нечто более архаичное. 

Как писалось выше (см.):
".....Часто на проатоме, когда не хватает интеллекта (ни естественного, ни искусственного) начинают обсуждать не тему поста, а личность автора или вообще политику президента, правительства и цены на водку с/без закуски!
Уважаемые участники проатома, давайте пить дружно!".....


Очевидно, что призыв "пить дружно" некоторых уже довел до "белочки".
Конечно, понятно что чувство скорого конца укропии и "внутренней контры" и не до того доведет, но здравомыслящие люди в России преобладают и разум не пропили!

Вот и Катковский давно пытается такой пример здравомыслия показать.
И не по указу президента, как показывают его публикации, а с большим опережением.
Больших успехов ему на этом пути! 



[
Ответить на это ]


Re: Программно-методический аппарат для Новой стратегии (Всего: 0)
от Гость на 03/02/2023
Во, чучело! А интернет, которым ты воспользовался, чтобы обнародовать свои глубокие мысли, невидимая рука рынка сотворила?


[
Ответить на это ]


Re: Программно-методический аппарат для Новой стратегии (Всего: 0)
от Гость на 02/02/2023
Цитата: "Заслуга Катковского в уничтожении 60% энергетики Украины (по данным ее президента) никогда не забудется Россией!"

На военные события это никак не влияет, так как зарядить смартфоны для связи через интернет - Украинцы всегда могут от дизель-генераторов. 

Бомбардировки только озлобляют население Украины против России, а засчёт картинок руин и разрушений в  теленовостях - перед всем миром Россия предстаёт  в облике дикарей и варваров. 

Кроме того:
 при любом исходе войны от бомбардировок убыток.
В случае победы - РФ станет владельцем руин которые сама же разбомбила.

В случае поражения либо "ничьей", когда руины останутся территорией про-Западной Украины, за них Россия будет платить компенсации и репарации: хорошо ещё если по сооотношению 1:1 к стоимости разрушенных объектов. 





[ Ответить на это ]


Re: Программно-методический аппарат для Новой стратегии (Всего: 0)
от Гость на 02/02/2023
Главное достояние укропии - земля! Это уже премиальный актив в войне!
Второй актив - энергетика (уголь и АЭС).
Так что руины старых домиков - просто материал для засыпки оврагов.


[
Ответить на это ]


Re: Программно-методический аппарат для Новой стратегии (Всего: 0)
от Гость на 03/02/2023
А дизель-генераторы будут крутить пердячим паром.


[
Ответить на это ]


Re: Программно-методический аппарат для Новой стратегии (Всего: 0)
от Гость на 03/02/2023
Вот Катковский опять нагоняет милитаризм даже в его нейронных сетях:
например, определить, на каком кадре изображен Танк, а на каком — Бронетранспортер
А что, нельзя примеры из природы привести?


[
Ответить на это ]


Re: Программно-методический аппарат для Новой стратегии (Всего: 0)
от Гость на 03/02/2023
Нейросети для распознавания очень хорошо применимы для программирования ПЛИС (FPGA). Получается компактный чип с очень высоким быстродействием!
Если представить себе дрон с оптическим распознаванием целей на поле боя, то самонаведение без участия оператора повышает как надежность (нельзя вмешаться в управление дроном), так и скорость принятия решения.
Очень надеюсь, что скоро такие дроны появятся в зоне СВО.
С уважением к Проатому, Катковский Е.А.


[
Ответить на это ]


Re: Программно-методический аппарат для Новой стратегии (Всего: 0)
от Гость на 03/02/2023
Познания в военной технике и наведении просто поражают!


[
Ответить на это ]


Re: Программно-методический аппарат для Новой стратегии (Всего: 0)
от Гость на 08/02/2023
Вот тут в соседней теме про олимпиаду матмоделирования есть. Студенты без нас и без ИНС всё смоделируют и все проблемы порешают. А мы на дачи огурцы выращивать и потом солить((((((((((((((((((((((


[ Ответить на это ]


Re: Программно-методический аппарат для Новой стратегии (Всего: 0)
от Гость на 09/02/2023
Олимпиаду - в молодежь, стариков - на фазенды!
"Jedem das Seine" было было написано над воротами Бухенвальда!


[
Ответить на это ]


Re: Программно-методический аппарат для Новой стратегии (Всего: 0)
от Гость на 11/02/2023
Катковский со своим интеллектом весь на бомбежке Украины. Поэтому острая необходимость в искусственном)))


[ Ответить на это ]


Re: Программно-методический аппарат для Новой стратегии (Всего: 0)
от Гость на 12/02/2023
Вот и червивое укропное семя проросло на Проатоме!  Надо бы его "атомным гербицидом" полить!


[
Ответить на это ]






Информационное агентство «ПРоАтом», Санкт-Петербург. Тел.:+7(921)9589004
E-mail: info@proatom.ru, Разрешение на перепечатку.
За содержание публикуемых в журнале информационных и рекламных материалов ответственность несут авторы. Редакция предоставляет возможность высказаться по существу, однако имеет свое представление о проблемах, которое не всегда совпадает с мнением авторов Открытие страницы: 0.15 секунды
Рейтинг@Mail.ru