02 июля 2015

Смесь аппроксимаций

Введение

На практике достаточно часто встречается ситуация, когда глобальная аппроксимационная модель [2,3] не может обеспечить достаточно точное моделирование рассматриваемого физического процесса (представленного некоторой зависимостью типа ”вход/выход”) по следующим причинам:

  • Моделируемая зависимость пространственно неоднородна;
  • Входные вектора распределены неоднородно в пространстве дизайна и образуют кластеры;
  • Обучающая выборка имеет большой размер - до миллионов точек, так что стандартные методы вычислительно слишком трудоемки для обработки данных такого размера.

Ситуация, когда аппроксимируемая зависимость неоднородна достаточно часто встречается на практике, например, в механике при моделировании и подсчете мод потери устойчивости (см. [1,4]). В этом случае зависимость может иметь разрывы и разрывы в производных, что затрудняет построение точной аппроксимационной модели.

В случае, если обучающие данные неоднородны (например, множество входных векторов формирует некоторые кластеры в пространстве дизайна), глобальная аппроксимационная модель может не обеспечить достаточной точности аппроксимации, даже если исходная зависимость достаточно гладкая. Например, в случае кластеризованных входных данных в регионах пространства дизайна между областями, соответствующими кластерам выборки, нет достаточного количества обучающих данных, по этой причине глобальная нелинейная аппроксимационная модель может иметь артефакты в этих регионах.

Довольно естественным решением указанных выше затруднений будет предварительное разбиение пространства дизайна и использование смеси аппроксимаций (см. [1,3,4]). Идея состоит в том, чтобы декомпозировать пространство входных векторов на подобласти таким образом, что в каждой подобласти изменчивость моделируемой зависимости существенно ниже, чем во всем пространстве дизайна. Если аппроксимации построены в каждой подобласти, а потом гладко “склеены”, то тогда можно получить более точную аппроксимационную модель по сравнению с точностью глобальной аппроксимационной модели, построенной для всего пространства дизайна.

Другим преимуществом такого подхода является то, что разбиение исходной обучающей выборки на части и обработка каждой выборки по отдельности позволяет обрабатывать обучающие выборки большого размера, в то время как построение аппроксимационной модели сразу по всем данным обучающей выборки может быть слишком затратно как по времени, так и по вычислительным ресурсам. Разбиение же выборки на части позволяет снизить затраты на хранение выборки и на время обучения модели.

Таким образом, в общем случае аппроксимационная модель не представляется в виде одного аппроксиматора, а имеет вид смеси аппроксиматоров (Mixture of Approximators, MoA). Данный метод реализован в программном комплексе pSeven.

Пример применения

В данном разделе в качестве иллюстрации мы продемонстрируем использование метода MoA, реализованного в программном комплексе pSeven, для построения аппроксимации искуственной зависимости. Для оценки точности построенной аппроксимационной модели мы используем среднюю абсолютную ошибку.

Зависимость, которую мы хотим аппроксимировать, представляет собой двумерную разрывную функцию:

где  является функцией Хевисайда:

Ниже приведен график данной зависимости:

Figure 1: 2D discontinuous function

Рис. 1. 2D разрывная функция

Для построения аппроксимационной модели для указанной функции мы используем технику «Смесь Аппроксимаций» (Mixture of Approximators, MoA) с параметрами по умолчанию. Число кластеров выбирается автоматически в диапазоне от 2 до 10. Для того, чтобы решить данную задачу в pSeven мы выполнили следующие шаги:

1) Разработали расчетную цепочку для построения аппроксимационной модели. Расчетная цепочка приведена на рис. 2 и состоит из:

  • Двух композитных блоков для генерации обучающей и тестовой выборок;
  • Блоков построения и применения сгенерированной аппроксимационной модели.

2) Проанализировали полученные результаты и нарисовали графики построенных аппроксимационных моделей, см. рис. 3.

<

Рис 2. Расчетная цепочка для построения аппроксимационной модели

Рис 3. Анализ результатов построения аппроксимационной модели

Результаты изображены на рис. 4 и 5. Можно увидеть, что использование гладкой глобальной аппроксимационной модели в данном случае неэффективно: MAE равно 0.41 вместо 0.09 для аппроксимационной модели, построенной на основе метода MoA.

Рис. 4: Аппроксимация 2D разрывной функции гладкой глобальной аппроксимационной модели, представляющей собой регрессию на основе гауссовских процессов

Рис. 5: Аппроксимация 2D разрывной фунции с использованием метода MoA

Литература

[1] D. Bettebghor, N. Bartoli, S. Grihon, J. Morlier, and M. Samuelides. Surrogate modeling approximation using a mixture of experts based on em joint estimation. Structural and Multidisciplinary Optimization, 43:243–259, 2011.

[2] A. Forrester, A. Sobester and A. Keane. Engineering design via surrogate modelling: a practical guide. Progress in astronautics and aeronautics. J. Wiley, 2008.

[3] T. Hastie, R. Tibshirani and J. Friedman. The elements of statistical learning: data mining, inference, and prediction. Springer, 2008.

[4] Grihon S., Burnaev E.V., Belyaev M.G. and Prikhodko P.V. Surrogate Modeling of Stability Constraints for Optimization of Composite Structures // Surrogate-Based Modeling and Optimization. Engineering applications. Eds. by S. Koziel, L. Leifsson. Springer, 2013. P. 359-391.

 

Евгений Бурнаев, Научный консультант, DATADVANCE

LinkedIn
VK

Заинтересовало решение?

Нажмите, чтобы запросить бесплатную 30-дневную демоверсию.

Запросить демо