Ивахненко Алексей Григорьевич, Мюллер Йоганн-Адольф
САМООРГАНИЗАЦИЯ ПРОГНОЗИРУЮЩИХ МОДЕЛЕЙОглавление
Предисловие
Глава 1. Математические методы прогнозирования
1.1. ПРОГНОЗ И МЕТОДЫ
ПРОГНОЗИРОВАНИЯ _12
1.1.1. Задача прогнозирования
1.1.2. Постановка задачи прогнозирования в терминах теории автоматического управления
1.1.3. Постановка задачи прогнозирования в терминах теории информации
1.1.4. Количественные и качественные прогнозы
1.1.5. Краткосрочный и долгосрочный прогнозы
1.1.6. Экспериментальные методы прогнозирования
1.1.7. Прогнозирование в естественных науках
1.1.8 Требуемая априорная информация
1.2. ЭВРИСТИЧЕСКАЯ САМООРГАНИЗАЦИЯ _24
1.3. ДРУГИЕ ПРИМЕНЕНИЯ ТЕРМИНА "САМООРГАНИЗАЦИЯ" _26
Глава 2. Основные принципы самоорганизации моделей
2.1 САМООРГАНИЗАЦИЯ МАТЕМАТИЧЕСКИХ МОДЕЛЕЙ _27
2.1.1. Задачи интерполяции
2.1.2. Генерация моделей-претендентов с различной сложностью структуры
2.1.3. Принципы, на которых основаны алгоритмы самоорганизации
2.1.4. Выбор модели оптимальной сложности
2.1.5. Самоорганизация и использование априорной информации
2.1.6. Область применения моделей, получаемых при помощи самоорганизации
2.1.7. Устранение вредных признаков (или факторов) при помощи применения алгоритмов самоорганизации
2.1.8. Проверка адекватности моделей
2.2 АЛГОРИТМЫ САМООРГАНИЗАЦИИ МОДЕЛЕЙ _42
2.2.1. Основная структура алгоритмов самоорганизации математических моделей
2.2.2. Однорядные (комбинаторные) алгоритмы МГУА
2.2.3. Многорядные алгоритмы МГУА
2.2.4. Последовательное выделение трендов с проверкой стационарности остатка
2.3. ВЫБОР ВИДА ОПОРНЫХ ФУНКЦИЙ И КЛАССА УРАВНЕНИЙ _65
2.3.1. Виды математических описаний
2.3.2. Выбор полных и частных описаний
2.3.3. Опорные функции МГУА
2.4. КРИТЕРИИ СЕЛЕКЦИИ - ЯЗЫК ОБЩЕНИЯ ЧЕЛОВЕКА И ЭВМ _72
2.4.1. Выбор критерия селекции по его словесной формулировке
2.4.2. Проблема остроты выбора модели
2.4.3. Критерий регулярности Δ2 (В)
2.4.4. Критерий минимума смещения (непротиворечивости) модели nсм2
2.4.5. Критерий для малых выборок
2.4.6. Критерий точности краткосрочного прогноза
2.4.7. Критерий баланса
2.4.8. Несколько других критериев
2.4.9. Информационный критерий
2.4.10. Комбинированные критерии
2.4.11. Последовательное применение (иерархия) критериев
2.5. СПОСОБЫ ОБРАЗОВАНИЯ КРИТЕРИЯ РЕГУЛЯРНОСТИ _87
2.5.1. Нормирование переменных
2.5.2. Способы разделения таблицы данных на части
2.5.3. Оптимальное разделение таблицы данных на части
2.6. ОСНОВНЫЕ ПОЛОЖЕНИЯ ТЕОРИИ МГУА _93
2.6.1. Принцип самоорганизации
2.6.2. Теоремы о минимуме точек
2.6.3. О вырождении информационной матрицы и об ошибке многорядности
2.6.4. О помехоустойчивости самоорганизации моделей
2.6.5. Теорема о невозрастании среднеквадратичной ошибки, измеряемой на обучающей последовательности
2.6.6. Самоорганизация модели при неполном информационном базисе
2.6.7. Имитационные методы моделирования и самоорганизация моделей
2.6.8. Помехоустойчивость критериев и алгоритмов МГУА.
Глава 3. Идентификация и краткосрочный прогноз на основе самоорганизации моделей
3.1. ФИЗИЧЕСКИЕ И НЕФИЗИЧЕСКИЕ МОДЕЛИ _104
3.1.1. Самоорганизация физических моделей
3.1.2. Самоорганизация нефизических прогнозирующих моделей
3.1.3. Определение оптимального числа факторов
3.2. САМООРГАНИЗАЦИЯ СТАТИЧЕСКИХ МОДЕЛЕЙ _109
3.2.1. Алгебраические модели
3.2.2. Увеличение таблицы исходных данных при помощи объединения нескольких объектов в однородные классы
3.2.3. Структурная идентификация
3.2.4. Системы с переменными коэффициентами
3.3. САМООРГАНИЗАЦИЯ ДИНАМИЧЕСКИХ МОДЕЛЕЙ С СОСРЕДОТОЧЕННЫМИ ПАРАМЕТРАМИ _126
3.3.1. Модели объектов динамических систем
3.3.2. Самоорганизация моделей в виде полиномов Колмогорова-Габора
3.3.3. Самоорганизация разностных уравнений
3.3.4. Самоорганизация моделей циклических процессов
3.4. САМООРГАНИЗАЦИЯ ДИНАМИЧЕСКИХ МОДЕЛЕЙ ДЛЯ ОБЪЕКТОВ С РАСПРЕДЕЛЕННЫМИ
ПАРАМЕТРАМИ _150
3.4.1. Моделирование физических полей
3.4.2. Разностные аналоги дифференциальных уравнений физических полей
3.4.3. Обучение разностных шаблонов перемещением по всей площади таблицы данных и по вертикали
3.4.4. Различные подходы к построению моделей
3.5. ОБЪЕКТИВНЫЙ СИСТЕМНЫЙ АНАЛИЗ (ОСА) ДЛЯ ИДЕНТИФИКАЦИИ ОБЪЕКТА И КРАТКОСРОЧНОГО ПРОГНОЗА _165
3.5.1. Обобщенный язык диалога как средство уменьшения степени участия человека в решении задач системного анализа, прогноза и управления
3.5.2. Обычный (субъективный) системный анализ
3.5.3. Самоорганизация модели оптимальной сложности в виде одного уравнения
3.5.4. Самоорганизация модели оптимальной сложности в виде системы уравнений (ОСА)
3.5.5. Разделение выходных переменных по степени экзогенности для восстановления закономерностей объекта моделирования
3.5.6. Гармонический критерий экзогенности переменных
3.5.7. МГУА - метод по принципу невода
3.6. ПРЯМОЕ И ОБРАТНОЕ ПРЕОБРАЗОВАНИЕ ОДНО- И ДВУХМЕРНЫХ СПЕКТРАЛЬНЫХ ФУНКЦИЙ _181
3.6.1. Самоорганизация безразмерных разностных моделей тренда на основе спектрального анализа
3.6.2. Прямое и обратное преобразование двухмерных корреляционных функций для экстраполяции полей.
Глава 4. Самоорганизация моделей для долгосрочного прогноза
4.1. ЗАДАЧА ДОЛГОСРОЧНОГО ПРОГНОЗИРОВАНИЯ _191
4.1.1. Постановка задачи
4.1.2. Особенности долгосрочного количественного прогноза
4.1.3. Время упреждения одноуровневого прогноза
4.2. ПРОГНОЗИРОВАНИЕ ПО ИНВАРИАНТУ И КРИТЕРИЮ БАЛАНСА _193
4.2.1. Интервал корреляции как мера степени размытости математического языка моделирования
4.2.2. Различие моделей нижнего и верхнего уровней
4.3. АЛГОРИТМЫ ДОЛГОСРОЧНОГО КОЛИЧЕСТВЕННОГО ПРОГНОЗА _196
4.3.1. Одноуровневый гармонический алгоритм долгосрочного прогноза циклических процессов
4.3.2. Двухуровневые алгоритмы долгосрочного прогноза
4.3.3. Этапы самоорганизации двухуровневых долгосрочных количественных прогнозов
4.4. АЛГОРИТМЫ ДОЛГОСРОЧНОГО КОЛИЧЕСТВЕННОГО ПРОГНОЗА ПО ИНВАРИАНТАМ (ОДНОУРОВНЕВЫЕ) _203
4.4.1. Два способа увеличения времени упреждения прогнозов
4.4.2. Краткие сведения из теории инвариантов
4.4.3. Спектральный анализ экосистемы оз. Байкал для выделения гармонического тренда и поиска инвариантов
4.4.4. Анализ результатов и выбор числа гармоник тренда
4.4.5. Оптимальный шаг дискретизации оси времени для описания тренда при помощи безразмерных уравнений
4.4.6. Долгосрочный количественный прогноз базисных переменных по инварианту
4.5. ТИПОВАЯ ПОСЛЕДОВАТЕЛЬНОСТЬ ОПЕРАЦИЙ МАТЕМАТИЧЕСКОЙ ОБРАБОТКИ ДАННЫХ ДЛЯ
ИДЕНТИФИКАЦИИ И ПРОГНОЗА _215
4.5.1. Последовательность операций для идентификации и краткосрочного прогноза
4.5.2. Последовательность операций для долгосрочного прогноза.
Список литературы _219
ПРЕДИСЛОВИЕ
Книга является результатом совместных исследований, выполненных в СССР и ГДР в 1977-1981 гг., в области разработки и применения новых методов математическою моделирования сложных систем, называемых методами самоорганизации моделей. В ней отражены исследования, в которых принимали участие как авторы книги и руководимые ими научные коллективы, так и многие другие ученые - авторы научных статей, опубликованных в СССР и ГДР. Появление книги свидетельствует о плодотворности сотрудничества и глубоком взаимопонимании, достигнутом в процессе создания книги, и большой взаимной пользе научных контактов. Самоорганизация математических моделей по методу группового учета аргумента (МГУА) была предложена в конце шестидесятых годов в Институте кибернетики АН УССР [25]. Метод МГУА нашел применение как в Советском Союзе, так и за рубежом. В ГДР развитие теории и разработка алгоритмов и программ МГУА принадлежит Й. А. Мюллеру, особенно в области экономики. Литература по указанному новому методу моделирования имеется главным образом на украинском и русском языках. Это несколько ограничивает круг читателей, поэтому совместное издание данной книги на немецком и русском языках несомненно будет полезным для распространения метода.
Целью настоящей монографии является расширение круга лиц, исследующих сложные объекты для принятия решений об управлении и использующих при этом методы самоорганизации моделей (в первую очередь,- круга инженеров и экономистов). Они найдут в данной книге новые материалы с указанием наиболее важных источников информации для практического использования.
Одной из важнейших задач, стоящих перед кибернетикой, является моделирование сложных систем на основе наблюдения их взаимодействия с окружающим миром. Моделирование необходимо для того, чтобы узнать структуру и функции сложного объекта (задача идентификации) и определить соответствующие средства активного воздействия на него ^задача управления) или, если мы не располагаем такими средствами в полной мере, чтобы узнать, что можно ожидать от данного объекта в будущем (задача прогнозирования или экстраполяции).
При долгосрочном прогнозе приходится сталкиваться с условиями, когда необходим учет возможных качественных изменений. Появление новых воздействий и помех, новых структур на интервале прогноза становится более вероятным, чем при краткосрочном прогнозе. Лишь в этом периоде времени вследствие динамики рассматриваемой системы вступают в силу принятые ранее решения по управлению и т. д. Однако задача долгосрочного прогноза не только значительно более трудна, чем задача идентификации и краткосрочного прогноза, но она более важна практически Исследования долгосрочных последствий имеют большое значение, особенно в сложных экологических, экономических, социальных и других системах.
Интерес представляет не столько прогноз качественных показателей, сколько количественное (интервальное) прогнозирование процессов, при котором указываются уровни, достигаемые прогнозируемой величиной. Задача количественного прогноза при соответствующей сложности исследуемой системы является исключительно сложной и, как показывают результаты различных исследований, она до сих пор в достаточной степени не решена. Обычно оказывается, что для решения такой задачи только качественных представлений человека недостаточно.
Долгосрочные прогнозы, основанные на обработке мнений экспертов, на практике подтверждались далеко не всегда. Оказалось, что эксперты могут решать достаточно хорошо лишь сравнительно простые задачи краткосрочных и качественных долгосрочных прогнозов. Примером могут служить различия мнений экспертов о стратегии, пригодной для сохранения экологической системы оз. Байкал [14], а также о характере изменения климата Земли [8]. С ростом размерности и сложности структуры объекта одни лишь интуитивные подходы недостаточны.
Широко распространенный субъективный системный анализ и имитационное моделирование основаны на дедуктивном подходе и требуют глубокого изучения моделируемых объектов для развития теоретических представлений автора модели и накопления достаточного объема априорной информации. При этом уровень знаний об объекте моделирования должен быть настолько высоким, чтобы можно было составить достоверные математические уравнения, описывающие все элементы, и выбрать оптимальную область моделирования (число уравнений). К сожалению, мы не можем достичь такого уровня знаний во многих областях, в частности, в социологии, биологии, экологии и других науках о природе и обществе Таким образом, при имитационных методах моделирования требуются глубокое изучение объекта моделирования и большой объем априорной информации при высоком ее качестве. Так, часто требуются данные при низком уровне помех, нормальное распределение отклонений, слишком большие выборки данных и т.п.
Методы самоорганизации математических моделей, представленные МГУА, в некоторой степени свободны от таких жестких требований, так как, будучи основаны на переборе вариантов по внешним критериям, они как бы предоставляют право самой вычислительной машине найти требуемую информацию на основе обработки имеющихся (часто весьма коротких) выборок данных Особенность МГУА состоит в том, что этот индуктивный метод обеспечивает объективный характер выбора модели или системы моделей. Автору модели при этом достаточно указать только, каким внешним критериям и какой последовательности их применения должна удовлетворять модель. Многокритериальный выбор модели (или применение некоторого комбинированного критерия) необходим для регуляризации, т е. для однозначности выбора и повышения его помехоустойчивости. В целом МГУА решает задачу помехоустойчивого объективного выбора модели оптимальной сложности при помощи перебора вариантов по заданному ансамблю (или иерархии) внешних критериев, указываемых автором модели.
Положение в науке о моделировании нельзя признать удовлетворительным: нетривиальных моделей познавательного типа мало, а моделей для долгосрочного прогноза просто нет. Метод математических моделей используется в экономике уже почти сто лет, но он не сыграл сколько-нибудь значительной роли в экономических исследованиях [58]. То же можно сказать и о многих других направлениях науки. В условиях, когда жизнь ставит перед нами все более сложные задачи моделирования, нужно развивать и объединять все имеющиеся методы моделирования в единый комбинированный метод, не забывая и возможностей МГУА.
При этом не следует делать слишком поспешных выводов о непригодности того или иного метода по одной или двум попыткам его применения. Практика показывает, что такие меры, как выбор алгоритма МГУА, расширение исходного множества переменных, предлагаемых машине (в частности, использование приращений и сумм), перебор множества опорных функций и классов уравнений, как правило, всегда позволяют получать достаточно точные результаты. Зная общие приемы, с помощью МГУА всегда нужно экспериментировать.
Методы самоорганизации позволяют получить модели, на которых можно смело экспериментировать (что не всегда возможно на реальном объекте), и тем самым осуществить объективный (не зависящий от представлений автора) системный анализ и идентификацию сложных объектов, способствуя образованию правильного общественного понимания существа происходящих процессов.
Дальнейшее развитие теории, методов и алгоритмов самоорганизации моделей позволит получить точные долгосрочные количественные прогнозы для экономики, метеорологии, климатологии, гидрологии, экологии и других важных областей науки и производства.
Авторы книги надеются, что методы самоорганизации найдут широкое применение для решения разнообразных задач.