Аппроксимационная модель течения газа через штуцер#

В данном практическом руководстве представлены шаги реализации модели машинного обучения, предназначенной для аппроксимации процесса течения газа через штуцер, а также представлен способ применения ML модели на платформе REPEAT VISION.

Примечание

Если вы не обладаете базовыми навыками использования библиотеки Пневматика платформы REPEAT VISION, то ознакомьтесь с вводным уроком перед тем, как продолжить выполнение данного практического руководства.

1. Моделирование течения газа в простой трубопроводной системе#

Для того, чтобы сосредоточить внимание на процессе создания модели машинного обучения, необходимо подготовить модель простой трубопроводной системы для расчёта течения газа через штуцер. Схема необходимого проекта представлена на рисунке ниже.

../../../_images/pneumatic_system-46b98fc3.png — Простая трубопроводная система для моделирования течения газа через штуцер.#

Изображённый выше проект позволяет исследовать изменение массового расхода газа и потока энергии через штуцер - блок №14 Аппроксимационная модель (П) - при изменении параметров, приведённых в таблице ниже.

Параметр	Тип параметра	Имя глобальной переменной	Значение	Применяется к блоку
Давление в резервуаре	Граничное условие \([Па]\)	PRESS	7.5e6	Блок `№2` Резервуар (П)
Температура	Граничное условие \([^{\circ}C]\)	TEMP	20.0	Резервуары (П) `№2` и `№5`, а также участки трубопроводов (П) `№1` и `№3`

Блоки резервуаров (П) №2 и №5 обладают следующими настройками:

Свойство	Блок `№2`	Блок `№5`
Избыточное давление \([Па]\)	PRESS	5e6
Температура \([^{\circ}C]\)	TEMP	TEMP
Площадь сечения портов \([м^2]\)	0.2	0.2

Блоки участков трубопроводов (П) №1 и №3 содержат следующие настройки:

Свойство	Значение
Сжимаемость газа	Не учитывается
Длина трубы \([м]\)	5
Диаметр трубы \([м]\)	0.2
Начальная температура газа в трубе \([^{\circ}C]\)	TEMP

Другие настройки блоков №1 и №3 используются, заданными по умолчанию.

Подсказка

Допускается не учитывать сжимаемость газа при моделировании коротких участков трубопроводов.

Блок №14 отверстие (П) предназначен для моделирования штуцера в трубопроводной системе. Блок обладает следующими настройками:

Свойство	Значение
Тип отверстия	Постоянный
Площадь сечения потока вне отверстия \([м^2]\)	0.126
Площадь сечения отверстия \([м^2]\)	0.02

Другие настройки блока №14 используются, заданными по умолчанию.

Блоки датчиков давления и температуры (П) №6 и №16 измеряют параметры потока газа и обладают следующими настройками:

Свойство	Значение
Тип датчика	Абсолютный
Давление	Значение передаётся на выходной порт
Температура	Значение передаётся на выходной порт

Датчик №6 должен выводить значения давления и температуры в блоки выходных портов №18 и №19 с пользовательскими названиями pressure_1 и temperature_1 соответственно.

Датчик №16 должен выводить значения давления и температуры в блоки выходных портов №20 и №21 с пользовательскими названиями pressure_2 и temperature_2 соответственно.

Результаты расчёта потенциалов:

Давлений: pressure_1 и pressure_2,
Температур: temperature_1 и temperature_2

будут использованы в качестве входных параметров модели машинного обучения для аппроксимации массового расхода и потока энергии на штуцере - блок №14 отверстие (П) - трубопроводной системы.

Датчик №8 должен выводить значение потока энергии \([Вт]\), измеренного в отверстии (П) №14, в выходной порт №17 с пользовательским названием energy_2.

Датчик расхода (П) №7 должен выводить значение массового расхода \([кг/c]\), измеренного на участке трубопроводов (П) №3, в выходной порт №11 с пользовательским названием flowrate_2.

Результаты расчёта потоков: массового расхода flowrate_2 и потока энергии energy_2, - будут аппроксимированы моделью машинного обучения и будут выдаваться в качестве соответствующих результатов на выходных портах блока Аппроксимационная модель (П).

В проекте должны использоваться следующие настройки:

Время моделирования \([с]\)	Шаг интегрирования \([мс]\)	Шаг дискретизации \([мc]\)
1	5	100

1.1. Требование к формулированию задачи для подготовки модели машинного обучения#

Принимая во внимание требования к модели машинного обучения с целью дальнейшей интеграции на платформу REPEAT VISION для взаимодействия с блоками библиотеки Пневматика далее описывается случай формулирования задачи, в которой поток энергии energy_2 и массовый расход flowrate_2 положительно направлены от участка трубопровода (П) №1 с граничными условиями температуры temperature_1 и давления pressure_1 к участку трубопровода (П) №3 с граничными условиями температуры temperature_2 и давления pressure_2. Данный случай отдельно описан в справке блока Аппроксимационная модель (П) и выглядит следующим образом.

../../../_images/pic_flow_through_2_nodes-e95a1521.png — Расчёт потока энергии и массового расхода от узла 1 к узлу 2 аппроксимационной модели с двумя узлами.#

На схеме выше приняты следующие обозначения.

Обозначения	Описание
T₁,P₁	Узел модели с граничными условиями температуры `temperature_1` и давления `pressure_1`
T₂,P₂	Узел модели с граничными условиями температуры `temperature_2` и давления `pressure_2`
H, \(\dot{\mathbf m}\) `→`	Положительное направление потока энергии energy_2 и массового расхода flowrate_2 модели

При подготовке данных расчёта потоков энергии и массовых расходов в рамках параметрических исследований необходимо создать:

Дополнительный поток энергии energy_1, равный отрицательному значению energy_2,
Дополнительный массовый расход flowrate_1, равный отрицательному значению flowrate_2 в соответствии со схемой, приведённой выше.

2. Подготовка к работе#

Примечание

Вы можете скачать файл Jupyter ноутбука, а также данные для обучения ML модели, если хотите быстро выполнить данный урок на вашем персональном компьютере.

Также вы можете скачать ONNX файл ML модели и сразу использовать её в проекте на платформе REPEAT VISION с помощью блока Аппроксимационная модель (П).

Вся последующая работа подготовки данных и создания ML модели должна выполняться на локальной машине с использованием фреймворка PyTorch. Работу предлагается выполнять в Jupyter.

Перед началом работы необходимо установить:

Python пакет repeat, необходимый для взаимодействия с платформой REPEAT VISION;
Пакет repeat_onnx для подготовки дополнительного описания ML модели с целью её интеграции на платформу REPEAT VISION через блок Аппроксимационная модель (П);
Пакеты для работы с данными и создания ML модели: PyTorch, Scikit-learn, Pandas, ONNX, Matplotlib, tqdm, Jupyter.

В командной строке вашего компьютера необходимо выполнить следующие команды и продолжить работу в Jupyter ноутбуке.

Bash

mkdir ml_gas_flow
cd ml_gas_flow
python -m venv repeat_ml.
source repeat_ml/bin/activate
python -m pip install repeat repeat_onnx torch scikit-learn pandas onnx matplotlib tqdm jupyterlab ipywidgets
jupyter lab

PowerShell

mkdir ml_gas_flow
cd ml_gas_flow
python -m venv repeat_ml.
repeat_ml\Scripts\Activate.ps1
python -m pip install repeat repeat_onnx torch scikit-learn pandas onnx matplotlib tqdm jupyterlab ipywidgets
jupyter lab

См. также

Более подробную информацию о работе с Python на локальной машине для взаимодействия с платформой REPEAT VISION вы можете найти в наших уроках:

В первой ячейке вашего ноутбука выполните импорт Python пакетов, необходимых для подготовки данных и обработки результатов расчётов, а также Python пакет repeat с модулем параметрических исследований.

import matplotlib.pyplot as plt
import numpy as np
import onnx
import pandas as pd
import repeat as rp
import repeat.parametric_study as ps
import repeat_onnx as rx
import torch
from pprint import pp
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from torch import nn 
from torch import optim
from torch.optim.lr_scheduler import ReduceLROnPlateau
from tqdm.notebook import tqdm

3. Подготовка описания модели#

В соответствии с необходимой схемой ML модели в следующей ячейке создаётся описание пневматической модели машинного обучения с помощью пакета repeat_onnx для обеспечения последующей интеграции ML модели на платформу REPEAT VISION через блок Аппроксимационная модель (П).

Описание ML модели#

node_1 = rx.NodeP(
    "Input_unit", "pressure_1", "temperature_1", "flowrate_1", "energy_1"
)
node_2 = rx.NodeP(
    "Output_unit", "pressure_2", "temperature_2","flowrate_2", "energy_2"
)
model_info = rx.ModelP([node_1, node_2])
pp(model_info)

Строки 1-3. Создаётся описание узла №1 ML модели с помощью класса NodeP. Узлу назначается имя "Input_unit", которое будет отображаться в свойствах порта блока Аппроксимационная модель (П). Аргументам передаются имена давления и температуры "pressure_1", "temperature_1" узла модели, а также имена массового расхода и потока энергии "flowrate_1", "energy_1".
Строки 4-6. Создаётся описание узла №2 ML модели с помощью класса NodeP. Второму узлу назначается имя "Output_unit". Аргументам передаются имена потенциалов и потоков аналогично первому узлу.
Строка 7. Для описания пневматической модели машинного обучения создаётся экземпляр класса ModelP, включающий список из двух узлов.

Описание ML модели model_info будет использовано на всех последующих этапах: подготовки данных, создания модели и её экспорта в нейтральный формат ONNX.

4. Подготовка данных#

Примечание

Вы можете скачать файл Jupyter ноутбука если хотите быстро выполнить этап подготовки данных на вашем персональном компьютере.

Для последующего создания модели машинного обучения, аппроксимирующей работу штуцера, необходимо подготовить набор данных (расчётных случаев), включающий:

Входные параметры ML модели

Граничные условия на штуцере трубопроводной системы:

Давления:
- "pressure_1"
- "pressure_2"
Температуры:
- "temperature_1"
- "temperature_2"

Выходные параметры ML модели

Результаты вычислений для каждого расчётного случая:

Массовый расход газа:
- "flowrate_1"
- "flowrate_2"
Поток энергии:
- "energy_1"
- "energy_2"

Для подготовки необходимого набора данных потребуются алгоритмы выполнения параметрических исследований на модели течения газа в трубопроводной системе.

Далее кратко описаны основные шаги расчёта набора массовых расходов, и потоков энергии на сетке параметров давлений и температур модели штуцера.

Сначала требуется настроить подключение к платформе REPEAT и выбрать модель для выполнения параметрических исследований.

user = rp.User(
    "enter a unique API key from REPEAT VISION user cabinet instead of this comment"
)
app = rp.Application(user)
# enter a project ID from REPEAT VISION application instead of 12345
project = 12345
t_interval = rp.TimeInterval(start = 900, end = 1000)
model = app.get_exploration_model(project, t_interval)
print(model, model.existing_variables, sep = "\n")

Для подготовки набора значений исходных данных в следующей ячейке создайте словарь variable_bounds и с помощью функции get_latin_hypercube создайте разреженный набор значений для глобальных переменных PRESS и TEMP модели трубопроводной системы.

variable_bounds = dict(
        PRESS = [6.5e6, 9.5e6],
        TEMP  = [10., 30.],
    )
input_data = ps.get_latin_hypercube(
    model, 
    variable_bounds,
    seed = 42,
    sample_size = 800,
    strength = 1,
    optimization = "lloyd"
)
figure, axis = plt.subplots(dpi = 100)
input_data.plot.scatter(x = "TEMP", y = "PRESS", c = "tab:green", marker = ".", ax = axis)
axis.set_xlabel("TEMP $[^{\circ}C]$")
axis.set_ylabel("PRESS $[Pa]$")

В результате выполнения кода ячейки, приведённой выше, будет подготовлена таблица значений исходных данных input_data, а также будет выведен график распределения разреженного набора значений параметров давлений и температур.

../../../_images/param_study_scatter_plot-475863e0.png — График распределения разреженного набора значений параметров давлений и температур.#

См. также

Подробное практическое руководство выполнения параметрических исследований приведено в соответствующем разделе документации REPEAT VISION.

На следующем шаге необходимо создать общую таблицу design_cases, пригодную для сохранения всех расчётных случаев, содержащих граничные условия по давлениям и температурам, имена которых содержатся в списке model_info.potentials, а также значения результатов расчёта потоков энергии и массовых расходов газа для узла №2, имена которых содержатся в списке node_2.flows.

result_names = [*model_info.potentials, *node_2.flows]
design_cases = input_data.copy(deep = True)
for param in result_names:
    design_cases[param] = pd.NA

design_cases.head()

Далее требуется выполнить цикл расчётов модели на платформе REPEAT VISION. Для этого создаётся и выполняется функция solve в следующей ячейке.

def solve(input_data, design_cases):
    for case_num, variables in input_data.iterrows():
        with model as md:
            md.run(variables)
            for param in result_names:
                design_cases.loc[case_num, param] = md.get_results(param).iloc[-1]

solve(input_data, design_cases)

На следующем шаге вычисляются значения массового расхода "flowrate_1" и потока энергии "energy_1", в соответствии с требованиями к модели машинного обучения с целью дальнейшей интеграции на платформу REPEAT VISION.

design_cases[node_1.flows] = - design_cases[node_2.flows]

Подсказка

В процессе вычисления значений массового расхода "flowrate_1" и потока энергии "energy_1" в ячейке выше используется объект node_1, хранящий имена расчётных значений в аттрибуте flows, сформированный ранее при описании узла №1 ML модели.

Далее необходимо сохранить таблицу расчётных случаев design_cases на случай создания других ML моделей с использованием уже полученных результатов моделирования.

design_cases.to_csv("gas_flow_data.csv")

5. Анализ результатов расчётов#

Для отображения результатов расчётов требуется создать вспомогательную функцию трёхмерной визуализации на основе возможностей пакета matplotlib.

def plot_3d_scatter(table, column = "flowrate_2", units = "$[kg/s]$", c = "tab:blue"):
    fig = plt.figure(dpi = 200)
    ax = fig.add_subplot(projection = "3d")
    ax.scatter(
        table["pressure_2"], 
        table["temperature_2"], 
        table[column], 
        marker = ".",
        c = c
      )
    ax.view_init(azim = 240)
    ax.set_xlabel("pressure_2 $[Pa]$")
    ax.set_ylabel("temperature_2 $[^{\circ}C]$")
    ax.set_zlabel(f"{column} {units}")
    fig.savefig(f"results_{column}.png")
    plt.show()

Далее необходимо вызвать вспомогательную функцию для отображения трёхмерной зависимости выбранного потока от потенциалов. Сначала функции plot_3d_scatter передаётся только таблица расчётных случаев design_cases для отображения массового расхода flowrate_2 в зависимости от давления pressure_2 и температуры temperature_2 на выходе из штуцера.

plot_3d_scatter(design_cases)

На графике приведена зависимость массового расхода, в зависимости от давления и температуры на выходе из штуцера (блок №14 отверстие (П), узел №2 ML модели).

../../../_images/results_flowrate_2-64f06691.png — Результаты расчёта массового расхода в зависимости от давления и температуры на выходе из штуцера#

На следующем шаге вызывается вспомогательная функция plot_3d_scatter для отображения потока энергии energy_2.

plot_3d_scatter(design_cases, "energy_2", "$[W]$", "tab:orange")

../../../_images/results_energy_2-f1f3e92b.png — Результаты расчёта потока энергии в зависимости от давления и температуры на выходе из штуцера#

На графиках, приведённых выше, необходимо отметить различие порядков значений параметров модели (см. таблицу ниже).

Параметр модели	Порядок
Массовый расход газа	2
Поток энергии	7
Температура	1
Давление	6

Выводы по результатам анализа графиков

Массовый расход газа, поток энергии и температура обладают нелинейной зависимостью от давления;
Параметры модели обладают значительно различающимися порядками величин.

Сделанные выводы оказывают непосредственное влияние на выбор архитектуры модели машинного обучения, которая будет создаваться в рамках следующего раздела.

6. Предварительная обработка данных#

В рамках данного раздела будут выполнены шаги подготовки расчётных данных к процессу обучения и проверки ML модели.

Сначала необходимо создать словарь dict для хранения следующих настроек.

Ключ	Описание настройки
`"device"`	Устройство, которое будет использовано для обучения модели на вашей локальной машине
`"dtype"`	Тип используемых данных в тензорах `torch.tensor` фреймворка PyTorch в соответствии с общими требованиями к ML моделям

TENSOR_SETTINGS = {
    "device" : "cuda" if torch.cuda.is_available() else "cpu",
    "dtype" :  torch.double,
}

В следующей ячейке необходимо подготовить несколько вспомогательных функций.

def to_tensor(data) -> torch.tensor:
    return torch.tensor(data, **TENSOR_SETTINGS)

def to_column_tensor(data):
    return to_tensor(data).reshape(-1, 1)

Далее необходимо создать вспомогательную функцию get_torch_tensors для подготовки структур данных torch.tensor из набора таблиц pandas.DataFrame.

def get_torch_tensors(tables : list[pd.DataFrame]):
    total = []
    for table in tables:
        tensors = {}
        for key, values in table.items():
            tensors[key] = to_column_tensor(values.to_numpy())
        
        total.append(tensors)
    
    return total

В следующей ячейке, используя функцию train_test_split библиотеки scikit-learn, выполняется разделение ранее подготовленных данных обучающую выборку и проверочную.

potential_train, potential_test, flow_train, flow_test = train_test_split(
  design_cases[model_info.potentials], design_cases[model_info.flows], 
  test_size = 0.33, random_state = 42
)

На строке 2 ячейки кода, приведённой выше, используется следующие списки для удобства разделения данных:

Список потенциалов model_info.potentials - давления и температуры в узлах модели, ['pressure_1', 'temperature_1', 'pressure_2', 'temperature_2'];
Список потоков model_info.flows - массовые расходы и потоки энергии в узлах модели, ['flowrate_1', 'energy_1', 'flowrate_2', 'energy_2'].

Данные списки были настроены ранее при подготовке описания ML модели.

На следующем шаге с помощью ранее созданной функции get_torch_tensors выполняется подготовка структур данных torch.tensor потенциалов модели для последующего обучения и проверки ML модели.

potential_train_tensor, potential_test_tensor = get_torch_tensors(
  (potential_train, potential_test)
  )

6.1. Стандартизация данных#

Теперь необходимо выполнить шаг, основанный на результатах ранее выполненного анализа данных, в котором выявлено значительное различие порядков величин параметров модели.

На обучающей выборке потенциалов модели создаётся экземпляр класса StandardScaler библиотеки scikit-learn, для последующего вычисления среднего значения потенциалов и их среднего квадратичного отклонения.

potential_scaler = StandardScaler()
potential_scaler.fit(potential_train)

Важно

Стандартизация позволяет линейно преобразовать данные к нулевому среднему значению и единичному СКО с целью дальнейшего обеспечения сходимости решения оптимизатора при минимизации невязки, вычисляемой функцией потерь, в процессе обучения ML модели.

На следующем шаге необходимо выполнить стандартизацию потоков модели.

flow_scaler = StandardScaler()
flow_scaler.fit(flow_train)
flow_train_scaled = to_tensor(flow_scaler.transform(flow_train))
flow_test_scaled = to_tensor(flow_scaler.transform(flow_test))

На строках 3 и 4 ячейки кода, приведённой выше, выполняется стандартизация обучающей и проверочной выборок потоков модели, а также их преобразование в структур данных torch.tensor с помощью ранее созданной функции to_tensor.

Далее необходимо подготовить средние значения и СКО потенциалов и потоков модели.

summary = dict(
    potential_mean = to_tensor(potential_scaler.mean_),
    potential_scale = to_tensor(potential_scaler.scale_),
    flow_mean = to_tensor(flow_scaler.mean_),
    flow_scale = to_tensor(flow_scaler.scale_),
)

Рассчитанные выше СКО и средние значения параметров модели будут использованы далее при описании архитектуры модели машинного обучения.

7. Создание модели машинного обучения течения газа через штуцер#

На следующем шаге выполняется создание модели машинного обучения с применением фреймворка PyTorch. Для аппроксимации процесса течения газа через штуцер необходимо создать модель многослойной нейронной сети, которая выбрана ввиду нелинейности зависимостей потоков от потенциалов, выявленных в результате анализа полученных данных.

7.1. Создание метода инициализации#

Описание ML модели необходимо начать с метода инициализации класса ModelOrifice, наследующего базовый класс nn.Module нейронной сети фреймворка PyTorch.

Описание инициализации ML модели течения газа через штуцер#

class ModelOrifice(nn.Module):
    def __init__(self, potential_mean, potential_scale, flow_mean, flow_scale,
                 hidden_size = 128):
        super().__init__()
        self.common_part = nn.Sequential(
            nn.Linear(4, hidden_size),
            nn.LayerNorm(hidden_size),
            nn.Tanh(),
            nn.Linear(hidden_size, hidden_size),
            nn.LayerNorm(hidden_size),
            nn.Tanh()
        )
        self.flowrate_part = nn.Linear(hidden_size, 1, bias = False)
        self.energy_part = nn.Linear(hidden_size, 1, bias = False)
        self.potential_mean = potential_mean
        self.potential_scale = potential_scale
        self.flow_mean = flow_mean
        self.flow_scale = flow_scale

Строки 2-3. Для инициализации экземпляра класса нейронной сети ModelOrifice необходимо передать в качестве аргументов созданные ранее средние значения и СКО потенциалов и потоков модели. Также при инициализации требуется передать аргументу hidden_size количество нейронов скрытых слоёв.
Строка 5. В аттрибуте ML модели common_part создаётся последовательность из двух слоёв нейронов с помощью класса nn.Sequential. Последовательность предназначена для выполнения общих преобразований данных входных параметров модели.
Строка 6. В общем компоненте ML модели common_part первым создаётся класс линейных преобразований nn.Linear, принимающий 4 параметра (давления и температуры в двух узлах модели) и вычисляющий промежуточный результат для нейронов следующего слоя, количество которых настраивается с помощью аргумента hidden_size.
Строки 7-8. Далее в общем компоненте common_part создаётся класс nn.LayerNorm для выполнения нормализации значений параметров в первом слое нейронов. Также создаётся класс nn.Tanh для активации нейронов следующего слоя по функции гиперболического тангенса.
Строки 9-11. В общем компоненте common_part создаётся второй слой нейронов, аналогичный первому слою.
Строки 13-14. Создаются отдельные компоненты nn.Linear ML модели, коэффициенты которых настраиваются отдельно для аппроксимации массового расхода газа в методе flowrate_part, а также для расчёта потока энергии газа в методе energy_part. Методы flowrate_part и energy_part учитывают значительное различие порядков величин между данными массовых расходов газа и данными потоков энергии.
Строки 15-18. Создаются аттрибуты средних значений и СКО потенциалов и потоков модели.

7.2. Создание метода forward#

На данном этапе создаётся метод forward, определяющий порядок прохождения входных данных через сеть.

Описание метода forward класса ModelOrifice#

    def forward(self, pressure_1, temperature_1, pressure_2, temperature_2):
        x = torch.cat([pressure_1, temperature_1, pressure_2, temperature_2], 
                      dim = 1)
        x_scaled = (x - self.potential_mean) / self.potential_scale
        common_results = self.common_part(x_scaled)
        flowrate_2 = self.flowrate_part(common_results)
        energy_2 = self.energy_part(common_results)
        flowrate_1 = - flowrate_2
        energy_1 = - energy_2
        flows = torch.cat([flowrate_1, energy_1, flowrate_2, energy_2], 
                          dim = 1)
        if self.training: 
            return flows
        
        return self.postprocessing(flows)

Строка 20. Создаётся метод forward класса ModelOrifice, входными аргументами которого являются структуры torch.tensor, содержащие данные давлений и температур для двух узлов модели.
Строки 21-22. Выполняется подготовка исходных параметров. Давления и температуры двух узлов модели объединяются в общий тензор для передачи в первый слой модели. Объединение параметров выполняется по столбцам dim = 1.
Строка 23. Выполняется стандартизация потенциалов ML модели для устранения различий в порядках значений потенциалов модели.
Строка 24. Выполняется промежуточный расчёт потоков общем компоненте common_part ML модели.
Строки 25-26. Выполняется расчёт массового расхода газа и потока энергии в методах flowrate_part и energy_part соответственно для узла №2 ML модели.
Строки 27-28. Вычисляются потоки для узла №1 ML модели в соответствии с ранее выполненным формулированием задачи.
Строки 29-30. Выполняется подготовка потоков для двух узлов модели. Объединение параметров выполняется по столбцам dim = 1. Потоки объединяются в общий тензор для последующей передачи в функцию потерь или в функцию обработки результатов расчётов в зависимости от состояния модели: состояние обучения или вычисления.
Строки 31-34. В случае обучения модели значение self.training равно True и расчётные значения потоков передаются в функцию потерь. В ином случае выполняется обработка результатов расчёта потоков модели (описание данного процесса в следующем разделе).

7.3. Создание метода обработки результатов расчёта#

На заключительном этапе описания класса нейронной сети необходимо описать методы обработки результатов расчёта массового расхода газа и потока энергии для двух узлов модели. Обработка результатов расчёта потоков необходима во время непосредственной эксплуатации ML модели (Machine learning Inference) после выполнения процесса обучения ML модели.

В процессе обработки результатов расчёта выполняется преобразование стандартизованных величин потоков модели к исходному масштабу массового расхода газа и потока энергии.

Описание методов обработки результатов расчёта потоков#

    def postprocessing(self, flows):
        orig_flows = flows * self.flow_scale + self.flow_mean
        columns = range(flows.shape[1])
        
        return [self.get_column_vector(orig_flows, i) for i in columns]

    def get_column_vector(self, tensor, column):
        return tensor[:, column].reshape(-1, 1)

Строка 36. Создаётся метод postprocessing класса ModelOrifice, принимающий в качестве аргумента тензор flows, содержащий массовые расходы газа и потоки энергии для двух узлов модели.
Строка 37. Преобразуются к исходному масштабу массовые расходы газа и потоки энергии.
Строка 40. В соответствии с требованиями к структурам данных со стороны нейтрального формата ONNX и платформы REPEAT VISION тензор потоков преобразуется методом get_column_vector в список вектор-столбцов для каждого узла модели, который должен содержать массовый расход и поток энергии газа.

7.4. Весь код модели#

Для удобства использования ниже приводится весь код класса многослойной нейронной сети, предназначенной для аппроксимации процесса течения газа через штуцер.

Описание класса ModelOrifice#

class ModelOrifice(nn.Module):
    def __init__(self, potential_mean, potential_scale, flow_mean, flow_scale,
                 hidden_size = 128):
        super().__init__()
        self.common_part = nn.Sequential(
            nn.Linear(4, hidden_size),
            nn.LayerNorm(hidden_size),
            nn.Tanh(),
            nn.Linear(hidden_size, hidden_size),
            nn.LayerNorm(hidden_size),
            nn.Tanh()
        )
        self.flowrate_part = nn.Linear(hidden_size, 1, bias = False)
        self.energy_part = nn.Linear(hidden_size, 1, bias = False)
        self.potential_mean = potential_mean
        self.potential_scale = potential_scale
        self.flow_mean = flow_mean
        self.flow_scale = flow_scale
    
    def forward(self, pressure_1, temperature_1, pressure_2, temperature_2):
        x = torch.cat([pressure_1, temperature_1, pressure_2, temperature_2], 
                      dim = 1)
        x_scaled = (x - self.potential_mean) / self.potential_scale
        common_results = self.common_part(x_scaled)
        flowrate_2 = self.flowrate_part(common_results)
        energy_2 = self.energy_part(common_results)
        flowrate_1 = - flowrate_2
        energy_1 = - energy_2
        flows = torch.cat([flowrate_1, energy_1, flowrate_2, energy_2], 
                          dim = 1)
        if self.training: 
            return flows
        
        return self.postprocessing(flows)
    
    def postprocessing(self, flows):
        orig_flows = flows * self.flow_scale + self.flow_mean
        columns = range(flows.shape[1])
        
        return [self.get_column_vector(orig_flows, i) for i in columns]

    def get_column_vector(self, tensor, column):
        return tensor[:, column].reshape(-1, 1)

7.5. Описание процесса обучения ML модели#

После создания класса ModelOrifice, описывающего модель нейронной сети, необходимо настроить оптимизатор, который предназначен для определения неизвестных весов ML модели в процессе минимизации функции потерь.

Описание настройки оптимизатора для обучения ML модели#

torch.manual_seed(42)
model = ModelOrifice(hidden_size = 180, **summary).double().to(TENSOR_SETTINGS["device"])
criterion = nn.MSELoss()
optimizer = optim.AdamW(model.parameters(), lr = 1e-3, weight_decay = 1e-3)
scheduler = ReduceLROnPlateau(optimizer, "min", factor = 0.5, patience = 50) 
num_epochs = 3000
train_losses, test_losses = [], []

Строка 2. Инициализация экземпляра класса модели ModelOrifice с переводом модели в режим двойной точности методом .double() в соответствии с требованиями платформы REPEAT VISION к ML модели. Дополнительно ML модели передаётся настройка об используемом устройстве TENSOR_SETTINGS["device"] для выполнения процесса машинного обучения.
Строка 3. Инициализация функции потерь criterion, использующей среднеквадратичную ошибку в качестве критерия качества ML модели.
Строка 4. Инициализация оптимизатора AdamW. Эмпирически определяется значение настройки lr = 1e-3 (learning rate) и weight_decay = 1e-3.
Строка 5. Инициализация экземпляра класса планировщика ReduceLROnPlateau. Планировщик предназначен для уменьшения значения скорости обучения (learning rate), когда прекращается уменьшение среднеквадратичной ошибки.
Строки 6-7. Создаётся переменная num_epochs = 3000, определяющая количество эпох обучения ML модели. Так же создаются списки для сохранения значений функции потерь для обучающего и проверочного наборов данных с целью дальнейшего анализа процесса сходимости значения критерия качества ML модели.

После настройки оптимизатора далее выполняется описание цикла обучения ML модели.

Описание цикла обучения модели#

for epoch in range(num_epochs):
    model.train()
    optimizer.zero_grad()
    outputs_train = model(**potential_train_tensor)
    loss_train = criterion(outputs_train, flow_train_scaled)
    loss_train.backward()
    optimizer.step()
    model.eval()
    with torch.no_grad():
        model.train() 
        outputs_test = model(**potential_test_tensor)
        model.eval()
        loss_test = criterion(outputs_test, flow_test_scaled)
    
    scheduler.step(loss_test)
    train_losses.append(loss_train.item())
    test_losses.append(loss_test.item())

Строки 2-7. Выполняется типовая часть определения весов ML модели на обучающей выборке данных, подробное описание которого приведено в уроке Аппроксимация решения дифференциального уравнения колебаний с помощью PINN.
Строки 8-15. В режиме вычисления модели вычисляется невязка на проверочном наборе данных potential_test_tensor для последующей передачи значений loss_test в планировщик scheduler.
Строки 16-17. Выполняется сохранения значений критериев качества ML модели, вычисленных на обучающем и проверочном наборах данных.

../../../_images/ml_losses-dc7e1478.png — Значения среднеквадратичных ошибок в зависимости от эпохи обучения модели для обучающего и проверочного наборов данных#

На графиках выше приняты следующие обозначения.

Линии	Описание
Синяя линия	Зависимость среднеквадратичной ошибки от номера итерации на обучающем наборе данных
Оранжевая линия	Зависимость среднеквадратичной ошибки от номера итерации на проверочном наборе данных

7.6. Сохранение ML модели в файл ONNX#

В завершении процесса создания ML модели выполняется сохранение модели машинного обучения в нейтральный формат ONNX, используемый платформой REPEAT VISION для интеграции аппроксимационных моделей с целью их применения в структурном моделировании.

Описание настроек функции сохранения модели в формат ONNX#

onnx_file = "model_orifice.onnx"
model.eval()
torch.onnx.export(
    model,
    args = (to_column_tensor(6456249.5),
            to_column_tensor(19.912780),
            to_column_tensor(5065394.0),
            to_column_tensor(16.410051),
            ),
    f = onnx_file,
    opset_version = 17,
    input_names = model_info.potentials,
    output_names = model_info.flows,
    )

Строка 1. Создаётся строковая переменная onnx_file, содержащая имя сохраняемого файла формата ONNX, в который будет записана модель машинного обучения.
Строка 2. ML модель переводится в режим вычисления с целью расчёта параметров массового расхода газа и потока энергии в исходном масштабе.
Строка 4. Функции torch.onnx.export() первым аргументом передаётся ранее обученная модель model.
Строки 5-9. Именованному аргументу args передаются значения граничных условий давлений и температур, используемых по-умолчанию. В качестве структуры данных используется torch.tensor размерностью 1x1 с типом torch.double в соответствии с требованиями платформы REPEAT VISION к ML модели. В качестве значений по-умолчанию используется один из проверочных расчётных случаев из ранее полученного набора данных.
Строки 10. Именованному аргументу f передаётся имя сохраняемого файла формата ONNX из созданной ранее переменной onnx_file для последующего использования на платформе REPEAT VISION.
Строки 12. Именованному аргументу input_names присваивается список имён граничных условий давлений и температур. Используется список potentials из объекта model_info ранее подготовленного описания ML модели.
Строки 13. Именованному аргументу output_names передаётся список имён результатов расчёта массовых расходов и потоков энергии для двух узлов ML модели. Используется список flows из объекта model_info ранее подготовленного описания.

Далее выполняется запись необходимой информации о ML модели в нейтральный файл ONNX в соответствии с требованиями платформы REPEAT VISION к дополнительному описанию модели.

Запись дополнительного описания ML модели в ONNX файл#

properties = onnx.StringStringEntryProto()
properties.key = "repeat_contract"
properties.value = model_info.to_onnx()
model_onnx = onnx.load(onnx_file)
model_onnx.metadata_props.append(properties)
onnx.save(model_onnx, onnx_file)

Строка 1. Создаётся структура данных properties с помощью пакета onnx.
Строка 2. Аттрибуту key передаётся строковое значение ключа "repeat_contract", по которому блок Аппроксимационная модель (П) выполнит поиск необходимых настроек.
Строка 3. Аттрибуту value передаётся подготовленное ранее дополнительное описание ML модели путём вызова метода to_onnx() объекта model_info. Описание модели позволит блоку Аппроксимационная модель (П) обеспечить передачу давлений и температур в узлы ML модели, а в результате расчёта получить массовый расход и поток энергии.
Строки 4-6. Выполняется чтение файла формата ONNX с ранее сохранённой ML моделью и добавление в структуру metadata_props объекта properties. В завершении выполняется перезапись ONNX файла ML моделью, содержащей дополнительное описание.

8. Интеграция ML модели на платформу REPEAT VISION#

В завершении работы требуется загрузить файл ML модели model_orifice.onnx на платформу REPEAT VISION с помощью блока Аппроксимационная модель (П) в ранее используемый проект.

Необходимо скопировать и вставить ранее созданные блоки резервуаров (П) №2 и №5, а также участки трубопроводов (П) №1 и №3. Также необходимо добавить блок Датчик расхода (П) №29, который должен выводить значение массового расхода \([кг/c]\), измеренного на участке трубопровода (П) №25, в блок выходной порт №30. После выполненных действий трубопроводная система с блоком Аппроксимационная модель (П) должна соответствовать схеме, приведённой ниже.

../../../_images/pneumatic_system_with_ml_orifice-3b59e517.png — Трубопроводная система с блоком, аппроксимирующем процесс течения газа через штуцер.#

Весь, проект, содержащий трубопроводную систему для моделирования течения газа через штуцер, а также систему с блоком Аппроксимационная модель (П), изображён на схеме, приведённой ниже.

../../../_images/pneumatic_system_all-b1f9f5b0.png — Проект трубопроводных систем#

Необходимо сохранить данный проект с новым названием и выполнить независимое тестирование ML модели, аппроксимирующей процесс течения газа через штуцер.

9. Тестирование модели машинного обучения#

Примечание

Вы можете скачать файл Jupyter ноутбука если хотите быстро выполнить этап тестирования модели машинного обучения.

Для независимой количественной оценки качества ML модели выполняется тестирование аппроксимационной модели на платформе REPEAT VISION с использованием эталонных результатов расчёта массового расхода газа в трубопроводной системе, созданной ранее.

Процесс тестирования предлагается выполнить с помощью Python, используя ранее созданный скрипт для параметрических исследований. Его копирование и изменение приводит к программе тестирования, представленной далее.

В первой ячейке необходимо выполнить типовые действия по импорту необходимых модулей, а также необходимо создать объекты для взаимодействия с платформой REPEAT VISION.

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
import repeat as rp
import repeat.parametric_study as ps


user = rp.User(
    "enter a unique API key from REPEAT VISION user cabinet instead of this comment"
)
app = rp.Application(user)
# enter a project ID from REPEAT VISION application instead of 12345
project = 12345
app = rp.Application(user)
t_interval = rp.TimeInterval(start = 900, end = 1000)
model = app.get_exploration_model(project, t_interval)
print(model, model.existing_variables, sep = "\n")

Далее требуется создать множество значений параметров давлений и температур с помощью функции get_cartesian_product.

variable_values = dict(
    PRESS = np.linspace(6.75e6, 9.42e6, num = 21),
    TEMP = np.array([20.]),
)
input_data = ps.get_cartesian_product(model, variable_values)

Также необходимо создать общую таблицу design_cases, пригодную для сохранения всех расчётных случаев, содержащих граничные условия по температурам и давлениям, а также значения результатов расчёта массовых расходов:

"flowrate_2" - эталонные значения массового расхода в трубопроводной системе для моделирования течения газа через штуцер;
"approx_flowrate_2" - значения массового расхода, полученные в трубопроводной системе с блоком, аппроксимирующем процесс течения газа через штуцер.

result_names = ["flowrate_2", "approx_flowrate_2"]
design_cases = input_data.copy(deep = True)
for param in result_names:
    design_cases[param] = pd.NA

design_cases.head()

На следующем шаге создаётся и выполняется функция solve, которая применялась ранее при параметрических исследованиях.

def solve(input_data, design_cases):
    for case_num, variables in input_data.iterrows():
        with model as md:
            md.run(variables)
            for param in result_names:
                design_cases.loc[case_num, param] = md.get_results(param).iloc[-1]

solve(input_data, design_cases)

Далее на полученных результатах независимых расчётов вычисляется относительное отклонение аппроксимированных значений flow_approx от эталонных значений массового расхода flow_exact с помощью функции calc_relative_error.

def calc_relative_error(flow_exact, flow_approx):
    return (flow_exact - flow_approx).abs() / flow_exact * 100

design_cases["error"] = calc_relative_error(
    flow_exact = design_cases["flowrate_2"], 
    flow_approx = design_cases["approx_flowrate_2"]
    )

На следующем шаге создаётся график для сравнительного анализа результатов расчёта ML модели и эталонных результатов массового расхода.

ax = design_cases.plot(x = "PRESS", y = "flowrate_2", c = "tab:blue")
design_cases.plot.scatter(x = "PRESS", y = "approx_flowrate_2", c = "tab:red", ax = ax)
ax.set_xlabel("pressure $[Pa]$")
ax.set_ylabel("flowrate $[kg/s]$")

../../../_images/ml_test_plot-efef1c16.png — График зависимости массового расхода от давления в резервуаре.#

На графике выше приняты следующие обозначения.

Линии	Описание
Синяя линия	Зависимость массового расхода от давления в резервуаре трубопроводной системы для моделирования течения газа через штуцер
Красные точки	Зависимость аппроксимированных значений массового расхода от давления в резервуаре трубопроводной системы с интегрированной моделью машинного обучения

print(f'{design_cases["error"].max() :.3f} %')

Максимальное относительное отклонение аппроксимированных значений от эталонных значений массового расхода составляет 0.095 %. Данный результат показывает применимость алгоритмов нейронных сетей для аппроксимации моделей течения газа в системном моделировании на платформе REPEAT VISION.

10. Выводы#

В результате выполнения данного практического руководства:

Вы познакомились с процессом подготовки модели машинного обучения для аппроксимации процесса течения газа через штуцер с помощью платформы REPEAT VISION и PyTorch;
Вы узнали, как интегрировать на платформу REPEAT VISION ML модель с помощью блока Аппроксимационная модель (П) для решения задач моделирования течения газа в трубопроводных системах;
Вы познакомились с возможностями Python пакета repeat_onnx который обеспечил интеграцию ML модели на платформу REPEAT VISION, упростил процесс подготовки данных и процесс создания ML модели;
Вы познакомились с тестированием модели машинного обучения как в процессе её создания, так и в процессе её эксплуатации на платформе REPEAT VISION.