Монитор фоновых процессов служит для наблюдения в реальном времени за действиями фоновых процессов Системы.
Для перехода в раздел «Фоновые процессы ETL» в адресной строке web-браузера добавьте в конце ссылки на Систему значение «etl-api/app/monitor». Например, для приложения, размещенного по адресу http://example.com/, раздел «Фоновые процессы ETL» открывается по ссылке http://example.com/etl-api/app/monitor.
После ввода необходимого адреса в строке web-браузера откроется окно монитора фоновых процессов (Рисунок «Фоновые процессы ETL»). Раздел доступен только авторизованным пользователям.
Монитор фоновых процессов представляет собой таблицу со списком процессов с возможностью фильтрации. Таблица содержит следующие столбцы:
-
«id фонового процесса»;
-
«Тип процесса»;
-
«Время начала»;
-
«Время завершения»;
-
«Статус»;
-
«Атрибуты».
Доступна фильтрация данных по полям:
-
«ID модели» – введите ID модели;
-
«Состояние процесса» – выберите из выпадающего списка одно из значений: «Любое состояние», «Завершен», «Не завершен»;
-
«Статус процесса» – выберите из выпадающего списка одно из значений: «Любой статус», «Успешно», «Неуспешно». Фильтр доступен, если в фильтре «Состояние процесса» выбрано значение «Завершен»;
-
«Время начала процесса» – выберите дату и время с помощью кнопки
;
-
«Время завершения процесса» – выберите дату и время с помощью кнопки
.
После заполнения фильтров нажмите на кнопку «Показать». Для снятия фильтров нажмите на кнопку «Сбросить».
Нажмите на строку процесса в таблице, откроется окно просмотра деталей процесса (Рисунок «Окно просмотра деталей процесса»), содержащее:
-
название процесса;
-
параметры процесса;
-
время начала выполнения операций по процессу;
-
информацию по операциям процесса;
-
атрибуты операции.
В Системе логируются задачи ETL, указанные в таблице ниже (Таблица «Задачи ETL, которые логируются в Системе»).
Таблица 2. Задачи ETL, которые логируются в Системе
| Наименование | Тип в мониторе фоновых процессов | Дополнительное описание |
|---|---|---|
| Оценка количества записей в объектах моделей | etl-stats-model-score | |
| Отслеживание изменений в модели | etl-stats-check-model-changes | Подтверждение актуальности модели или установка признака о ее неактуальности |
| Трекинг моделей с поврежденной структурой | etl-stats-track-broken-model | После того, как в Системе в процессе отслеживания изменений в модели определяется, что описание модели перестало соответствовать источнику, в ETL запускается периодическая задача, которая пытается в течение некоторого времени подтвердить этот статус. И если это было какое-то временное несоответствие описания модели источнику, то эти задачи вернут признак актуальности обратно |
| Очистка процессов загрузки моделей Airflow | etl-cleanup-airflow-dags | Процессы загрузки моделей, которые давно не синхронизировались и для которых не настроено расписание, удаляются из реестра Airflow |
| Обслуживание БД Airflow | etl-maintain-airflow-db | После перехода на новую версию Airflow в БД Airflow нужно выполнить определенные регламентные операции |
| Очистка временных файлов ETL | etl-cleanup-folders | Временные файлы, которые по разным причинам остались в файловом хранилище (аварийные завершения процессов, серверов), удаляются в рамках этой задачи |
| Формирование данных для предпросмотра модели | etl-data-preview | |
| Получение данных для предпросмотра иерархий | etl-distinct-preview | |
| Получение количества записей в модели | etl-totals-preview | |
| Очистка папки dict_cache | etl-cleanup_dict_cache | Периодическая задача по очистке папки /file_storage/dict_cache, которая содержит json-файлы с содержимым справочников модели. Сервис учитывает значение переменной AW_KEEP_DICT_DAYS (по умолчанию установлено -14 дней) и запускает задачу по очистке файлов, у которых с момента последней модификации прошло более AW_KEEP_DICT_DAYS дней. Периодичность запуска задачи – 1 раз в 1 час |
