Переменные

Примечание

Доступ к функциональности осуществляется через сервер.

Для задания необходимых ограничений в конфигурационный файл .env добавьте переменные, перечисленные в таблице (Таблица «Переменные»).

Таблица 2. Переменные

Код Наименование Значение по умолчанию Примечание
etl-stats
ETL_STATS_RUN_WINDOW Разрешенные для запуска интервалы времени  

Указываются разрешенные для запуска интервалы времени:

  • ETL_STATS_RUN_WINDOW=00:00-06:00

  • ETL_STATS_RUN_WINDOW=00:00-02:00,03:00-06:00,12:00-13:00

  • ETL_STATS_RUN_WINDOW=00:00-00:00

Если значение не указано в файле .env или там указано пустое значение, то считается, что для запуска разрешено любое время.

Можно указывать правила, когда начало больше конца (например, 01:00-00:00), используется для запрета запуска etl-stats

ETL_KEEP_FILES_DAYS Время жизни файлов в ETL 7 Указывается количество дней, после истечения которых файлы в ETL подлежат удалению
ETL_KEEP_DAGS_DAYS Время жизни DAG в Airflow 7

Указывается количество дней, в течение которых DAG в Apache Airflow считается активным. Отсчет количества дней начинается от ближайшей из двух дат:

  • дата создания/обновления модели;

  • дата последнего запуска синхронизации.

Неактивные DAG без установленного расписания удаляются из Apache Airflow до следующего запуска синхронизации или редактирования модели

ETL_STATS_DEFAULT_DATASOURCE_QUOTA Дефолтная квота для параметра «Уровень доступа в ETL»  

Указываются значения:

  • пустая строка – квоты нет, доступ к любому источнику выполняется без ограничений;

  • cтрока вида: N/M. Интерпретация: каждые M минут – не более N запросов к источнику

AW_KEEP_DICT_DAYS Время жизни json-файлов с содержимым справочников модели 14 Указывается количество дней, после истечения которых файлы в папке /file_storage/dict_cache подлежат удалению
Модели
MODEL_SYNC_COUNT Количество хранимых версий 2 Указывается количество хранимых версий таблицы модели
TRIAL_MODEL_SIZE Предельный объем каждой модели  

Указывается ограничение на размер импортируемых моделей в хранилище Системы

Механизм работы:

  • в Airflow DAG: при обращении к puller процессу, запускается в отдельном потоке мониторинговая функция, которая контролирует, что выгрузка не превышает установленного лимита;

  • при возврате сообщения из pusher с признаком oversize: true/false, этот признак передается в extra-параметрах сообщения в rabbitmq.

Примечание – При контроле объема выгрузки из puller используется пяти кратный лимит от максимального размера модели. При превышении данного объема, в backend передается сообщение: «Превышен максимальный размер модели» и синхронизация завершается. Пользователю отправляется сообщение: «Завершилась синхронизация модели «Название модели». Был достигнут предельный размер модели, данные загружены не полностью»

Виджеты
AW_WIDGET_EXPORT_MAX_FILE_SIZE Максимальный размер формируемого файла 8 ГБ 8 ГБ. Задается ограничение на размер экспортируемого файла с данными виджета. При превышении лимита в сообщение и в конец файла дописывается строка с сообщением: «Достигнут предельный размер файла, данные экспортированы не полностью»
file_lifetime Время жизни файла выгрузки (сек) 604800 7 дней. Проверяется по cron, по истечении вызывается механизм удаления старых данных из хранилища. Время указывается в секундах. Если значение равно «0» или не указано, то считается что установлено значение «Неограниченное время жизни выгрузки», т.е. разрешено хранение всех версий выгрузок неограниченное количество времени
count_of_stored_files Количество хранимых копий выгрузок 5 5 экземпляров. При превышении лимита вызывается механизм по удалению старого неактуального набора данных по текущему виджету данного пользователя
free_storage_space Процент свободного места в хранилище 10 10 %. Резервируется свободное место в хранилище для работы Системы
storage_cleared_start_interval Частота запуска очистки (сек) 86400

1 день. Запускается принудительный механизм очистки хранилища:

  • сначала очищается хранилище от копий, остаются только последние выгрузки пользователя по виджетам (на виджет по одной выгрузке);

  • если необходимое место не освобождено, то удаляются самые старые файлы до тех пор, пока не будет освобождено необходимое пространство, регулируемое параметром free_storage_space

AW_WIDGET_QUERY_TIMEOUT Таймаут времени HTTP-запроса к ClickHouse 30

30 секунд.

Отвечает за время формирования виджета
Интерфейс
FRONTEND_THEME Стиль приложения default Указывается название стиля приложения

Пред.  Наверх  След.
  Начало