Переменные

Примечание

Доступ к функциональности осуществляется через сервер.

Для задания необходимых ограничений в конфигурационный файл .env добавьте переменные, перечисленные в таблице (Таблица «Переменные»).

Таблица 2. Переменные

Код Наименование Значение по умолчанию Примечание

etl-stats

ETL_STATS_RUN_WINDOW

Разрешенные для запуска интервалы времени

  

Указываются разрешенные для запуска интервалы времени:

  • ETL_STATS_RUN_WINDOW=00:00-06:00

  • ETL_STATS_RUN_WINDOW=00:00-02:00,03:00-06:00,12:00-13:00

  • ETL_STATS_RUN_WINDOW=00:00-00:00

Если значение не указано в файле .env или там указано пустое значение, то считается, что для запуска разрешено любое время.

Можно указывать правила, когда начало больше конца (например, 01:00-00:00), используется для запрета запуска etl-stats

ETL_KEEP_FILES_DAYS

Время жизни файлов в ETL

7

Указывается количество дней, после истечения которых файлы в ETL подлежат удалению

ETL_KEEP_DAGS_DAYS

Время жизни DAG в Airflow

7

Указывается количество дней, в течение которых DAG в Apache Airflow считается активным. Отсчет количества дней начинается от ближайшей из двух дат:

  • дата создания/обновления модели;

  • дата последнего запуска синхронизации.

Неактивные DAG без установленного расписания удаляются из Apache Airflow до следующего запуска синхронизации или редактирования модели

ETL_STATS_DEFAULT_DATASOURCE_QUOTA

Дефолтная квота для параметра «Уровень доступа в ETL»

  

Указываются значения:

  • пустая строка – квоты нет, доступ к любому источнику выполняется без ограничений;

  • cтрока вида: N/M. Интерпретация: каждые M минут – не более N запросов к источнику

AW_KEEP_DICT_DAYS

Время жизни json-файлов с содержимым справочников модели

14

Указывается количество дней, после истечения которых файлы в папке /file_storage/dict_cache подлежат удалению

Модели

MODEL_SYNC_COUNT

Количество хранимых версий

2

Указывается количество хранимых версий таблицы модели

TRIAL_MODEL_SIZE

Предельный объем каждой модели

  

Указывается ограничение на размер импортируемых моделей в хранилище Системы

Механизм работы:

  • в Airflow DAG: при обращении к puller процессу, запускается в отдельном потоке мониторинговая функция, которая контролирует, что выгрузка не превышает установленного лимита;

  • при возврате сообщения из pusher с признаком oversize: true/false, этот признак передается в extra-параметрах сообщения в rabbitmq.

Примечание – При контроле объема выгрузки из puller используется пяти кратный лимит от максимального размера модели. При превышении данного объема, в backend передается сообщение: «Превышен максимальный размер модели» и синхронизация завершается. Пользователю отправляется сообщение: «Завершилась синхронизация модели «Название модели». Был достигнут предельный размер модели, данные загружены не полностью»

AW_CLICK_DATE

Конфигурация чтения дат из БД ClickHouse

false

Указывается «флажок» для выбора типа поля при чтении дат из БД ClickHouse.

Если параметр AW_CLICK_DATE=false, то даты во внутреннем хранилище ClickHouse будут храниться и читаться с типом String, при этом в интерфейсе работы моделей и виджетов будет доступна вся функциональность работы с датами. Данный принцип хранения позволяет не устанавливать ограничения на диапазон допустимых значений.

Если параметр AW_CLICK_DATE=true, то загружаемые даты будут храниться с типом String, как в случае, указанном выше, но появится возможность работать в моделях и виджетах с полями типа DateTime64, при этом будет установлено ограничение на диапазон допустимых значений: [1900-01-01 00:00:00, 2299-12-31 23:59:59.99999999] согласно документации ClickHouse.DateTime64.

AW_CLICK_DATE=true применяется в live-моделях только для работы с кастомными таблицами в БД ClickHouse, в которых даты хранятся с типом DateTime64

Виджеты

AW_WIDGET_EXPORT_MAX_FILE_SIZE

Максимальный размер формируемого файла

8 ГБ

8 ГБ. Задается ограничение на размер экспортируемого файла с данными виджета. При превышении лимита в сообщение и в конец файла дописывается строка с сообщением: «Достигнут предельный размер файла, данные экспортированы не полностью»

file_lifetime

Время жизни файла выгрузки (сек)

604800

7 дней. Проверяется по cron, по истечении вызывается механизм удаления старых данных из хранилища. Время указывается в секундах. Если значение равно «0» или не указано, то считается что установлено значение «Неограниченное время жизни выгрузки», т.е. разрешено хранение всех версий выгрузок неограниченное количество времени

count_of_stored_files

Количество хранимых копий выгрузок

5

5 экземпляров. При превышении лимита вызывается механизм по удалению старого неактуального набора данных по текущему виджету данного пользователя

free_storage_space

Процент свободного места в хранилище

10

10 %. Резервируется свободное место в хранилище для работы Системы

storage_cleared_start_interval

Частота запуска очистки (сек)

86400

1 день. Запускается принудительный механизм очистки хранилища:

  • сначала очищается хранилище от копий, остаются только последние выгрузки пользователя по виджетам (на виджет по одной выгрузке);

  • если необходимое место не освобождено, то удаляются самые старые файлы до тех пор, пока не будет освобождено необходимое пространство, регулируемое параметром free_storage_space

AW_WIDGET_QUERY_TIMEOUT

Таймаут времени HTTP-запроса к ClickHouse

30

30 секунд.

Отвечает за время формирования виджета
Администрирование

ETL_SPARK_MASTER_URL

URL соединения к Spark

spark://etl-spark-master:7077

Указывается для передачи параметров соединения к Spark в Airflow

BACKEND_SESSION_EXPIRED_TIME

Время жизни сессии AW (сек)

86400

1 сутки.

Отвечает за время жизни токена Системы при работе через провайдеры с типами «Локальный (user_permissions)», «LDAP», «Внешний REST».

Примечание – Для провайдеров, работающих по протоколу Open ID Connect (OIDC), используется параметр ответа из Authorization Endpoint – expires_in


Пред.  Наверх  След.
  Начало