Модели

Подсистема предоставляет следующие функциональные возможности:

  • интерфейс работы со списком логических моделей;

  • создание/редактирование логических моделей данных (набор логических таблиц данных) на основе доступных физических структур данных из состава подключенных источников данных посредством диалога через GUI и моделей данных, ранее настроенных и загруженных:

    • просмотр физических моделей из состава подключенных источников данных;

    • подбор таблиц физической модели по наименованию таблиц для включения в логическую модель данных;

    • подбор таблиц физической модели по наименованию полей для включения в логическую модель данных;

    • создание/редактирование логических моделей на основе выбранных физических таблиц и полей в них;

    • настройка дополнительных синтетических полей таблицы логической модели (вычисляемых полей, иерархий, вычисляемых таблиц);

    • редактирование параметров полей логической модели;

    • переход в редактор ETL для трансформации модели с помощью скрипта;

    • переход в интерфейс Apache Airflow для просмотра деталей процесса загрузки данных;

    • просмотр монитора фоновых процессов ETL;

    • просмотр консоли Spark Master.

  • управление процедурами загрузки данных посредством диалога через GUI:

    • синхронизация данных в логических моделях по данным в физических источниках;

    • обновление структуры в логических моделях по данным в физических источниках;

    • планировщик синхронизации данных логической модели по данным в физических источниках;

    • настройка инкрементальной загрузки данных.

  • клонирование модели;

  • удаление модели;

  • управление доступом к модели.