Экспорт данных виджета

В Системе предусмотрена возможность экспорта (выгрузки) данных виджета в файл формата .csv (доступно для всех виджетов) и в файл формата .xlsx (доступно для виджетов с типом «Таблица» и «Сводная таблица»).

Экспорт в файл формата .csv

Данные экспортируются в текстовый файл формата .csv (текст с разделителями). Выполняются следующие правила:

  • кодировка полученного файла формата .csv – UTF-8-BOM;

  • разделители столбцов – символ «;» (точка с запятой);

  • для переноса строк (завершение строки) в текст вставляется управляющий символ переноса строки LF (ASCII HEX код – «0A»);

  • для разделения дробной и целой части чисел вставляется символ «,» (запятая);

  • значения, экспортируемые из текстовых полей, обрамляются двойными кавычками – до и после текстового значения вставляется символ " (ASCII HEX код – «22»).

Для экспорта данных виджета в файл формата .csv нажмите на кнопку в режиме редактирования или просмотра виджета.

Для графических виджетов откроется окно выбора состояния для экспорта данных в файл формата .csv (Рисунок «Окно выбора состояния для экспорта данных графического виджета»).

Рисунок 26. Окно выбора состояния для экспорта данных графического виджета

Окно выбора состояния для экспорта данных графического виджета

Для виджетов с типом «Таблица» и «Сводная таблица» откроется окно выбора формата файла и состояния для экспорта данных (Рисунок «Окно выбора формата файла и состояния для экспорта данных виджета с типом «Таблица»). Выберите формат «CSV».

Рисунок 27. Окно выбора формата файла и состояния для экспорта данных виджета с типом «Таблица»

Окно выбора формата файла и состояния для экспорта данных виджета с типом «Таблица»

Выберите состояние:

  • «Первичное» – для экспорта плоских данных;

  • «Агрегированное» – для экспорта агрегированных данных, после выбора данного состояния отобразятся доступные уровни вложенности (Рисунок «Отображение уровней вложенности для состояния «Агрегированное»). Выберите необходимый уровень вложенности;

    Рисунок 28. Отображение уровней вложенности для состояния «Агрегированное»

    Отображение уровней вложенности для состояния «Агрегированное»

  • «Полное» – для экспорта плоских и агрегированных данных.

Нажмите на кнопку «Экспорт». Произойдет экспорт данных виджета с примененными фильтрами и сортировками.

Примечание
Экспорт данных в файл формата .csv для виджетов, созданных на live-моделях на данных БД ClickHouse, не являющейся внутренним хранилищем Системы, выгружаемых во всех состояниях, кроме состояния «Агрегированное», для виджета с типом «Сводная таблица» недоступен.
Структура файлов экспорта данных

Ниже представлена структура файлов экспорта данных в зависимости от типа виджета для каждого состояния:

Экспорт в файл формата .xlsx

Данные табличных виджетов экспортируются в файл формата .xlsx. Для экспорта данных виджета в файл формата .xlsx нажмите на кнопку в режиме редактирования или просмотра виджета. Для виджетов с типом «Таблица» и «Сводная таблица» откроется окно выбора формата файла и состояния для экспорта данных. Выберите формат «XLSX» (Рисунок «Окно выбора формата файла и состояния для экспорта данных виджета с типом «Таблица»).

Рисунок 38. Окно выбора формата файла и состояния для экспорта данных виджета с типом «Таблица»

Окно выбора формата файла и состояния для экспорта данных виджета с типом «Таблица»

Выберите состояние:

  • «Первичное» – для экспорта плоских данных;

  • «Агрегированное» – для экспорта агрегированных данных, после выбора данного состояния отобразятся доступные уровни вложенности (Рисунок «Отображение уровней вложенности для состояния «Агрегированное»). Выберите необходимый уровень вложенности;

    Рисунок 39. Отображение уровней вложенности для состояния «Агрегированное»

    Отображение уровней вложенности для состояния «Агрегированное»

  • «Полное» (доступно только для виджета с типом «Таблица») – для экспорта плоских и агрегированных данных.

Нажмите на кнопку «Экспорт». Произойдет экспорт данных виджета с примененными фильтрами, сортировками и следующими настройками:

  • форматирование типом «Цвет ячейки» (в состояниях «Агрегированное» и «Полное»);

  • форматирование чисел (разделитель тысяч, разделитель дробной части, число знаков после запятой);

  • единицы измерения агрегатов и первичных данных;

  • выравнивание текста.

Примеры экспортированных данных виджета с примененным форматированием представлены на рисунках ниже (Рисунок «Пример экспортированных данных виджета с типом «Таблица» с форматированием в файле формата .xlsx», Рисунок «Пример экспортированных данных виджета с типом «Сводная таблица» с форматированием в файле формата .xlsx»).

Рисунок 40. Пример экспортированных данных виджета с типом «Таблица» с форматированием в файле формата .xlsx

Пример экспортированных данных виджета с типом «Таблица» с форматированием в файле формата .xlsx

Рисунок 41. Пример экспортированных данных виджета с типом «Сводная таблица» с форматированием в файле формата .xlsx

Пример экспортированных данных виджета с типом «Сводная таблица» с форматированием в файле формата .xlsx

Имеются следующие ограничения на выгружаемые данные в файл формата .xlsx:

  • количество первичных данных – 300 000 строк;

  • количество уровней вложенности – 6.

Структура файлов экспорта данных

Ниже представлена структура файлов экспорта данных в зависимости от типа виджета для каждого состояния:

Условия доступа для экспорта данных

Экспорт данных виджета доступен при следующих условиях:

Таблица 1. Условия доступа для экспорта данных виджета

Вид виджета Условия доступа экспорта в файл формата .csv Условия доступа экспорта в файл формата .xlsx
Состояние «Первичное» Состояние «Агрегированное» Состояние «Полное» Состояние «Первичное» Состояние «Агрегированное» Состояние «Полное»
Таблица Выбран хотя бы один столбец

  • выбран хотя бы один столбец;

  • указана промежуточная агрегация;

  • выбрана хотя бы одна группа

Выбран хотя бы один столбец Выбран хотя бы один столбец
  • выбран хотя бы один столбец;

  • указана промежуточная агрегация;

  • выбрана хотя бы одна группа

Выбран хотя бы один столбец
Сводная таблица
  • выбран хотя бы один агрегат (с промежуточной агрегацией);

  • выбрана хотя бы одна группа

Недоступно
  • выбран хотя бы один агрегат (с промежуточной агрегацией);

  • выбрана хотя бы одна группа

- (недоступно)
Столбчатая диаграмма (верт.)
  • выбран хотя бы один столбец;

  • указана промежуточная агрегация;

  • выбрана хотя бы одна группа

- (недоступно)
Столбчатая диаграмма с накоплением (верт.)
Столбчатая диаграмма (гор.)
Столбчатая диаграмма с накоплением (гор.)
Линейный график
Линейный график с накоплением
Радар
Комбинированная диаграмма (верт.)
Комбинированная диаграмма с накоплением (верт.)
Комбинированная диаграмма (гор.)
Комбинированная диаграмма с накоплением (гор.)
Круговая диаграмма
Кольцевая диаграмма
Полярная диаграмма
Карта
Плиточная карта
Древовидная карта
Тепловая карта
Облако тегов
Датчик
Пузырьковая диаграмма Выбраны как минимум два агрегата
  • выбраны как минимум два агрегата;

  • указана промежуточная агрегация;

  • выбрана хотя бы одна группа

Выбраны как минимум два агрегата
Тренд Выбран хотя бы один столбец
  • выбран хотя бы один столбец;

  • указана промежуточная агрегация;

  • выбрана хотя бы одна группа

Выбран хотя бы один столбец
HTML

Примечание
Если для виджета недоступно хотя бы одно из состояний для экспорта данных, то кнопка не отображается.
Уведомления и скачивание файла экспорта данных

После запуска процесса экспорта данных виджета отобразится сообщение о начале процесса (Рисунок «Сообщение о начале процесса экспорта данных виджета»).

Рисунок 53. Сообщение о начале процесса экспорта данных виджета

Сообщение о начале процесса экспорта данных виджета

Когда выгрузка виджета будет завершена, отобразится сообщение с названием экспортированного виджета и ссылкой для скачивания файла (Рисунок «Сообщение о завершении экспорта данных виджета в файл формата .csv», Рисунок «Сообщение о завершении экспорта данных виджета в файл формата .xlsx»).

Рисунок 54. Сообщение о завершении экспорта данных виджета в файл формата .csv

Сообщение о завершении экспорта данных виджета в файл формата .csv

Рисунок 55. Сообщение о завершении экспорта данных виджета в файл формата .xlsx

Сообщение о завершении экспорта данных виджета в файл формата .xlsx

Данное сообщение отображается несколько секунд, после скрытия сообщения ссылку для скачивания файла можно посмотреть в разделе центра уведомлений (Рисунок «Переход в центр уведомлений», Рисунок «Просмотр уведомлений и ссылок для скачивания файлов»).

Рисунок 56. Переход в центр уведомлений

Переход в центр уведомлений

Рисунок 57. Просмотр уведомлений и ссылок для скачивания файлов

Просмотр уведомлений и ссылок для скачивания файлов

Чтобы скачать файл из центра уведомлений, нажмите на ссылку (см. Рисунок «Просмотр уведомлений и ссылок для скачивания файлов»). После нажатия в web-браузере отобразится процесс загрузки файлов:

Примечание

Администратор Системы может настраивать:

  • ограничения на максимальный размер формируемого файла – в конфигурационном файле реализован параметр AW_WIDGET_EXPORT_MAX_FILE_SIZE, по умолчанию равный 8 ГБ. При превышении лимита в сообщение и в конец файла добавляется строка с сообщением «Достигнут предельный размер файла, данные экспортированы не полностью» (применяется только к выгрузкам в формате . c sv, у выгрузок в формате .xlsx действует ограничение в 300 000 строк первичных данных);

  • время жизни файла выгрузки (сек) – реализован параметр «file_lifetime», по умолчанию равный 604800 (7 дней). Проверяется по cron, по истечении срока реализуется механизм удаления старых данных из хранилища. Время указывается в секундах, если параметр равен «0» или значение не указано, то считается, что установлено значение «Неограниченное время жизни выгрузки», т.е. разрешено хранение всех версий выгрузок неограниченное количество времени;

  • количество хранимых копий выгрузок – реализован параметр «count_of_stored_files», по умолчанию равный 5. При превышении лимита реализуется метод по удалению старого неактуального набора данных по текущему виджету данного пользователя;

  • процент свободного места в хранилище – реализован параметр «free_storage_space», по умолчанию равный 10. Позволяет резервировать свободное место в хранилище для работы Системы;

  • частоту запуска очистки (сек) – реализован параметр «storage_cleared_start_interval», по умолчанию равный 86400 (1 день). Запускается принудительный механизм очистки хранилища:

    1. сначала очищается хранилище от копий, остаются только последние выгрузки пользователя по виджетам (на виджет по одной выгрузке);

    2. если необходимое место не освобождено, то удаляются самые старые файлы до тех пор, пока не будет освобождено необходимое пространство, регулируемое параметром «free_storage_space».

Если файл удален, в центре уведомлений вместо ссылки для скачивания архива отображается запись «Истекло время хранения файла» (Рисунок «Отображение записи в центре уведомлений при удалении файла»).

Рисунок 62. Отображение записи в центре уведомлений при удалении файла

Отображение записи в центре уведомлений при удалении файла