Настройка соединения с источником типа «Clickhouse» включает ввод параметров (Рисунок «Настройка соединения с источником типа «Clickhouse»):
-
«Имя подключения» – отображаемое в интерфейсе Системы название;
-
«Имя хоста» – DNS имя или IP-адрес хоста, с которым будет выполняться соединение;
-
«Имя базы данных» – имя базы данных;
-
«Номер порта TCP» – по умолчанию указано значение «9000» (порт для взаимодействия по TCP);
-
«Номер порта HTTP» – по умолчанию указано значение «8123» (порт для взаимодействие по HTTP). Заполнение поля «Номер порта HTTP» является обязательным условием для успешного построения виджетов на live-моделях;
-
«Логин» – учетная запись пользователя, предоставленная владельцем базы данных;
-
«Пароль» – пароль пользователя, предоставленный владельцем базы данных;
-
«Уровень доступа ETL» – задается ограничение по обращению к источнику для технических операций: сбор статистики, проверка изменений в схеме данных и т.п. Возможные значения:
-
«Разрешено» – обращение к источнику происходит по расписанию, согласно настройкам в переменной ETL_STATS_RUN_WINDOW;
-
«Запрещено» – обращение к источнику не происходит;
-
«Разрешено с ограничениями» – обращение к источнику происходит по расписанию переменной, согласно настройкам в переменной ETL_STATS_RUN_WINDOW, но с выбранными ограничениями, указанными в дополнительных параметрах «Кол-во запросов» и «Интервал».
-
-
блок параметров, доступен для заполнения, если в поле «Уровень доступа ETL» выбрано значение «Разрешено с ограничениями»:
-
«Кол-во запросов» – максимально допустимое количество запросов к источнику за указанный интервал времени. По умолчанию установлено значение «10»;
-
«Интервал» – интервал времени, за который может выполниться указанное количество запросов. По умолчанию установлено значение «5 минут».
-
-
«Тип соединения» – использование безопасного канала передачи данных на базе SSL и SSH соединений. Возможные значения:
-
«Обычное»;
-
«Защищенное» – при выборе значения «Защищенное» отобразится блок для выбора типа соединения:
-
«SSL – соединение» – передвиньте переключатель для выбора соединения;
-
«SSH – соединение» – передвиньте переключатель для выбора соединения. Отобразятся поля для ввода параметров соединения:
-
«Имя хоста» – имя хоста SSH-соединения;
-
«Номер порта» – номер порта SSH-соединения;
-
«Логин» – логин SSH-соединения;
-
«Пароль» – пароль SSH-соединения.
-
-
-
После настройки параметров есть возможность проверить подключение. Для этого нажмите на кнопку «Проверить подключение». В зависимости от результата проверки откроется окно с сообщением «Соединение успешно установлено» или с информацией об ошибке.
Условия и ограничения:
-
не поддерживается чтение полей с логическим типом данных (bool), в моделях к таким таблицам необходимо обращаться с помощью SQL-запроса с приведением поля с типом bool к типу String;
-
не поддерживается чтение полей с типами данных LowCardinality, IPv6 и т.п.;
-
в источниках таблицы столбцы с типом Array открываются с пустыми значениями, в моделях к таким таблицам необходимо обращаться с помощью SQL-запроса с приведением поля с типом массива к типу String. Некоторые поля с типом Array автоматически конвертируются в тип String;
-
изменен puller для работы с БД Clickhouse: etl-puller заменен на java-puller. Сопутствующие ограничения в связи с переходом на новый puller:
-
не поддерживается построение live-моделей на таблицах БД Clickhouse с русскоязычными названиями, к таким таблицам необходимо обращаться через логические модели. Поддерживаемый формат для названий таблиц в live-моделях – [a-zA-Z0-9_].
-
Настройка соединения с источником типа «MySQL» включает ввод параметров (Рисунок «Настройка соединения с источником типа «MySQL»):
-
«Имя подключения» – отображаемое в интерфейсе Системы название;
-
«Имя хоста» – DNS имя или IP-адрес хоста, с которым будет выполняться соединение;
-
«Имя базы данных» – имя базы данных;
-
«Номер порта» – по умолчанию указано значение «3306»;
-
«Уровень доступа ETL» – задается ограничение по обращению к источнику для технических операций: сбор статистики, проверка изменений в схеме данных и т.п. Возможные значения:
-
«Разрешено» – обращение к источнику происходит по расписанию, согласно настройкам в переменной ETL_STATS_RUN_WINDOW;
-
«Запрещено» – обращение к источнику не происходит;
-
«Разрешено с ограничениями» – обращение к источнику происходит по расписанию переменной, согласно настройкам в переменной ETL_STATS_RUN_WINDOW, но с выбранными ограничениями, указанными в дополнительных параметрах «Кол-во запросов» и «Интервал».
-
-
блок параметров, доступен для заполнения, если в поле «Уровень доступа ETL» выбрано значение «Разрешено с ограничениями»:
-
«Кол-во запросов» – максимально допустимое количество запросов к источнику за указанный интервал времени. По умолчанию установлено значение «10»;
-
«Интервал» – интервал времени, за который может выполниться указанное количество запросов. По умолчанию установлено значение «5 минут».
-
-
«Логин» – учетная запись пользователя, предоставленная владельцем базы данных;
-
«Пароль» – пароль пользователя, предоставленный владельцем базы данных;
-
«Тип соединения» – использование безопасного канала передачи данных на базе SSL и SSH соединений. Возможные значения:
-
«Обычное»;
-
«Защищенное» – при выборе значения «Защищенное» отобразится блок для выбора типа соединения:
-
«SSL – соединение» – передвиньте переключатель для выбора соединения;
-
«SSH – соединение» – передвиньте переключатель для выбора соединения. Отобразятся поля для ввода параметров соединения:
-
«Имя хоста» – имя хоста SSH-соединения;
-
«Номер порта» – номер порта SSH-соединения;
-
«Логин» – логин SSH-соединения;
-
«Пароль» – пароль SSH-соединения.
-
-
-
После настройки параметров нажмите на кнопку «Проверить подключение». В зависимости от результата проверки откроется сообщение «Соединение успешно установлено» или информацию об ошибке.
Настройка соединения с источником типа «Oracle» включает ввод параметров (Рисунок «Настройка соединения с источником типа «Oracle»):
-
«Имя подключения» – отображаемое в интерфейсе Системы название;
-
«Имя хоста» – DNS имя или IP-адрес хоста, с которым будет выполняться соединение;
-
«Имя базы данных» – имя базы данных (или Oracle SID);
-
«Номер порта» – по умолчанию указано значение «1521»;
-
«Уровень доступа ETL» – задается ограничение по обращению к источнику для технических операций: сбор статистики, проверка изменений в схеме данных и т.п. Возможные значения:
-
«Разрешено» – обращение к источнику происходит по расписанию, согласно настройкам в переменной ETL_STATS_RUN_WINDOW;
-
«Запрещено» – обращение к источнику не происходит;
-
«Разрешено с ограничениями» – обращение к источнику происходит по расписанию переменной, согласно настройкам в переменной ETL_STATS_RUN_WINDOW, но с выбранными ограничениями, указанными в дополнительных параметрах «Кол-во запросов» и «Интервал».
-
-
блок параметров, доступен для заполнения, если в поле «Уровень доступа ETL» выбрано значение «Разрешено с ограничениями»:
-
«Кол-во запросов» – максимально допустимое количество запросов к источнику за указанный интервал времени. По умолчанию установлено значение «10»;
-
«Интервал» – интервал времени, за который может выполниться указанное количество запросов. По умолчанию установлено значение «5 минут».
-
-
«Логин» – учетная запись пользователя, предоставленная владельцем базы данных;
-
«Пароль» – пароль пользователя, предоставленный владельцем базы данных;
-
«Тип соединения» – использование безопасного канала передачи данных на базе SSL и SSH соединений. Возможные значения:
-
«Обычное»;
-
«Защищенное» – при выборе значения «Защищенное» отобразится блок для выбора типа соединения:
-
«SSL – соединение» – передвиньте переключатель для выбора соединения;
-
«SSH – соединение» – передвиньте переключатель для выбора соединения. Отобразятся поля для ввода параметров соединения:
-
«Имя хоста» – имя хоста SSH-соединения;
-
«Номер порта» – номер порта SSH-соединения;
-
«Логин» – логин SSH-соединения;
-
«Пароль» – пароль SSH-соединения.
-
-
-
После настройки параметров нажмите на кнопку «Проверить подключение». В зависимости от результата проверки откроется сообщение «Соединение успешно установлено» или окно с информацией об ошибке.
Настройка соединения с источником типа «PostgreSQL» включает параметры (Рисунок «Настройка соединения с источником типа «PostgreSQL»).
-
«Имя подключения» – отображаемое в интерфейсе Системы название;
-
«Имя хоста» – DNS имя или IP-адрес хоста, с которым будет выполняться соединение;
-
«Имя базы данных» – имя базы данных;
-
«Номер порта» – по умолчанию указано значение «5432»;
-
«Уровень доступа ETL» – задается ограничение по обращению к источнику для технических операций: сбор статистики, проверка изменений в схеме данных и т.п. Возможные значения:
-
«Разрешено» – обращение к источнику происходит по расписанию, согласно настройкам в переменной ETL_STATS_RUN_WINDOW;
-
«Запрещено» – обращение к источнику не происходит;
-
«Разрешено с ограничениями» – обращение к источнику происходит по расписанию переменной, согласно настройкам в переменной ETL_STATS_RUN_WINDOW, но с выбранными ограничениями, указанными в дополнительных параметрах «Кол-во запросов» и «Интервал».
-
-
блок параметров, доступен для заполнения, если в поле «Уровень доступа ETL» выбрано значение «Разрешено с ограничениями»:
-
«Кол-во запросов» – максимально допустимое количество запросов к источнику за указанный интервал времени. По умолчанию установлено значение «10»;
-
«Интервал» – интервал времени, за который может выполниться указанное количество запросов. По умолчанию установлено значение «5 минут».
-
-
«Логин» – учетная запись пользователя, предоставленная владельцем базы данных;
-
«Пароль» – пароль пользователя, предоставленный владельцем базы данных;
-
«Тип соединения» – использование безопасного канала передачи данных на базе SSL и SSH соединений. Возможные значения:
-
«Обычное»;
-
«Защищенное» – при выборе значения «Защищенное» отобразится блок для выбора типа соединения:
-
«SSL – соединение» – передвиньте переключатель для выбора соединения;
-
«SSH – соединение» – передвиньте переключатель для выбора соединения. Отобразятся поля для ввода параметров соединения:
-
«Имя хоста» – имя хоста SSH-соединения;
-
«Номер порта» – номер порта SSH-соединения;
-
«Логин» – логин SSH-соединения;
-
«Пароль» – пароль SSH-соединения.
-
-
-
После настройки параметров нажмите на кнопку «Проверить подключение». В зависимости от результата проверки откроется сообщение «Соединение успешно установлено» или окно с информацией об ошибке.
Настройка соединения с источником типа «Greenplum» включает параметры (Рисунок «Настройка соединения с источником типа «Greenplum»):
-
«Имя подключения» – отображаемое в интерфейсе Системы название;
-
«Имя хоста» – DNS имя или IP-адрес хоста, с которым будет выполняться соединение;
-
«Имя базы данных» – имя базы данных;
-
«Номер порта» – по умолчанию указано значение «5432»;
-
«Уровень доступа ETL» – задается ограничение по обращению к источнику для технических операций: сбор статистики, проверка изменений в схеме данных и т.п. Возможные значения:
-
«Разрешено» – обращение к источнику происходит по расписанию, согласно настройкам в переменной ETL_STATS_RUN_WINDOW;
-
«Запрещено» – обращение к источнику не происходит;
-
«Разрешено с ограничениями» – обращение к источнику происходит по расписанию переменной, согласно настройкам в переменной ETL_STATS_RUN_WINDOW, но с выбранными ограничениями, указанными в дополнительных параметрах «Кол-во запросов» и «Интервал».
-
-
блок параметров, доступен для заполнения, если в поле «Уровень доступа ETL» выбрано значение «Разрешено с ограничениями»:
-
«Кол-во запросов» – максимально допустимое количество запросов к источнику за указанный интервал времени. По умолчанию установлено значение «10»;
-
«Интервал» – интервал времени, за который может выполниться указанное количество запросов. По умолчанию установлено значение «5 минут».
-
-
«Логин» – учетная запись пользователя, предоставленная владельцем базы данных;
-
«Пароль» – пароль пользователя, предоставленный владельцем базы данных;
-
«Тип соединения» – использование безопасного канала передачи данных на базе SSL и SSH соединений. Возможные значения:
-
«Обычное»;
-
«Защищенное» – при выборе значения «Защищенное» отобразится блок для выбора типа соединения:
-
«SSL – соединение» – передвиньте переключатель для выбора соединения;
-
«SSH – соединение» – передвиньте переключатель для выбора соединения. Отобразятся поля для ввода параметров соединения:
-
«Имя хоста» – имя хоста SSH-соединения;
-
«Номер порта» – номер порта SSH-соединения;
-
«Логин» – логин SSH-соединения;
-
«Пароль» – пароль SSH-соединения.
-
-
-
После настройки параметров нажмите на кнопку «Проверить подключение». В зависимости от результата проверки откроется окно с сообщением «Соединение успешно установлено» или с информацией об ошибке.
Условия и ограничения:
-
если значение состоит только из пробелов, и тип столбца – не строковый, то значение будет пустым (null – для чисел и дат, false – для булевого типа).
Настройка соединения с источником типа «Microsoft SQL Server» включает параметры (Рисунок «Настройка соединения с источником типа «Microsoft SQL Server»):
-
«Имя подключения» – отображаемое в интерфейсе Системы название;
-
«Имя хоста» – DNS имя или IP-адрес хоста, с которым будет выполняться соединение;
-
«Имя базы данных» – имя базы данных;
-
«Номер порта» – по умолчанию указано значение «1433»;
-
«Уровень доступа ETL» – задается ограничение по обращению к источнику для технических операций: сбор статистики, проверка изменений в схеме данных и т.п. Возможные значения:
-
«Разрешено» – обращение к источнику происходит по расписанию, согласно настройкам в переменной ETL_STATS_RUN_WINDOW;
-
«Запрещено» – обращение к источнику не происходит;
-
«Разрешено с ограничениями» – обращение к источнику происходит по расписанию переменной, согласно настройкам в переменной ETL_STATS_RUN_WINDOW, но с выбранными ограничениями, указанными в дополнительных параметрах «Кол-во запросов» и «Интервал».
-
-
блок параметров, доступен для заполнения, если в поле «Уровень доступа ETL» выбрано значение «Разрешено с ограничениями»:
-
«Кол-во запросов» – максимально допустимое количество запросов к источнику за указанный интервал времени. По умолчанию установлено значение «10»;
-
«Интервал» – интервал времени, за который может выполниться указанное количество запросов. По умолчанию установлено значение «5 минут».
-
-
«Логин» – учетная запись пользователя, предоставленная владельцем базы данных;
-
«Пароль» – пароль пользователя, предоставленный владельцем базы данных;
-
«Тип соединения» – использование безопасного канала передачи данных на базе SSL и SSH соединений. Возможные значения:
-
«Обычное»;
-
«Защищенное» – при выборе значения «Защищенное» отобразится блок для выбора типа соединения:
-
«SSL – соединение» – передвиньте переключатель для выбора соединения;
-
«SSH – соединение» – передвиньте переключатель для выбора соединения. Отобразятся поля для ввода параметров соединения:
-
«Имя хоста» – имя хоста SSH-соединения;
-
«Номер порта» – номер порта SSH-соединения;
-
«Логин» – логин SSH-соединения;
-
«Пароль» – пароль SSH-соединения.
-
-
-
После настройки параметров нажмите на кнопку «Проверить подключение». В зависимости от результата проверки откроется окно с сообщением «Соединение успешно установлено» или с информацией об ошибке.
Настройка соединения с источником типа «Mariadb» включает параметры (Рисунок «Настройка соединения с источником типа «Mariadb»):
-
«Имя подключения» – отображаемое в интерфейсе Системы название;
-
«Имя хоста» – DNS имя или IP-адрес хоста, с которым будет выполняться соединение;
-
«Имя базы данных» – имя базы данных;
-
«Номер порта» – по умолчанию указано значение «3306»;
-
«Уровень доступа ETL» – задается ограничение по обращению к источнику для технических операций: сбор статистики, проверка изменений в схеме данных и т.п. Возможные значения:
-
«Разрешено» – обращение к источнику происходит по расписанию, согласно настройкам в переменной ETL_STATS_RUN_WINDOW;
-
«Запрещено» – обращение к источнику не происходит;
-
«Разрешено с ограничениями» – обращение к источнику происходит по расписанию переменной, согласно настройкам в переменной ETL_STATS_RUN_WINDOW, но с выбранными ограничениями, указанными в дополнительных параметрах «Кол-во запросов» и «Интервал».
-
-
блок параметров, доступен для заполнения, если в поле «Уровень доступа ETL» выбрано значение «Разрешено с ограничениями»:
-
«Кол-во запросов» – максимально допустимое количество запросов к источнику за указанный интервал времени. По умолчанию установлено значение «10»;
-
«Интервал» – интервал времени, за который может выполниться указанное количество запросов. По умолчанию установлено значение «5 минут».
-
-
«Логин» – учетная запись пользователя, предоставленная владельцем базы данных;
-
«Пароль» – пароль пользователя, предоставленный владельцем базы данных;
-
«Тип соединения» – использование безопасного канала передачи данных на базе SSL и SSH соединений. Возможные значения:
-
«Обычное»;
-
«Защищенное» – при выборе значения «Защищенное» отобразится блок для выбора типа соединения:
-
«SSL – соединение» – передвиньте переключатель для выбора соединения;
-
«SSH – соединение» – передвиньте переключатель для выбора соединения. Отобразятся поля для ввода параметров соединения:
-
«Имя хоста» – имя хоста SSH-соединения;
-
«Номер порта» – номер порта SSH-соединения;
-
«Логин» – логин SSH-соединения;
-
«Пароль» – пароль SSH-соединения.
-
-
-
После настройки параметров нажмите на кнопку «Проверить подключение». В зависимости от результата проверки откроется окно с сообщением «Соединение успешно установлено» или с информацией об ошибке.
Настройка соединения с источником типа «Vertica» включает параметры (Рисунок «Настройка соединения с источником типа «Vertica»):
-
«Имя подключения» – отображаемое в интерфейсе Системы название;
-
«Имя хоста» – DNS имя или IP-адрес хоста, с которым будет выполняться соединение;
-
«Имя базы данных» – имя базы данных;
-
«Номер порта» – по умолчанию указано значение «5433»;
-
«Уровень доступа ETL» – задается ограничение по обращению к источнику для технических операций: сбор статистики, проверка изменений в схеме данных и т.п. Возможные значения:
-
«Разрешено» – обращение к источнику происходит по расписанию, согласно настройкам в переменной ETL_STATS_RUN_WINDOW;
-
«Запрещено» – обращение к источнику не происходит;
-
«Разрешено с ограничениями» – обращение к источнику происходит по расписанию переменной, согласно настройкам в переменной ETL_STATS_RUN_WINDOW, но с выбранными ограничениями, указанными в дополнительных параметрах «Кол-во запросов» и «Интервал».
-
-
блок параметров, доступен для заполнения, если в поле «Уровень доступа ETL» выбрано значение «Разрешено с ограничениями»:
-
«Кол-во запросов» – максимально допустимое количество запросов к источнику за указанный интервал времени. По умолчанию установлено значение «10»;
-
«Интервал» – интервал времени, за который может выполниться указанное количество запросов. По умолчанию установлено значение «5 минут».
-
-
«Логин» – учетная запись пользователя, предоставленная владельцем базы данных;
-
«Пароль» – пароль пользователя, предоставленный владельцем базы данных;
-
«Тип соединения» – использование безопасного канала передачи данных на базе SSL и SSH соединений. Возможные значения:
-
«Обычное»;
-
«Защищенное» – при выборе значения «Защищенное» отобразится блок для выбора типа соединения:
-
«SSL – соединение» – передвиньте переключатель для выбора соединения;
-
«SSH – соединение» – передвиньте переключатель для выбора соединения. Отобразятся поля для ввода параметров соединения:
-
«Имя хоста» – имя хоста SSH-соединения;
-
«Номер порта» – номер порта SSH-соединения;
-
«Логин» – логин SSH-соединения;
-
«Пароль» – пароль SSH-соединения.
-
-
-
После настройки параметров нажмите на кнопку «Проверить подключение». В зависимости от результата проверки откроется окно с сообщением «Соединение успешно установлено» или с информацией об ошибке.
Настройка соединения с источником типа «Red» включает параметры (Рисунок «Настройка соединения с источником типа «Red»):
-
«Имя подключения» – отображаемое в интерфейсе Системы название;
-
«Имя хоста» – DNS имя или IP-адрес хоста, с которым будет выполняться соединение;
-
«Имя базы данных» – имя базы данных;
-
«Номер порта» – по умолчанию указано значение «3050»;
-
«Логин» – учетная запись пользователя, предоставленная владельцем базы данных;
-
«Пароль» – пароль пользователя, предоставленный владельцем базы данных;
-
«Уровень доступа ETL» – задается ограничение по обращению к источнику для технических операций: сбор статистики, проверка изменений в схеме данных и т.п. Возможные значения:
-
«Разрешено» – обращение к источнику происходит по расписанию, согласно настройкам в переменной ETL_STATS_RUN_WINDOW;
-
«Запрещено» – обращение к источнику не происходит;
-
«Разрешено с ограничениями» – обращение к источнику происходит по расписанию переменной, согласно настройкам в переменной ETL_STATS_RUN_WINDOW, но с выбранными ограничениями, указанными в дополнительных параметрах «Кол-во запросов» и «Интервал».
-
-
блок параметров, доступен для заполнения, если в поле «Уровень доступа ETL» выбрано значение «Разрешено с ограничениями»:
-
«Кол-во запросов» – максимально допустимое количество запросов к источнику за указанный интервал времени. По умолчанию установлено значение «10»;
-
«Интервал» – интервал времени, за который может выполниться указанное количество запросов. По умолчанию установлено значение «5 минут».
-
-
«Тип соединения» – использование безопасного канала передачи данных на базе SSL и SSH соединений. Возможные значения:
-
«Обычное»;
-
«Защищенное» – при выборе значения «Защищенное» отобразится блок для выбора типа соединения:
-
«SSL – соединение» – передвиньте переключатель для выбора соединения;
-
«SSH – соединение» – передвиньте переключатель для выбора соединения. Отобразятся поля для ввода параметров соединения:
-
«Имя хоста» – имя хоста SSH-соединения;
-
«Номер порта» – номер порта SSH-соединения;
-
«Логин» – логин SSH-соединения;
-
«Пароль» – пароль SSH-соединения.
-
-
-
После настройки параметров нажмите на кнопку «Проверить подключение». В зависимости от результата проверки откроется окно с сообщением «Соединение успешно установлено» или с информацией об ошибке.
Настройка соединения с источником типа «Firebird» включает параметры (Рисунок «Настройка соединения с источником типа «Firebird»):
-
«Имя подключения» – отображаемое в интерфейсе Системы название;
-
«Имя хоста» – DNS имя или IP-адрес хоста, с которым будет выполняться соединение;
-
«Имя базы данных» – имя базы данных;
-
«Номер порта» – по умолчанию указано значение «3050»;
-
«Логин» – учетная запись пользователя, предоставленная владельцем базы данных;
-
«Пароль» – пароль пользователя, предоставленный владельцем базы данных;
-
«Уровень доступа ETL» – задается ограничение по обращению к источнику для технических операций: сбор статистики, проверка изменений в схеме данных и т.п. Возможные значения:
-
«Разрешено» – обращение к источнику происходит по расписанию, согласно настройкам в переменной ETL_STATS_RUN_WINDOW;
-
«Запрещено» – обращение к источнику не происходит;
-
«Разрешено с ограничениями» – обращение к источнику происходит по расписанию переменной, согласно настройкам в переменной ETL_STATS_RUN_WINDOW, но с выбранными ограничениями, указанными в дополнительных параметрах «Кол-во запросов» и «Интервал».
-
-
блок параметров, доступен для заполнения, если в поле «Уровень доступа ETL» выбрано значение «Разрешено с ограничениями»:
-
«Кол-во запросов» – максимально допустимое количество запросов к источнику за указанный интервал времени. По умолчанию установлено значение «10»;
-
«Интервал» – интервал времени, за который может выполниться указанное количество запросов. По умолчанию установлено значение «5 минут».
-
-
«Тип соединения» – использование безопасного канала передачи данных на базе SSL и SSH соединений. Возможные значения:
-
«Обычное»;
-
«Защищенное» – при выборе значения «Защищенное» отобразится блок для выбора типа соединения:
-
«SSL – соединение» – передвиньте переключатель для выбора соединения;
-
«SSH – соединение» – передвиньте переключатель для выбора соединения. Отобразятся поля для ввода параметров соединения:
-
«Имя хоста» – имя хоста SSH-соединения;
-
«Номер порта» – номер порта SSH-соединения;
-
«Логин» – логин SSH-соединения;
-
«Пароль» – пароль SSH-соединения.
-
-
-
После настройки параметров нажмите на кнопку «Проверить подключение». В зависимости от результата проверки откроется окно с сообщением «Соединение успешно установлено» или с информацией об ошибке.
Настройка соединения с источником типа «1С» включает параметры (Рисунок «Настройка соединения с источником типа «1С»):
-
«Имя подключения» – отображаемое в интерфейсе Системы название;
-
«Логин» – учетная запись пользователя, предоставленная владельцем базы данных;
-
«Пароль» – пароль пользователя, предоставленный владельцем базы данных;
-
«URL» – строка подключения базы данных. Примерный формат строки подключения: http(s)://адрес_сервера(:порт)/имя_публикации/odata/standart.odata.
Настройка соединения с источником типа «OData» включает параметры (Рисунок «Настройка соединения с источником типа «OData»):
-
«Имя подключения» – отображаемое в интерфейсе Системы название;
-
«Логин» – учетная запись пользователя, предоставленная владельцем базы данных;
-
«Пароль» – пароль пользователя, предоставленный владельцем базы данных;
-
«URL» – строка подключения базы данных. Примерный формат строки подключения: http(s)://адрес_сервера(:порт)/имя_публикации/odata/standart.odata.
Добавление параметров на вкладке «Параметры» описаны в п. Параметры источника.
Список доступных параметров к файловым источникам и список типов данных представлены в таблицах ниже (Таблица «Список доступных параметров к файловым источникам и список типов данных»).
Таблица 1. Список доступных параметров к файловым источникам и список типов данных
| Название параметра | Модификатор | Значения | Выполняемые действия | Примеры | Типы файлов |
|---|---|---|---|---|---|
| Кодировка | Список кодировок доступен по ссылке https://docs.python.org/3.11/library/codecs.html#standard-encodings | Устанавливает кодировку, в которой должен быть прочтен текстовый файл | Кодировка=cp1251 | .csv, .json, .xml | |
| Разделитель |
|
Устанавливает, с каким разделителем необходимо прочесть файл в формате .csv |
|
.csv | |
| РазделительДробнойЧасти | Символ | Какой символ (точка/запятая) является разделителем целой и дробной части | РазделительДробнойЧасти=, | .csv, .xlsx, .xls | |
| СимволЭкранирования | Символ | Какой символ используется в файле формата .csv для экранирования строк в ячейках | СимволЭкранирования=| | .csv | |
| Столбцы | Название или индекс листа | Список названий столбцов (как в файле) или список индексов столбцов. Индексация столбцов начинается с 0 (то есть первый столбец имеет индекс 0). Элементы списка разделяются через запятую. Если в названии столбца есть символ «;», то такое название необходимо заключить в двойные кавычки (например, "Сумма, руб"). Если при этом в названии столбца уже есть двойная кавычка, то их нужно заменить на две двойных кавычки: "Сумма, ""руб""" | Позволяет управлять тем, какие столбцы необходимо прочесть из файла |
|
.csv, .xlsx, .xls |
| НазванияСтолбцов | Список названий столбцов. Элементы списка разделяются через запятую. Если в названии столбца есть символ запятой, то такое название необходимо заключить в двойные кавычки (пример: "Сумма, руб"). Если при этом в названии столбца уже есть двойная кавычка, то их нужно заменить на две двойных кавычки (пример: "Сумма, ""руб""") | Задает названия для считанных из файла столбцов. Если имен в списке меньше, чем реальное количество столбцов в файле, то будут считаны первые k столбцов слева направо, где k – количество указанных в параметре имен | НазванияСтолбцов=Код,Цена опт,Цена,"Сумма, руб" | .csv | |
| СтолбецИмяФайла | Строка | Задает для считанного набора данных название нового сгенерированного столбца, каждая ячейка которого инициализируется именем файла, из которого считана строка | СтолбецИмяФайлала=Происхождение | .csv, .xlsx, .xls, загруженных через архив, или подключение источников-папок (SFTP, S3, Яндекс-диск) | |
| Тип |
|
Значения указаны в таблице ниже (см. Таблица «Названия типов») | Указывает, с каким типом необходимо прочесть значения столбцов. Список допустимых типов указан в таблице ниже (см. Таблица «Названия типов») |
|
.csv, .xlsx, .xls |
| КоличествоСтрок | Целое число | Указывает, сколько строк необходимо считать из файла | КоличествоСтрок=10 | .csv, .xlsx, .xls | |
| СтрокаЗаголовка | Название или индекс листа | Целое число | Указывает позицию (номер строки) заголовка в Excel-файле. Нумерация строк начинается с 0 |
|
.xlsx, .xls |
| - | Допускаются значения: - , нет. Любое из перечисленных выше значений сообщит об отсутствии в файле заголовка (строки с названиями для столбцов) | Позволит читать файлы формата .csv без строки заголовка, в Системе столбцы пронумеруются от 0 и далее по порядку.Если вместо нумерации нужно указать наименования столбцам, воспользуйтесь параметром «НазванияСтолбцов» |
|
.csv | |
| ПропуститьСтрок | Название или индекс листа | Целое число | Указывает, сколько строк необходимо пропустить от заголовка до начала данных. Если заголовок находится не в первой строке, воспользуйтесь параметром «СтрокаЗаголовка», описанным выше | ПропуститьСтрок=5 | .csv, .xlsx, .xls |
| ФильтрФайлов | - |
Список строк. Каждый элемент списка представляет один из критериев фильтрации:
|
Задает критерии отбора файлов из папки. Может быть применен для источников, использующих настройку «Вариант загрузки файла «Ссылка». Последовательность применения критериев фильтрации: если заданы и маска файлов, и правила фильтрации по характеристике файла, то в первую очередь будет применен фильтр по маске, а затем к результирующей выборке – фильтр по характеристике файла |
|
Подключение источников-папок (SFTP, S3, Яндекс-диск) |
Название типа регистро-независимое. Оба варианта «Целое» и «целое» распознаются как целочисленный тип.
Для некоторых типов через пробел нужно указывать модификатор (который несет дополнительную информацию для приведения к нему).
Названия типов представлены в таблице ниже (Таблица «Названия типов»).
Таблица 2. Названия типов
| Тип | Алиас (указывается в параметре) | Модификаторы | Пример |
|---|---|---|---|
| number (целое число) | Целое | Тип:summa=Целое | |
| Число | |||
| ЧислоЦелое | |||
| Int | |||
| Integer | |||
| float (дробное число) | Дробное | Тип:summa=Дробное | |
| ЧислоДробное | |||
| Float | |||
| string (строка) | Строка | Тип:summa=Строка | |
| Текст | |||
| Str | |||
| String | |||
| date (дата, дата и время) | Дата |
Формат даты и времени: dd – день mm – месяц (число) bb – месяц (прописью рус/англ) yy – год (2 знака) yyyy – год (4 знака) HH – часы MM – минуты SS – секунды |
Тип:date1=ДатаВремя dd.mm.yyyy HH:MM:SS |
| ДатаВремя | |||
| ДатаИВремя | |||
| Date | |||
| DateTime | |||
| bool (логическое значение) | Логическое | Через символ «/» указываются, какие значения должны распознаваться как ИСТИНА и как ЛОЖЬ: Значение_ИСТИНА/Значение_ЛОЖЬ | Тип:has_snils=Логическое 1/0 |
| Булево | |||
| Bool | |||
| Boolean |
В режиме редактирования источника типа «Файл» доступна вкладка «История изменений» (Рисунок «История изменений источника типа «Файл»). На вкладке отображается история изменений загрузки файлов данного источника в режиме чтения без функциональных возможностей.
Отображаются следующие сведения по записи изменения:
-
имя подключения (имя источника);
-
тег «Текущая версия» отображается возле текущей версии;
-
дата и время изменения;
-
тип источника;
-
автор изменения;
-
название файла/архива;
-
размер.
Используя драйвер базы данных, создаются подключения JDBC к источнику данных. Основной принцип создания подключения к источникам через драйверы заключается в следующем:
-
указывается тип источника, соответствующий загруженному драйверу базы данных;
-
вводятся имя пользователя и пароль, необходимые для доступа к источнику данных;
-
вводится строка подключения базы данных.
Загрузка драйвера осуществляется администратором Системы в разделе «Драйверы» Центра управления (см. п. Драйверы).
Настройка соединения с помощью JDBC включает параметры (Рисунок «Настройка соединения с помощью JDBC»):
-
«Имя подключения» – отображаемое в интерфейсе Системы название;
-
«Логин» – учетная запись пользователя, предоставленная владельцем базы данных;
-
«Пароль» – пароль пользователя, предоставленный владельцем базы данных;
-
«URL» – строка подключения базы данных. Формат строки подключения зависит от базы данных. Примеры:
-
для базы данных MongoDB используется следующий формат строки подключения:
-
jdbc:[dbms]://[host]:[port]/[databaseName]. Пример строки подключения: jdbc:mongodb://myhost.example.com:7777/mydatabase.
-
-
формат строки подключения в ином виде:
-
пример подключения к драйверу СУБД MongoDB: «jdbc:mongo://» + serverIP + «:» + port + «/» + databaseName.
-
-
-
«Тип соединения» – использование безопасного канала передачи данных на базе SSL и SSH соединений. Возможные значения:
-
«Обычное»;
-
«Защищенное» – при выборе значения «Защищенное» отобразится блок для выбора типа соединения:
-
«SSL – соединение» – передвиньте переключатель для выбора соединения;
-
«SSH – соединение» – передвиньте переключатель для выбора соединения. Отобразятся поля для ввода параметров соединения:
-
«Имя хоста» – имя хоста SSH-соединения;
-
«Номер порта» – номер порта SSH-соединения;
-
«Логин» – логин SSH-соединения;
-
«Пароль» – пароль SSH-соединения.
-
-
-
После настройки параметров нажмите на кнопку «Проверить подключение». В зависимости от результата проверки откроется окно с сообщением «Соединение успешно установлено» или с информацией об ошибке.
Web-сервис – идентифицируемая уникальным web-адресом (URL-адресом) программная система, используемая для интеграции между приложениями или информационными системами.
При выборе типа источника «Web-сервис» отобразится информации о возможном варианте подключения данного типа источника (Рисунок «Настройка соединения с источником типа «Web-сервис»).
Для получения данных из удаленных ресурсов используется ETL редактор, в котором задаются параметры подключения. Подробное описание работы в ETL редакторе приведено по ссылке, расположенной в окне добавления источника данных с типом «Web-сервис» (Рисунок «Ссылка на статью с описанием работы в ETL редакторе»).
ETL редактор позволяет выполнять загрузку данных напрямую из удаленных источников, а также передавать web-сервисам данные для записи, информировать через мессенджеры.
Примеры настройки приведены в статье «Работа с Web-сервисами» по ссылке https://community.analyticworkspace.ru/t/rabota-s-web-servisami/63, где рассмотрены получение данных в разных форматах, создание записей в БД удаленного web-сервиса, отправка данных в чат Telegram. В частности, разобран пример получения данных с google sheets (подробнее см. по ссылке https://community.analyticworkspace.ru/t/poluchenie-dannyh-s-google-sheets-v-etl-s-pomoshhyu-python/111).
