Настройка

Настройка периода отправления данных

Модуль "Данные для КПЭ" позволяет настроить отправление данных в систему КОМЭКС-BI.

Для работы необходимо указать адрес системы, куда будут отправляться данные. Список задач будет автоматически сформирован при первом входе в форму.

При смене списка задач будет произведено автоматическое добавление новой задачи в список. Для оптимизации отправления данных будут формироваться пакеты в соответствии с настройкой "Количество записей в одном пакете".

Для дополнительной отладки можно включить настройку "Сохранять данные при экспорте". При этом кроме информации о кол-ве созданных/обновленных данных будут сохранены содержимые пакетов. Т.к. содержимое пакетов может содержать персональные данные не рекомендуем включать данную настройку без необходимости. Для удаления лога по отправленным пакетами (и данных в них) можно нажать кнопку "Удалить все логи". Логи несут только вспомогательную информацию и не влияют на дальнейшую выгрузку данных.

Для повторной отправки данных можно изменить время последнего отправления. При повторном экспорте данных будет учитываться ключевое поле в схеме данных и дублирования значений не произойдет.

Каждой задаче можно указать временной отрезок, в котором будет осуществляться попытка отправлять данные. Некоторые тяжелые задачи лучше отправлять вечером или ночью, чтобы не нагружать базу данных и сервер приложения.

Задача в указанный отрезок времени будет отправлена только одина раз. Если не указан временной отрезок, то задача будет отправлена один раз в день.

Если задачи нужно отправлять на протяжении всего отрезка времени, то необходимо указать параметр период. Данный параметр показывает через сколько минут будет повторная отправка задачи.

Каждое выполнение задачи логируется. Данные в рамках задачи разделяется на пакеты с максимальным размером в 1000 записей. На каждую задачу может быть неограниченное количество пакетов. Каждый пакет логируется. Если один из пакетов не отправлен, то вся задача считается проваленной.

При необходимости можно удалить все логи по данной задачи. При этом будут удалены все сохраненные данные, если была включена соответствующая настройка.

При просмотре логов можно открыть форму, в которой будет показан ответ сервера как при успешном выполнении, так и при ошибках.

Если включена настройка "Сохранять данные при экспорте" будет доступна возможность просмотреть список данных в отправленном пакете.

После успешного выполнения задачи будет обновлена колонка "Последнее отправление". В момент запуска задачи повторно будут выбраны данные от времени последнего отправления для более оптимального обмена с КОМЭКС-BI.

Запуск задач для сбора данных

Выполнение задач происходит в фоновом режиме с использованием очередей. Для выполнения всех задач необходимо запустить команду php artisan queue:work. При возникновении ошибки программу надо запускать повторно. Рекомендация запускать обработку очередей через supervisor (https://laravel.ru/docs/v5/queues#supervisor)

Кроме выполнения задач необходимо настроить запуск планировщика Laravel. Для этого необходимо добавить вызов artisan команды schedule:run

Пример для Cron

* * * * * php /path/to/artisan schedule:run >>/dev/null 2>&1

Планировщик нужен для запуска задач по расписанию, с учетом периодов в настройках задач.

Очистка данных в КОМЭКС BI после удаления в МФЦ

В схемах данных в КОМЭКС BI можно указать список таблиц и полей при удалении из которых будут сохраняться данные для последующего удаления в КОМЭКС BI.

Для настройки необходимо на форме "НАСТРОЙКА МОДУЛЯ «ДАННЫЕ ДЛЯ КПЭ»" нажать кнопку "Удаление данных".

При открытии форма запросит у сервиса КОМЭКС BI список схем данных, которые позволяют удалять у себя данные. При этом произойдет запрос с сервера mfc-core по адресу указанному в настройке Адрес системы КОМЭКС-BI.

В выпадающем списке необходимо выбрать значение для дальнейшего отслеживания за этими таблицами. В списке будет указана информация о схеме данных в КОМЭКС BI и таблице с полем в базе данных МФЦ.

При добавлении новой записи будет автоматически добавляться триггер на выбранную таблицу в базе МФЦ, который в момент удаления строк будет сохранять значение колонки для дальнейшего удаления соответствующих строк в КОМЭКС BI.

При удалении триггер будет удаляться.

В список задач добавлена новая задача Очистка удаленных записей (GarbageCollector) которая в соответствии с настройками будет отправлять накопленный список для удаления в КОМЭКС BI.

В логах будет отображаться информация о количестве обработанных/найденных в базе и успешно удаленных записей.

Передаваемые данных содержат информацию о названии схемы данных, префиксе, колонке по которой происходит поиск и значению для удаления.