Дефрагментация данных Apache Ignite

Введение

Здесь представлены инструкции по дефрагментации хранилища данных Apache Ignite для ПО Comindware Platform в Linux. Дефрагментация хранилища Apache Ignite позволяет повысить производительность работы ПО и сократить объем данных хранилища на диске.

Порядок дефрагментации

1. Создайте резервную копию базы данных экземпляра ПО.
2. Скачайте бинарный дистрибутив Apache Ignite, например apache-ignite-2.16.0-bin.zip или более новую версию.

3. Перейдите в режим суперпользователя:

   sudo -s 

   или

   su - 

4. Распакуйте дистрибутив Apache Ignite в домашнюю папку (здесь и далее username — имя текущего пользователя):

   unzip apache-ignite-2.16.0-bin.zip -d /usr/share/ignite 

5. Задайте переменную среды IGNITE_HOME:

   export IGNITE_HOME=/usr/share/ignite 

6. Скопируйте в папку /usr/share/ignite файл Ignite.config из папки /var/www/<instanceName> (где <instanceName> — имя экземпляра ПО):

   cp /var/www/<instanceName>/Ignite.config /usr/share/ignite/ 

7. Перейдите в папку bin Apache Ignite:

   cd /usr/share/ignite/bin 

8. В файле control.sh измените директиву DEFAULT_CONFIG:

   DEFAULT_CONFIG=config/Ignite.config 

9. Получите список узлов, зарегистрированных в базовой топологии:

   bash control.sh --baseline 

10. Назначьте дефрагментацию данных Apache Ignite при перезапуске экземпляра ПО, указав вместо <id> идентификаторы узлов, полученные на шаге 9:

    bash control.sh --defragmentation schedule --nodes <id> 

    11. Остановите и запустите экземпляр ПО:

    systemctl stop comindware<instanceName> 
    systemctl start comindware<instanceName> 

    Здесь <instanceName> — имя экземпляра ПО.

11. Инициируйте экземпляр ПО:

    • С помощью командной строки:

      curl localhost:<port> 

      или

      curl <instance_fqdn> 

    • Либо с помощью браузера, перейдя по адресу:

      <ip>:<port> 

      или

      <instance_fqdn> 

    Здесь:

    • <instance_ip>, <port> — IP-адрес и порт экземпляра ПО;
    • <instance_fqdn> — адрес веб-сайта с экземпляром ПО.

12. Дождитесь завершения дефрагментации данных.

    Примечание

    • В процессе дефрагментации для просмотра статуса используйте команду:

    watch -cd bash control.sh --defragmentation status 

    • В процессе дефрагментации Apache Ignite будет вносить сведения в файл журнала вида /var/lib/comindware/<instanceName>/Database/log/ignite-xxxxxxxx.0.log.
    • По завершении дефрагментации:
      • в журнале Apache Ignite должно появиться событие: Defragmentation process complete;
      • команда  watch -cd bash control.sh --defragmentation status должна вывести сообщение Defragmentation process complete.

13. Перезапустите экземпляр ПО, чтобы его снова можно было использовать.

    systemctl restart comindware<instanceName> 

14. Инициируйте экземпляр ПО, также как на шаге 12.

Решение возможных проблем

Если во время дефрагментации возникнет ошибка «Слишком много открытых файлов» (Too many open files), выполните указанные ниже шаги (пример приведён для Astra Linux).

1. Добавьте в файл /etc/security/limits.conf строки:

   * soft nproc 65535 
   * hard nproc 65535 
   * soft nofile 65535 
   * hard nofile 65535 
   www-data soft nproc 200000 
   www-data hard nproc 200000 
   www-data soft nofile 200000 
   www-data hard nofile 200000 

2. Добавьте в файл /etc/pam.d/common-session строку:

   session required pam_limits.so 

3. Добавьте в файл /etc/sysctl.conf строку:

   fs.file-max = 2097152 

4. Раскомментируйте строку и задайте значение в файле /etc/systemd/user.conf:

   DefaultLimitNOFILE=65536 

5. Раскомментируйте строку и задайте значение в файле /etc/systemd/system.conf:

   DefaultLimitNOFILE=65536 

6. Откройте для редактирования конфигурацию сервиса экземпляра ПО:

   systemctl edit comindware<instanceName>.service 

7. Добавьте в него строки:

   [Service] 
   LimitNOFILE=65536 
   LimitNOFILESoft=65536 

8. Перезагрузите машину и экземпляр ПО.