SOREX.ORG: заметки с тегом flashcache

Flashcache + munin на Ubunt 16.04

sorex — Tue, 13 Apr 2021 09:35:40 +0000

Устанавливаем пакеты и компилим с исходников

sudo apt-get install dkms build-essential linux-headers-$(uname -r) git

git clone git://github.com/facebook/flashcache; cd flashcache

make -f Makefile.dkms

make install

После этого подгружаем модуль

modprobe flashcache

Дальше добавлем кеш к диску sdaX в режиме writeback

sudo flashcache_create -p back fcache /dev/sdbX /dev/sdaX

Для проверки попаданий в кеш вводим

dmsetup status cachedev

Для размонтирования кеша с выгрузкой грязных данных используем

dmsetup remove cachedev

Файл /etc/fstab не менялся, т. к. кеширование делается на уровне md-устройтва, поєтому домашний каталог доступен без бубнов и танцев сразу после загрузки системы.

Твики в sysctl.conf:
dev.flashcache.sda+md2.fallow_delay = 240
dev.flashcache.sda+md2.fast_remove = 1
dev.flashcache.sda+md2.reclaim_policy = 1
dev.flashcache.sda+md2.skip_seq_thresh_kb = 1024

Убрать кеширование.
1. umount /home
2. sysctl -w dev.flashcache.sda+md2.do_sync=1
(может занять продолжительное время для записи данных на медленный диск)
3. vgchange -an vg1
3. dmsetup remove ssd
4. flashcache_destroy /dev/sda

Теперь логический раздел vg1-home можно примонтировать без SSD кеша
5. vgchange -ay vg1
6. mount /dev/mapper/vg1-home /home

Ставим munin

Шаг 1. Установка Munin-master и Munin-node

Установить Munin можно из стандартных репозиториев операционной системы :

sudo apt-get update
sudo apt-get install munin
sudo apt-get install munin-node

Шаг 2. Настройка Munin-master

Откроем конфигурационный файл Munin:

nano /etc/munin/munin.conf

Для начальной настройки необходимо изменить только имя хоста, которое будет выводиться в графиках. Для этого в секции конфигурационного файла «# a simple host tree» отредактируем строку

[localhost.localdomain]

Имя хоста можно указать, например, так:

[srv-01.example.com]

Вот и всё. Сохраняем внесённые изменения и выходим из текстового редактора.

Шаг 3. Настройка Munin-node

Как и при настройке Munin-master, для начала необходимо открыть конфигурационный файл :

nano /etc/munin/munin-node.conf

В файле нужно найти строку

#host_name localhost.localdomain

Она нужна для того, чтобы изменить имя хоста. Именно её потребуется отредактировать — например, так:

host_name srv-01.example.com

Обратите внимание, что строку нужно раскомментировать (удалить символ # в начале).

Управление плагинами

Чтобы посмотреть список доступных плагинов, необходимо сделать листинг директории /etc/munin/plugins

ls -l /usr/share/munin/plugins/

Для установки плагина нужно создать на него символическую ссылку.

Перейдём в директорию для установленных плагинов.

cd /etc/munin/plugins/

Установим какой-нибудь плагин (в нашем примере это плагин для DNS-сервера Bind):

ln -s /usr/share/munin/plugins/bind9

После добавления всех необходимых плагинов перезапустим Munin-node для примерения изменений:

service munin-node restart

Шаг 4. Настройка доступа к Munin через Apache и Nginx

Результаты мониторинга Munin отображает в виде графиков. Для этого потребуется HTTP-сервер — например, Apache или Nginx.

Настройка доступа к Munin через Apache

Для настройки доступа к Munin через Apache необходимо в конфигурацию любого виртуального хоста (в то числе стандартного) внести директиву <Location /munin>

Для этого в файл виртуального хоста потребуется вставить следующие строки

<Location /munin>
    AuthType Basic
    AuthName «Munin Statistics»
    AuthUserFile /etc/munin/.passwd
    Require valid-user
</Location>

После внесения изменений Apache нужно будет перезапустить:

service apache2 restart

Настройка доступа к Munin через Nginx

Для настройки доступа к Munin через Nginx также понадобится внести изменения в конфигурацию любого виртуального хоста:

location /munin {
    alias /var/www/munin;
    autoindex on;
    auth_basic «Munin Statistics»;
    auth_basic_user_file /etc/munin/.passwd;
}

Чтобы настройки вступили в силу, Nginx нужно будет перезагрузить.

service nginx restart

Шаг 5. Создание файла паролей

По завершении настройки создадим файл с паролями пользователей, имеющих доступ к Munin.

Для этого выполним следующую команду:

htpasswd -c /etc/munin/.passwd user

После выполнения данной команды будет предложено два раза ввести пароль от пользователя, после чего файл будет записан. В этой команде можно заменить user на любое удобное имя пользователя.

В конфиге для Nginx ставим

alias /var/cache/munin/www;

После этого добавляем модуль flashcache

wget https://raw.github.com/pkhamre/flashcache-munin/master/flashcache_stats

chmod +x flashcache_stats;mv flashcache_stats /usr/share/munin/plugins/; ln -s /usr/share/munin/plugins/flashcache_stats /etc/munin/plugins/

Установка для дебиан

aptitude install flashcache-dkms flashcache-utils
modprobe flashcache

Ускорение датасторов HP в esxi 5.5

sorex — Tue, 13 Apr 2021 09:33:47 +0000

Установлено: VMware-ESXi-5.5.0-Update3-3568722-HPE-550.9.6.5.9-Dec2016.iso

Версия драйвера дисков: — scsi-hpvsa-5.5.0.100-1OEM.550.0.0.1331820

Как выяснилось, HP что-то испортили в драйвере дисковой подсистемы для ESXi 5.5 и работа с дисками стала … скажем так, не очень эффективной. Более того, как выяснилось позже, такая же проблема существует и в гипервизорах ESXi 6.0/6.5 от HPE.

Насколько не эффективно? Результаты замеров в статье. Сразу скажу — оглушающие.

Пообщавшись со знакомыми и покопав Интернет было выяснено, что всему виной и правда, драйвер, который HPE включила в свой кастомный образ с установщиком гипервизора ESXi 5.5 и более поздних версий.

Но, решение этой проблемы есть. Совместными усилиями Интернет-сообщества (https://homeservershow.com) был найден драйвер, который реально ускоряет работу с дисками в HP Microserver Gen8.

Версия драйвера: scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820

Сам драйвер можно легально, бесплатно и без регистрации, скачать c сайта HPE:
https://support.hpe.com/hpsc/swd/…b1dfc5314e02bc01b1436b
Type: Driver — Storage Controller
Version: 5.5.0-88.0(9 Sep 2014)
Operating System(s): VMware vSphere 5.5
File name: scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820.x86_64.vib (707 KB)

Осталось его установить. Как это сделать, описано ниже.

В первую очередь проверяем версию установленного драйвера и, если отличается, то заменяем на правильный.

А) Заходим в консоль ESXi хоста через PuTTY под именем root и запускаем команду

esxcli software vib list | grep scsi

Вот, что было у меня до смены драйвера

~ # esxcli software vib list | grep scsi

scsi-hpsa 5.5.0.124-1OEM.550.0.0.1331820 HPE VMwareCertified 2018-04-10
scsi-hpdsa 5.5.0.52-1OEM.550.0.0.1331820 Hewlett-Packard PartnerSupported 2018-04-10
scsi-hpvsa 5.5.0.100-1OEM.550.0.0.1331820 Hewlett-Packard PartnerSupported 2018-04-10
scsi-mpt2sas 15.10.06.00.1vmw-1OEM.550.0.0.1198610 LSI VMwareCertified 2018-04-10
scsi-bfa 3.2.6.0-1OEM.550.0.0.1331820 QLogic VMwareCertified 2018-04-10
scsi-bnx2fc 1.713.20.v55.4-1OEM.550.0.0.1331820 QLogic VMwareCertified 2018-04-10
scsi-bnx2i 2.713.10.v55.3-1OEM.550.0.0.1331820 QLogic VMwareCertified 2018-04-10
scsi-qla4xxx 644.55.37.0-1OEM.550.0.0.1331820 QLogic VMwareCertified 2018-04-10

То есть. Не тот. Почему? А вот, что показал тест производительности. Не то чтобы тест, но из приведенных команд видно, что тестируется.

Выполняем следующие команды из консоли ESXI:

cd /vmfs/volumes/[datastore]<br>time dd if=/dev/zero of=tempfile bs=8k count=1000000

Примечание: Не забудьте поменять [datastore] на имя вашего реального DataStore.

Получаем результат:
1000000+0 records in
1000000+0 records out
real 14m 12.62s
user 0m 12.23s
sys 0m 0.00s

Вроде бы не плохо, да?

Для сравнения, в той же конфигурации, но с установленным, ESXi 5.1U3 получаем примерно следующее:
1000000+0 records in
1000000+0 records out
real 17m 25.62s
user 0m 7.23s
sys 0m 0.00s

То есть, налицо видимое улучшение по сравнению с предыдущей версией гипервизора. Но, вам придется поверить мне на слово, а потом посмотреть на совсем другой результат. Дочитайте до конца.

Итак, приступаем к смене драйвера.

Процедура достаточно простая. Предполагается, что нужный драйвер Вы уже скачали с сайта HP, по приведенный ранее ссылке.

Останавливаем все запущенные VMs
Если не включено, включаем ssh
Копируем файл «scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820.x86_64.vib» to /tmp (например, с помощью WinSCP)
Подключаемся к консоли гипервизора ESXi с помощью PuTTY (с правами root, естественно)
Меняем текущую папку на ту, куда положили файл, то есть на папку /tmp
```
cd /tmp
```

Копируем vib-файл в папку из которой он будет инсталлирован
```
cp scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820.x86_64.vib /var/log/vmware/
```

Переводим гипервизор в Maintenance Mode
```
esxcli system maintenanceMode set --enable true
```

Удаляем текущий драйвер дисковой подсистемы
```
esxcli software vib remove -n scsi-hpvsa -f
```

Инсталлируем правильный драйвер scsi-hpvsa-5.5.0-88OEM из файла

esxcli software vib install -v file:scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820.x86_64.vib --force --no-sig-check --maintenance-mode

Перезапускаем ESXi, отключаем Maintenance Mode, запрещаем ssh (если нужно) и запускаем свои виртуальные машинки.

Примечание: Отключить Maintenace Mode можно из клиента или из консоли, командой:

esxcli system maintenanceMode set --enable false

Все просто? Да, просто.

Но ведь всегда хочется убедиться, что автор не наврал.

Проверяем, что версия драйвера изменилась.

esxcli software vib list | grep scsi

scsi-hpsa 5.5.0.124-1OEM.550.0.0.1331820 HPE VMwareCertified 2018-04-10
scsi-hpdsa 5.5.0.52-1OEM.550.0.0.1331820 Hewlett-Packard PartnerSupported 2018-04-10
scsi-hpvsa 5.5.0-88OEM.550.0.0.1331820 Hewlett-Packard PartnerSupported 2018-04-10
scsi-mpt2sas 15.10.06.00.1vmw-1OEM.550.0.0.1198610 LSI VMwareCertified 2018-04-10
scsi-bfa 3.2.6.0-1OEM.550.0.0.1331820 QLogic VMwareCertified 2018-04-10
scsi-bnx2fc 1.713.20.v55.4-1OEM.550.0.0.1331820 QLogic VMwareCertified 2018-04-10
scsi-bnx2i 2.713.10.v55.3-1OEM.550.0.0.1331820 QLogic VMwareCertified 2018-04-10
scsi-qla4xxx 644.55.37.0-1OEM.550.0.0.1331820 QLogic VMwareCertified 2018-04-10

Да. Изменилась на правильную.

А скорость? Не обманули? Проверяем! Что я и сам сделал. Запустил, повторно, тест производительности. Результат меня, мягко говоря, ошеломил

cd /vmfs/volumes/[datastore]<br>time dd if=/dev/zero of=tempfile bs=8k count=1000000

1000000+0 records in
1000000+0 records out
real 2m 6.73s
user 0m 5.21s
sys 0m 0.00s

Это в СЕМЬ раз быстрее, чем с предыдущим драйвером и почти в 9 раз быстрее чем на ESXI 5.1U3

На форуме пользователи подтвердили, что примерно такой же, не правильный, драйвер устанавливается и при инсталляции ESXi 6.0 и 6.5. И замена его на версию scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820 приводит к такому же ускорению работы дисковой подсистемы.

flashcache Centos

sorex — Tue, 13 Apr 2021 09:31:15 +0000

Разбивка в installimage

SSD: так как он первый, то закомментирован. Остальные секции
DRIVE: переименованы по номерами на 1 и 2.

SWRAIDLEVEL = 1

( по умолчанию на 3-х пытается создать 5-й RAID)

PART swap swap 32G
PART /boot ext3 512M
PART lvm vg0 all
LV vg0 vz /vz ext4 600G
LV vg0 root / ext4 all

Далее, в соответствии с установщиком. Нажимаем f10 и enter.

После загрузки сервера в обычном режиме с установленным чистым Centos, ставим OpenVZ. Установка описана здесь.

Теперь начинается самое интересное.

Установка flashcache

К сожалению, это не быстрый способ установки. Возможно, это из-за OpenVZ ядра. Мануал всего из двух строчек:

1) Подключаем репозиторий

rpm -Uvh http://elrepo.reloumirrors.net/elrepo/el6/x86_64/RPMS/elrepo-release-6-4.el6.elrepo.noarch.rpm

2) И устанавливаем

yum -y install kmod-flashcache flashcache-utils

На момент написания статьи было ядро OpenVZ rhel6-2.6.32 версии 042stab074.10.

Так как для сборки FlashCache требуются некоторые внутренние заголовочные файлы, которые не входят в состав пакета kernel-headers/devel, требуется загрузить и установить полный код ядра. Нам же не хватало vzkernel-headers.

yumdownloader —source kernel-`uname -r`
rpm -ivh kernel-`uname -r`.src.rpm

Далее скачиваем и устанавливаем:

git clone https://github.com/facebook/flashcache.git

cd flashcache

make -f Makefile.dkms