sudo apt-get install dkms build-essential linux-headers-$(uname -r) git<\/code><\/pre><\/p>\ngit clone git:\/\/github.com\/facebook\/flashcache; cd flashcache<\/code><\/pre><\/p>\nmake -f Makefile.dkms<\/code><\/pre><\/p>\nmake install<\/code><\/pre><\/p>\nПосле этого подгружаем модуль <\/p>\n
modprobe flashcache<\/p>\n
Дальше добавлем кеш к диску sdaX в режиме writeback<\/p>\n
sudo flashcache_create -p back fcache \/dev\/sdbX \/dev\/sdaX <\/p>\n
Для проверки попаданий в кеш вводим<\/p>\n
dmsetup status cachedev <\/p>\n
Для размонтирования кеша с выгрузкой грязных данных используем <\/p>\n
dmsetup remove cachedev<\/em> <\/p>\n![\"\"](\"https:\/\/sorex.org\/wp-content\/uploads\/2019\/12\/image.png\")
<\/figure><\/p>\nФайл \/etc\/fstab не менялся, т. к. кеширование делается на уровне md-устройтва, поєтому домашний каталог доступен без бубнов и танцев сразу после загрузки системы.<\/p>\n
Твики в sysctl.conf:
\r\ndev.flashcache.sda+md2.fallow_delay = 240
\r\ndev.flashcache.sda+md2.fast_remove = 1
\r\ndev.flashcache.sda+md2.reclaim_policy = 1
\r\ndev.flashcache.sda+md2.skip_seq_thresh_kb = 1024<\/p>\n
Убрать кеширование<\/strong>.
1. umount \/home
2. sysctl -w dev.flashcache.sda+md2.do_sync=1
(может занять продолжительное время для записи данных на медленный диск)
3. vgchange -an vg1
3. dmsetup remove ssd
4. flashcache_destroy \/dev\/sda<\/p>\nТеперь логический раздел vg1-home можно примонтировать без SSD кеша
5. vgchange -ay vg1
6. mount \/dev\/mapper\/vg1-home \/home<\/p>\n
<\/p>\n
<\/p>\n
Ставим munin<\/p>\n
Шаг 1. Установка Munin-master и Munin-node<\/h2><\/p>\n
Установить Munin можно из стандартных репозиториев операционной системы :<\/p>\n
sudo apt-get update
sudo apt-get install munin
sudo apt-get install munin-node<\/pre>\nШаг 2. Настройка Munin-master<\/h2><\/p>\n
Откроем конфигурационный файл Munin:<\/p>\n
nano \/etc\/munin\/munin.conf<\/pre>\nДля начальной настройки необходимо изменить только имя хоста, которое будет выводиться в графиках. Для этого в секции конфигурационного файла «# a simple host tree» отредактируем строку<\/p>\n
[localhost.localdomain]<\/pre>\nИмя хоста можно указать, например, так:<\/p>\n
[srv-01.example.com]<\/pre>\n Вот и всё. Сохраняем внесённые изменения и выходим из текстового редактора.<\/p>\n
Шаг 3. Настройка Munin-node<\/h2><\/p>\n
Как и при настройке Munin-master, для начала необходимо открыть конфигурационный файл :<\/p>\n
nano \/etc\/munin\/munin-node.conf<\/pre>\nВ файле нужно найти строку<\/p>\n
#host_name localhost.localdomain<\/pre>\nОна нужна для того, чтобы изменить имя хоста. Именно её потребуется отредактировать — например, так:<\/p>\n
host_name srv-01.example.com<\/pre>\nОбратите внимание, что строку нужно раскомментировать (удалить символ # в начале).<\/p>\n
Управление плагинами<\/strong><\/p>\nЧтобы посмотреть список доступных плагинов, необходимо сделать листинг директории \/etc\/munin\/plugins<\/p>\n
ls -l \/usr\/share\/munin\/plugins\/<\/pre>\nДля установки плагина нужно создать на него символическую ссылку.<\/p>\n
Перейдём в директорию для установленных плагинов.<\/p>\n
cd \/etc\/munin\/plugins\/<\/pre>\nУстановим какой-нибудь плагин (в нашем примере это плагин для DNS-сервера Bind):<\/p>\n
ln -s \/usr\/share\/munin\/plugins\/bind9<\/pre>\nПосле добавления всех необходимых плагинов перезапустим Munin-node для примерения изменений:<\/p>\n
service munin-node restart<\/pre>\nШаг 4. Настройка доступа к Munin через Apache и Nginx<\/h2><\/p>\n
Результаты мониторинга Munin отображает в виде графиков. Для этого потребуется HTTP-сервер — например, Apache или Nginx.<\/p>\n
Настройка доступа к Munin через Apache<\/strong><\/p>\nДля настройки доступа к Munin через Apache необходимо в конфигурацию любого виртуального хоста (в то числе стандартного) внести директиву <Location \/munin><\/p>\n
Для этого в файл виртуального хоста потребуется вставить следующие строки<\/p>\n
<Location \/munin>
AuthType Basic
AuthName «Munin Statistics»
AuthUserFile \/etc\/munin\/.passwd
Require valid-user
<\/Location><\/pre>\nПосле внесения изменений Apache нужно будет перезапустить:<\/p>\n
service apache2 restart<\/pre>\nНастройка доступа к Munin через Nginx<\/strong><\/p>\nДля настройки доступа к Munin через Nginx также понадобится внести изменения в конфигурацию любого виртуального хоста:<\/p>\n
location \/munin {
alias \/var\/www\/munin;
autoindex on;
auth_basic «Munin Statistics»;
auth_basic_user_file \/etc\/munin\/.passwd;
}<\/pre>\nЧтобы настройки вступили в силу, Nginx нужно будет перезагрузить.<\/p>\n
service nginx restart<\/pre>\nШаг 5. Создание файла паролей<\/h2><\/p>\n
По завершении настройки создадим файл с паролями пользователей, имеющих доступ к Munin.<\/p>\n
Для этого выполним следующую команду:<\/p>\n
htpasswd -c \/etc\/munin\/.passwd user<\/pre>\nПосле выполнения данной команды будет предложено два раза ввести пароль от пользователя, после чего файл будет записан. В этой команде можно заменить user на любое удобное имя пользователя.<\/p>\n
В конфиге для Nginx ставим<\/p>\n
alias \/var\/cache\/munin\/www;\r\n<\/pre>\nПосле этого добавляем модуль flashcache<\/p>\n
wget https:\/\/raw.github.com\/pkhamre\/flashcache-munin\/master\/flashcache_stats<\/a> <\/p>\nchmod +x flashcache_stats;mv flashcache_stats \/usr\/share\/munin\/plugins\/; ln -s \/usr\/share\/munin\/plugins\/flashcache_stats \/etc\/munin\/plugins\/<\/p>\n
Установка для дебиан <\/p>\n
aptitude install flashcache-dkms flashcache-utils
modprobe flashcache <\/p>\n",
"date_published": "2021-04-13T09:35:40+00:00",
"date_modified": "2021-04-13T09:35:35+00:00",
"_date_published_rfc2822": "Tue, 13 Apr 2021 09:35:40 +0000",
"_rss_guid_is_permalink": "false",
"_rss_guid": "14",
"_e2_data": {
"is_favourite": false,
"links_required": [
"system\/library\/highlight\/highlight.js",
"system\/library\/highlight\/highlight.css"
],
"og_images": []
}
},
{
"id": "13",
"url": "https:\/\/sorex.org\/?go=all\/uskorenie-datastorov-hp-v-esxi-5-5\/",
"title": "Ускорение датасторов HP в esxi 5.5",
"content_html": "
Установлено: VMware-ESXi-5.5.0-Update3-3568722-HPE-550.9.6.5.9-Dec2016.iso<\/em><\/strong><\/p>\nВерсия драйвера дисков: — <\/em>scsi-hpvsa-5.5.0.100-1OEM.550.0.0.1331820<\/strong><\/p>\nКак выяснилось, HP что-то испортили в драйвере дисковой подсистемы для ESXi 5.5 и работа с дисками стала … скажем так, не очень эффективной. Более того, как выяснилось позже, такая же проблема существует и в гипервизорах ESXi 6.0\/6.5 от HPE.<\/p>\n
Насколько не эффективно? Результаты замеров в статье. Сразу скажу — оглушающие.<\/p>\n
Пообщавшись со знакомыми и покопав Интернет было выяснено, что всему виной и правда, драйвер, который HPE включила в свой кастомный образ с установщиком гипервизора ESXi 5.5 и более поздних версий.<\/p>\n
Но, решение этой проблемы есть. Совместными усилиями Интернет-сообщества (https:\/\/homeservershow.com)<\/a> был найден драйвер, который реально ускоряет работу с дисками в HP Microserver Gen8.<\/p>\nВерсия драйвера: <\/em>scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820<\/strong><\/p>\nСам драйвер можно легально, бесплатно и без регистрации, скачать c сайта HPE:
https:\/\/support.hpe.com\/hpsc\/swd\/<\/a>…b1dfc5314e02bc01b1436b<\/a>
Type: Driver — Storage Controller
Version: 5.5.0-88.0(9 Sep 2014)
Operating System(s): VMware vSphere 5.5
File name: scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820.x86_64.vib (707 KB)<\/p>\nОсталось его установить. Как это сделать, описано ниже.<\/p>\n
В первую очередь проверяем версию установленного драйвера и, если отличается, то заменяем на правильный.<\/p>\n
А) Заходим в консоль ESXi хоста через PuTTY под именем root и запускаем команду<\/p>\n
esxcli software vib list | grep scsi<\/code><\/pre><\/p>\nВот, что было у меня до смены драйвера<\/p>\n
~ # esxcli software vib list | grep scsi<\/code><\/pre>
scsi-hpsa 5.5.0.124-1OEM.550.0.0.1331820 HPE VMwareCertified 2018-04-10<\/em>
scsi-hpdsa 5.5.0.52-1OEM.550.0.0.1331820 Hewlett-Packard PartnerSupported 2018-04-10<\/em>
scsi-hpvsa 5.5.0.100-1OEM.550.0.0.1331820 Hewlett-Packard PartnerSupported 2018-04-10<\/strong><\/em>
scsi-mpt2sas 15.10.06.00.1vmw-1OEM.550.0.0.1198610 LSI VMwareCertified 2018-04-10<\/em>
scsi-bfa 3.2.6.0-1OEM.550.0.0.1331820 QLogic VMwareCertified 2018-04-10<\/em>
scsi-bnx2fc 1.713.20.v55.4-1OEM.550.0.0.1331820 QLogic VMwareCertified 2018-04-10<\/em>
scsi-bnx2i 2.713.10.v55.3-1OEM.550.0.0.1331820 QLogic VMwareCertified 2018-04-10<\/em>
scsi-qla4xxx 644.55.37.0-1OEM.550.0.0.1331820 QLogic VMwareCertified 2018-04-10<\/em>
<\/p>\n![\"scsi-hpvsa](\"http:\/\/winitpro.ru\/wp-content\/uploads\/2018\/04\/scsi-hpvsa-5-5-0-100-1oem-550-0-0-133182.png\")
<\/figure><\/p>\nТо есть. Не тот. Почему? А вот, что показал тест производительности. Не то чтобы тест, но из приведенных команд видно, что тестируется.<\/p>\n
Выполняем следующие команды из консоли ESXI:<\/p>\n
cd \/vmfs\/volumes\/[datastore]<br>time dd if=\/dev\/zero of=tempfile bs=8k count=1000000<\/code><\/pre><\/p>\n![\"esxi](\"http:\/\/winitpro.ru\/wp-content\/uploads\/2018\/04\/esxi-testiruem-skorost-zapisi-na-disk.png\")
<\/figure><\/p>\nПримечание<\/strong>: Не забудьте поменять [datastore] на имя вашего реального DataStore.<\/p>\nПолучаем результат:
1000000+0 records in<\/em>
1000000+0 records out<\/em>
real 14m 12.62s<\/em><\/strong>
user 0m 12.23s<\/em><\/strong>
sys 0m 0.00s<\/em>
<\/p>\nВроде бы не плохо, да?<\/p>\n
Для сравнения, в той же конфигурации, но с установленным, ESXi 5.1U3 получаем примерно следующее:
1000000+0 records in<\/em>
1000000+0 records out<\/em>
real 17m 25.62s<\/em><\/strong>
user 0m 7.23s<\/em><\/strong>
sys 0m 0.00s<\/em>
<\/p>\nТо есть, налицо видимое улучшение по сравнению с предыдущей версией гипервизора. Но, вам придется поверить мне на слово, а потом посмотреть на совсем другой результат. Дочитайте до конца.<\/p>\n
Итак, приступаем к смене драйвера.<\/p>\n
Процедура достаточно простая. Предполагается, что нужный драйвер Вы уже скачали с сайта HP, по приведенный ранее ссылке.<\/p>\n
- Останавливаем все запущенные VMs<\/li>
- Если не включено, включаем ssh<\/li>
- Копируем файл «scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820.x86_64.vib» to \/tmp (например, с помощью WinSCP)<\/li>
- Подключаемся к консоли гипервизора ESXi с помощью PuTTY (с правами root, естественно)<\/li>
- Меняем текущую папку на ту, куда положили файл, то есть на папку \/tmp
cd \/tmp<\/code><\/pre><\/li><\/p>\n
- Копируем vib-файл в папку из которой он будет инсталлирован
cp scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820.x86_64.vib \/var\/log\/vmware\/<\/code><\/pre><\/li><\/p>\n
- Переводим гипервизор в Maintenance Mode
esxcli system maintenanceMode set --enable true<\/code><\/pre><\/li><\/p>\n
- Удаляем текущий драйвер дисковой подсистемы
esxcli software vib remove -n scsi-hpvsa -f<\/code><\/pre><\/li><\/p>\n
- Инсталлируем правильный драйвер scsi-hpvsa-5.5.0-88OEM из файла
esxcli software vib install -v file:scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820.x86_64.vib --force --no-sig-check --maintenance-mode<\/code><\/pre><\/li>- Перезапускаем ESXi, отключаем Maintenance Mode, запрещаем ssh (если нужно) и запускаем свои виртуальные машинки.<\/li><\/ol>\n
Примечание<\/strong>: Отключить Maintenace Mode можно из клиента или из консоли, командой:
esxcli system maintenanceMode set --enable false<\/code><\/pre>
<\/p><\/p>\n
Все просто? Да, просто.<\/p>\n
Но ведь всегда хочется убедиться, что автор не наврал.<\/p>\n
Проверяем, что версия драйвера изменилась.<\/p>\n
esxcli software vib list | grep scsi<\/code><\/pre>
scsi-hpsa 5.5.0.124-1OEM.550.0.0.1331820 HPE VMwareCertified 2018-04-10<\/em>
scsi-hpdsa 5.5.0.52-1OEM.550.0.0.1331820 Hewlett-Packard PartnerSupported 2018-04-10<\/em>
scsi-hpvsa 5.5.0-88OEM.550.0.0.1331820 Hewlett-Packard PartnerSupported 2018-04-10<\/strong><\/em>
scsi-mpt2sas 15.10.06.00.1vmw-1OEM.550.0.0.1198610 LSI VMwareCertified 2018-04-10<\/em>
scsi-bfa 3.2.6.0-1OEM.550.0.0.1331820 QLogic VMwareCertified 2018-04-10<\/em>
scsi-bnx2fc 1.713.20.v55.4-1OEM.550.0.0.1331820 QLogic VMwareCertified 2018-04-10<\/em>
scsi-bnx2i 2.713.10.v55.3-1OEM.550.0.0.1331820 QLogic VMwareCertified 2018-04-10<\/em>
scsi-qla4xxx 644.55.37.0-1OEM.550.0.0.1331820 QLogic VMwareCertified 2018-04-10<\/em>
<\/p>\nДа. Изменилась на правильную.<\/p>\n
А скорость? Не обманули? Проверяем! Что я и сам сделал. Запустил, повторно, тест производительности. Результат меня, мягко говоря, ошеломил<\/p>\n
cd \/vmfs\/volumes\/[datastore]<br>time dd if=\/dev\/zero of=tempfile bs=8k count=1000000<\/code><\/pre>
1000000+0 records in<\/em>
1000000+0 records out<\/em>
real 2m 6.73s<\/em><\/strong>
user 0m 5.21s<\/em><\/strong>
sys 0m 0.00s<\/em>
<\/p>\nЭто в СЕМЬ раз быстрее, чем с предыдущим драйвером и почти в 9 раз быстрее чем на ESXI 5.1U3<\/strong><\/p>\nНа форуме пользователи подтвердили, что примерно такой же, не правильный, драйвер устанавливается и при инсталляции ESXi 6.0 и 6.5. И замена его на версию scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820 приводит к такому же ускорению работы дисковой подсистемы.<\/p>\n",
"date_published": "2021-04-13T09:33:47+00:00",
"date_modified": "2021-04-13T09:33:32+00:00",
"_date_published_rfc2822": "Tue, 13 Apr 2021 09:33:47 +0000",
"_rss_guid_is_permalink": "false",
"_rss_guid": "13",
"_e2_data": {
"is_favourite": false,
"links_required": [
"system\/library\/highlight\/highlight.js",
"system\/library\/highlight\/highlight.css"
],
"og_images": []
}
},
{
"id": "12",
"url": "https:\/\/sorex.org\/?go=all\/flashcache-centos\/",
"title": "flashcache Centos",
"content_html": "
Разбивка в installimage<\/h2><\/p>\n
SSD<\/strong>: так как он первый, то закомментирован. Остальные секции
DRIVE: <\/strong>переименованы по номерами на 1 и 2.<\/p>\nSWRAIDLEVEL = 1<\/pre>\n( по умолчанию на 3-х пытается создать 5-й RAID)<\/p>\n
PART swap swap 32G\r\nPART \/boot ext3 512M\r\nPART lvm vg0 all\r\nLV vg0 vz \/vz ext4 600G\r\nLV vg0 root \/ ext4 all\r\n<\/pre>\nДалее, в соответствии с установщиком. Нажимаем f10 и enter.<\/p>\n
После загрузки сервера в обычном режиме с установленным чистым Centos, ставим OpenVZ. Установка описана здесь<\/a>.<\/p>\nТеперь начинается самое интересное.<\/p>\n
Установка flashcache<\/h2><\/p>\n
К сожалению, это не быстрый способ установки. Возможно, это из-за OpenVZ ядра. Мануал всего из двух строчек:<\/p>\n
1) Подключаем репозиторий<\/p>\n
rpm -Uvh http:\/\/elrepo.reloumirrors.net\/elrepo\/el6\/x86_64\/RPMS\/elrepo-release-6-4.el6.elrepo.noarch.rpm<\/a><\/pre>\n2) И устанавливаем<\/p>\n
yum -y install kmod-flashcache flashcache-utils<\/pre>\nНа момент написания статьи было ядро OpenVZ rhel6-2.6.32 версии 042stab074.10.<\/p>\n
Так как для сборки FlashCache требуются некоторые внутренние заголовочные файлы, которые не входят в состав пакета kernel-headers\/devel, требуется загрузить и установить полный код ядра. Нам же не хватало vzkernel-headers.<\/p>\n
yumdownloader —source kernel-`uname -r`\r\nrpm -ivh kernel-`uname -r`.src.rpm\r\n<\/pre>\nДалее скачиваем и устанавливаем:<\/p>\n
git clone https:\/\/github.com\/facebook\/flashcache.git<\/a>\r\n\r\ncd flashcache\r\n\r\nmake -f Makefile.dkms<\/pre>\n",
"date_published": "2021-04-13T09:31:15+00:00",
"date_modified": "2021-04-13T09:31:10+00:00",
"_date_published_rfc2822": "Tue, 13 Apr 2021 09:31:15 +0000",
"_rss_guid_is_permalink": "false",
"_rss_guid": "12",
"_e2_data": {
"is_favourite": false,
"links_required": [],
"og_images": []
}
}
],
"_e2_version": 3820,
"_e2_ua_string": "E2 (v3820;)"
}