[TOC]

0x00 前言简述

描述: 由于最近公司来了一批华为的服务器以及存储,来的时候真的感到非常意外因为从中标到接货超过了1个半月,其间还因为各种事进行推延;
在现场实施人员完成服务器上架以及测试后,由于业务的需求需要将其中的两台安装VMware ESXI将另外几台服务器安装修改后的CentOS7服务器系统,为后面kubernetes集群搭建做准备;


机器基础配置一览:

1
2
3
4
5
6
7
8
9
10
11
12
厂商: Huawei
机器型号: 2488H V5
产品结构: 2U
CPU: Intel Xeon Gold 6130 (十六核心/三十二线程)
CPU Type: Skylake
内存: 512G
磁盘: 600G X 2
BIOS 平台: Purley
阵列卡: MSCC SmartRAID 3152-8i 控制卡
HBA卡
iBMC:5.06
iBMC IP: 192.168.2.100

官方产品地址: FusionServer Pro智能服务器 > 机架服务器 > 产品型号: 2488H V5

BIOS平台与CPU型号对照表:

WeiyiGeek.BIOS-CPU

WeiyiGeek.BIOS-CPU


0x01 硬件基础介绍

1.阵列卡 MSCC SmartRAID 3152-8i

描述:MSCC SmartRAID 3152-8i控制卡(以下简称3152-8i)提供2个12Gbit/s的mini SAS HD接口,支持PCIe 3.0接口,并支持最多8个phy。它用于提高系统性能,并提供数据容错存储功能,支持数据的多硬盘分片存储,支持多硬盘同时读/写访问,有效降低硬盘数据访问延时。

Q: 什么是phy?
答: 全称为Physical Layer物理层的芯片,一般PHY芯片为模数混合电路,负责接收电、光这类模拟信号,经过解调和A/D转换后通过MII接口将信号交给MAC芯片(纯数字电路)进行处理。物理层定义了数据传送与接收所需要的电与光信号、线路状态、时钟基准、数据编码和电路等,并向数据链路层设备提供标准接口。

MSCC SmartRAID 3152-8i控制卡自带的Cache对标卡性能的提升有非常重要的作用,主要体现在:

  • 在写数据时,直接写入Cache,当写入的数据积累到一定程度,RAID卡才将数据刷新到硬盘,这样不但实现了批量写入,而且Cache作为快速读写设备,其本身的读写速度都远高于硬盘,因此采用 Cache后,整个设备的写数据速度得到提高。
  • 在读数据时,如果可以直接在Cache中命中的话,将减少磁盘寻道操作,降低响应时间,提升了数据读速度。

3152-8i安装在服务器的PCIe槽位上,结构如图所示。

WeiyiGeek.

WeiyiGeek.

3152-8i 基本参数(我选择有卖点的特性参数)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
接口速率 (Gbit/s) :12
支持的RAID组数量 :64
单个RAID组支持的最大硬盘数 : 128
所有RAID组包含的最大硬盘数量: 238
硬盘直通模式支持的硬盘数量:238
支持的最大硬盘数:238
支持的热备盘个数:32(每个Array最多支持4个热备盘)

MaxCache支持的SSD最大个数:128
MaxCache最大容量:6.8TB
MaxCache是否支持热备:否
MaxCache支持的RAID级别: 0/1/10/5

支持的RAID级别:RAID 0/1/1ADM/10/10ADM/5/50/6/60
是否支持设置条带单元: 是(可设为16KiB/32KiB/64KiB/128KiB/256KiB/512KiB/1024KiB)
是否支持RAID级别在线迁移:是
是否支持在线扩容:是
是否支持硬盘直通: 是
是否支持SSD IO Bypass:是
是否支持4K盘:是

#备注1:MaxCache即SSD Cache,Microsemi将该功能定义为“MaxCache”。

3152-8i 基本功能

  • 支持多种RAID级别:3152-8i最多支持238个硬盘,最多支持64个Array,每个Array最多支持64个LD(Logical Driver),整张RAID卡所有Array最多支持64个LD。
    WeiyiGeek.RAID级别

    WeiyiGeek.RAID级别

  • 支持多种工作模式
    • RAID模式:控制器下的逻辑盘会上报OS,但直通盘不会报送给OS。
    • HBA模式:控制器的所有RAID功能都被禁用,控制器下所有硬盘都被视为直通盘。
    • Mixed模式:RAID逻辑盘和直通盘都会报送给OS。
  • 硬盘热备份
  • 硬盘热插拔:请确认拔掉硬盘与插上硬盘的时间间隔在30s以上,以避免造成硬盘无法被识别。
  • 重建
  • 硬盘分条
  • 硬盘直通: 又称指令透传,是不经过传输设备处理,仅保证传输质量的一种数据传输方式。在不配置虚拟磁盘的情况下,用户指令可以直接透传到硬盘,方便上层业务软件或管理软件访问控制硬盘
    • 例如,服务器操作系统安装过程中,可以直接找到挂载在3152-8i下的硬盘作为安装盘;而不支持硬盘直通的RAID卡,在操作系统安装过程中,只能找到该RAID卡下已经配置好的虚拟磁盘作为安装盘。
  • 擦除硬盘数据:支持“Erase Disk”即安全擦除指定硬盘;数据擦除过程中,不能执行关机,重启,插拔硬盘等操作,否则会导致硬盘被损坏。
  • 容量扩展
  • 读写高速缓存
  • 数据掉电保护
  • 硬盘指示灯
    • 硬盘Fault指示灯(故障-黄色):灭:表示硬盘运行正常;黄色闪烁:表示硬盘处于被定位状态或RAID重构状态;黄色常亮:表示硬盘故障或RAID组中的成员盘状态异常。
    • 硬盘Active指示灯(正常-绿色): 灭:表示硬盘不在位或硬盘故障; 绿色闪烁:表示硬盘处于读写状态或同步状态; 绿色常亮:表示硬盘处于非活动状态。
  • 外部配置导入:当包含RAID配置信息的硬盘插入服务器后,服务器在启动过程中识别到当前硬盘配置符合该外部配置要求时,自动导入外部配置。


Q: 什么是Array?
答:Array即通常所说的硬盘组,每个Array可以包括1个或多个LD。

参考地址:https://support.huawei.com/enterprise/zh/doc/EDOC1100048779/b1eeb02e


0x02 操作系统安装

0.华为设备缺省信息

默认的账号及其密码,采用其可以登陆修改BIOS以及进入iBMC界面

1
2
3
4
5
6
7
8
9
10
# V1调试密码:[email protected]
# V1/V2/V3/V5存储,IP:192.168.128.101/102(A/B)
用户名/密码:admin/[email protected](默认)
用户名/密码:admin/Huawei12#$

# V2/V3服务器 IP:192.168.2.100 iBMC 控制台 (账号密码)
用户名/密码:root/Huawei12#$

#V5服务器 IP:192.168.2.100 iBMC 控制台 (账号密码)
用户名/密码:Administrator/[email protected]

参考链接:
https://support.huawei.com/enterprise/zh/doc/DOC1000040218?idPath=7919749|9856522|21782478|21782482|21497444


1.准备工作

描述: 下面描述都以2488H V5服务器为例进行讲述,系统开机功能界面选择:

1
2
3
4
5
6
7
8
9
10
11
# iBMC
- 版本
- 管理地址

# 功能参数
Del -- 服务器BIOS
F11 -- 启动项选择
F12 -- 网络启动
F3 -- 启动项选择(远程键盘) #通过网页访问或者KVM的时候使用、
F4 -- 服务器BIOS(远程键盘)
F6 -- SP Boot(Smart Provisioning) #系统安装

WeiyiGeek.

WeiyiGeek.

服务器系统安装流程如下:

WeiyiGeek.

WeiyiGeek.

1.1 BIOS默认设置:
华为服务器在出厂时已设置为最优的配置,我们强烈推荐您使用默认的BIOS设置,如果修改请在服务器BIOS POST过程中按下Delete键,进入BIOS SETUP菜单,按下F9加载默认配置。

例如,下表是使用VMware系统时的BIOS推荐设置;

BIOS选项 推荐值
Hyper-Threading[ALL] Enabled
Monitor/Mwait[1] Enabled
VMX Enabled
PCIe SR-IOV Enabled
Intel VT for Direct I/O(VT-d) Enabled
Interrupt Remapping Enabled
PCI 64-Bit Resource Allocation Enabled
Hardware Prefetcher Enabled
Adjacent Cache Prefetch Enabled
DCU Stramer Prefetcher Enabled
DCU IP Prefetcher Enabled
注1:Monitor/Mwait选项值对EVC兼容性的影响参见关于Monitor/Mwait和EVC兼容性

在部署系统前,请确认服务器BIOS、BMC等都已经更新到最新版本。


1.2 系统时间设置
描述:如果系统时间不正确就需要进行调整,此时您需要在BOIS中进行设置系统时间 ;
BIOS Setup Utility -> 在菜单栏中,选择“Main”页签 -> 选择“System Time” -> 选择“System Date”


1.3 启动顺序调整
在菜单栏中,选择“Boot > Boot Sequence”,按“Enter” -> 进入“Boot Sequence”界面 按照最下面的操作提示进行;


2.创建Riad阵列磁盘

描述:在BIOS中“Boot Type”设置为“UEFI Boot”模式时,打开的管理界面如下所述。我们在EFI/UEFI模式下我们进行raid的初始化配置;

Step 1.登录管理界面BIOS版本为V363及以下, 启动服务器过程中在显示IMBC IP地址界面按“F11”,弹出密码输入框(输入默认的BIOS密码[email protected])。

WeiyiGeek.

WeiyiGeek.

Step 2.Front Page界面 -> 选择“Device Manager”并按“Enter” -> 选择要操作的MSCC SmartRAID 3152-8i控制器,按“Enter”进入如图所示界面

WeiyiGeek.

WeiyiGeek.

Step 3.设置RAID卡工作模式”Configure Controller Settings>Modify Controller Settings“的顺序进入“Modify Controller Settings”界面, 选择“Port CN0 Mode”并按“Enter”, 最后再选择“Port CN0 Mode”并按“Enter”。

1
2
3
4
#3152-8iRAID卡支持三种工作模式,分别为:
RAID:控制器所有的RAID功能都被启用,但直通盘不会报送给OS。
Mixed:RAID逻辑盘和直通盘都会报送给OS。
HBA:控制器所有的RAID功能都被禁用,控制器下所有硬盘均被视为直通盘。

WeiyiGeek.

WeiyiGeek.

Step 4.在MSCC SmartRAID 3152-8i控制器主界面中,进入“Array Configuration”界面 -> 选择Create Array 进入成员盘选择界面 -> 选中硬盘后,按“Enter”键,将硬盘加入Array。;

1
2
# 硬盘状态为“Enabled”时表示硬盘被选中。
# RAID 1支持的硬盘个数为2。

Step 5.选择“Proceed to next Form”并按“Enter”进入RAID级别选择界面 -> 选择要配置的Array级别“RAID1“ -> 最后选择“Submit Changes”并按“Enter” -> 提示创建成功按“Enter”返回主界面。

参数 说明
Logical Drive Label LD的自定义标签。
Strip Size/Full Stripe Size Strip Size:单个物理盘的条带大小,可设置为16KiB/32KiB/64KiB/128KiB/256KiB/512KiB/1024KiB,默认值为256KiB。Full Stripe Size:整个LD的分条大小。当设定Strip Size后,系统会自动计算出Full Stripe Size。
Size 整个LD的容量大小。
Unit size LD的容量计算单位。
SSD Over Provisioning optimization 设置在创建由SSD组成的RAID组时,是否启用SSD Over Provisioning。 DisabledEnabled 说明: 只有当RAID组由SSD组成时,才能设置该属性。
Acceleration method 设置LD所采用的加速方法。 SSD I/O Bypass(只有当LD由SSD组成时,该选项有效)Controller cache(同时使用读Cache和写Cache)None(禁用加速,表示既不使用SSD I/O Bypass,也不使用Controller Cache,即无任何加速。)
Submit Changes 确认修改。
WeiyiGeek.

WeiyiGeek.

Step 6.检查配置结果按照“Array Configuration > Manage Arrays”的顺序进入刚才创建的Array A组中;

参数 说明
Array Type Array的类型。
List Logical Drives 逻辑盘相关的接口,可查看、修改逻辑盘的属性,删除逻辑盘等。
Create Logical Drive 创建逻辑盘。
IO Bypass Settings 设置SSD在不使用Controller Cache时的逻辑盘加速方法。 说明: 该特性即为读写高速缓存所述的“SSD I/O Bypass”。SSD组成的RAID组在使能Controller cache的情况下无法使能IO Bypass功能。如需使能IO Bypass,需要先禁用RAID组的Controller Cache,再使能IO Bypass。
Manage Spare Drives 热备盘相关的接口,可创建,删除热备盘等。
Identify Device 点亮/熄灭硬盘locate灯。
Delete Array 删除Array。

然后选择“List Logical Drive”并按“Enter”查看LD的相关属性 -> 之后在选择“Logical Drive Details”并按“Enter”

WeiyiGeek.List Logical Drive

WeiyiGeek.List Logical Drive

Step 7.至此RAID 1 磁盘阵列完成设置;

注意事项:

  • 1) 配置多个RAID组或包含多个VD的RAID组后,必须配置启动项,否则可能会导致操作系统安装异常
  • 2) 安装好服务器系统可以采用ARCCONF工具进行即可执行RAID卡管理查看等相关命令;


3.系统安装

描述: Huawei服务器有两种安装方式:

  • 直接安装方式: 方便简洁,但是由于没有镜像兼容性检测,可能导致系统安装后缺少驱动导致服务器或FC存储设备不能被识别;
  • Smart Provisioning方式安装:它一个操作系统的安装引导工具,简化了工程师在本地安装操作系统和驱动的过程。此方式要求iBMC 2.64以上版本以及BIOS 0.37以上版本。具体支持的服务器请使用智能计算产品兼容性查询助手进行查询。您可以使用Smart Provisioning集成在主板的方式引导安装系统,也可以使用挂载Smart Provisioning镜像的方式引导安装系统。
    1
    2
    3
    # 注意事项
    使用Smart Provisioning安装操作系统时,需要格式化待安装操作系统的硬盘,请在安装操作系统前备份硬盘数据。
    在Legacy模式下安装操作系统时,请使用容量在2TB以下的硬盘。

(1) 直挂载镜像方式安装流程:
Step 1.利用网页或者KVM登录服务器iBMC平台进行管理(将连接的机器配置同一网段下的IP即可)

WeiyiGeek.

WeiyiGeek.

Step 2.将ISO镜像进行挂载连接,然后重启服务器后在功能选择界面选择F11

WeiyiGeek.

WeiyiGeek.

Step 3.输入缺省密码后选择启动项然后加载镜像并进行进行安装;

WeiyiGeek.

WeiyiGeek.


(2)Smart Provisioning 方式安装流程:
Step 1.同样是先通过KVM或者ibmc网页端把进行连接,然后重新服务器在功能选择界面选择F6进入SP BOOT(此处需要输入密码),根据系统的配置此处可能等待时间较久;

WeiyiGeek.SP BOOT

WeiyiGeek.SP BOOT

Step 2.进入 Smart Provisioning 之后,点击 Start 出现以下界面,然后再次点击安装操作系统即可;

WeiyiGeek.

WeiyiGeek.

Step 3.选择安装的镜像,此处我们进行自定义即可,然后选择安装系统的版本,此处建议安装的是7.6,由于Smart Provisioning 现在默认最高支持CentOS7.6, 但是经过测试发现安装 7.8 也没问题只是在最后的安装结束前会报错,但是机器重启后可以正常的进入到系统之中;

WeiyiGeek.CentOS7.6

WeiyiGeek.CentOS7.6

Step 4.安装磁盘选择与确认操作

WeiyiGeek.

WeiyiGeek.

Step 5.挂载镜像后点击进行下一步,此时系统会自动安装系统到磁盘并将硬件驱动也一并安装;

WeiyiGeek.

WeiyiGeek.

Step 6.系统安装完毕后将会重启服务器(不得不说华为的服务器启动真的是…此时略5-6分钟),加载安装的UEFI模式的操作系统

WeiyiGeek.

WeiyiGeek.

Step 7.进入CentOS 7.6系统初始化安装配置界面(此处不再多说与描述)

WeiyiGeek.

WeiyiGeek.

Step 8.安装完成后进行系统,可以在root家目录中查看通过Smart Provisioning安装后所留的硬件设备以及存储FC SAN的驱动等

WeiyiGeek.

WeiyiGeek.


0x03 华为服务器ESXI安装实践

描述: 请按照上述流程进入Smart Provisioning界面之中,然后选择开始进行按照下面操作部署EXSI;

1.基础安装
  • Step1.EXSI安装版本的选择此处最高可选择 ESXI 6.7 版本的镜像进行安装

    WeiyiGeek.1

    WeiyiGeek.1

  • Step2.选择我们将要安装的磁盘,本来服务器中有两块盘由于做了Raid1所以空间只有大约600G,选择下面的磁盘进行安装

    WeiyiGeek.2

    WeiyiGeek.2

  • Step3.挂载镜像后点击下一步进行ESXI系统的安装;

    WeiyiGeek.3

    WeiyiGeek.3

  • Step4.加载镜像到内存后将会自动重启服务器,进入到ESXI安装界面之中;

    WeiyiGeek.4

    WeiyiGeek.4


2.后续配置
FW和驱动配套检查

描述:有些板卡的驱动和FW是存在配套关系,系统安装完以后,我们建议您进行驱动和FW的配套检查,方法如下:
(1) 运行idriver驱动包中的install.sh脚本。

1
sh install.sh

(2) 选择“2: To check the current module information and driver version”。
1
2
3
4
5
执行以后,FW和驱动的检查结果如下图。其中:
“CurrentDriverVer”:代表系统中当前使用的驱动版本
“NewDriverVersion”:代表系统推荐使用的驱动版本
“CurrentFirmwareVer”:代表当前的FW版本
“NewFirmwareVersion”:代表推荐使用的FW版本

(3) 执行以后,如果发现“CurrentFirmwareVer”不等于“NewFirmwareVersion”,或者“CurrentDriverVer”不等于“NewDriverVersion”需要对FW和驱动进行更新


系统优化配置

电源优化

描述:Power Management Policy设置为了在esxi系统下实现最佳的性能和稳定性。要实现Power Management Policy设置功能,您必须在华为服务器BIOS中将“Hardware P-States”选项设置为“Native Mode”

配置流程:

1
主机 -> Manager(管理) -> Hardware(硬件) -> Power Management Policy -> Change policy -> 设置为 High performance


CPU 优化
描述:在系统下关闭C state,关闭CPU的C state可以获得更好的性能,在esxi系统下禁用C state的方法如下。
进入Manage界面,选择Power.CstateMaxLatency, 然后设置为0。

WeiyiGeek.C state

WeiyiGeek.C state

描述:Monitor/Mwait和EVC兼容性建议您检查集群中服务器是否都是同一代CPU架构,如果集群中服务器都是同一代CPU架构,在这种情况下EVC特性是不起作用的,建议您关闭集群的EVC特性,对使用上没有任何影响。
如果您的集群中存在不同代CPU架构的服务器,并且要启用集群的EVC特性,您必须在华为服务器BIOS中将MONITOR/MWAIT特性设置为Enabled。

设置流程:BIOS untility -> MONITOR/MWAIT -> Enabled;

参照地址:华为V5服务器 VMware 系统使用最佳实践


0x04 F&Q

1.iBMC 管理地址设置

描述: 登录iBMC平台后选择 配置 -> 网络配置 -> IPV4进行设置(ip/子网/默认网关) ,配置完成后原管理地址立即失效,请访问新的管理地址;

WeiyiGeek.iBMC 管理地址

WeiyiGeek.iBMC 管理地址


2.服务器安装系统启动模式的选择

描述:启动模式的修改根据需要在“Boot”页签中选择“Boot Type”为“UEFI Boot”或“Legacy Boot”;

当服务器配置了较多的可启动设备时,在Legacy模式下可能出现部分设备无法正常启动,建议使用UEFI模式启动,UEFI模式较Legacy模式可以支持更多可启动设备;如需要使用Legacy模式,建议根据实际业务场景禁用串口重定向或网卡PXE等,确保操作系统可以正常启动,具体操作请参考各平台BIOS参数参考的“设置网卡的PXE”和“设置串口重定向”章节。

注意事项:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
# 1.两种模式下引导显示异同
- 在Legacy模式下:
当服务器配置了支持从Legacy启动的RAID卡或物理硬盘时,Hard Disk Drive列表显示具体的RAID卡或者物理硬盘信息,可以通过调整其顺序来调整启动设备。
- 在UEFI模式下:
当服务器硬盘未安装OS时,Hard Disk Drive列表下不存在启动项,此时OS安装过程中选择用来安装OS的硬盘即为启动盘。
当服务器硬盘已安装OS时,Hard Disk Drive列表将显示具体的OS版本,可以通过调整OS顺序来调整启动设备。


# 2.两种模式下切换注意
如果服务器已经在Legacy或者UEFI模式下安装OS,切换启动方式后将无法进入操作系统,需要切换为安装时的启动方式再进入,如操作系统需要重装,请根据实际情况选择是UEFI 或Legacy 模式安装OS。


# 3.两种模式下硬盘容量的关联
如果待安装的硬盘或RAID组容量大于2TB,需要将启动模式设置为UEFI Boot,新机器还是推荐使用该启动模式,除非额外的硬件不允许的条件下选择Legacy启动;
如果服务器安装了NVMe硬盘,并在该硬盘上安装OS,只能将启动模式设置为UEFI Boot。