在主机使用存储的过程中,一般都会遇到在光纤通道交换机上创建Zone,避免数据流之间的干扰,尤其在作Oracle Rac中肯定要这样做,不然会有一些意想不到的问题,我就遇到过这样的情况。
Zone的创建
1、创建ZONE
zonecreate"H60_1_6920A_31","1,1;1,8"
2、创建cfg配置文件
cfgadd"sw4100cfg","H60_1_6920A_31"
3、激活配置文件
cfgenable"sw4100cfg"
cfgsave
Zone的删除
(1).zonedelete “H41_1_6920B_31”
(2) cfgremove “sw4100cfg”,” H41_1_6920B_31”
(3) cfgenable “sw4100cfg”
(4) cfgsave
星期二, 五月 01, 2007
在Redhat上如何应用存储Sun6920
1、在Linux主机上初次识别或增删存储卷在正常情况下需重启主机,但也可以通过删除和重新加载HBA模块来进行。
在HBA卡未在使用时可直接删除和重新加载,若是新增或删除原有的卷就需把当前正在使用的卷(文件系统)停止相关应用和umount后才能操作。具体步骤如下:
1) lsmod 显示当前的系统模块,找出HBA对应的模块
2) rmmod qla2300 删除HBA模块
3) rmmod qla2xxx 删除HBA主模块
4) lsmod 察看要删除的模块是否已删除
5) modprobe qla2300重新加载HBA模块(系统会自动加载相应得qla2xxx模块)
6) lsmod 再次查看HBA模块是否已重新加载起来
7) sfdisk 用系统命令看是否有新的sdx 设备增加,可同时显示容量进行判断
8) scsi_id -g –s /block/sdx 用系统命令察看sdx 设备的WWN号,可与上述的存储与主机对应表中找出对应得卷
9) 在判断出sdx设备对应关系后即可对新增的盘(卷)进行使用,如建立文件系统、配置MDADM多路访问等。
2、配置多路访问
每台数据主机都安装有2块HBA卡,为达到同时识别存储的盘和通道故障冗余,需安装配置多路软件来管理。
mdadm是linux内部提供的用来管理多路径存储环境下的功能,该功能用来将主机到存储之间的多路径进行识别,同时提供多通道之间的通道故障切换功能。
具体实现MDADM的配置如下:
1) lssd 用系统命令来查看2张HBA卡上的卷信息
sda 0,0,0,0 SUN SE6920 0202 2231-0001-5d04-d300
sdb 0,0,1,0 SUN SE6920 0202 2231-0001-5d05-5c00
sdc 0,0,2,0 SUN StorEdge 3511 413C 2160-00c0-ff89-23b9
sdd 1,0,0,0 SUN SE6920 0202 2241-0001-5d04-d300
sde 1,0,1,0 SUN SE6920 0202 2241-0001-5d05-5c00
sdf 1,0,2,0 SUN StorEdge 3511 413C 2560-00c0-ffc9-23b9
2)如上显示当前系统通过HBA卡识别到6个盘,由于是2张HBA卡同时识别到相同的存储卷,所以实际只有3个盘。由上显示的第2列HBA卡通道ID号可以分别出前三行是第1张光纤卡开头是“0”,后三行是另一张光纤卡卡头是“1”。再从最后一列的存储节点WWN号可以判断出sdx设备的对应关系,如sda和sdd的设备都是“2231-0001-5d04-d300”,就是6920A的节点WWN。由此可以判断出6个设备在2张光纤卡中的对应关系。
sda、sdd对应6920A
sdb、sde对应6920B
sdc、sdf对应3511
3)还可以进一步确认盘的对应关系,确保无误:
#scsi_id -g –s /block/sda
3600015D00004D3000000000000000795
#scsi_id -g –s /block/sdd
3600015D00004D3000000000000000795
同样对sdb、sde和sdc、sdf操作
可以看出sda、sdd的卷WWN是相同的,此时的对应关系可确保无误了。
4)建立MDADM设备,系统初期在/dev目录下已存在md0-md19共20个MDAMD设备名,是一个系统连接影射关系,可用于建立软RAID和多路经使用,可根据主机的盘数和习惯规则选择使用。如对sda、sdd两路相同的卷创建md1,操作如下:
#mdadm -C /dev/md1 -l multipath -n2 /dev/sda /dev/sdd
Md1已创建
创建情况可通过#mdadm –D /d/ev/md1察看
/dev/md1:
Version : 00.90.01
Creation Time : Fri Feb 17 12:20:41 2006
Raid Level : multipath
Array Size : 209715136 (199.100 GiB 214.75 GB)
Raid Devices : 2
Total Devices : 2
Preferred Minor : 1
Persistence : Superblock is persistent
Update Time : Tue Feb 21 08:58:32 2006
State : clean, degraded
Active Devices : 1
Working Devices : 1
Failed Devices : 1
Spare Devices : 0
Number Major Minor RaidDevice State
1 8 48 1 active sync /dev/sda
2 8 0 -1 active sync /dev/sdd
UUID : 9db29812:14b701fb:68862181:0c9e5950
Events : 0.7
可以看到两路设备都已是活动状态。
5)MDADM当前只有一路是同数据通路活动的,当主路出现故障时会自动切换到另一路上。如发生主路HBA卡故障、一台存储交换机故障、或存储一个端口控制器故障时,主/备路会变成faulty,若是主路,此时便会切到备路上去。
可用# mdadm –D /d/ev/md1察看
/dev/md1:
Version : 00.90.01
Creation Time : Fri Feb 17 12:20:41 2006
Raid Level : multipath
Array Size : 209715136 (199.100 GiB 214.75 GB)
Raid Devices : 2
Total Devices : 2
Preferred Minor : 1
Persistence : Superblock is persistent
Update Time : Tue Feb 21 08:58:32 2006
State : clean, degraded
Active Devices : 1
Working Devices : 1
Failed Devices : 1
Spare Devices : 0
Number Major Minor RaidDevice State
0 0 0 -1 removed
1 8 48 1 active sync /dev/sdd
2 8 0 -1 faulty /dev/sda
UUID : 9db29812:14b701fb:68862181:0c9e5950
Events : 0.7
看到当前sda已发生故障,sdd为通讯路经
6)当故障修复后,MDADM不会自动failback,需手工加载恢复通路,如将修复后的sda重新加载回来如下:
#mdadm /dev/md1 –r /dev/sda –a /dev/sda
再用# mdadm –D /d/ev/md1察看状态是否恢复正常。
7)如需删除一个不再使用或暂时不适用的md设备,可以通过mdadm –S /d/ev/mdx来停止相应的md设备。如设备当前正被加载使用中,则需先停止
在HBA卡未在使用时可直接删除和重新加载,若是新增或删除原有的卷就需把当前正在使用的卷(文件系统)停止相关应用和umount后才能操作。具体步骤如下:
1) lsmod 显示当前的系统模块,找出HBA对应的模块
2) rmmod qla2300 删除HBA模块
3) rmmod qla2xxx 删除HBA主模块
4) lsmod 察看要删除的模块是否已删除
5) modprobe qla2300重新加载HBA模块(系统会自动加载相应得qla2xxx模块)
6) lsmod 再次查看HBA模块是否已重新加载起来
7) sfdisk 用系统命令看是否有新的sdx 设备增加,可同时显示容量进行判断
8) scsi_id -g –s /block/sdx 用系统命令察看sdx 设备的WWN号,可与上述的存储与主机对应表中找出对应得卷
9) 在判断出sdx设备对应关系后即可对新增的盘(卷)进行使用,如建立文件系统、配置MDADM多路访问等。
2、配置多路访问
每台数据主机都安装有2块HBA卡,为达到同时识别存储的盘和通道故障冗余,需安装配置多路软件来管理。
mdadm是linux内部提供的用来管理多路径存储环境下的功能,该功能用来将主机到存储之间的多路径进行识别,同时提供多通道之间的通道故障切换功能。
具体实现MDADM的配置如下:
1) lssd 用系统命令来查看2张HBA卡上的卷信息
sda 0,0,0,0 SUN SE6920 0202 2231-0001-5d04-d300
sdb 0,0,1,0 SUN SE6920 0202 2231-0001-5d05-5c00
sdc 0,0,2,0 SUN StorEdge 3511 413C 2160-00c0-ff89-23b9
sdd 1,0,0,0 SUN SE6920 0202 2241-0001-5d04-d300
sde 1,0,1,0 SUN SE6920 0202 2241-0001-5d05-5c00
sdf 1,0,2,0 SUN StorEdge 3511 413C 2560-00c0-ffc9-23b9
2)如上显示当前系统通过HBA卡识别到6个盘,由于是2张HBA卡同时识别到相同的存储卷,所以实际只有3个盘。由上显示的第2列HBA卡通道ID号可以分别出前三行是第1张光纤卡开头是“0”,后三行是另一张光纤卡卡头是“1”。再从最后一列的存储节点WWN号可以判断出sdx设备的对应关系,如sda和sdd的设备都是“2231-0001-5d04-d300”,就是6920A的节点WWN。由此可以判断出6个设备在2张光纤卡中的对应关系。
sda、sdd对应6920A
sdb、sde对应6920B
sdc、sdf对应3511
3)还可以进一步确认盘的对应关系,确保无误:
#scsi_id -g –s /block/sda
3600015D00004D3000000000000000795
#scsi_id -g –s /block/sdd
3600015D00004D3000000000000000795
同样对sdb、sde和sdc、sdf操作
可以看出sda、sdd的卷WWN是相同的,此时的对应关系可确保无误了。
4)建立MDADM设备,系统初期在/dev目录下已存在md0-md19共20个MDAMD设备名,是一个系统连接影射关系,可用于建立软RAID和多路经使用,可根据主机的盘数和习惯规则选择使用。如对sda、sdd两路相同的卷创建md1,操作如下:
#mdadm -C /dev/md1 -l multipath -n2 /dev/sda /dev/sdd
Md1已创建
创建情况可通过#mdadm –D /d/ev/md1察看
/dev/md1:
Version : 00.90.01
Creation Time : Fri Feb 17 12:20:41 2006
Raid Level : multipath
Array Size : 209715136 (199.100 GiB 214.75 GB)
Raid Devices : 2
Total Devices : 2
Preferred Minor : 1
Persistence : Superblock is persistent
Update Time : Tue Feb 21 08:58:32 2006
State : clean, degraded
Active Devices : 1
Working Devices : 1
Failed Devices : 1
Spare Devices : 0
Number Major Minor RaidDevice State
1 8 48 1 active sync /dev/sda
2 8 0 -1 active sync /dev/sdd
UUID : 9db29812:14b701fb:68862181:0c9e5950
Events : 0.7
可以看到两路设备都已是活动状态。
5)MDADM当前只有一路是同数据通路活动的,当主路出现故障时会自动切换到另一路上。如发生主路HBA卡故障、一台存储交换机故障、或存储一个端口控制器故障时,主/备路会变成faulty,若是主路,此时便会切到备路上去。
可用# mdadm –D /d/ev/md1察看
/dev/md1:
Version : 00.90.01
Creation Time : Fri Feb 17 12:20:41 2006
Raid Level : multipath
Array Size : 209715136 (199.100 GiB 214.75 GB)
Raid Devices : 2
Total Devices : 2
Preferred Minor : 1
Persistence : Superblock is persistent
Update Time : Tue Feb 21 08:58:32 2006
State : clean, degraded
Active Devices : 1
Working Devices : 1
Failed Devices : 1
Spare Devices : 0
Number Major Minor RaidDevice State
0 0 0 -1 removed
1 8 48 1 active sync /dev/sdd
2 8 0 -1 faulty /dev/sda
UUID : 9db29812:14b701fb:68862181:0c9e5950
Events : 0.7
看到当前sda已发生故障,sdd为通讯路经
6)当故障修复后,MDADM不会自动failback,需手工加载恢复通路,如将修复后的sda重新加载回来如下:
#mdadm /dev/md1 –r /dev/sda –a /dev/sda
再用# mdadm –D /d/ev/md1察看状态是否恢复正常。
7)如需删除一个不再使用或暂时不适用的md设备,可以通过mdadm –S /d/ev/mdx来停止相应的md设备。如设备当前正被加载使用中,则需先停止
订阅:
评论 (Atom)