中海集装箱天津有限公司塘沽片区虚拟化实施报告

中海信息系统有限公司CHINA SHIPPING INFORMATION SYSTEMS CO.,LTD

中海集装箱天津有限公司

塘沽片区虚拟化实施报告

中海信息系统有限公司

地址：上海市虹口区东大名路 700号 8楼邮编：200080电话：8621－65966830，65966836 传真：8621－65966837

第 1页共 40页


2011年 7月 4日


第 2页共 40页


目录1. 概述..................................................................................................................................................................3

1.1. 项目概述..................................................................................................................................................3

1.2. 报告导读..................................................................................................................................................3

2. 项目背景..........................................................................................................................................................4

2.1. 中海集运天津公司塘沽片区信息系统环境简介..................................................................................4

3. 详细实施过程..................................................................................................................................................5

3.1. 一、EQUALLOGIC的初始化..................................................................................................................5

3.2. 二、EQUALLOGIC的配置......................................................................................................................7

3.3. 三、VMWARE连接 EQ的配置...........................................................................................................11

3.4. 四、格式化，创建相应的VMFS........................................................................................................16

3.5. 五、配置 ESX主机实现HA................................................................................................................21

3.5.1创建数据中心........................................................................................................................................213.5.2数据中心添加 ESX主机.......................................................................................................................213.5.3创建主机群集........................................................................................................................................22

4. 服务器检查报告............................................................................................................................................29

5. 数据库部署报告............................................................................................................................................30

6 备份策略..............................................................................................................................................................32

7 CARGO程序维护...............................................................................................................................................33


第 3页共 40页


1.概述

1.1.项目概述

本项目是由天津集运在塘沽片区投资内贸 CARGO系统的一期新硬件设备

平台。由DELL公司及中海信息在一周时间内共同完成服务器部署、数据库迁

移等工作。天津集运塘沽片区的 CARGO系统已从物理迁移到、一个具有高度

扩充能力，并且带有良性资源循环的架构体系。

1.2.报告导读

本方案主要由以下部分组成：

1、概述

2、项目背景

3、详细实施过程

4、服务器检查报告

5、数据库部署报告

6、备份策略

7、程序维护


第 4页共 40页


2.项目背景

2.1.中海集运天津公司塘沽片区信息系统环境简介

中国海运集装箱天津运输有限公司之前 CARGO业务系统部署在 5台 2003年左右采

购的DELL服务器上。其中 3台服务器采用 LINUX操作系统，分别部署了内贸、箱管

（网上订舱）、JBOSS应用服务器等。另外还有 2台DELL服务器左右内贸单证、及箱管

应用服务器。所有业务数据均保存在本地硬盘中，数据安全与运算性能的降低，以及随

之带来的高昂的维修和维护成本等风险。天津集运公司于 2010年通过采购计划，购买

了 2台DELL R910服务器及一台 EQLOGIC存储，以及 2台千兆交换机。

至此，塘沽片区在进行虚拟化改造后，完成了如下目标：

PC服务器整合，基本将 5台业务系统主机和应用服务器整合到 2台物理服务器

上，充分利用高性能服务器的资源。

数据安全保护，将操作系统和业务数据都部署在 SAN环境中，并另外定期做数

据备份，保护数据安全。


第 5页共 40页


简化服务器管理，能通过集中的管理端来快速解决问题，良好的业务架构和规

划使得服务器的管理更细致。

备份管理，能按时通过数据库备份脚本来备份数据库备份文件，在初次安装时

备份虚拟服务器镜像封装文件。


第 6页共 40页


3.详细实施过程

3.1.一、EqualLogic的初始化

1.启动初始化软件

点击”开始”.”程序”，双击”EqualLogic”.”Remote Setup Wizard”，如图：

2.初始化软件会自动扫描到存储设备的 Seril Number等相关信息。


第 7页共 40页


3.设置 EQ参数

4.设定新的GROUP名称.IP.密码以及Membership password等。


第 8页共 40页


5.完成 EQ的初始化。

6.初始化完成，成功创建Group。

3.2.二、EqualLogic的配置

1.在客户端用 IE登录 EQ（需要 J2RE 1.6），在地址栏输入 EQ 的 groupIP即可，出现如图界面，

输入 grpadmin及 password


第 9页共 40页


2.时区的配置，方便在以后管理中查看事件日志。

3.Member网卡的 IP配置。输入 IP.Netmask.Gateway。


第 10页共 40页


4.Volume的划分。

（1）右键单击”Volume”.”Create Volume”。输入Volume name,单击”Next”,继续。

（2）输入Volume Size,这里采用精简模式。单击”Next”,继续。


第 11页共 40页


（3）这里先选择“No access”允许不同的 initiators用不同的 IQN来连接存储。


第 12页共 40页


（4）Volume的建立完成。


第 13页共 40页


3.3.三、VMware连接 EQ的配置

为 iscsi存储添加独立的 vSwitch,通过 ssh远程登录到 ESX 主机中，使用命令行来添加，命令：

esxcfg-vswitch --add vSwitch1

将 vSwitch的MTU值调整为：9000，命令：esxcfg-vswitch -m 9000 vSwitch1

将用于传输 iscsi的 vmnic4.vmnic5添加到 vSwitch1当中。命令：esxcfg-vswitch -L vmnic4

vSwitch1.esxcfg-vswitch -L vmnic5 vSwitch1 如图：


第 14页共 40页


configure the IP Address, Subnet Mask and enable Jumbo Frame supportfor the new VMkernel Port

iSCSI1.iSCSI2.iSCSI3.iSCSI4。Comand:

esxcfg-vswitch -A iSCSI1 vSwitch1esxcfg-vswitch -A iSCSI2 vSwitch1esxcfg-vswitch -A iSCSI3 vSwitch1esxcfg-vswitch -A iSCSI4 vSwitch1

5.create 5 more VMkernel Ports named iSCSI2, iSCSI3, iSCSI4, iSCSI5 and iSCSI6.Then configure the IP Addresses, subnet masks and enable Jumbo Frames.esxcfg-vmknic -a -i 192.168.100.210 -n 255.255.255.128 -m 9000 iSCSI1esxcfg-vmknic -a -i 192.168.100.211 -n 255.255.255.128 -m 9000 iSCSI2esxcfg-vmknic -a -i 192.168.100.212 -n 255.255.255.128 -m 9000 iSCSI3esxcfg-vmknic -a -i 192.168.100.213 -n 255.255.255.128 -m 9000 iSCSI4

6.verify the configuration enter the following command:[root@localhost ~]# esxcfg-vswitch -lSwitch Name Num Ports Used Ports Configured Ports MTU Uplinks vSwitch0 128 3 128 1500 vmnic0 PortGroup Name VLAN ID Used Ports Uplinks


第 15页共 40页


VM Network 0 0 vmnic0 Service Console 0 1 vmnic0 Switch Name Num Ports Used Ports Configured Ports MTU Uplinks vSwitch1 128 7 128 9000 vmnic4,vmnic5PortGroup Name VLAN ID Used Ports Uplinks iSCSI4 0 1 vmnic4,vmnic5 iSCSI3 0 1 vmnic4,vmnic5 iSCSI2 0 1 vmnic4,vmnic5 iSCSI1 0 1 vmnic4,vmnic57.Bindingvmnics to VMkernel Ports

esxcfg-vswitch –p iSCSI1 –N vmnic4 vSwitch1esxcfg-vswitch –p iSCSI2 –N vmnic4 vSwitch1esxcfg-vswitch –p iSCSI3 –N vmnic5 vSwitch1esxcfg-vswitch –p iSCSI4 –N vmnic5 vSwitch1


第 16页共 40页


8.开启iscsi软件适配器 esxcfg-swiscsi -e


第 17页共 40页


9.discover all SCSI devices，including the iSCSI software adapter

esxcfg-scsidevs –a

10.map each VMkernel Port to the iSCSISoftware Initiator. This is done through the CLI by typing the following commandesxcliswiscsinic add -n vmk1 -d vmhba37esxcliswiscsinic add -n vmk0 -d vmhba37esxcliswiscsinic add -n vmk2 -d vmhba37esxcliswiscsinic add -n vmk3 -d vmhba37

11.添加存储的Group IP


第 18页共 40页


12.在EQ中，修改Volume的ACL，添加ESX主机的IQN：iqn.1998-01.com.vmware:localhost-

29530a95，重新扫描软件适配器。


第 19页共 40页


13.查看多路径效果，方式为循环。这里Multpath为4条。


第 20页共 40页


3.4.四、格式化，创建相应的VMFS

1.选择”存储器”，添加”存储器”。

2.选择”磁盘/LUN”,单击”Next”


第 21页共 40页


3.选择其中一个LUN。


第 22页共 40页


4.输入datastore的名称，这里为：vdisk1.vdisk2。


第 23页共 40页


5.选择最大的文件大小，2T。


第 24页共 40页


6.添加完成。


第 25页共 40页


7.同样的方法为另一台ESX主机vcscl2重新扫描存储适配器当中的软件iscsi适配器，添加之前已经格

式化完毕并可以使用的存储器。


第 26页共 40页


3.5.五、配置 ESX主机实现HA

3.5.1创建数据中心

3.5.1打开VMware Client，输入Vcenter的管理员账号和密码，登录到Vcenter当中。

3.5.2单击”新建数据中心”

3.5.3这里输入数据中心名称为 CSCLTG


第 27页共 40页


3.5.2数据中心添加 ESX主机

3.5.2单击”添加主机”，打开添加主机向导，输入 ESX主机的 IP地址、账号、密码。

3.5.3添加完成之后可以看到树结构，2台 ESX主机为：10.16.34.3、10.16.34.4

3.5.3创建主机群集

3.5.3右键单击数据中心，选择新建群集


第 28页共 40页


3.5.4输入群集名称这里为：esx-ha，这里暂时不勾选打开VMware HA 和DRS

3.5.5保持默认，禁用EVC功能，处理器型号可能在其提供的CPU 功能方面不同，在虚拟机中运行


第 29页共 40页


的应用程序可以利用这些功能。因此，无法使用VMotion® 在具有不同功能集的处理器上运行的系

统之间迁移虚拟机。在某些情况下，通过将增强型VMotion

兼容性 (EVC) 用于支持此功能的处理器，可以避免此限制，因为这里的两台ESX主机CPU配置是一

样的，所以不需要开启EVC功能。

3.5.4此时群集建完之后是一个空的群集，我们需要将 2台 ESX主机添加到群集当中来


第 30页共 40页


3.5.5单击”添加主机”

3.5.6编辑群集，打开 VMware HA功能，因为这里的 ESX主机版本为标准版，不含有 DRS功能，

所以这里不勾选VMware DRS，单击”确定”。


第 31页共 40页


3.5.7这里会有黄色警示灯，因为群集创建过程正在向各个 ESX主机安装配置HA代理。

3.5.8群集配置完成之后，状态恢复正常。


第 32页共 40页


3.5.9虚拟机选项，这里保持默认即可。

3.5.10启用虚拟机监控功能，敏感度调为低。


第 33页共 40页



第 34页共 40页


4.服务器检查报告

ESX服务器日志检查空间检查说明

10.16.34.3正常　　

10.16.34.4正常　　

Vcenter 服务器

Vcenter系统日

志警报任务与事件 HA的状态

10.16.34.21正常正常正常无切换

虚拟服务器日志检查空间检查说明

10.16.34.10正常正常

Vcscltg_Appeds

10.16.34.22正常正常

Vcscltg_Appems

10.16.34.25正常正常

Vcscltg_edsdbserver (RED HAT)

10.16.34.23正常正常

Vcscltg_emsdbserver (RED HAT)

10.16.34.26正常正常

Vcscltg_JBOSS (RED HAT)

其他服务器日志检查空间检查说明

10.16.34.9正常正常单证应用

10.16.34.15正常正常单证应用

10.16.34.16正常正常外贸 CARGO应用

10.16.34.24正常正常内贸应用

10.16.34.28正常正常数据库冷备机

10.16.34.1正常正常域控DNS


第 35页共 40页


5.数据库部署报告

数据库维护

SID EDSDB SCHEMA EDS

项目情况说明

检查表空间新创建见右表　

缓冲命中率正常　　

alert_log*正常　　

listener_log正常　　

表数据字典统计分析时间6/30/2011 　

索引数据字典统计分析时间6/30/2011 　

说明：参数调整　Shard Pool Size 500MB Open cursors 1000 　Buffer Cahche Size 500MB processes 600 　Java Pool Size 100MB sessions 600 　Large Pool Size 100MB catpatch.sql YES 　PGA Size 500MB 　

archive文件存放位置/oradata/archive 　

init文件存放位置/oradata/init/pfile 　

trace文件存放位置/oradata/trace 　

control文件存放位置/oradata/EDSDB 　

DATA文件存放位置/oradata/EDSDB 　

　　

检查人：周巳佳　检查时间：7/1/2011


第 36页共 40页


数据库维护

SID EDSECDB SCHEMA EMS EDS

项目情况说明

检查表空间新创建见右表　

缓冲命中率正常　　

alert_log*正常　　

listener_log正常　　

表数据字典统计分析时间6/30/2011 　

索引数据字典统计分析时间6/30/2011 　

说明：参数调整　Shard Pool Size 500MB Open cursors 1000 　Buffer Cahche Size 600MB processes 600 　Java Pool Size 64MB sessions 600 　Large Pool Size 100MB catpatch.sql YES 　PGA Size 400MB 　

archive文件存放位置/oradata/archive 　

init文件存放位置/oradata/init/pfile 　

trace文件存放位置/oradata/trace 　

control文件存放位置/oradata/EDSECDB 　

DATA文件存放位置/oradata/EDSECDB 　

　　

检查人：周巳佳　检查时间：7/1/2011

表空间 EDS：

TABLESPACE_NAMEtotal_size(MB) used_size(MB) free_size(MB) USED_RATE

1 EXAMPLE 138 137.562 0.438 99.59%2 SYSTEM 440 434.062 5.938 98.65%


第 37页共 40页


3 XDB 47 44.375 2.625 94.67%4 CWMLITE 20 17.562 2.438 87.81%5 USERS 20460 14548.625 5911.375 71.11%6 DRSYS 20 9.687 10.313 48.44%7 ODM 20 9.375 10.625 46.88%

8 INDX 4092 1209.375 2882.625 29.55%9 UNDOTBS1 2048 22.375 2025.625 1.09%

10 TOOLS 10 0.062 9.938 0.62%

表空间 EMS_EDSEC

TABLESPACE_NAMEtotal_size(MB) used_size(MB) free_size(MB) USED_RATE

1 EXAMPLE 138 137.562 0.438 99.59%2 SYSTEM 440 432.062 7.938 98.20%3 XDB 47 44.375 2.625 94.67%4 CWMLITE 20 17.562 2.438 87.81%5 USERS 8184 5195.312 2988.688 63.48%6 DRSYS 20 9.687 10.313 48.44%7 ODM 20 9.375 10.625 46.88%

8 INDX 4092 1552.875 2539.125 37.95%9 UNDOTBS1 2048 33.375 2014.625 1.63%

10 TOOLS 10 0.062 9.938 0.62%


第 38页共 40页


6 备份策略

备份检查维护

级别策略说明

存储卷 ESX 快照每 3小时全部恢复存储卷到 3小时前

数据库导出导出DMP文件每天 12小时每天 1点定时导出

虚拟机快照快照 6月 29日

可恢复单台虚拟机到操作

系统安装完毕状态


第 39页共 40页


7 CARGO程序维护

在服务器虚拟化工作完成好之后，需要在新的服务器虚拟机环境中部署程序并进行测

试，主要工作如下:

1. 配置内贸，箱管的APP应用服务以及关联服务器，并进行内贸和箱管程序的测试。

2. 重新安装并配置内贸网上 JBOSS，并进行内贸网上平台功能的测试。

3. 与内贸，外贸以及箱管的操作人员一起针对系统存在的问题进行开会讨论，并予以

解答，同时对需要系统调整的问题做好记录，需要做进一步的分析后再进行解决。

4. 对箱管门禁程序刷卡时拆分费用功能进行了程序的调整，并部署给操作人员进行测

试。

5. 对箱管自动审核机自动接受进口的 EIR功能进行了程序调整，并部署给操作人员进

行测试。

6. 针对箱管操作人员反馈的箱管动态导入存在的问题，进行了程序的调整。

7. 按照用户的格式要求，对于内贸的提单打印模板进行了调整。

8. 对内贸客户资料的结算单位选项进行了批量更新。


第 40页共 40页

中海集装箱天津有限公司塘沽片区虚拟化实施 报告

Documents

中海集装箱天津有限公司塘沽片区虚拟化实施报告