Send to Kindle

针对这两天的测试，多图记录一下测试过程和结果。

硬件环境：
ESXi 5.0 on USB G530 2400MHz X2 + 8G + WD 500G单碟 datastore + RTL8168
ESXi 5.0 on USB 210e开核3125MHz X4 + 16G + WD 500G单碟 datastore + AR8131
Win7 on 210e开核3125MHz X4 + 8G + AR8131
K41H + RTL8111

先是针对G530的测试，remote端是880GM-E41+210e开核3125MHz X4。
运行esxi后资源分配

G530搭配H61只能上8G内存，运行esxi时内存和CPU都表现出了瓶颈现象，在网络负载测试时G530达到了几乎95%的占用率，在4个虚拟机包含windows7 64bit的时候内存几乎用尽。
此时windows 7 64bit安装接近尾声，windows xp里浏览网页flash资源消耗严重，依旧无卡顿。

之后测试改为210e开核跑esxi，remote端是K41H，资源和网卡

虽然G530时系统资源有限，但网络非常稳定
windows 7安装 + windows xp浏览网页 + ubuntu ping i2cq.com + ubuntu2 apt-get openjdk-6-jre。ping全程不掉包，最高55ms超乎寻常的稳定。

但用iperf测试网络时cpu资源居然耗尽。5线程，e1000虚拟网卡，网速30MB/s，出现瓶颈。后改用VMXNET3虚拟网卡，或再210e开核上测试未出现瓶颈，最高只达到4核平均60%占用。

先说网络效率
e1000兼容性无问题，除e1000外几乎不用安装驱动，iperf 5线程40MB/s，而VMXNET 2(enhance)或3都能达到85MB/s+，10线程跑满112MB/s
共享效率，SMB/CIFS的共享，无论ESXi内部还是remote之间访问，最高不超过50MB

从windows 7 remote到windows xp in ESXi 自动模式虚拟网卡 CIFS共享26MB/s 网络瓶颈严重

从windows 7 remote到windows xp in ESXi VMXNET 2 增强型虚拟网卡改用后，CIFS效率提升至47MB/s，网络协议瓶颈严重

改用iscsi测试共享磁盘效率
首先VM里硬盘测试 表明没有瓶颈，crystal disk mark结果物理性能匹配

local@ windows 7 64bit in esxi
接下来尝试了怪异的esxi里跑freenas，同esxi里的VM windows 7 通过iscsi连接freenas测试磁盘性能

受缓存影响，freenas管理后没表现出明显瓶颈，所以有这种方案可行，RDM硬盘到freenas，然后其他VM通过iscsi连接至freenas，所有运行于一台高配置esxi主机中，适用于磁盘性能要求高，单一主机空间，一台主机完成所有任务，缺点大量内存CPU资源用于freenas，抬高主机性能要求。

接下来测试了iscsi性能对主机的要求，
(esxi)G530+H61 (remote)210e开核+SB710

受未知因素和和网络驱动以及CPU资源拖累，freenas8 e1000的iscsi共享居然跑出这么糟糕的成绩，和上面的本地磁盘性能差距非常明显。
排除CPU因素后，使用210e作为esxi主机
(esxi)210e开核+SB710 (remote)K41H+RTL8111

freenas in esxi做的iscsi，由于freenas8不支持VMXNET3，使用e1000和VMXNET 2增强型网卡测试结果基本相同
为了使用VMXNET 3网卡，最后尝试了直接在esxi里的ubuntu server上安装iscsi target，然后remote测试。
ubuntu server安装iscsitarget过程如下：

#sudo apt-get install iscsitarget
#dd if=/dev/zero f=templun1 count=0 bs=1 seek=5G （我选择建立了一个5G的空文件作为iscsi设备空间，下面的Lun0的位置指向这个templun1文件即可）
#sudo vi /etc/iet/ietd.conf (配置iscsi target 其中iqn的配置和Lun0的配置按照一般设定即可）
#sudo vi /etc/default/iscsitarget (false改为true启动）
#sudo invoke-rc.d iscsitarget restart (或/etc/init.d/iscsitarget restart重启服务即可）

惊人的缓存效果和性能，几乎达到了freenas native的性能，证实了网卡模式的瓶颈以及大容量内存缓存的效果明显。

结论：
esxi的网卡模式性能，自适应自动模式 << e1000 = VMXNET 2 增强 < VMXNET3=物理网卡I/O，所以避免选择自适应模式，优先选择VMXNET 3
iscsi占用的CPU资源小于千兆网络满载的CPU资源，几乎这方面不成为瓶颈

于是有了纠结的两种可行办法
低配置+高网络搭配，2台主机，iscsi存储端和esxi VM应用端分离，主机资源被各自系统完全利用，性能瓶颈决不在CPU和内存中纠结，网络做好驱动的模式的选择即可达到理性性能。
高配置+native级别的磁盘，一台主机，iscsi端融入esxi中，主机资源大量分配给iscsi存储端，且存储端必须考虑磁盘数据安全问题，网络不成为瓶颈，磁盘性能敏感型应用得以发挥，需大量CPU和内存资源，全体VM管理软件化。

为了外部其他主机访问的效率，我选择前者，硬件管理升级容易，互不干扰。重度磁盘的VM应用选择后者是无奈之举。

本文固定链接: http://geekpi.cn/blog/2012/05/1311 | 打望两江