Intel 云创数据立方一体机测试报告云创大数据

旗开得胜PAGE\*MERGEFORMAT#疔■读万卷书行万里路旗开得胜PAGE\*MERGEFORMAT#疔■读万卷书行万里路旗开得胜PAGE\*MERGEFORMAT#=a7读万卷书行万里路1引言1.1编写目的本测试 报告 软件系统测试报告下载sgs报告如何下载关于路面塌陷情况报告535n,sgs报告怎么下载竣工报告下载 为cProc平台基于Intel硬件设备的测试报告，目的在于总结测试阶段的测试以及分析测试结果，描述cPrco平台基于Intel硬件设备是否达到预期性能效果。1.2测试背景2010年正式进由于数据产生成本急速下降，人类产生的数据量正在呈指数级增长，而大量新数据源的出现则导致了非结构化、半结构化数据爆发式的增长，数据的结构正在日趋复杂。全球在入ZB时代，根据IDC监测，全球数据量大约每18个月翻一番，意味着人类在最近18个月产生的数据量相当于之前产生的全部数据量，预计到2020年，全球将总共拥有35ZB的数据量，相较于2010年，数据量将增长近30倍。我们正处于大数据时代的边缘。1.3用户群主要读者：cProc项目组相关人员1.4测试对象性能测试1.5测试工具手工测试1.6参考资料2测试概要本次测试主要是cProc软件平台基于Intel硬件平台的性能测试。其中测试数据使用广州移动和江苏移动生产环境的真实数据。主要测试两个性能指标，数据的入库速度和数据的查询速度，并根据测试结果，总结性能瓶颈所在，为进一步优化平台性能提供数据。3测试环境3.1软硬件环境编号机种IP地址CPU内存硬盘控制台1JeffersonPass192.168.0.12680*2pcs8GB1TB软件OS:redhat6.2、cProc旗开得胜PAGE\*MERGEFORMAT#读万卷书行万里路旗开得胜PAGE\*MERGEFORMAT#读万卷书行万里路旗开得胜PAGE\*MERGEFORMAT#社'读万卷书行万里路控制台2JeffersonPass192.168.0.22680*2pcs8GB1TB1Iron192.1682620*4GB*12pc3TB*3pcs+2TB*5pPass.0.32pcss=48GBcs=19TB(3.5")Iron192.1682620*4GB*12pc3TB*3pcs+2TB*5p2Pass.0.42pcss=48GBcs=19TB(3.5")Iron192.1682620*4GB*12pc3TB*3pcs+2TB*5p3Pass.0.52pcss=48GBcs=19TB(3.5")Iron192.1682620*4GB*12pc3TB*3pcs+2TB*5p4Pass.0.62pcss=48GBcs=19TB(3.5")Iron192.1682620*4GB*12pc3TB*1pcs+2TB*7p5Pass.0.72pcss=48GBcs=17TB(3.5")6Grizzly192.1682620*8GB*8pcs1TB*8pcs=8TBOS:redhat6.2cProcOS:redhat6.2cProcOS:redhat6.2cProcOS:redhat6.2cProcOS:redhat6.2cProcOS:redhat6.2cProcOS:Pass.0.82pcs=64GB(2.5")Grizzly192.1682620*4GB*12pc1TB*8pcs=8TB7Pass.0.92pcss=48GB(2.5")Grizzly192.1682620*4GB*12pc1TB*8pcs=8TB8Pass.0.102pcss=48GB(2.5")redhat6.2、cProcOS:redhat6.2、cProcOS:redhat6.2、cProc 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 3.2测试方法和工具整个测试过程为手工测试，并手工记录测试过程中的各个机器的性能参数。3.3集群部署情况1和控制台2。本次环境共部署十台机器，两台机器做主备控制节点，分别为表一中的控制台编号1-8的机器为数据节点、索引节点和查询节点，并且在6、7和8上部署了ZK，在7上部署了webservice服务。其ip地址依次为192.168.0.1-192.168.0.10。由于本次不测单点故障问题,所以把备用主节点取消，主要用来进行测试数据的传输。一*'4测试内容和执行情况4.1测试条件hdfs各守护进程分配10G内存；索引服务设置15进程，分配10G内存，索引轮训时间间隔为5s。4.2测试结果测试一测试一：四数据节点、索引节点入库测试机器ip地址服务类型cpu利用率内存使用情况磁盘利用率网络利用率192.2%-5send:168.DataGenerator%2Gused0%-5%30M/S-60M/S0.2192.DataNode+lnd30%-4Gused,3G数据盘不超过recv:20M/s-60M168.exClient40%cach,39.8G5%，系统盘/s0.7free5%-100%send:10M/s-40M/srecv:20M/s-60M192.DataNode+lnd30%-3.5Gused,6G数据盘不超过/s168.exClient40%cach,52.6G5%，系统盘send:10M/s-400.8free5%-100%M/srecv:20M/s-60M192.DataNode+Ind30%-4Gused,8G数据盘不超过/s168.exClient+lndex40%cach,33.5G5%，系统盘send:10M/s-400.9Serverfree5%-100%M/srecv:20M/s-60M192.DataNode+Ind30%-4Gused,9G数据盘不超过/s168.exClient+lndex40%cach,32.7G5%，系统盘send:10M/s-400.10Serverfree5%-100%M/s测试结果：62M/S入库索引速度测试二测试二：八数据节点、索引节点入库测试机器ip地服务类型cpu利用内存使用情况磁盘利用率网络利用率**址率192.2%-5send:15M/s-40M168.DataGenerator%2Gused0%-5%/s0.2192.DataGenerator+5G*/—口rVk—厂r、一Urecv:15M/s-40M30%-数据盘不超过/s168.DataNode+Inde40%used,32.5G5%，系统盘send:40M/s-70M0.3xClientcach,9Gfree5%-100%/srecv:15M/s-40M192.DataGenerator+30%-4Gused,43G数据盘不超过/s168.DataNode+Inde40%cach,300M5%，系统盘send:40M/s-70M0.4xClientfree5%-100%/s192.DataGenerator+5G*/—口rVk—厂r、一Urecv:15M/s-40M30%-数据盘不超过/s168.DataNode+Inde40%used,34.5G5%，系统盘send:40M/s-70M0.5xClientcach,6Gfree5%-100%/s192.5G*/—口rVk—厂r、一UDataNode+Inde30%-数据盘不超过recv:15M/s-50M168.xClient40%used,33.6G5%，系统盘/s0.6cach,7Gfree5%-100%send:15M/s-50M**/srecv:15M/s-50M192.DataNode+lnde30%-4Gused,3G数据盘不超过/s168.xClient40%cach,39.8G5%，系统盘send:15M/s-50M0.7free5%-100%/s192.3.5G*/—口rVk—厂r、一Urecv:15M/s-50MDataNode+Inde30%-used,6G数据盘不超过/s168.xClient40%cach,52.6G5%，系统盘send:15M/s-50M0.8free5%-100%/s192.DataNode+Inde4Gused,8G*/—口rVk—厂r、一Urecv:15M/s-80M30%-数据盘不超过/s168.xClient+lndexSe40%cach,33.5G5%，系统盘send:15M/s-50M0.9rverfree5%-100%/srecv:15M/s-80M192.DataNode+Inde30%-4Gused,9G数据盘不超过/s168.xClient+lndexSe40%cach,32.7G5%，系统盘send:15M/s-50M0.10rverfree5%-100%/s测试结果:93.9M/s入库索引速度**旗开得胜PAGE\*MERGEFORMAT#J'读万卷书行万里路旗开得胜PAGE\*MERGEFORMAT#J'读万卷书行万里路测试三测试三：四数据节点、索引节点入库、查询测试ip192.168.0.2192.168.0.7cpu服务类型利用2%-DataGeneratorDataNode+IndexClient+Searcher5%30%-40%内存使用情况磁盘利用率网络利用率send:2Gused0%-5%数据盘不超30M/S-60M/recv:20M/s-5Gused,23G过5%，系统60M/scach,18GfreeJ5%-100%send:10M/s-40M/s旗开得胜PAGE\*MERGEFORMAT#读万卷书行万里路旗开得胜PAGE\*MERGEFORMAT#读万卷书行万里路19305Gused,33G数据盘不超recv:20M/s-2.1DataNode+lndexClient+%-4cach,28G过5%，系统60M/s68.Searcher0%free盘send:10M/s-0.85%-100%40M/s196G*/—口rVl.—recv:20M/s-DataNode+IndexClient+30数据盘不超2.1IndexServer+Searche叶%-4used,22.7G过5%，系统60M/s68.WebService+DatalO0%cach,17.4G盘send:10M/s-0.9free5%-100%40M/s195.8G*/—口rVl.—recv:20M/s-数据盘不超2.1DataNode+IndexClient+30used,36.5G过5%，系统60M/s68.IndexServer+Searcher%-4cach,3。8G盘send:10M/s-0.10%free5%-100%40M/s0测试结果：64M/S入库索引速度查询响应时间0.01S-1S测试四测试四：八数据节点、索引节点入库、查询测试机器服务类型cpu利用内存使用情磁盘利用率网络利用率旗开得胜PAGE\*MERGEFORMAT#旗开得胜PAGE\*MERGEFORMAT#ip192.162%-send:15M/s-8.0.192.168.0.192.168.0.192.168.0.DataGenerator2Gused0%-5%5%20%数据盘不超40M/Srecv:15M/s-4DataGenerato叶DataNode+lndexClient+SearcherDataGenerato叶DataNode+lndexClient+SearcherDataGenerato叶DataNode+lndexClient+Searcher-3020%-3020%-300M/s3.4Gused3.6Gused3.8Gused_**'读万卷书行万里路过5%，系统send:40M/s-盘5%-100%数据盘不超过5%，系统盘5%-100%数据盘不超过5%，系统盘5%-100%70M/srecv:15M/s-40M/ssend:40M/s-70M/srecv:15M/s-40M/ssend:40M/s-70M/s旗开得胜PAGE\*MERGEFORMAT#J"读万卷书行万里路旗开得胜PAGE\*MERGEFORMAT#J"读万卷书行万里路192recv:15M/s-5.168.0.192.168.0.192.168.0.192.168.0.192.168.0.1020%数据盘不超DataNode+lndexClient+SearcherDataNode+IndexClient+SearcherDataNode+IndexClient+SearcherDataNode+IndexClient+lndexServer+Searcher+WebService+DataIODataNode+IndexClient+lndexServer+Searcher-3020%-3020%-3020%-3020%-300M/s3.7Gused4.8Gused5Gused5Gused5Gused二士J过5%，系统send:15M/s-盘5%-100%数据盘不超过5%，系统盘5%-100%数据盘不超过5%，系统盘5%-100%数据盘不超过5%，系统盘5%-100%数据盘不超过5%，系统盘5%-100%50M/srecv:15M/s-50M/ssend:15M/s-50M/srecv:15M/s-50M/ssend:15M/s-50M/srecv:15M/s-80M/ssend:15M/s-50M/srecv:15M/s-80M/ssend:15M/s-50M/s旗开得胜PAGE\*MERGEFORMAT#读万卷书行万里路旗开得胜PAGE\*MERGEFORMAT#**芒■读万卷书行万里路测试结果：86M/S入库索引速度查询相应时间0.01S-1S测试五测试五：四数据节点查询测试机器ip地址服务类型cpu利用率内存使用情况磁盘利用率网络利用率192.168.0.7DataNode+Searcher0%-2%5Gused所有磁盘利用率0%-5%192.168.0.8DataNode+Searcher0%-2%3.8Gused所有磁盘利用率0%-5%192.168.0.9DataNode+Searcher+WebService+DatalO4%-10%6.5Gused所有磁盘利用率0%-5%192.1DataNode+Searcher0%-26Gused所有磁盘68.0.1%利用率一*'00%-5%测试结果：查询响应时间0.01S-1S测试六测试八：八数据节点查询测试机器cpu利网络利用ip地服务类型用率内存使用情况磁盘利用率率址192.10%-2所有磁盘利68.0.DataNode+Searcher%4Gused用率30%-5%192.10%-2所有磁盘利68.0.DataNode+Searcher%4Gused用率40%-5%192.10%-2所有磁盘利68.0.DataNode+Searcher%3.9Gused用率50%-5%192.168.0.6DataNode+Searcher0%-2%3.7Gused所有磁盘利用率0%-5%192.10%-2所有磁盘利68.0.DataNode+Searcher%5Gused用率70%-5%192.10%-2所有磁盘利68.0.DataNode+Searcher%3.8Gused用率80%-5%192.1DataNode+Searcher+4%-10所有磁盘利68.0.WebService+DatalO%6.5Gused用率90%-5%192.10%-2所有磁盘利68.0.DataNode+Searcher%6Gused用率100%-5%测试结果:查询响应时间0.01S-1S测试七一*'测试七：单台机器入库索引机器ip地址服务类型cpu利用率内存使用情况磁盘利用率网络利用率192.168.0.2DataGenerator0%-2%2Gused0%-5%send:14M/s-27M/s192.168.0.10DataNode+IndexClient+lndexServer30%-50%6Gused数据盘不超过5%，系统盘5%-100%recv:12M/s-35M/ssend:1M/s-27M/s测试结果：入库速度19.1M/S测试八测试六：八数据节点纯入库测试（数据上传以后再索引入库）机器ip地址服务类型cpu利用率内存使用情况磁盘利用率网络利用率旗开得胜读万卷书行万里路旗开得胜读万卷书行万里路192.168.0.3DataNode+lndexCIient30%-70%4.2Gused所有磁盘利用率0%-5%192.1DataNode+IndexCIi30%-74Gused所有磁盘利68.0.4ent0%用率0%-5%192.1DataNode+IndexCIi30%-74.5Gused所有磁盘利68.0.5ent0%用率0%-5%192.1DataNode+IndexCIi30%-73.9Gused所有磁盘利68.0.6ent0%用率0%-5%192.1DataNode+IndexCIi30%-75.2Gused所有磁盘利68.0.7ent0%用率0%-5%192.1DataNode+IndexCIi30%-73.8Gused所有磁盘利68.0.8ent0%用率0%-5%192.1DataNode+IndexCIi30%-76.5Gused所有磁盘利68.0.9ent+lndexServer0%用率0%-5%192.1DataNode+IndexCIi30%-7所有磁盘利68.0.1ent+lndexServer0%6.2Gused用率0%-5%0测试结果：入库速度118.9M/S**一士旗开得胜PAGE\*MERGEFORMAT#旗开得胜PAGE\*MERGEFORMAT#5测试结论5.1测试结论本次测试单台机器最佳数据入库速度为19.1MB/S，已经完全超越了广州十台机器20MB/S和江苏三十六台机器80MB/S。并且查询响应时间范围为0.01S-1S。理论上集群的规模不会影响单台机器平均入库速度，也就是四台接近80MB/S,八台接近160MB/S,但是受限于网络传输和目前任务调度分配不均匀的问题，八台机器测试最佳速度为118.9MB/S，这个入库速度也已经可以满足绝大cProc框架提供了很部分的业务需求。所以此次测试结果很满意，有了这些初步的数据为改进优化大的帮助。=a7读万卷书行万里路