Solarflare网卡安装与测试v1.0

上海华讯网络系统有限公司C新网络建筑师Solarflare网卡安装与测试DOCPROPERTY"ProjectID"\*MERGEFORMAT版本:1.0日期:2013/9/22Solarflare网卡安装与测试上海华讯网络系统有限公司PAGE\*MERGEFORMATIII<文档标题>上海华讯网络系统有限公司PAGE\*MERGEFORMATI目录TOC\o"1-3"\h\z\uHYPERLINK\l"_Toc367749143"目录PAGEREF_Toc367749143\hIHYPERLINK\l"_Toc367749144"版本控制信息PAGEREF_Toc367749144\hIIIHYPERLINK\l"_Toc367749145"第1章目的PAGEREF_Toc367749145\h1HYPERLINK\l"_Toc367749146"第2章Solarflare网卡安装PAGEREF_Toc367749146\h2HYPERLINK\l"_Toc367749147"2.1PCIe插槽PAGEREF_Toc367749147\h2HYPERLINK\l"_Toc367749148"2.2驱动和固件PAGEREF_Toc367749148\h3HYPERLINK\l"_Toc367749149"2.2.1单独升级驱动PAGEREF_Toc367749149\h3HYPERLINK\l"_Toc367749150"2.2.2ESXi安装驱动PAGEREF_Toc367749150\h4HYPERLINK\l"_Toc367749151"2.2.3单独升级固件PAGEREF_Toc367749151\h5HYPERLINK\l"_Toc367749152"2.3系统调优PAGEREF_Toc367749152\h5HYPERLINK\l"_Toc367749153"2.3.1C-states相关PAGEREF_Toc367749153\h5HYPERLINK\l"_Toc367749154"2.3.2调优方式PAGEREF_Toc367749154\h5HYPERLINK\l"_Toc367749155"第3章OpenOnload安装和使用PAGEREF_Toc367749155\h7HYPERLINK\l"_Toc367749156"3.1OpenOnload简介PAGEREF_Toc367749156\h7HYPERLINK\l"_Toc367749157"3.2OpenOnload安装PAGEREF_Toc367749157\h7HYPERLINK\l"_Toc367749158"3.2.1依赖包安装PAGEREF_Toc367749158\h8HYPERLINK\l"_Toc367749159"3.3OpenOnload使用PAGEREF_Toc367749159\h8HYPERLINK\l"_Toc367749160"3.3.1Spinning模式PAGEREF_Toc367749160\h11HYPERLINK\l"_Toc367749161"3.3.2Interrupt模式PAGEREF_Toc367749161\h11HYPERLINK\l"_Toc367749162"第4章OpenOnload测试PAGEREF_Toc367749162\h12HYPERLINK\l"_Toc367749163"4.1netperf测试PAGEREF_Toc367749163\h12HYPERLINK\l"_Toc367749164"4.1.1测试过程（NOOnload）：PAGEREF_Toc367749164\h12HYPERLINK\l"_Toc367749165"4.1.2测试过程（OnloadSpinning）PAGEREF_Toc367749165\h13HYPERLINK\l"_Toc367749166"4.2sfnettest测试PAGEREF_Toc367749166\h13HYPERLINK\l"_Toc367749167"4.2.1pingpong测试过程（OnloadSpinning）PAGEREF_Toc367749167\h13HYPERLINK\l"_Toc367749168"4.2.2stream测试过程（OnloadSpinning）PAGEREF_Toc367749168\h14HYPERLINK\l"_Toc367749169"第5章Solarflare网卡故障分析PAGEREF_Toc367749169\h16HYPERLINK\l"_Toc367749170"5.1sfreportPAGEREF_Toc367749170\h16HYPERLINK\l"_Toc367749171"5.2stackdumpPAGEREF_Toc367749171\h16HYPERLINK\l"_Toc367749172"第6章附录一某期货公司测试结果PAGEREF_Toc367749172\h17HYPERLINK\l"_Toc367749173"6.1ping测试结果PAGEREF_Toc367749173\h17HYPERLINK\l"_Toc367749174"6.2netperf测试结果PAGEREF_Toc367749174\h17HYPERLINK\l"_Toc367749175"6.3sfnt-pingpong测试结果PAGEREF_Toc367749175\h17HYPERLINK\l"_Toc367749176"6.3.1TCP（NOonload）PAGEREF_Toc367749176\h17HYPERLINK\l"_Toc367749177"6.3.2TCP（onloadspinning）PAGEREF_Toc367749177\h18HYPERLINK\l"_Toc367749178"6.3.3UDP（NOonload）PAGEREF_Toc367749178\h18HYPERLINK\l"_Toc367749179"6.3.4UDP（onloadspinning）PAGEREF_Toc367749179\h19HYPERLINK\l"_Toc367749180"6.4sfnt-stream测试结果PAGEREF_Toc367749180\h20HYPERLINK\l"_Toc367749181"6.4.1UDP（NOonload）PAGEREF_Toc367749181\h20HYPERLINK\l"_Toc367749182"6.4.2UDP（onloadspinning）PAGEREF_Toc367749182\h21HYPERLINK\l"_Toc367749183"6.5厂商DEMO环境pingpong测试结果PAGEREF_Toc367749183\h21版本控制信息文档属性属性内容项目名称文档标题Solarflare网卡安装与测试文档版本号1.0版本日期2013/9/22作者陈中坚审核人文档变更过程版本更新日期更新人主要更新内容1.02013/9/22陈中坚文档创建Solarflare网卡安装与测试上海华讯网络系统有限公司PAGE\*MERGEFORMAT22目的随着各个期货公司越来越多地使用Solarflare网卡，对于其安装和调试需要更多的理解和熟悉。本文旨在 总结 初级经济法重点总结下载党员个人总结TXt高中句型全总结.doc高中句型全总结.doc理论力学知识点总结pdf 归纳现在已经了解的Solarflare网卡安装测试的 方法 快递客服问题件处理详细方法山木方法pdf计算方法pdf华与华方法下载八字理论方法下载 和简单的一些问题，方便工程师进行售前测试和售后安装调试。一些比较难的问题，本文也难以涵盖。Solarflare厂商的免费技术支持邮箱为support@solarflare.com（需提供相应的信息和描述）。本文所介绍内容的OS平台一般为RHEL64bit（RedHatEnterpriseLinux），如有其他OS平台会特别指出，32bit系统驱动和固件安装文件不同，请注意。本文参考文档：SF-105547-CD-5_Low_Latency_Quickstart_Guide.pdfSF-103837-CD-8_Solarflare_Server_Adapter_User_s_Guide.pdfSF-104474-CD-13_Onload_User_Guide.pdfNUMAforDellPowerEdge12GServers.pdf同时，Solarflare的工程师IainMcShane也提供了很大的支持。Solarflare网卡安装现在最主要的Solarflare网卡是SFN6122F，也就是6122。它是一个双端口10G的网卡，支持OpenOnload应用加速（后文介绍）。需要确认客户的环境是否是万兆，只有千兆的情况下建议采用直连（如果允许）。SFP模块最好使用Solarflare厂商的产品：SFM10G-SR。一般会随网卡同时采购。厂商的MAC地址前四位是00:0F，以此判断哪个网卡为Solarflare的网卡。PCIe插槽6122支持PCIe*8，并向下兼容PCIe*4，但*4性能会下降。需要确认客户服务器的PCIe插槽，配合选择PCIe*8槽位。另外，PCIe设备的位置与之后的配置有关。这与NUMA技术有关，笔者也不是很懂。用下面这张图来说明：其中PCIe插槽对应一个CPU，那么OpenOnload选择CPUcore的时候就需要注意与PCIe插槽的关联性。如果socket线程在CPU0上运行，而通过CPU1的PCIe插槽传输数据，那么就会通过2个CPU之间的QPI总线传输，增大传输时延。驱动和固件Solarflare网卡当前的驱动版本是3.3.3。固件版本是3.3.0。安装OpenOnload软件可以自动升级驱动和固件，驱动不会升级到最新版本。但都会升级到较新的3.3.0版本，与最新版本差别不大（不建议再单独升级）。安装OpenOnload过程（后面还会再次提到）依赖包需求：kernel-devel（安装方式看后文介绍）下载：openonload-201210-u2.tgztarvxfonload-.tgz到解压目录下：./onload_install./onload_toolreload（除非重装OpenOnload，不需要多次reload）然后可以通过命令ethtool-ieth[X]来查看版本：ethtool-ieth18driver:sfcversion:3.3.0.6309firmware-version:3.3.0.6247bus-info:0000:04:00.0单独升级驱动该节为单独升级驱动（如果客户不愿安装OpenOnload）。如果准备通过OpenOnload升级，则不需要通过以下步骤。请注意查看现有版本和升级版本。1、DKMSRPM安装（需要有DKMS环境，可以输入命令dkms--version确认）官网下载：SF-104979-LS-17_Solarflare_NET_driver_source_DKMS.zipunzip解压后：rpm-isfc-dkms-.noarch.rpm2、SourceRPM安装（当客户没有安装DKMS）依赖包需求：kernel-devel（上文已说明）官方文档里说要rebuildrpm包，太麻烦。下载：SF-103848-LS-25_Solarflare_NET_driver_source_RPM.zipunzip解压后：rpm-ivhsfc-.src.rpm升级完成之后，运行ethtool-ieth[X]确认升级结果。ESXi安装驱动ESXi操作系统无法识别网卡，需要安装驱动，版本限定为5.0和5.1。其他版本查看文档。先开启SSH，通过vClient登录后找到该ESXi主机。配置->软件->安全配置文件->服务->属性->SSH->选项->启动官网下载vib或者offlinebundle：SF-108097-LS-8_Solarflare_VMware_ESXi_5.0_5.1_driver_VIB.zipSF-108102-LS-7_Solarflare_VMware_ESXi_5.0_5.1_driver_Offline_Bundle.zipvib安装，解压后：esxclisoftwarevibinstall-v（注意绝对路径）Offlinebundle安装：esxclisoftwarevibinstall-d（注意绝对路径）安装后应该可以看到网卡，建议为该物理网卡创建新的vSwitch，并且将所需的虚拟机网卡转移到该vSwitch的PortGroup。具体性能没有测试过。单独升级固件该节为单独升级固件firmware（如果客户不愿安装OpenOnload）。如果准备通过OpenOnload升级，则不需要通过以下步骤。请注意查看现有版本和升级版本。官网下载：SF-107601-LS-15_Solarflare_Linux_Utilities_RPM_64bit.zipunzip解压后：rpm-isfutils-3.3.0.6247-1.x86_64.rpm查看firmware：sfupdate升级firmware：sfupdatewrite升级完成后可以ethtool-ieth[X]或者sfupdate查看版本。系统调优C-states相关随着技术的发展，现在主流的IntelCPU的主频一般达到了2-3GHz，6-10个core。但是实际运行频率却可能只有900MHz，这是为什么呢？（可以通过cat/proc/cpuinfo查看）C-states是IntelCPU的一种状态集，在计算需求不高（它自己判断的）的时候会主动降频或者睡眠，主要是为了省电。C-states其实是多种状态的统称，包括了Halt、Stop-Clock、Sleep、DeepSleep等状态。总之，它会大大影响服务器性能，高性能计算需要关闭C-states。调优方式以下调优方式并不是都一定要做。与C-states相关部分，只需确认调试后的cpuinfo即可。红字为必须。BIOSSettings（不同厂商设置方式不同）C-States-DisabledPowersettings-MaxPerformanceHyperthreading-Disabled（此处有一定争议，我认为关闭超线程为宜）Turbo-EnabledKernelarguments（调整C-states）vi/boot/grub/grub.conf添加：processor.max_cstate=0intel_idle.max_cstate=0关闭系统Serviceservicecpuspeedstopserviceirqbalancestopserviceiptablesstop调整网卡参数ethtool-Cethrx-usecs0adaptive-rxoff解释：rx-usecs和rx-frames控制每一个RXDMAchannel的RXinterrupt速率。每当累计接收到rx-frames这么多个,或者rx-usecs这么长时间过后，一个RXinterrupt就会被产生.对于低时延要求的应用，要尽量将rx-usecs设置小。查看调整结果ethtool-cethOnload关闭C-statesonload_tooldisable_cstatesOpenOnload安装和使用OpenOnload简介Onload是Solarflare的网络加速中间件。分为EnterpriseOnload和OpenOnload，EnterpriseOnload只是多了服务。主要利用了kernelbypass技术，下面这张图能够简要说明该技术的原理：应用能够不通过kernel层，直接与网络进行收发数据。这就是OpenOnload加速的基本原理。理论上OpenOnload是一个开源的技术，但是也没有别的厂商使用该技术。OpenOnload安装前文已经提到如何安装，此处更详细介绍。下载地址：www.openonload.org下载：openonload-201210-u2.tgz解压：tarvxfonload-.tgz到解压目录下：./onload_install./onload_toolreload注意：除非重装OpenOnload，不需要多次reload；如果排障时误操作reload之后，需要servicerestartnetwork重置网络。依赖包安装OpenOnload的依赖包为kernel-devel，精简安装可能会没有安装这个依赖包。如果OpenOnload不能正常安装并提示，则需要安装依赖包。将OS镜像的光盘导入，先mount光盘：mount/dev/cdrom/mediacd/media/Serverrpm-ivhkernel-devel-.rpm然后即可安装OpenOnload。OpenOnload使用OpenOnload有两种模式。Spinning模式（busy-wait）中，加速进程的每个线程会占用一整个CPUcore，始终处于waiting状态。通过htop可以看到该CPU的使用率为100%。spinning模式速度更快，但是要注意CPUcore的数量。Interrupt模式中，线程不会占用满一个CPUcore，但可以将中断Interrupt放在一个CPUcore。interrupt模式也有加速效果，理论上比spinning略差一些。当服务器上总线程数大于CPUcore的数量时，interrupt可能优于spinning，需要测试来论证。使用准备（适用于两种模式）sfcirqaffinityeth[X]-c1将eth[X]的中断设置在CPUcore1上，当然也可以选择别的core。原理：某网卡上线程的中断会随机出现于任何一个core上，固定在相邻的core上可以有效减少时延（前面提到的PCIe插槽与CPU的关联性）。这个设置根据测试结果，可以明显降低时延（RTT/2降低2us左右），建议采用。ethtool-ieth[X]driver:sfcversion:4.0.0.6528firmware-version:4.0.0.6529bus-info:0000:01:00.0supports-statistics:yessupports-test:yessupports-eeprom-access:nosupports-register-dump:yessupports-priv-flags:nocd/sys/devices/查看eth[X]的bus-infocd/sys/devices/find.-name"0000:01:00.0"./pci0000:00/0000:00:01.0/0000:01:00.0找到该PCIe槽位cat./pci0000:00/0000:00:01.0/0000:01:00.0/numa_node0查看其NUMA节点numactl--hardwareavailable:1nodes(0)node0cpus:node0size:8181MBnode0free:6728MBnodedistances:node00:10查看所有NUMA硬件信息egrep"((id|processo).*:|^*$)"/proc/cpuinfoprocessor:0physicalid:0coreid:0processor:1physicalid:0coreid:0processor:2physicalid:0coreid:1processor:3physicalid:0coreid:1processor:4physicalid:0coreid:2processor:5physicalid:0coreid:2processor:6physicalid:0coreid:3processor:7physicalid:0coreid:3查看CPUcore序号（注意，一般服务器是从0开始排序，也有不正常的版本，请查证。否则OpenOnload选择的CPUcore可能不存在）Spinning模式使用spinning模式加速应用：onload-platencytaskset-c3./[Application]onload--profile=latencytaskset-c2./[Application]-c参数选择CPUcore，也可以选择多个core：-c2,3。选择core的数量与进程的线程数有关。Interrupt模式使用interrupt模式加速应用：onload./[Application]OpenOnload测试测试工具主要是sfnettest和netperf。时延测试建议直连，避免交换机产生的时延影响。较理想情况下，网络时延对于CiscoNexus3548基本无感。netperf测试netperf是一个开源网络测试软件，比较中立。netperf安装需要gcc环境，安装不了的话需要安装gcc相关依赖包。下载地址：http://www.netperf.org/netperf/下载：netperf-2.6.0.tar.gz解压：tarvxfnetperf-.tar.gz到解压目录下：./configuremakemakeinstall测试过程（NOOnload）：在ServerA上运行：./netserver在ServerB上运行：./netperf–tTCP_RR-H-l10---r32SocketSizeRequestResp.ElapsedTrans.SendRecvSizeSizeTimeRateBytesBytesbytesbytessecs.persec1638487380323210.00203309.03其中，-t可以设置TCP_RR或者UDP_RR；-l可以设置测试时长；-r可以设置测试数据包大小。测试结果为RTT=1s/203309.03=4.92us（非实测数据，请勿参考）测试过程（OnloadSpinning）先在ServerA上kill掉netserver：pkill-fnetserver在ServerA上运行：onload--profile=latencytaskset-c8./netserver如之前提到的，--profile=latency使用spinning模式，taskset-c选择一个CPUcore。在ServerB上运行：onload--profile=latencytaskset-c8./netperf-tTCP_RR-H-l10---r32参数调整和结果计算与前面非Onload相同。sfnettest测试sfnettest是Solarflare厂商提供的测试软件，可以提供更多的时延测试数据。Sfnettest有两种测试模式：sfnt-pingpong和sfnt-stream，文档里一般都是pingpong。下载地址：http://www.openonload.org/下载：sfnettest-1.5.0.tgz解压安装：tarvxfsfnettest-.tgzcdsfnettest-/srcmakepingpong测试过程（OnloadSpinning）对比测试方法可以参照前面，这里不介绍非Onload的直接测试方法了。在ServerA上：onload--profile=latencytaskset-c8./sfnt-pingpong在ServerB上：onload--profile=latencytaskset-c8./sfnt-pingpong--maxms=10000--affinity"8;8"tcp##sizemeanminmedianmax%ilestddeviter1245323802434182882669771000000224532379243545109261690100000042467238024361050227308210000008246523832446879826427010000001624602380244174942632681000000322474239924548758267771100000064249524192474121742716771000000其中，--profile=latency、taskset-c就不用介绍了；--maxms=10000指发送的最大数据包大小--affinity"8;8"指使用core8发送，使用core8接收（可以选不同的core）tcp可以替换为udp。size大小。mean平均时延。%ile99%的时延（99%的时延小于该值）stddev标准差注意：测试结果为RTT/2的值，单位是us。一次测试完成后，接收端的sfnt-pingpong进程会自动结束。不需要手动kill，但下次测试需要重新开启。注意，数据来自于文档，非实测数据，请勿参考。stream测试过程（OnloadSpinning）如结果所示，pingpong测试是以数据包大小为变量，从小到大进行测试；而stream测试是以每秒发送的数据包数量为单位，从少到多进行测试。stream测试不能测试TCP数据包。对比测试也不重复介绍了。在ServerA上：onload--profile=latencytaskset-c3./sfnt-stream在ServerB上：onload--profile=latencytaskset-c3./sfnt-streamudp172.18.81.2#mpsmpsmpslatencylatencylatencylatencylatencylatencylatency#targetsendrecvmeanminmedianmax%ilestddevsamples50000500005000025992459257271792868293200010000010000110000126542459259212381284668420001500001500071500072696250526201743828599662000200000200002200002289924932671824403536253520002500002500022500022888257627163361128942029200030000030001330001330392687285037516310122692000350000350034350034290424912634222064286553772000因为对stream测试的参数不是很了解，没有设置很多参数。stream测试的数据比pingpong更多，可以自己分析或者提供给厂商。当然，测试结果也是RTT/2的值，单位是us。进程关闭也跟pingpong一样。Solarflare网卡故障分析现有技术实力无法完成Solarflare网卡的排障，需要厂商的支持。前文提到了厂商的技术支持邮箱：support@solarflare.com。但是除了故障描述，还要提供相应的数据和信息。sfreportsfreport是Solarflare厂商提供的分析脚本，可以生成一个HTML文件，便于分析排障。官网下载：SF-108317-LS-2_Solarflare_Linux_diagnostics_sfreport.tgz解压后：perlsfreport.pl会生成相应的HTML文件，将该文件传到本地即可。这个文件很长，可阅读性不高（除非很熟悉它的格式），最好将它发送给厂商分析。stackdump当应用通过OpenOnload加速的时候，运行：onload_stackdumplots将结果复制到记事本，其中会有分析内容。没有应用通过OpenOnload加速时，不会输出结果。（所以它也仅仅用于Onload方面的排障）这方面尚无经验，只知道厂商提出需要这个输出结果。附录一某期货公司测试结果ping测试结果rttmin/avg/max/mdev=0.012/0.013/0.024/0.005msnetperf测试结果左为TCP，右为UDP，RTT时延（单位：us）测试方式\字节16326425651210242048NOonload19.2919.3523.9722.0021.2018.1421.8518.9623.5920.1623.9721.3926.1230.54onloadspinning4.994.655.054.685.064.705.515.096.295.917.437.0910.7618.46sfnt-pingpong测试结果TCP（NOonload）#percentile=99##sizemeanminmedianmax%ilestddeviter1103349469102372377919113083954483000210313940310205125035113532013484000410551970510451126353115812026473000810432959610336125178114692018478000161044496351033112438811498202747800032104379632103301234141146220254780006411235103771113612356812284207944400012811345104681123712640912422210544000025611669107111156212592512723213142800051212057110711194412554413146216241400010241280111743126921261811393122273900002048171661403417004131244196572729291000409619671176011954313553221056274225400081922448120451243331377562817332542040001638434962299943483114838238059370814300032768523154706252085167316558564347960006553687168810778684620125291086499158000当数据包小于等于256字节时，平均RTT/2时延在10-12us之间。TCP（onloadspinning）#percentile=99##sizemeanminmedianmax%ilestddeviter1247023782445116364262698510000002247023792446118068261397910000004247023752445115137261398310000008247523882451113865261997310000001624802392245711446626279941000000322499240624751162752649980100000064251524242490116438270099610000001282561245625361186122748100010000002562739263827131156222940102810000005123121301230941175043318110910000001024370035963669116325389711891000000204853465236531611900154641429933000409672597091722312133874301657687000819211262109721121212539011494202644300016384188461852518765130698191682561265000327683287332503327541440163309432621520006553661250607606104117502561459441582000当数据包小于等于256字节时，平均RTT/2时延在2-3us之间。UDP（NOonload）#percentile=99##sizemeanminmedianmax%ilestddeviter077547021771422392068435330364300017781710377411236368482174064000027772706177321200618469174064100047850716377931205418541174863500087840718777851200208536175563600016783371297780122854853017516360003278437144778713531985351764635000647864721177981196338577174963400012879507197786412022686721762627000256818075408119120889891917736090005128556780384921230679279182658300010249052839689831243529777186955100014729636901995681249211032319275180001473123091157412227127090131332170406000204812509117251242312845913454220139900040961690315064166231291681826425622960008192219041942221850138004244392995228000163843411732410339951475133530534901470003276857671555975742516985559360436587000当数据包小于等于128字节时，平均RTT/2时延在7-8us之间。UDP（onloadspinning）#percentile=99##sizemeanminmedianmax%ilestddeviter02298223522861177002353947100000012297223622861141912347943100000022298223422861149202347952100000042304224622941175102354937100000082301223722881159682352946100000016230122382288116776235194010000003223162246230511360823689541000000642334226623241157832389947100000012823652295235311339424359591000000256253324642520117367262599410000005122932279629201140263039106910000001024353034633513114949363111581000000147240013931398411858140861240100000014738868847287831245299585185156300020489131867790391242899902188254700040961196311085116951267621331621914180008192187311694718584132170201212707267000163843133429697310281441533287633771600003276855362533575502716804257383420491000当数据包小于等于512字节时，平均RTT/2时延在2-3us之间。sfnt-stream测试结果UDP（NOonload）每秒发送350000个数据包不丢包。UDP（onloadspinning）每秒发送1900000个数据包不丢包。厂商DEMO环境pingpong测试结果此数据为Solarflare厂商工程师Iain在demo环境中测试出的结果，与某期货测试无关。[root@SFDEMO1src]#onload-platencytaskset-c3./sfnt-pingpong--maxms=10000--affinity"3;3"udp10.10.10.11oo:sfnt-pingpong[3304]:UsingOpenOnload201306-7122preview2Copyright2006-2012SolarflareCommunications,2002-2005Level5Networks[7]#cmdline:./sfnt-pingpong--maxms=10000--affinity3;3udp10.10.10.11#version:1.5.0#src:8dc3b027d85b28bedf9fd731362e4968#date:TueJul3015:38:37HKT2013#uname:LinuxSFDEMO12.6.39-400.21.2.el6uek.x86_64#1SMPTueApr2321:52:38PDT2013x86_64x86_64x86_64GNU/Linux#cpu:modelname:Intel(R)Xeon(R)CPUE3-1240V2@3.40GHz#lspci:01:00.0Ethernetcontroller:SolarflareCommunicationsDevice0903#lspci:01:00.1Ethernetcontroller:SolarflareCommunicationsDevice0903#lspci:02:00.0Ethernetcontroller:BroadcomCorporationNetXtremeIIBCM5716GigabitEthernet(rev20)#lspci:02:00.1Ethernetcontroller:BroadcomCorporationNetXtremeIIBCM5716GigabitEthernet(rev20)#em1:driver:bnx2#em1:version:2.2.3e#em1:bus-info:0000:02:00.0#em2:driver:bnx2#em2:version:2.2.3e#em2:bus-info:0000:02:00.1#p1p1:driver:sfc#p1p1:version:4.0.0.6528#p1p1:bus-info:0000:01:00.0#p1p2:driver:sfc#p1p2:version:4.0.0.6528#p1p2:bus-info:0000:01:00.1#ram:MemTotal:8183580kB#tsc_hz:3392119630#LD_PRELOAD=libonload.so#onload_version=201306-7122preview2#EF_TCP_FASTSTART_INIT=0#EF_POLL_USEC=100000#EF_TCP_FASTSTART_IDLE=0#serverLD_PRELOAD=libonload.so#percentile=99##sizemeanminmedianmax%ilestddeviter017761721176433347194381100000011776170917643106119167210000002177617101765280821914681000000417751707176419425190863100000081778171317671518019156610000001617701699175622118190771100000032180217351791111321948691000000641822175718101154419777010000001281942184619341025120847610000002562100202420871094222688110000005122307221622891360524988810000001024299829022981122223203891000000147235713467355117882379910110000001473737165647338219337965266677000204877147083773418965830624664700040961093794321092021597117223864570008192168481539616848250281800549729700016384295652805729436433053150965716900032768537145177653624675045609373893000Iain设置了sfcirqaffinity，可供参考。