阿里巴巴_林钰_网站存储经验谈

林钰 阿里巴巴-运维部 Alibaba.com •存储不仅仅是存储 –评估规划 –维护优化 –未来趋势 loadbalance file-server server REQ-80 NAS NFS web共享系统发展 NFS loadbalance FAS3020 activity status power FAS3020 activity status power FAS3020 activity status powercache-server REQ-80 云存储 App-server File-server集群，目标是作为所有 应用的共享文件读写接口。 loadbalance loadbalance loadbalance file-server Image-server REQ-80 NAS NFS 云存储 FAS3020 activity status power FAS3020 activity status power FAS3020 activity status power 典型网站web共享系统 NFS cache-server App-server 存在的问题 • 无规划 • 不同应用的数据混合在一个目录中 • 660000—— • 100000—— • 随意的软链接 • 数据增长导致共享空间达上限（16TB） • 访问增长导致存储性能成瓶颈 单个目录文件数无控制 子目录数量过多 评估规划的经验 • 共享文件系统的组织 • 不要等到积重难返：目录数量、层次、切分规则、 文件数量 • 不同类型IO的相互影响 • 硬件降级的影响 • RTO ↑ • 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 评估时鲜有涉及但非常重要 案例：共享目录规划 • /app/[0-9]{2}/[0-9]{2}/[0-9]{2}/[0-9]{2}/[0-9]/ • 总空间接近NAS设备单卷上限 • /app/2010/[0-9]{3}/[0-9]{3}/ • 解决单卷容量受限问题 • NAS的IO负荷下降明显 改造前后对比 • 路径形式 http://i02.c.aliimg.com/img/offer/53/03/11/32/5/530311325.summ.jpg 改造前后对比 cont. • 路径形式 http://i02.c.aliimg.com/img/offer2/2011/028/411/114820_656187364.gif 案例：硬件降级影响 分析 定性数据统计分析pdf销售业绩分析模板建筑结构震害分析销售进度分析表京东商城竞争战略分析 • 正常的主备复制方案 –性能 –成本 –可靠性 • 硬件降级之后？ • RTO≈20h • Cache occupied • NFS slowly blade1 blade2 Fabric Channel Block storage switchB switchA GE Data copy FC SATA √ √ √ 案例： FS3存储的尝试 Node A (solaris+ZFS) OS OS SSD (R) SSD (R) SSD (R) SSD (R) SSD (R) SSD (R) Node B (solaris+ZFS) OS OS SSD (R) SSD (R) SSD (R) SSD (R) SSD (R) SSD (R) Disk server OS OS SSD (W) SSD (W) HD HD HD HD HD HD Disk server OS OS SSD (W) SSD (W) HD HD HD HD HD HD Disk server (Linux) OS OS SSD (W) SSD (W) HD HD HD HD HD HD Disk server OS OS SSD (W) SSD (W) HD HD HD HD HD HD Disk server OS OS SSD (W) SSD (W) HD HD HD HD HD HD Disk server (Linux) OS OS SSD (W) SSD (W) HD HD HD HD HD HD NFS iSCSI CIFS FC HA LAN switch i S C S I i S C S I NFS iSCSI CIFS FC 小结 • 除了考虑高端中端、磁盘数量、raid规划之 外…… –数据布局影响存储的IO效率 – IO类型小变化导致大影响 –硬件降级一直不受重视 XX项目流程 需求调研 立项 设计 代码开发 测试 上线 运 维 运维 运维 维护优化的经验 • 功夫在存储之外 –积累不合理、滥用的现象 –了解具体的业务 –天时、地利 • 逆向推动 –设备性能统计 –周边关联系统的 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 现 案例：为什么要了解业务 • 设备搬迁场景，1+1<2 • A、B、C硬件性能完全一致 • A、B数据迁移至异地C的不同磁盘组 • 发现迁移之后读缓慢 • 唯一的遗漏点：内存 • A应用特点是大量的元数据读 cpu 20% disk 60% NAS A cpu <5% disk<10% NAS B cpu >40% disk 90% NAS C 案例：关联系统影响 • 存储IO量、流量增加 – 从存储本身无从查找增量来源 • Web-cache系统出现高频次MISS特征 • http://img.china.alibaba.com/img/mysite/42/54/27/b3_hulingli0802_124 7022222728.jpg?r=0.6438864282476 • 原因：为“所见即所得”，绕过Cache url优化前后对比 优化结果 • 流量下降160Mbps+，相应NAS存储总吞吐量大约 300多Mbps，相当于存储性能提升一倍 • 带宽费用效益 > 10000/月 • 用户体验改善 小结 • 除了“磁盘数不够了、Cache要扩容了”之 外…… –了解业务积累素材 –抓住机会搭顺风车 –周边关联系统的异常 云 cloud 存储场景 高性能 海量 Back & Arch Nearline Big data 非结构共享 OLTP DB GB TB PB ZB 分布式 未来存储趋势 • SSD带来的变革 • 存储服务器流行 • 云存储、云计算 云存储时代的思考 • 云看起来很美 ≠ 撒手不管 –可靠性 • 网络、电源、运维水平 • 集群设计结构 –性能：并非所有场景适用 –可维护性 • 用户可视可控 • 可量化衡量 • 数据可安全导出 回顾 • 评估规划阶段 • 文件系统的组织 • 注意不同IO类型的相互影响 • 考虑硬件降级后的表现 • 维护、优化措施 • 注意积累 • 了解业务 • 周边系统 • 存储趋势 • PC+SSD：运维成本、可靠性 • 云存储：运维人员仍有可为，对OS本身的研究 Thanks. Q&A • 欢迎关注运维领域的同学们共同探讨