基于大数据的安全分析和溯源技术技术规范和评分标准v

word格式文档“移动互联网系统与应用安全国家工程实验室”基于大数据的安全分析及溯源技术技术 规范 编程规范下载gsp规范下载钢格栅规范下载警徽规范下载建设厅规范下载 2015年9月专业整理word格式文档目录一、项目背景................................................................3二、项目建设目标............................................................3三、总体架构................................................................4四、本期采购内容............................................................6五、主要采购需求............................................................61.供应商资质............................................................71)注册资金..........................................................72)投标方产品案例....................................................73)投标方服务案例....................................................74)第三方资质........................................................75)信誉要求..........................................................72.功能需求..............................................................81)流量数据解析模块..................................................82)数据清洗及去重模块................................................83)报文信息及协议解析模块............................................84)数据入库模块......................................................95)分析算法库........................................................96)挖掘算法库........................................................97)恶意特征库.......................................................108)趋势预测模型模块.................................................109)数据脱敏及模糊化模块.............................................1010)信息生命周期管理模块............................................1111)日志审计模块....................................................1112)网络及移动数据隐私防泄漏模块....................................113.性能需求.............................................................121)流量数据解析.....................................................122)数据清洗及去重...................................................123)数据入库.........................................................124)分析算法库.......................................................125)挖掘算法库.......................................................126)恶意特征库.......................................................137)数据隐私保护及审计...............................................13六、招投标评分表...........................................................13专业整理word格式文档一、项目背景国家发改委于2013年11月4日正式批复（发改办高技[2013]2685号文）中国电信建设“移动互联网系统与应用安全国家工程实验室”（下称国家实验室），中国电信确定由上海研究院为主承建。为进行实验室建设，中国电信下达了“中国电信2014年移动互联网系统与应用安全国家工程实验室建设工程”、“中国电信2014年移动互联网系统与应用安全国家工程实验室配套工程”等项目，搭建移动互联网与业务安全研发实验平台，端到端的安全测评和仿真实验平台，移动互联网安全技术应用示范平台等三大平台。二、项目建设目标国家实验室的已建成网络信息的大数据采集套件、大数据分析系统软件，主要着眼于移动互联网信息内容安全方面的研发。本期采购1套第三方软件，在国家实验室现有基础上增加算法特征库、网络及终端数据保护等工具，完备国家实验室在“基于大数据的安全分析与溯源”方向的研发环境，并利用大数据在“移动互联网系统与应用安全”方面进行技术研究及突破，构建“大数据安全分析及溯源示范过程”，主要以实现：1)面向智能终端用户及应用开发商的移动互联网仿冒应用识别及渠道监测能力：通过对海量数据进行分析，对主流移动互联网应用进行快速抽取及比对，进行仿冒移动互联网应用的识别、警示以及应用发布渠道的监测；2)面向监管部门及移动互联网应用商城的结合大数据安全分析的移动互联网应用检测能力：通过对应用层协议的上下文会话数据提取及深度分析能力，对移动互联网应用进行深度挖掘分析，结合移动互联网应用特征库及应用检测技术对应用App所包含的恶意代码、木马病毒特征等进行发现；3)面向政企用户的网络威胁情报分析服务：利用流式计算和大规模并行计算等技术进行实时分析及深度挖掘等，通过流量对进行历史分析、回话关联对如APT（高级可持续性）攻击等进行检测；专业整理word格式文档4)面向后端运维部门的恶意行为发现及溯源服务：对数据进行安全元数据的提取，结合恶意地址、恶意行为特征进行监测发现，可为移动互联网应用等后端的服务器提供注入攻击监测、XSS攻击监测、远程命令执行监测等的能力；5)面向国家安全部门提供移动互联网安全态势分析能力服务：主要结合海量数据的分析挖掘技术对恶意行为进行发现、事件反查溯源、传播预测/预警、系统漏洞发现及挖掘等；项目建设的预期主要指标如下：端对端采集清洗输出延迟<800ms系统采集有效数据包丢包率<0.01%实时清洗率>97%；支持分布式白名单；恶意特征库动态加载，生效延迟<0.5s支持分布式旁路分析及挖掘算法库；系统支持分布式负载均衡；三、总体架构“基于大数据的安全分析与溯源”平台整体架构如下图所示：专业整理word格式文档用户层政府部门公安国安应用开发商系统运行企事业单位保密单位发布渠道维护人员数据展微博信息内容移动互联网应漏洞及0Day扫恶意行为攻击移动互联网安示安全监控用传播趋势描发现态势及传播全形式监控层恶恶恶挖掘算法上模型库下恶意意意疑分文应行行规数意用为为则似类及风数据据应传指溯及历及日趋势算法分/聚用播纹源策险类史溯智志审模型库析关分发及略分源析现传配能计层联评析匹及及播置分配估大析趋提分机器学习数势取析算法库据网络化热应移恶意应用特安流网全IP情门量用动址数征库地感及及应据评报URL恶意行为指估数理及关行用检信文提纹库语键还为爬索据息义字指取取及处解原及安全网址库分词解纹及索理析词获提比比引层取析取对对恶意网址库关键及敏感数据脱敏及模糊化用户数据防泄漏平台数据防泄漏字符库数Hbase/MongoDBHive据仓库HDFS层多源异构安全元数据仓库多源异构数指纹特征提安全元数据预数据清洗处据融合取提取理层数据 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 化采集内容获取旁路分光增量数据层主动爬虫数据获取同步获取源数微博内容数移动上网日IDCDPI数据层据据志其中绿色部分为国家工程实验室现有基础，主要为实现移动互联网信息内容安全方面的分析与溯源；红色为本期采购涉及内容，蓝色部分为实验室自主研发部分。目前所具备的的主要数据源如下：1)与IT部大数据平台互通，主要获取固网DPI、C网DPI、LTEDPI等数据：中国电信信息园区B121楼实验室机房新增1根专线连接北泰(/云莲)机房；2)通过端口镜像使用分流采集设备，以1对多的输入、输出获取IDC流量：专业整理word格式文档信息园区B2IDC2-1机房A13机架至信息园区B12B国家工程实验室机房；3)承接集团公司信安部对国家实验室开展大数据安全及大数据安全分析科研的要求，与上海CU平台对接，获取本地IDCCU平台数据：新桃浦3楼IDCB21机架至信息园区B12B国家工程实验室机房；4)以FTP或离线数据导入方式不定期从集团“移动用户上网日志留存”平台获取电信移动用户上网留存日志；四、本期采购内容本期主要采购的功能模块如下：1．流量数据解析模块2．数据清洗及去重模块3．报文信息及协议解析模块4．数据入库模块5．分析算法库6．挖掘算法库7．恶意特征库8．趋势预测模型9．数据脱敏及模糊化模块10．信息生命周期管理模块11．日志审计模块12．网络及移动数据隐私防泄漏模块五、主要采购需求本期采购需求分为：供应商资质、模块功能、模块性能三部分，具体如下：专业整理word格式文档1.供应商资质1)注册资金投标人注册资金情况，注册资金1000万元人民币以上；2)投标方产品案例应具有为省部级或以上单位成功案例3个以上，须采用大数据分析技术进行数据挖掘或流量分析；应具有近2年内 合同 劳动合同范本免费下载装修合同范本免费下载租赁合同免费下载房屋买卖合同下载劳务合同范本下载 金额大于200万的运营商大数据平台建设或数据处理分析服务案例；应提供该案例的合同或立项证明，并提供该案例的完整技术 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 ；3)投标方服务案例近两年内：应具有为省部级以上单位提供大数据安全管理软件或平台服务的案例；应提供相应的合同或协议证明；4)第三方资质对投标方所获得的第三方资质要求，如：CMMI3级及以上资质、通信信息网络系统集成企业资质”丙级及以上或“计算机信息系统集成企业资质3级及以上，满足ISO9001质量管理体系认证；5)信誉要求投标人不得存在下列情形之一：投标人被责令停业或破产状态的；投标人被暂停或取消投标资格的；投标人财产被重组、接管、查封、扣押或冻结的；投标人在最近三年内（2012年至今）有违法行为或被媒体曝光且在社会专业整理word格式文档上造成恶劣影响的；投标人在最近三年内（2012年至今）严重违反合同约定的；投标人在最近三年内（2012年至今）有骗取中标的；投标产品在使用过程中出现过重大质量问 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 且未妥善解决的；2.功能需求采购内容功能需求如下，其中带*号项为需求关键项。1)流量数据解析模块*需能够支持解析pcap、netflow、sflow等大规模流量格式；*需可还原Http类型的IP包头和内容，包括源IP、源端口、源所在地、目标IP、目标端口、目标所在地、协议、威胁等级等；*需可支持全球数据解析定位，获取所在的的经纬度；2)数据清洗及去重模块*需能确保实现数据的一致性：当原始数据源更新时，清洗和去重后的数据能反应变化和联系；*具备分布式实时清洗技术；需能够有效防止数据污染，对收集数据中的副作用数据进行识别和过滤，以及有效避免数据遭受入侵、篡改和替换；需能根据平台需求将来源不同的数据进行标准化处理，统一为同一种待分析数据；需能根据平台分析的需要，进行必要的降维处理，以聚焦主要指标分析，通过相关性分析进行降维；3)报文信息及协议解析模块*需可支持Http类型TCP协议解析，支持到链路层、传输层、会话层、应用层等协议识别和解析；专业整理word格式文档需可支持各类工控协议的解析识别和移动应用Http类型的协议的解析识别；需可支持标记未知的应用层协议；*需可支持网页、Webmail等内容的解析。*需可将解析的内容进行重组再现，以直观进行展现。4)数据入库模块*具备数据处理过程的智能调度；*支持针对结构化和非结构化协议报文数据的入库接口。*数据入库接口需支持HDFS、HBase、Hive等非结构化数据存储平台。5)分析算法库*需可支持进行分析算法自定义，从而快速进行分析算法的扩展；*需支持基于安全元数据的共性计算特性，包括基于共同属性的关联分析，以及异构数据源之间的元数据关联分析；*需可支持Web应用层Http类型的协议的上下文会话数据提取、深度分析能力；*支持恶意应用、恶意代码、恶意攻击者、恶意网址URL的溯源分析能力；*应支持包括Hadoop、Spark、Storm等平台；*需支持本地部署，以及至少3年的分析算法库免费更新；*需可提供进行二次开发RestfulAPI接口；6)挖掘算法库*需可支持进行分析算法自定义，从而快速进行挖掘算法的扩展；*需支持针对Webshell、XSS、SQL注入、爬虫、扫描攻击等的大规模离线和实时混合分析与检测机制，并生成拦截过滤规则；支持基于大规模移动应用Http类型流量的聚类分析功能；支持基于大规模普通Web流量的聚类分析功能；*实现基于Http请求包的深度安全检测能力，能够检测潜在的恶意攻击行为和窃密行为等；专业整理word格式文档*提供的各类挖掘算法应支持包括Hadoop、Spark、Storm等平台；*需支持本地部署，以及至少3年的挖掘算法库免费更新；*需可提供进行二次开发RestfulAPI接口；7)恶意特征库*需可支持通过ioc等脚本工具查找某一类的恶意文件、网站、代码等；*需可根据用户需求自定义恶意特征库；*应支持包括Hadoop、Spark、Storm等平台；*需支持本地部署，以及至少3年的挖掘算法库免费更新；*需可提供进行二次开发RestfulAPI接口；8)趋势预测模型模块*可提供针对移动平台的应用传播趋势预测模型；*可提供针对移动平台的恶意应用增长趋势预测模型；*提供针对普通Web应用的恶意攻击增长趋势预测模型；可提供针对漏洞和0Day的传播趋势预测模型；*需可支持运行于分布式数据库之上，以适用于进行海量数据的分析；*需可进行预测模型可定义，以预测模型的修改和扩展；*应支持包括Hadoop、Spark、Storm等平台；*需支持本地部署，以及至少3年的预测模型库免费更新；*需可提供进行二次开发RestfulAPI接口；9)数据脱敏及模糊化模块*需可支持敏感数据脱敏需满足PII（个人可识别信息）定义，即脱敏后数据不能包含可识别或者定位个人的信息集；。*需可支持对需要统计的精确数据支持模糊化处理能力；*需可支持进行数据脱敏规则的自定义；需支持针对脱敏后的数据进行审计，防止未脱敏数据外泄；*需支持本地部署，以及至少3年免费的脱敏库更新服务；专业整理word格式文档*需可提供进行二次开发RestfulAPI接口；10)信息生命周期管理模块*需可支持对平台内安全元数据、帐号、应用等进行全流程生命周期管理；*需可支持针对不同权限和用途的账号进行全流程控制管理；需可支持针对信息和用户的管理规则自定义；需可针对生命周期管理进行定期审计；11)日志审计模块*需可支持分布式日志数据的高性能采集、格式化、存储和管理，并且与平台业务相互隔离；*需可支持提供日志范式化和详尽的日志分类；*需可支持大规模部署和功能扩展；能够以可视化的方式展现日志审计的结果，并至少标注出可疑日志、入侵行为日志等，为不同层级的用户提供多视角、多层次的审计视图；支持日志数据的离线和在线备份、确保具有合适的容灾恢复能力；需可支持日志等级设置，可提供不同的人员进行审计或者故障排查、定位；*需支持日志记录格式、路径常规等设置；12)网络及移动数据隐私防泄漏模块*需可支持隐私数据规自定义，可根据业务灵活增删改隐私数据；*需可针对系统内的数据进行隐私审计，支持正则表达式定义，以实现模糊审计；*需可具有近似实时检测网络中敏感数据内容的能力，并能标记和存储；需可具有近似实时检测、标记网络中威胁的能力，支持阻断、提醒、告警和加密等功能；*需提供全业务流程的安全访问控制和授权机制，防止账号被滥用、冒用；并支持基于账号权限对不同层次的敏感信息进行屏蔽；*需可支持网络数据平台的所有输入输出操作都有日志记录功能、文件泄露专业整理word格式文档可以快速定位泄露源头；需支持备份数据的加密机制，并建立数字水印，确保备份数据的可追踪；需支持对平台的扫描、监控和预警模块，以保护平台及内部数据的安全；3.性能需求采购内容性能需求如下，其中带*号项为需求关键项。1)流量数据解析*需可支持峰值10Gbps的Http流量数据还原解析；*数据还原准确率需至少90%；2)数据清洗及去重*需能够有效甄别不完整数据项、去除重复数据，确保数据的精确性至少95%以上；*需保证数据处理后的冗余率在1%以下；3)数据入库*需支持在采用万兆网卡的情况下，最大存储速度可达至少1G/S；4)分析算法库*支持TB级别数据10秒内单关键字查询和检索操作。*支持TB级10秒内的单个元数据查询操作。*支持TB级10秒内的单个元数据增删改操作。5)挖掘算法库*需支持至少10种的挖掘算法；*支持TB级别单条数据的10秒内级查询和检索操作；需支持5种及以上聚类分析算法；专业整理word格式文档需支持5种及以上安全挖掘算法；6)恶意特征库*提供不少于5000万的恶意URL数据库；*提供不少于2000条的Web应用层指纹数据库；*提供不少于20万的恶意移动应用标识数据库；提供不少于5000千万的恶意攻击溯源IP数据库；提供不少于200条的恶意访问请求拦截规则库；支持TB级别数据的10秒内单个数据的查询、匹配操作；7)数据隐私保护及审计*脱敏准确率需要达到95%以上；支持实时数据隐私审计效率500Mbps，及10秒内操作响应；支持日志记录能力1000条/秒以上；需支持当数据外泄时，10秒内进行提醒并同时挂起数据传输进程；六、招投标评分表配分类别配分内容配分1、报价相关评分1.1保修期后维保年费率评分（未报以0分计算）：5计算货物投标总价时,根据投标人所报的保修期后维保年费率依次排序。以货物到达买方指定1.2报价评分：交货地点的交货价为根据符合招标文件要求的投标人的开标价依次排序，如投标人的依据。评标工作小组对有效投标报价小于等于5家，以最低价和次低价的平均价作为基各投标人的投标价格准价。逐一审核并修正得出如投标人的有效投标报价大于5家小于等于10家，则去除所有报修正后的投标价,修正价中最高和最低报价后，取余下有效报价中的最低价和次低报价20后的投标价指修正错的平均价作为基准价。误并统一以人民币表如投标人的有效投标报价大于20家以上，则去除所有报价中3个示的投标价。在进行价最高报价和3个最低报价，取余下有效报价中由低至高排名有效格评审时,将只考虑人报价总数20%处（向上取整）的报价作为基准价。民币报价。专业整理word格式文档2.1设备或产品的功能满足情况需能够有效防止数据污染，对收集数据中的副作用数据进行识别和过滤，以及有效避免数据遭受入侵、篡改和替换需能根据平台需求将来源不同的数据进行标准化处理，统一为同一种待分析数据需能根据平台分析的需要，进行必要的降维处理，以聚焦主要指标分析，通过相关性分析进行降维需可支持各类工控协议的解析识别和移动应用协议的解析识别需可支持标记未知的应用层协议支持基于大规模移动应用http流量的聚类分析功能；支持基于大规模普通Web流量的聚类分析功能；可提供针对漏洞和0Day的传播趋势预测模型；需支持针对脱敏后的数据进行审计，防止未脱敏数据外泄；需可支持针对信息和用户的管理规则自定义；25需可针对生命周期管理进行定期审计；能够以可视化的方式展现日志审计的结果，并至少标注出可疑日志、入侵行为日志等，为不同层级的用户提供多视角、多层次的2、技术评分审计视图；设备和技术方案设计支持日志数据的离线和在线备份、确保具有合适的容灾恢复能力；的合理性、先进性和对需可支持日志等级设置，可提供不同的人员进行审计或者故障排需求的满足情况查、定位；需可具有近似实时检测、标记网络中威胁的能力，支持阻断、提醒、告警和加密等功能；需支持备份数据的加密机制，并建立数字水印，确保备份数据的可追踪；需支持对平台的扫描、监控和预警模块，以保护平台及内部数据的安全；2.1设备或产品的性能满足情况需支持5种及以上聚类分析算法；需支持5种及以上安全挖掘算法；提供不少于5000千万的恶意攻击溯源IP数据库；提供不少于200条的恶意访问请求拦截规则库；20支持TB级别数据的10秒内的查询、匹配操作；支持实时数据隐私审计效率500Mbps，及10秒内操作响应；支持日志记录能力1000条/秒以上；需支持当数据外泄时，1秒内进行提醒并同时挂起数据传输进程；2.3对软件调试、验收的应答情况53.1注册资金3、商务评分3.2投标方产品案例对投标人的投标文件3.3投标方服务案例20编写、综合实力等进行3.4第三方资质评判3.5信誉要求4、服务评分以其它4.1服务人员情况，服务能力情况5专业整理word格式文档4.2远程支持服务能力4.3现场支持响应能力4.4特征库更新服务能力4.5是否提供原厂服务承诺函专业整理