荔湾区四标四实数据平台及数据运营服务采购项目需求

PAGE34第PAGE2页共NUMPAGES46页荔湾区四标四实数据平台及数据运营服务采购项目需求一、项目建设名称荔湾区四标四实数据平台及数据运营服务采购项目二、采购项目预算金额：人民币6000000元最高限价：6000000元三、项目建设背景广州市从2017年初开始开展“深化平安有序、规范城市管理”专项行动，大力推进“四标四实”（ 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 作业底图、标准地名地址、标准建筑物编码、标准网格，实有人口、实有房屋、实有单位、实有设施）的建设工作。以此推进城市管理精细化，提升社会治理效能，夯实城市管理和社会治理的基础。目前，四标四实专项成果应用初显成效，根据全市持续深化平安有序规范城市管理专项行动相关要求，为整合荔湾区政务数据资源，广州市荔湾区城市社区网格化服务管理中心（以下简称荔湾区网格中心）拟建设一个荔湾区统一的四标四实数据平台，响应中央政治局就实施国家大数据战略加快建设数字中国的学习精神和广东省加快推进“数字政府”建设的要求，为大数据时代的政务大数据管理和增值发展提供全面支持。四、项目建设目标依托四标四实基础数据，整合全区政务数据资源，搭建全区统一的四标四实数据平台，提供多源数据采集、数据管控、数据共享交换、数据分析、数据挖掘、数据服务等核心能力，推进全区政务数据资源的共享利用，探索政府数据与社会数据的整合利用。推动建立以四标四实数据平台为核心的数据资源归集、处理、存储、计算、共享、开放和安全保障等方面的标准规范和工作机制，为推动全区跨部门的政府数据资源共享开放提供基础支撑，助力深化平安有序规范城市管理专项行动和“数字政府”建设工作。主要目标如下：（一）完善建立全区统一的政务数据资源管理与共享交换体系荔湾区四标四实数据平台是在充分利用四标四实基础数据的基础上，以应用为抓手，重点强化全区政务数据的服务支撑能力，降低数据利用门槛，为荔湾区四标四实数据发展应用提供平台级服务能力。基于荔湾区四标四实数据平台，完善建立跨部门的数据共享交换环境，方便各部门申请、使用、管理、共享权限内的数据，实现市区两级政务数据共享交换。（二）完善四标四实数据资源整合和数据管控机制，提高数据利用质量完善四标四实数据资源整合机制，加强数据横向关联和比对，统筹建设完善荔湾区统一的四标四实数据库，探索与社会数据的汇聚整合和关联分析，持续深化平安有序规范城市管理专项行动推进工作，最终为政府社会治理和公共服务提供政务数据支撑。完善现有数据管控机制，借助数据治理工具，提升数据治理效率和准确率，降低数据治理成本，减少数据治理人工工作量，降低数据利用成本，有效提升数据利用效率和质量，进而有效促进各部门、街道/社区开展数据共享、交换、利用的积极性。五、项目建设内容采购人在招标文件中只列出了初步需求，并不是最终系统功能，投标人应根据自己对采购人业务需求的理解和自己以往的建设经验在 合同 劳动合同范本免费下载装修合同范本免费下载租赁合同免费下载房屋买卖合同下载劳务合同范本下载 签订后10个工作日内提供完整的 设计方案 关于薪酬设计方案通用技术作品设计方案停车场设计方案多媒体教室设计方案农贸市场设计方案 ，提出规范、详尽和完善的功能需求，最后形成的需求文件必须包括但不限于本招标中提到的需求。该项目采购费用包含软件开发、实施测试、试运行、培训、数据运营及维护期内售后服务、技术支持、人员驻场等内容。具体项目建设内容如下：（一）搭建荔湾区四标四实数据平台充分利用荔湾区四标四实数据，结合全区政务数据资源，搭建荔湾区四标四实数据平台，对数据进行统一管理，为前端应用提供数据支撑。四标四实数据平台应包含基础模块、管理模块、应用模块三个部分：1、基础模块主要提供各类系统接口、资源配置和数据库建设功能；2、管理模块主要依据数据生命周期，从数据采集、数据管控、数据服务三个方面，提供多样化的采集方式，对四标四实数据进行全面的管理维护，并提供平台管理功能；3、应用模块提供多种数据分析工具和数据挖掘算法，供用户进行自定义统计分析和模型建立。本平台应包含一套涵盖荔湾区实际数据情况并可根据后续工作需求快速扩展的数据库，一套全区适用的通用对接标准和对接服务，一套贯穿数据采集、数据处理、数据维护全周期的数据管理工作和一套简单易用的数据分析、数据挖掘工具。平台建设时应充分考虑基层人员的使用习惯和接受能力，结合荔湾区四标四实成果长效应用机制，围绕省委“1+1+9”工作部署和市委“1+1+4”工作举措，合理运用数据，切实减轻基层工作压力。（二）形成四标四实数据示范应用通过对四标四实数据的接入、处理、组织和管控，构建业务模型和分析模型，结合5G、数据挖掘、人工智能、物联网、分布式数据存储等技术，为经济、民生及其他政府重点关注热点问题提供辅助决策，形成可靠有效的示范应用，从而提高各项政策制定的科学性和合理性。本项目拟形成4-5个示范应用，包括但不限于：结合运营商人流数据形成人口迁移及分布模型，建立一套有效的城市规划智能参考体系和人口异常流入流出监控机制；依托行政审批数据和安全生产记录，建立全区企业块数据，发现异常数据即通过事件流转机制给到职能部门监管，形成企业经营情况监控体系；（三）开展四标四实数据管理运营借鉴省市及其他城市数据治理管理实施经验，结合荔湾区自身数据运营管理特点，借助本项目构建的荔湾区四标四实数据平台，对区内四标四实数据资源进行运营管理和数据资源盘活，有效支撑区内政务服务数据使用需求和各部门业务系统的数据服务需求，以应用驱动事项为引领，对数据共享业务实施管理运营服务，包括建立数据管控体系、实施 计划 项目进度计划表范例计划下载计划下载计划下载课程教学计划下载 管理、协调监督、绩效考核考评、经验总结归档等，最终形成一整套切实可行的数据标准目录和数据管理运营体系。六、项目实施周期项目整体实施周期为合同签订后36个自然月，其中项目建设周期12个自然月，包含平台搭建期3个自然月、平台试运行期3个自然月，数据运营管理6个自然月。项目建设完成后由采购人组织专家验收。专家验收通过后，进入为期2年（24个自然月）的维护期，维护内容包括平台和数据运营两部分，期间投标人应保证不少于5人驻场（投标人应提供5人以上的拟派驻人员的专业经验、资历等详细情况，便于采购人选择）。要求投标人对本期项目建设任务有合理的阶段划分，各阶段有明确的工作目标和任务，提出项目建设的组织方式、工作机制建议，并设计工作流程和提供详细的项目实施方案。七、项目建设原则依据及技术要求（一）建设原则本项目是一项较为复杂的大型信息化建设项目，除开数据治理和管控本身的复杂性和敏感性外，项目还可能涉及到与多个系统或平台的对接工作。为了保障项目建设和运行能够达到总体目标的要求，项目建设应遵循实用性、可靠性、经济性和先进性的基本原则，具体体现在：1、高可靠性原则项目部署统一采用政务信息云平台，利用统一的云平台服务实现对项目运行环境的高可靠性管理。在社会向信息时代迅速发展的同时也有潜在危机，即对信息技术的依赖程度越高，系统失效可能造成的危害和影响也就越大。因此，必要的数据和系统备份是不可少的。软件系统的设计应从系统结构、网络环境、技术措施以及厂商的技术服务和维修响应能力等方面综合考虑，确保项目整体运行的可靠性。2、实用性原则项目重点是为了解决基层数据应用问题，降低数据利用门槛，实现在基层业务中灵活使用四标四实数据基础数据和其他共享数据服务，项目需与基层业务深度结合。因此，项目设计必须面向应用，充分考虑工作需要、移动办公便利性和合法性，利用设备和网络自身特点，避短就长，从实效思想出发，重视用户体验，以满足本次前瞻性应用需求为主，兼顾与原有系统的兼容性和长远发展的易扩展性。3、先进性原则选择终端设备和系统架构设计要考虑到未来国内外发展方向。在保证实用的基础上，选择符合技术发展方向的产品和技术路线，使信息系统支撑环境在技术上始终与国内外的发展同步。信息技术尤其是软件技术发展迅速，新理念、新体系、新技术迭相推出，这造成了新的、先进的和成熟的技术之间的矛盾。而大规模、全局性的应用系统，其功能和性能要求具有综合性。因此，在设计理念、技术体系、产品选用等方面要求先进性和成熟性的统一，以满足系统在很长的生命周期内有持续的可维护和可扩展。4、安全性原则项目必须有数据备份措施和过滤措施，以保证信息系统内的数据安全，防止病毒侵入或无授权的进入。项目涉及到众多政务数据，其实不乏隐私数据或涉密数据，对于保密信息的管理和访问都需要进行周全考虑。同时，还需要与众多的外部信息系统网络及环境实现互联互通，进行信息交换与共享，这对确保系统安全地工作增加了很多困难。因此，项目应特别注意针对不同的应用和通讯环境，采取不同的防范措施，确保信息的安全使用。项目设计的安全方案应从网络、系统、应用和管理四个方面综合考虑。5、可扩展性原则本项目是一项持续的建设任务，必然随着业务开展，从点到面有一个渐进的过程。项目的建设也将随着平安有序规范城市管理专项行动和“数字政府”建设重点的变化，不断的推进，项目的规模也会由小到大、从简单到复杂。因此，要求项目的设计和实施要具有良好的扩展性，满足不断发展的需要。6、开放性原则考虑到项目所选用技术和设备的运行能力，为保护已有资源和项目投资的长期效应，以及不断扩展的项目功能需求，在产品选型时可以选择符合国际标准和工业标准的软硬件产品，从而所采用的软、硬件平台具有充分的开放性。7、标准化原则项目各部分的技术框架以及业务操作的流程遵循统一的规范和标准，项目建设中要坚持“统一规划、统一规范和标准、分步实施”的原则，保证项目建设具有系统性、实用性、开放性、可扩展性，以及技术上的先进性、成熟性、可靠性和安全性。（二）建设依据1、《广州市深化平安有序规范城市管理专项行动总体方案》2、《“标准作业图”首批上图事项需求》3、《关于印发广州市电子政务信息安全管理办法的通知》4、《关于推进广州市政务服务平台和行政审批电子监察系统接入工作的通知》5、《广州市政府大数据库建设工作方案》6、《广州市政府信息共享目录（第一版）》7、《广州市城市社区网格化服务管理入格事项管理试行办法》8、《广州市城市社区网格化服务管理入格事项梳理的实施方案》9、《广州市城市社区网格化服务管理信息系统建设工作方案》10、《广州市社区网格化服务管理信息系统总体设计方案》11、《广州市社区网格化网格编码规则》12、《广州市社区网格化服务管理区级共享数据标准》13、《广州市网上办事大厅建设规范指引》14、《广州市行政审批业务接入及集成标准》（Q/GZZW-2010）（三）总体技术要求1、采用B/S架构设计模式，无需安装客户端，使用浏览器就能直接访问、操作；2、提供全界面化操作，无需用户有IT基础，全程不用写任何SQL，即可完成元数据采集、数据标准定义、数据质量检查、数据资产编目等数据治理工作；3、提供数据备份的功能，防止系统因意外中断而发生数据丢失，数据备份可以自主选择资源，也能够基于整个服务器，同时对备份的文件进行恢复时能够进行选择性的恢复操作；4、提供系统日志，可涵盖系统所有的操作，并支持日志记录设置，日志清理归档设置等，方便监控软件运行情况；5、提供系统性能维护功能，可界面化查看系统信息，如内存情况、环境变量等；可列表查看用户对系统使用情况，如当前在线状态、java线程信息等；★6、提供内置脚本支持，具备二次开发能力，支持用户自主开发个性化需求；★7、采用国产化组件和国产化数据库。八、系统总体设计本项目的系统总体技术架构如下图所示：系统总体结构共分六个层次、两个体系。六个层次分别是基础设施层、数据源层、数据存储层、基础支撑层、数据应用层和服务对象层，两个体系分别是数据标准规范体系和安全与运维保障体系。九、四标四实数据平台功能需求荔湾区四标四实数据平台由数据基础模块、数据管理模块和数据应用模块三大部分组成，详细如下图所示：（一）四标四实数据基础模块四标四实数据基础模块基于荔湾区政务数据局已有信息化建设成果，采用成熟的、主流的数据平台，搭建全区四标四实数据基础模块，实现四标四实数据的基础支撑能力。1、基础平台搭建四标四实数据基础平台主要功能有：（1）多样化接口提供多种应用程序接口，包括JDBC、ODBC、CLI、Thrift等，在合同期内无条件响应荔湾区各类对接需求，对接中可根据实际情况使用系统对系统、库对库或者数据对接的方式。（2）兼容标准兼容SQL-99标准，支持大部分SQL-2003标准。对于DDL语句，除常规的建库、建表、建视图外，还支持表分区、表缓存等特性。DML方面，提供LOADDATA批量加载数据，能支持非常复杂的多表JOIN和UNION。支持丰富的数学、字符串、日期时间、聚集、分析函数等，还支持用户自定义函数。SQL语法基本同HiveSQL兼容，语法上同其它数据库SQL语法大体一致。（3）HDFS采用HDFS分布式文件系统作为数据存储平台，默认采用三副本储存，保证数据可靠性。（4）负载均衡提供查询负载均衡功能，将查询请求分摊到不同的集群节点上执行，达到负载均衡的目的。（5）可视化管理和运维支持可视化管理和运维。提供监控仪表盘界面，对数据库信息、集群CPU、内存、磁盘空间、数据库会话以及节点状态进行实时监控。通过图形界面对集群进行整体控制、资源监控，也可以对单个节点进行管理，了解各节点资源使用情况，进行会话管理等。类PL/SQLDeveloperIDE的数据库管理界面，可完成建库、建表、SQL查询编辑器、执行计划、数据导入、导出、数据复制等常用操作。2、数据库建设本项目涉及的各类数据库之间需建立具有严格逻辑关系的数据关联，可根据实际业务需求进行快速的跨库调用，同时本项目的数据库应具有较好的可扩展性能，能根据后续新增的专题数据或应用数据进行扩充。（1）基础库建设基础库直接存放从业务抽取过来的数据，这些数据从结构和数据上与业务系统保持一致，降低了数据抽取的复杂性。数据一般只增加不修改，存放的数据与业务系统相同，而且数据都是业务系统原样拷贝。根据荔湾区数据梳理情况，依照国家标准建立符合业务需求的各类数据库，将不同数据来源的数据按照具体属性装载到基础库，包括但不限于人口信息库、法人信息库、地理空间库等。人口信息库人口信息库的建设应以网格化管理系统、公安人口信息为基础，以社保和卫计等其他部门为补充和核准，同时参照省人口数据库切片数据，确立比对策略与比对规则，建立比对、整合查询系统，将中心数据库的相关人口基础信息相关数据按照数据的各项分类指标，基于系统分级授权的模式，提供信息查询、浏览、统计等服务，最终形成统一的人口基础数据库。人口基础信息来源：按照信息来源和信息归属划分，包括公安户籍信息、教育信息、民政信息、人保信息、住房信息、人口统计信息、卫生信息、计生信息、税务信息、住房公积金信息等。例如公安户籍信息数据字典如下：序号数据项名称拼音缩写数据类型数据格式说明来源注释和要求(对应字段名)1户IDHID字符型C..50市公安局该字段为空2公民身份号码GMSFHM字符型C..25市公安局3姓名XM字符型C..45市公安局4性别名称XBMC字符型C..64市公安局5民族名称MZMC字符型C..64市公安局6文化程度名称WHCDMC字符型C..64市公安局该字段为空7婚姻状况名称HYZKMC字符型C..64市公安局该字段为空8出生日期CSRQ日期型D8市公安局9省市县(区)名称SSXQMC字符型C..128市公安局10乡镇街道名称XZJDMC字符型C..128市公安局11派出所名称PCSMC字符型C..100市公安局12状态（1：正常，0：注销）ZT字符型C..1市公安局13省市县(区)SSXQ字符型C..6市公安局14乡镇街道代码XZJD字符型C..15市公安局15派出所PCS字符型C..12市公安局16文化程度WHCD字符型C..2市公安局该字段为空17性别XB字符型C..1市公安局18民族MZ字符型C..2市公安局19婚姻状况HYZK字符型C..2市公安局该字段为空20业务更新时间GXSJ日期型D8市公安局21入库时间(时间戳)GZDB_ADDTIME日期型D8市公安局22唯一IDID字符型C..50市公安局法人信息库法人基础信息来自工商、国税、财税、质监等部门，法人信息主表内容应包括：企业注册号、国税纳税人识别号、地税纳税人识别号、住所、邮政编码、联系电话、行业代码、企业类型、前置许可经营项目、登记机关、企业海关注册日期、国税税务登记日期、地税税务登记日期、国税税务登记机关、地税税务登记机关、机构注册类型、组织机构代码、颁证日期、年检情况。例如企业税务登记信息表数据字典如下：序号数据项名称拼音缩写数据类型数据格式说明来源备注(对应字段名)1组织机构代码ZZJGDM字符型C..20市税务局2注册号QYZCH字符型C..50市税务局3纳税人识别号NSRSBH字符型C..30市税务局4纳税人名称NSRMC字符型C..300市税务局5经营者姓名JYZXM字符型C..100市税务局6身份证件号码SFZJHM字符型C..40市税务局7联系电话LXDH字符型C..30市税务局8注册地址ZCDZ字符型C..300市税务局9行政区划代码XZQHDM字符型C..6市税务局10行政区划XZQH字符型C..100市税务局11税务登记日期SWDJRQ日期型D8市税务局12税务登记机关SWDJJG字符型C..128市税务局13登记状态代码DJZTDM字符型C..10市税务局14登记状态DJZT字符型C..100市税务局15变更日期BGRQ日期型D8市税务局地理空间库地理空间库是指以国土资源与规划部门现有的空间地理数据为主，以其他部门的业务图层数据为补充，依照一定的标准进行数据的整理、加工（不涉及重新采集空间地理数据），形成的空间地理数据库。地理空间库包括测量控制点、水系、居民地及设施、交通、管线、境界与政区、地貌和植被与土质等要素层等数字线划图数据；航空摄影影像和航天遥感影像等数字正射影像数据；地址门牌（包含地名/路名、门牌号、楼栋号），外加行政区划、界线及其它地名定位信息点（包括居民点、建筑物、行政、事业、企业单位、商业服务网点、道路、河流、湖泊、山峰、山脉、旅游景点等）空间信息和属性信息等地名地址数据。例如空间定位信息数据字典如下：序号数据项名称拼音缩写数据类型数据格式说明来源备注(对应字段名)1地址门牌DZMP字符型C..100市国土局2行政区划XZQH字符型C..50市国土局3界线JX字符型C..30市国土局4地名定位信息点DMDWXXD字符型C..300市国土局5空间信息KJXX字符型C..100市国土局6属性信息SXXX字符型C..100市国土局★（2）专题库建设为了特定的专题，而从基础库中独立出来的一部分数据，也可称为专题数据。以某个专题为出发点而建设的局部数据,专题库只存放该专题涉及的数据，不会全盘考虑企业整体的数据架构和应用，每个专题有自己的专题库。专题库中只保存专题对应的字段，通过主键与基础库中的数据关联，同时建立数据索引方便快速调用。提取基础库的主题信息，形成主题库，包括但不限于人才专题库、税收专题库、经济人口专题库等。★（3）应用支撑库建设应用支撑库为了特定的应用，而从专题库中独立出来的一部分数据，也可称为应用数据，以某个应用为出发点而建设的局部数据,应用库只存放支撑该应用涉及的数据，是比专题数据更能为决策者提供依据的总结性、指导性数据。应用库中只保存应用对应的字段，通过主键与基础库中的数据关联，同时建立数据索引方便快速调用。以问题为导向建设应用支撑库，为前端应用提供数据支撑，包括但不限于人才引进支撑库、精准扶贫支撑库、社区服务支撑库、交通预警支撑库、偷漏税监管支撑库等。（4）监管数据建设为实现互联网+监管，系统需汇集全区各职能部门执法监管数据，该类数据应包含全区企业、个体户、户籍人口、流动人口的相关监管记录，通过数据索引的形式关联到各个基础库中。（二）四标四实数据管理模块依托荔湾区政务数据局已有信息化建设基础，搭建四标四实数据管理模块。在整合已有数据交换与目录管理能力的基础上，提供数据和服务目录管理和维护、数据服务管理、数据溯源登记、绩效统计管理、数据权限管理等管理功能。主要功能包括数据采集、数据管控、数据服务和平台管理四部分。1、数据采集数据采集工具可通过数据表单采集、表格采集、互联网采集、第三方业务系统采集；支持对数据信息进行手工单条补录和批量补录功能，并支持补录的审批、确认流程。建设数据采集模块，通过系统对接、API采集、数据库连接采集、数据表采集、数据文件导入、多渠道数据抓取等途径，定时或实时采集各部门数据、市回流数据、媒体、投诉热线、互联网、运营商等数据，实现业务数据、社会数据与四标四实基础数据的汇聚融合，为前端应用服务提供数据支撑。同时为手工填报的基层数据提供简洁的数据补录功能，完成基层数据的汇聚和入库。（1）多样化采集1）支持定时或实时采集各部门前置机数据库数据，支持对接的数据库类型包括传统关系型数据库和主流分布式数据库。★2）支持文本识别、图片识别，支持采集媒体数据、投诉热线数据、文本等结构化和非结构化数据。3）支持基层数据补录。支持丰富的数据填报模式，支持在线、离线进行填报；支持批量的初始化、支持从Excel文件导入、支持从其他数据库取数等填报方式。（2）填报与审批1）支持纯WEB填报方式。支持在IE、Chrome、Firefox、Safari等主流浏览器上填报数据，填报过程中无需安装插件，填报的数据能够自动缓存，即使宕机了数据也不会丢失。2）支持鼠标移动到表元上时，进行填报说明提示；同时对整个表单填报也需要有对应的说明及规则提示。3）支持填报和工作流配合使用，完成各种复杂的业务流程定义。支持工作流审批流程，也支持自定义审批流程，可以通过图形化的界面进行审批流程的定义，支持多人审批，可以自定义审批规则，提供通过、退回、转办、会签、抄送、催办等流程操作，能够实时跟踪审批流程的进展，运行情况及运行效率。4）支持严格的审核机制，支持任意复杂审核公式的定义；支持表内、表间审核，手动审核、自动审核、分级次审核；提供逻辑性和合理性两种审核方式，同时，对于未通过审核的数据，允许针对未通过的审核公式填写审核情况说明，一旦填写完成便视为通过审核。5）支持在移动设备中进行数据填写、审核、上报、审批等操作。6）支持指标级的数据留痕功能，对数据的填报修改情况进行详细的记录，包括保存每次填报的数据，能够以当前数据为标杆对历史数据进行对比操作，检索数据留痕记录。★（3）多渠道数据抓取支持从互联网或者第三方业务系统中抓取数据。能够根据需要抓取的数据结构自动生成数据库表，且支持抓取需要登录的页面数据，支持定时更新抓取的数据，能够查看比对历史数据。2、数据管控数据管控工具主要管控元数据的新增、修改、删除等的操作，包含元数据管理、数据标准管理、数据治理管理、数据资产管理、数据生命周期管理、数据安全管理。建设数据管控模块，开展数据治理工作，建立统一的数据标准体系，完善数据管控机制，确保政务数据质量和数据安全，为前端应用服务提供质量保障。数据管控模块应具有以下功能：（1）元数据管理元数据就是为了描述数据信息而诞生的，元数据通常来讲就是描述“数据”的数据，由描述数据特征的元素组成。通过对元数据进行管理，可以厘清各系统间数据的来龙去脉。元数据管理的主要功能有：1）提供多种采集适配器，并支持适配器二次扩展。关系型数据库适配器可直接读取数据库中所有对象，如：表、字段等元数据，支持数据库包括但不限于：Oracle、Mysql、SQLServer、DB2、PostgreSQL、Petabase、Greenplum、petabase-G、Hbase、Sybase、星环大数据库、达梦数据库等；数据处理工具：odi、solution、Datastage、IBMCDC等；BI工具：BI@Report、MicroStrategy、OBIEE等；文件源：excel、txt等。2）支持外部数据元数据录入。结合手工录入及自动采集模式，实现对外部数据数据元数据信息采集，主要包括英文表名、中文表名、字段名、字段中文名、字段类型、字段长度、字段说明、主外键约束、索引、表空间、所属用户等。3）支持数据库采集。实现对Oracle、Infomix、Hawei-elk、PostgreSQL、DB2、MySQL、星环大数据以及华为大数据平台等元数据信息采集。4）支持文本采集。实现对excel文件的采集。5）采集入库审核。支持元数据采集入库，由管理人员进行审批。6）支持元数据检索。根据搜索条件，查询符合数据访问权限的元数据，对元数据进行定位查看元数据基本信息、属性、被依赖关系、依赖关系、组合关系等，也可以对搜索到的元数据直接进行分析。7）支持元数据地图。实现从系统域到系统，再到各个库之间以图形的方式展现整体元数据的面貌，同时各元数据可以一直下钻进行分析，提供字段级和表级的血缘分析图形展现，让用户从宏观到细节的角度了解元数据的数据流向来龙去脉关系。8）支持模型维护。支持自定义元模型，包括属性、组合和依赖关系等，并可以对元模型进行添加、删除、修改以及发布。9）支持影响分析。影响分析可用于从数据源出发，向下分析和该数据源有关系的数据表或字段，例如分析某些部门的原始数据的变更，会影响哪些中间数据和前端应用数据。10）支持血缘分析。血缘分析可用于从某个数据表或字段出发，向上追溯数据的来源，支持自动获得数据血缘关系，例如对于某个数据指标，可通过数据间的依赖关系，追溯该指标是由某些部门的原始数据计算得出的。11）支持全链分析。支持分析指定元数据前后与其有关系的所有元数据，反应元数据的来源、处理过程以及元数据的影响范围，可以从整体上把控元数据来龙去脉。12）支持关联度分析。元数据依赖关系程度进行排名，支持查看关联关系明细，识别关键元数据。13）支持一致性检核。用于记录在数据仓库开发建设过程中，对数据库对象维护修改的过程，以便于跟踪和 检测 工程第三方检测合同工程防雷检测合同植筋拉拔检测方案传感器技术课后答案检测机构通用要求培训 版本的变化，以保证一致性，支持下钻查看多余、缺失和差异元数据明细。例如对于已经采集到元数据管理模块中的元数据，与业务系统或数仓数据库中现有数据情况进行比对，检核出不一致的元数据。14）支持数据留痕。所有元数据历史变更信息均可查询。（2）数据标准管理数据标准是提升数据合法性、合规性，进一步提升数据质量，减少数据生产问题的重要途径，数据标准中可以定义各业务主题的命名规范，长度、类型等属性，及代码类标准与元数据中维护的实际落地情况进行关联。1）支持标准集设计。标准属性可灵活扩展，支持多种内置属性，包括业务属性、技术属性、质量属性、管理属性、生命周期属性以及管理属性，同时支持添加自定义属性，属性支持分类排序。2）支持数据标准制定。系统能定制数据标准制定流程，流程内容包括：数据标准编制、数据标准审批等过程，支持收集和整理数据标准业务、技术和管理属性，实现在线评审功能，同时提供校验功能，检查不符合规范的数据标准。3）支持数据标准发布。系统能定制数据标准发布流程，流程内容包括：数据标准发布发布、审批等过程。数据标准系统自动获取已批准发布的数据标准编号和版本号，支持对修改内容进行订阅群发。4）支持全文检索。按照输入的关键字内容，在数据标准中进行模糊搜索并对检索到结果以列表方式展示数据标准详细信息。5）支持图谱展示。支持分级展示数据标准信息。6）支持数据标准映射。支持数据标准与业务源系统字段的映射关系的功能，并自动与各个业务系统元数据建立映射关系。7）支持落地评估查询。支持从整体上查看标准的通过情况，同时需要至少支持两种或两种以上的方式查看评估结果，包括从标准和元数据的角度查看评估结果。8）支持落地评估执行。落地评估能够设置定时执行，评估执行方式支持增量。（3）数据质量管理数据质量是用以描述数据对使用者有价值和有用的程度，数据质量为数据标准落地提供评估依据，包含完整性，一致性，准确性，有效性和及时性等评估维度。从本质上来说，数据质量问题是信息失真的表现。1）支持数据质量检查规则查询。按照输入的关键字内容，在数据质量检查规则中进行模糊搜索并对检索到结果进行详细信息展示，规则可以进行分组分类展示。2）支持数据质量检查规则。支持界面化定义规则、流程管理等，无需技术人员编写sql或程序代码，能够有效解决技术人员和业务人员理解不一致而产生的数据质量风险。★3）支持数字画像。主题表可以通过对数据间的函数依赖和字典规则进行智能探索，发现潜在的数据规则。4）支持数据质量执行与检查。用户能根据规则去建立质检方案，执行方案可以手动执行，也可以选择周期进行自动执行。5）支持数据质量监控。方案执行后，可以根据质量监控对各个规则检查出来的错误数一目了然，还可以准确定位到错误数据对应行，分析错误原因。6）支持数据质量问题整改。用户可自行定义整改流程，可实现问题分发给数据责任人，并可实时监督流程处理的状态。同时可根据流程的优先级、最终期限、转派次数等提供多角度查询功能。7）支持数据质量问题告警。支持检查结果多方式告警，包括站内信、Email、短信等，保证用户能够及时了解检查结果，避免重大问题的延误。8）支持例外管理。支持对质量问题进行例外处理，例外处理的数据不参与绩效考核扣分。9）支持数据质量问题统计报告。可以图文并茂的数据质量报告形式将数据质量问题进行周期性说明，管理角色能够查看及对外发布；提供多种数据质量报告模板，根据质量监控情况定期自动生成质量报告，并可自定义分析报告；质量报告支持在线打印及导出为word、pdf、excel等。（4）数据资产管理数据资产管理是规划、控制和提供数据及信息资产的一组业务职能，包括开发、执行和监督有关数据的计划、方案、项目、流程、方法和程序，从而控制、保护、交付和提高数据资产的价值。1）支持数据资产编目。支持按照不同的用户视图对业务数据进行编目，业务数据类型支持结构化数据、半结构化数据、非结构化数据，形成数据服务目录。2）支持数据资产应用。支持在查看数据资产的元数据，对应数据库中的数据，申请交换数据，下载数据；支持业务系统对资产通过服务接口调用。3）支持数据资产视图切换。支持对已编目资产进行视图切换查看。4）支持数据资产监控。统计数据资产按照不同类型的资产个数，数据量大小，资产个数及数据量变化情况，资产在业务库中的分布情况等。5）支持数据资产分析。支持分析数据资产地图、数据资产的影响、血缘、全链分析，展示数据资产之间的内在联系。（5）数据生命周期管理数据生命周期管理是一种基于策略的方法，用于管理信息系统的数据在整个生命周期内的流动：从创建和初始存储，到它过时被删除或存档或销毁。1）支持数据归档。可以对数据进行按时间或按记录进行近线或离线归档，设置归档的库表或位置，设置完成后，满足归档条件的数据能够自动进行归档。2）支持数据销毁。可以对数据按照时间或记录进行销毁，支持直接销毁，或临时放在回收站中，支持再次还原。3）支持数据生命周期监控。统计近一周、近一月、近一年、一周内即将归档的数据量，并能对整体归档、销毁、在线的数据分布情况，按照近线、离线分别统计一天、一周、一月、一季度、一年归档的数据量的占比情况。（6）数据安全管理数据安全有两方面的含义：一是数据本身的安全，主要是指采用现代密码算法对数据进行主动保护，如数据保密、数据脱敏、数据完整性、双向强身份认证等，二是数据防护的安全，主要是采用现代信息存储手段对数据进行主动防护，如通过数据备份、异地容灾等手段保证数据的安全。1）支持敏感数据定义。支持通过选择数据资产中的库表，对库表设置敏感级别、敏感条件，将满足条件的数据标记为敏感数据。2）支持敏感数据监控。支持统计敏感字段访问量、访问敏感字段活跃用户、活跃敏感字段，按级别统计敏感字段访问次数、统计访问敏感字段前五的活跃用户有哪些、什么时候访问的等情况。★3）支持异常行为监控。支持监控多种异常行为，包括：同一账号异地登录情况、同一账号在多个IP登录、同一账号多次重复登录、同一IP登录多个账号、数据进行连续大量查询、数据连续大量插入、数据连续大量删除等异常行为。4）支持数据资产加密。支持通过选择数据资产中的库表，对库表设置选择加密方式，设置加密条件，对满足条件的数据能够在前台查询出来后进行加密；支持秘钥泄露后，能够重置加密方式。5）支持数据资产脱敏。支持通过选择数据资产中的库表，对库表字段设置脱敏条件，满足条件的数据能够在前台查询出来后进行脱敏。6）支持数据权限审计。支持数据治理平台设置数据库用户权限，均须经过管理员审核权限后，权限才能生效。7）支持数据库权限管理。支持在平台上管理数据库中所有的用户，可添加数据库用户并进行赋权，同时支持检测出通过异常手段添加的数据库用户。8）对数据处理情况进行可视化调度和监控。发现异常问题时通过短信、邮件等方式通知运维人员及时处理，实现通过自动、智能、持续的自动监控预警代替人工巡检，降低管理工作量，提高管理效率。通过可视化图表对监控结果进行统计分析，辅助管理人员从宏观角度掌握数据处理情况。3、数据服务数据服务工具主要指对数据的利用，提高数据信息价值，让数据为需求所用，提高数据的流通率。数据服务是是实现系统集成、解决信息孤岛和信息共享问题的重要手段。数据服务模块应包括数据共享交换服务、分布式数据存储服务和接口服务等功能。（1）数据共享交换服务数据共享交换需满足本区各部门街道之间、区与市之间数据的共享交换需求，实现区内各部门街道之间、区与市之间的数据交互，能够及时、方便、简单、快速、高效的提交和获取数据，能够有效识别并解决在共享交换服务过程中存在的异常。数据共享交换主要功能有：1）支持多种交换方式。提供文件到文件、文件到库表、库表到库表、库表到文件、接口到库表、接口到文件等多种方式的数据交换，且支持批量交换。2）支持多种交换数据源。支持新建数据库连接池方式建立连接，支持的数据库类型包括但不限于：oracle、mysql、SQLServer、DB2、Essbase、Petabase、Greenplum、Hbase、Netezza、MicroStrategy、Sybase、Hive、Teradata等；支持文件源作为交换数据来源，支持文件源类型包括但不限于：excel、txt、csv、db等，支持MQ文件传输代理；支持新建接口数据源，实现与其他业务系统的数据传输，支持标准API接口，包括：http、webservice等。3）支持交换任务的设计和运行隔离维护。交换任务的修改不能影响到正在运行的任务；交换任务设计完成须发布才能生效；支持交换任务导入导出。4）支持ETL过程开发。提供50种以上数据处理组件，用于完成数据传输、数据清洗、数据转换、数据加载；要求全拖拽式流程设计器，用户只需简单拖拽的方式就能够完成创建ETL过程，实现“零”编码，易操作、易阅读、易维护。5）支持可视化、拖拽方式进行交换工作流设计。工作流设计完成支持发布功能，并支持工作流导入导出。6）支持基于时间或事件的调度机制。如任意时间周期、文件到达、脚本事件等，调度支持cron表达式，调度能设置到月份、日期、小时、分钟的粒度；支持按照星期的方式来进行计划任务的执行，同时能设置调度的时间窗口，重调时间间隔等。7）支持调度监控图中以不同的颜色区分不同运行状态的作业，并且在调度任务连线中能用颜色标识出数据的具体流向位置情况。（2）分布式数据存储服务1）可通过若干相对容量较小的存储的叠加来代替单个海量存储器，从而降低存储成本。2）降低了使用单个总线进行数据传输所带来的过载问题。3）加快数据共享存储系统的数据传输，从而加快运算速度。4）并行计算，进程间通信是通过动态读取共享存储器中的共享数据进行的，进程间的通信和共享数据透明，减轻了数据运营的负担。（3）接口服务1）支持数据服务接口开发，可对接各种外部系统，对全区提供数据服务。2）支持对数据服务接口进行调度和监控，支持追踪接口数据使用情况。3）支持对数据服务接口进行可视化分析，分析接口的调用次数和调用频率，分析常用接口和无用接口。（4）数据标签服务支持为数据制定标签，支持自定义标签组，支持标签的存储，和对标签的查询统计。（5）数据画像服务通过数据关联和挖掘，构建我区人口和企业的用户画像，并支持画像的存储和查询统计。4、平台管理平台管理包括机构用户管理、数据权限管理、系统日志管理、门户管理和系统设置等功能。（1）机构用户管理支持新增、删除、修改数据治理平台机构和用户，并能够用户赋予资源权限，只有赋权的用户才能登陆系统使用平台资源；支持按角色进行批量赋权，还可以进行机构审核公式的设置，以及密码安全设置。（2）数据权限管理用户权限中，也可以对主题表的数据级次进行赋权，用户只能看到自己权限内的维度以及数据。（3）系统日志管理支持记录平台中的所有的操作日志，能够满足各种日志分析、运营监控分析等需求，显示用户登录，以及操作系统情况，并能够快速定位到操作过程中的错误。（4）门户管理提供多种门户模板、组件，支持用户重新组织系统资源，分配门户给不同用户或角色；提供T型布局，田字布局等多种布局，提供链接、图片等多种基本组件，提供卡片切换、轮换图片、树等多种高级组件；提供内置风格，用户可根据内置风格门户进行自主式拖拽相应功能模块，形成多样式门户。（5）系统设置支持消息、收藏、公告、资源管理器、系统诊断、皮肤管理、系统连接池管理、产品注册等基础功能。（三）四标四实数据应用模块搭建四标四实数据应用模块，对全区四标四实数据资源进行数据分析挖掘，进行统一的管理和对外展示，实现四标四实数据资源对外服务的出口。主要包括数据分析和数据挖掘两部分。1、数据分析数据分析工具用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论，并对数据加以详细研究和概括总。数据分析模块利用数据汇集系统采集并加工的数据，根据不同的应用场景，建立相关场景模型及主题数据集市，从不同的角度为用户提供数据地图分析、多维分析、可视化分析、领导驾驶舱分析、报告分析、酷屏分析等分析功能，使得政务数据的使用过程更为人性、快捷、智能，从而提升管理决策水平。（1）分析报表设计1）支持多表体控件式报表设计。提供在线报表设计工具，采用图形化设计界面，实现控件式、多表体设计，支持工字型、田字型、上下型、左右型，并可嵌套展现，支持表格、图片、统计图、GIS地图、富文本等混合展示，支持无限Undo&Redo等功能。2）支持多种统计图类型。支持js、falsh、html5技术路线自主开发统计图，也支持ifushionchart、anychart、html5统计图控件，提供丰富的统计图类型和样式，除了常用的柱状图、线状图、条形图、面积图、饼图、点图、仪表盘、走势图外，还应支持风险图谱、流向图、词云图、和弦图、圈饼图、金字塔、组织机构图、漏斗图、K线图、关系图、网络图、玫瑰图、帕累托图、数学公式图、预测曲线图，正态分布图等。（2）分析展现方式1）支持多种分析展现方式。支持对报表数据和业务数据的多种展现形式，提供固定报表、多维分析报表、丰富的统计图模型、领导驾驶舱等常用展现方式。支持所有常用展现方式的钻取功能，允许用户对所有常用展现方式定义热点，通过点击热点钻取到其他报表、图形或明细。支持单元格鼠标指向高亮显示，支持报表行列锁定。2）支持拖拽式多维分析。提供猜想式、求证式分析，提升报表分析的交互能力，通过鼠标拖拽操作就实现数据的分析展现，并且还可直接即兴定义指标间的列运算，同时为分析结果即时生成统计图。3）支持领导驾驶舱分析功能。可以将一些关键的KPI指标简单明了的用图形或仪表盘等形式呈现给领导，可以使用报表模板拥有的所有的数据展现形式，如：表格、富文本、绘图、统计图、GIS地图、杜邦分析等等。4）支持报告分析功能。提供WORD式、PPT式分析报告的功能，分析报告中的动态内容如数字、文字、统计图、表格等可从其他报表中获取，可以像编辑WORD或PPT文件那样编辑自己的分析报告。5）支持基于地图的分析。支持地图的应用，软件自带全国地图，包含各省、市、县区的完整地图，无需二次购买地图组件，也可以自己上传地图。同时，还可以根据不同的数据为地图的不同区块着色，也可以实现在地图上钻取，预警，信息提示等功能。6）支持WebGIS地图分析。支持天地图、arcgis地图、百度地图平台，并可根据需要进行扩展。支持通过点选、框选方式实现地图上数据查询、统计、钻取、预警、渲染、统计图联动、信息提示等。7）支持自定义平面图。可制作完美符合用户特定平面图需求的微缩或放大展现效果，并用数据点缀渲染平面图，具有最直观最贴切的表现力。8）支持酷屏分析功能。可在线编辑html/js/css代码完成各种页面效果制作；支持组件式开发可简便地定义第三方组件，支持热机部署；内置大量常用组件，包括各种样式的容器，表格、参数、统计图和SVG特效等；支持3D建模。9）支持可视化分析功能。包含数据流向图、风险图谱、人物关系图、组织架构图等。（3）历史版本管理提供对报表历史版本的控制服务，可以对修改于不同时期的同一张报表进行统一管理，从一张表入口管理N张不同的表。（4）计算方式1）支持内存计算。即使数据不存入通用意义上的数据库，也能立即进行分析。2）支持跨库计算。在不同数据库（甚至是异构数据库）中的数据，也能在一起进行各种分析。（5）查看与导出支持分析统计结果导出成一个PDF、Excel、Csv文件；支持分析报表以DHTML形式展示，能自动实现多行分页功能；支持维度和指标数据的隐藏与展示；支持数据级次查询，用户只能看到自己权限内的维度以及数据。★（6）自定义统计报表可根据用户的需求自定义统计报表，其中平台可获取计算的数据自动填入，无法获取的数据可形成报表任务分派给其余部门或街道填报，分派任务时可附上相关文件作为附件佐证，填报后的数据入库保存。2、数据挖掘数据挖掘工具通过分析每个数据，从大量数据中寻找其规律的技术，数据挖掘工具包括数据准备、规律寻找和规律表示三个过程的管控处理。数据挖掘完成从数据准备、数据探索、到模型构建再到部署应用的整个数据挖掘工作，并提供相应的数据挖掘示例，可帮助用户学习和成长。数据挖掘模块内置数据挖掘算法包，实现常见的机器学习算法，让数据挖掘和机器学习的门槛更低，让一些可能并不了解数据挖掘和机器学习的用户也能方便地使用这些算法包来处理自己的数据，辅助预测和决策。（1）数据准备这是建立模型之前的最后一步数据准备工作。可以把此步骤分为四个部分：选择变量，选择记录，创建新变量，转换变量。1）支持多种类型的数据源接口，支持创建文本数据、excel表格数据、关系数据库数据、分布式数据库数据等多种类型的数据集。2）支持对创建的数据集进行数据探索和数据预处理、编辑删除、字段重命名操作。（2）数据探索通过神经网络法、决策树法、遗传算法、粗糙集法等，数据图像化，找到数据规律，从而构建数据模型。1）支持数据概览，包括对数据集指标的分布情况（直方图）、统计信息（唯一值、最大值、最小值、平均值、标准差、缺失值）、数据集记录数等信息进行查看。2）支持图形化探索，包括柱状图、折线图、气泡图、散点图、平行坐标图、直方图、箱线图、排列图等类型统计图的可视化探索。（3）模型构建建立模型是一个反复的过程。需要仔细考察不同的模型以判断哪个模型对面对的商业问题最有用。先用一部分数据建立模型，然后再用剩下的数据来测试和验证这个得到的模型。1）内置多种算法。分类算法：提供决策树、K近邻、朴素贝叶斯、神经网络以及分类回归预测等算法分类分析算法；回归算法：提供线性回归和逻辑回归基本的回归分析算法；聚类算法：提供K-means、EM等聚类算法；关联算法：提供FP-Growth、Apriori等关联分析算法；时间序列算法：提供Holt-Winter预测算法；R语言挖掘：支持脚本挖掘实现回归、分类、聚类、关联、时间序列以及自定义模型的构建。2）支持可视化的模型构建，可根据需要构建回归、分类、聚类、关联、时间序列及R语言脚本等不同类型的数据挖掘模型。3）支持根据实际应用中的业务经验自建数据挖掘模型，用户自建模型能保存、能调用，能基于机器学习技术不断完善。（4）模型评估针对构建的分类分析模型和回归分析模型，提供模型评估功能，模型评估方法包括ROC曲线、交叉验证、混淆矩阵、多模型评估对比等方法，提供基于分类正确率、均方根误差、Kappa统计量、提升率、ROC曲线面积等专业的模型评估指标的综合模型对比报告。（5）模型应用1）支持数据挖掘计划任务定义功能，实现对已发布的数据挖掘模型进行调度执行，并能生成对应模型的预测数据结果集。2）将数据挖掘模型可视化应用集成到门户管理平台。3）根据不同类型的模型智能构建出不同类型的统计图表进行可视化展示，对指定专题进行可视化监控和跟踪。十、示范应用建设需求四标四实数据示范应用主要是通过对四标四实数据的接入、处理、组织和管控，构建业务模型和分析模型，结合5G、分布式数据存储、物联网、人工智能等技术，为经济、民生等社会热点问题提供辅助决策，从而提高各项政策制定的科学性和合理性。本项目拟形成4-5个示范应用，包括但不限于：（一）结合荔湾区地理信息数据，利用运营商数据，以区域为空间单位输出区域的工作人口、居住人口、流动人口，人口特征(性别结构、年龄结构)、人口分布、人口流动及其流入人口来源地分布，对城区人口流入流出、住宅、商业、公共服务配套等进行数据分析，建立人口迁移及分布模型，依照规划原则，从城市建设角度提出改进策略，完善城市功能，辅助进行城市规划，促进城市健康发展。基于运营商位置及用户属性数据，辅助城市规划提供数据支撑服务。采集手机原始信令数据和手机网络基础数据，利用匿名、聚合、外推的网络数据，进行过滤、分析、计算，经过高度自动化和深度降噪处理，能够快速提供有价值的位置和轨迹洞察服务，通过对用户原始信息的分析，进行空间建模，降噪提纯后，将用户的属性分为“驻”和“行”，再加上时间维度的统计分析，实现对用户的时空准确画像，全面地反映人口的特征与移动模式。根据用户特征识别用户的人口属性“居住人口”和“工作人口”。通过构建时间维度和空间维度上的用户驻留和行为特征，再用K-means聚类算法对人群进行聚类，时间维度上取分时段统计每个用户发生在对应场景区域的信令条数、停留时长、驻留天数和驻留月数，空间维度上取用户位置信息所在区域。基于Two-step、k-means聚类算法+决策树组合算法得到居住人口和工作人口分类规则。根据人口分类规则，制定专有的人口模型反映其画像特征，并与四标四实基础数据结合，形成完整的人口迁移及分布模型。将人口分布情况与我区城市规划地块数据结合分析，形成一套有效的城市规划智能参考体系，对规划与人口分布不符的地区生成预警任务，通过事件流转机制给到相应职能处理。将人口迁移情况与我区来穗人员情况结合比对，对出现异常流入流出的情况，通过事件流转机制给到相应职能处理。（二）依托企业经济数据和各类行政审批数据，搭建荔湾区企业经营情况监控体系，从安全生产和异常经营两个方面建立分析模型，及时找出存在问题的相关企业，并推送给主管部门，规范企业合法经营。将各渠道获取的企业经济数据与我区行政审批数据结合，为我区各个企业建立包括经营情况和证照记录的块数据，同时结合安全生产情况，依据企业经营情况分析模型，发现异常数据通过事件流转给到各职能部门监管，形成荔湾区企业经营情况监控体系。十一、数据管理运营需求响应省市政务服务数据管理局关于数据中心建设的相关指导性意见，遵照省市政务数据中心数据治理建设的相关要求，从荔湾区角度，对数据资源的提供和使用提供运营管理支撑，并能够深入研究和充分理解省市政务服务数据管理局的相关政策要求