InSQL培训

关系型实时数据库应用技术交流WonderwareHistorian（InSQLServer）北京汉锦自动化系统有限公司刘容第一部分WonderwareHistorian介绍智能工厂数据采集 存储历史数据分析 问 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 数据挖掘 寻找机会优化 调整过程 推广最佳工况最佳工况 定义性能指标，包括的稳定性、经济性、环保性和综合性等指标，分别进行定义；　　　　 对工况进行划分，对工况若干运行参数进行参数定义；　　　　 关联分析，找出与性能指标有关联的运行参数 利用数据挖掘技术建立模型 找出最佳参数现代企业数据需求现代企业信息各个层面都需要全面准确的生产数据，包括：历史数据、当前数据、统计数据 基础自动化 信息化 MES ERPLevel3:制造执行系统Level1:基础自动化级Level4:ERPLevel2:过程控制级企业需要一个优秀的数据库数据库的要求-收集生产数据 从设备收集 DDE,SuiteLink或基于OPC的控制系统 PLC、DCS、其他HMI 数据越多越好 从用户收集 操作员反馈数据 实验室测试结果 人工采集的数据 存储的数据在需要时便于分析 支持详细记录 找到相关性 在有限存储空间上保证数据的精确性 存储既省钱又快捷 存储空间以MB来衡量的设备才称为CompactFlash 无需考虑节约使用点的数量 无法预知所有问题 预留一定的空间,应对新的问题数据库的要求-存储方针生产数据特点和以前解决 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 生产数据的特点 采集间隔时间短 数据量大 来自多种不同的控制设备，五花八门的通讯方式和协议 以前存储生产数据的方案 人机界面软件的历史数据库 关系型数据库！人机界面软件的历史数据库 人机界面软件，InTouch 对有限的应用是理想的 本地趋势 单节点应用 问题 外部访问难以配置 不能进行复杂的数据分析(平均,最小等) 只是根据时间取得数据(只有简单的查询) 报告内容很有限关系型数据库（一） 优点 SQL–企业界接受的标准 IT界广泛认可的成熟技术 提供复杂的数据查询 和其他系统的集成关系型数据库（二） 缺点 数据不能快速存储 企业庞大的数据量将大大降低存储时间 例如，每5秒钟10k个标记631亿个值/年 SQL不适合处理连续产生的大量数据 连接控制设备（PLC，DCS）需要做大量工作关系型数据库结论显然，这些不是很好的解决方案!解决方法--InSQLServer 业界功能最强大最受欢迎的生产,原料及过程历史数据服务器 不仅仅是实时数据库，是关系型的实时数据库 自动化系统、管理信息系统的最佳选择（L1、L2、L3） 性能好，成本低InSQL组件：高速数据采集和使用相同硬件的标准商用数据库相比，捕获数据的速度约是它的300倍(保持30,000次更新/秒,最高时为60,000次更新/秒，持续1分钟)。包括上千个I/OServer! PLCs,DCS,RTU,etc. OPC,SuiteLink,DDEMooreSiemensHoneywellAllenBradleyYokogawaModiconInSQLInSQL组件：动态压缩可选的有损互无损压缩无损压缩比~2%有损压缩--旋转门压缩（SwingingDoor)更有效的数据存储新的“SwingingDoor”算法 比率死区 更少的存储数据，与无损压缩相比，减少量可达70% 存储数据量差异是714GB与195GB比较 更好的数据 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 示法 提高数据检索性能MoreEfficientDataStorageThenew“SwingingDoor”datastoragealgorithmcanreducedatastoragerequirementsbyupto70%andstillprovideaccuraterepresentationsofthedata.ThistechniquewasdevelopedbyFoxboroandusesaratedeadbandtechniquetoeliminatedatavaluesatthesamevalueorfollowingthesamerate.Let’sillustratethedifferencesbetweenavaluedeadbandtechniqueandtheSwingingDoortechniquewiththenextslide.12345678910111213141516171819旋转门的例子–储罐液位存储不需要的点(7,8,15,16) 错失变形点(5,13)无损存储19个点“SwingingDoor过滤” 基本算法 Bristol(InvensysFoxboro) 美国专利号4,669,097和5,774,385 InSQL9.0 建立在原专利（技术）基础之上 等待美国和国际专利（权）批准 增加了数值与最大时间死区，并设置超时InSQL组件：实时SQL语句 标准SQL语句的实时扩展 支持定义数据分辨率 支持时间和频率的函数SQL实时扩展 时序分辨率控制 对于时序数据采用基于时基采样的查询,避免采用传统行计数的办法 循环/增量检索 wwRetrievalMode=‘Cyclic’ wwRetrievalMode=‘Delta‘ 分辨率控制 wwResolution=1000 基于行的检索 wwRowCount=100 基于边缘的检索 wwEdgeDetection=‘Leading’如何用分辨率控制来从数据中提纯信息?以离散为例。一个离散标签有两个数据值，1和0。如果我们用一个分辨率，比如说1000ms，来检索一个离散。然后求和，我们得到了以秒为单位的运行时间。如果我们对同一个查询来求其平均值，我们就得到了工作周期。改变检索模式，对得到的值求和，我们得到了接近于真实情况的离散的次数。或者说是电机发动的次数，或者是阀门被打开的次数。AnalogHistory查询分辨率=1秒SQL时间扩展但它能达到3毫秒!SELECTDateTime,TagName,Value,QualityDetailFROMv_AnalogHistoryWHERETagNamein('ReactLevel')ANDwwRetrievalMode='Cyclic'ANDwwRowCount=1000增量存储“最佳拟合（BestFit）”查询周期存储一星期的“5秒数据”:120,960(增量存储):~300(最佳拟合)在更多的子区间或更小的时间段增加细节无间隙显示“BestFit”RetrievalImprovesAccuracyandPerformanceAnyonetrendingplantdatawantsdatathatrepresentstheprocessbeingstudiedandwantsresultsquickly.Thenew“BestFit”dataretrievalmodeallowshighlyaccuraterepresentationsofthedatabutalsominimizestheamountofdataretrievedsoqueriesrunquickly.Inthisexample,ifweusedeltaretrievalweseealotofdatawithalotofdetail–muchofthisdetailisnotuseful(noise).Italsotakesawhiletorunbecauseoftheamountofdatareturned.Ifweusecyclicalretrievalwegetafastresponsebutalargeamountofthedetailislost.Forexamplethegapinthemiddleofthetrendistotallymissed.Nowifweusethe“BestFit”retrievalmodewegainmuchmoredetailbutstillonlyretrievearelativelysmallamountofdata.Inthiscase,~300valuesversusover120,000valuesfordeltaretrieval.Ahugedecreaseintheamountofdatareturned.Ifthislevelofdetailisnotsufficientthiscanbeincreasebyincreasingthenumberofsubintervalsused.Thisisonepowerfuldataretrievalmode.InSQL9.0“最佳拟合”查询 要求 在长时间内精确地表示过程(增量) 在服务器、网络和客户端上的有效表示(周期性) 两者都需要 算法 将总体时间分成平均的子时间段(类似周期性) 对于每个时间段，最多返回5个值(有些类似增量): 时间段内的第一个值 时间段内的最后一个值 时间段内的最小值，该值为实际的时间 时间段内的最大值，该值为实际的时间 时间段内的第一个“例外”时间(标签质量不合格) 对于一星期的“5秒数据” 120,960(增量)值:~300(最佳拟合)“BestFit”RetrievalAlgorithmForthe"bestfit"retrievalmode,thetotaltimeforthequeryisdividedintoevensub-periods,andthenuptofivevaluesarereturnedforeachsub-period:FirstvalueintheperiodLastvalueintheperiodMinimumvalueintheperiod,withitsactualtimeMaximumvalueintheperiod,withitsactualtimeThefirst"exception"intheperiod(non-Goodquality).Thebestfitretrievalmodeallowsforacompromisebetweendeltaretrievalmodeandcyclicretrievalmode.Forexample,deltaretrievalmodecanaccuratelyrepresentaprocessoveralongperiodoftime.However,toachievethisrepresentation,alargenumberofdatavaluesmustbereturned.Ifthecyclicretrievalmodeisusedtoretrievethedata,theretrievalismuchmoreefficient,becausefewervaluesarereturned.However,therepresentationisnotasaccurate.The"bestfit"retrievalmodeallowsforfasterretrieval,astypicallyachievedbyusingthecyclicretrievalmode,plusthebetterrepresentationtypicallyachievedbyusingthedeltaretrievalmode.InSQL组件：事件和概要数据 强大灵活的事件检测 可组态的事件响应系统 自动产生概要数据 查询接口 MSSQL完成 连接 安全 Internet e-mail 和商用系统的集成.InSQL组件：内嵌MSSQLServerInSQLOLEDBPROVIDER模拟离散HistoryBlockSSQLServer查询处理器OLEDBRTServer字符串InSQL主要其他功能 动态(重新)配置 标记配置变化时不必停止/重起动 没有数据间隙 支持 ‘迟到的’数据(旧的数据)(人工数据)(非实时数据)数据存储冗余–存储与转发IDAS InSQL数据源管理 连接到2个IO服务器 允许在冗余IO服务器之间实现故障切换 多个远程IDAS服务 在连接失败时对数据进行本地缓存 重新连接后将缓存的数据转发到服务器 允许在冗余IDAS之间实现故障切换I/O数据源故障切换示意图xInSQLServerI/O备用路由ABTCPMODBUSABTCPMODBUS远程IDAS转寄示意图InSQLServerR-IDASModbusABTCP数据储存在远程的节上失去连接……再连接实时采集开始……所有的数据转寄给服务器InSQL集群架构HeartbeatSCSISCSIProcessDataIO(PlantNetwork)ClientRequests(BusinessNetwork)InSQLFailoverClusterArchitectureThisgraphicshowsthebasicfailoverclusterconfiguration.TwoserversareconnectedviaadedicatednetworkconnectioncalledtheHeartbeat.Thisconnectionisusedbythesystemtomonitoriftheprimaryserverislostandtodetermineifthesecondserverneedstotakeover.AsharedRAIDdiskstoragesystemprotectsthestoreddata.Theclusteredserversareconnectedtoboththeplantdatanetworkandtheplantbusinessnetworktoenabledatastorageandclientaccess.数据导入与修改 把最初是从外部收集的数据导入到InSQL LIMs,RTU,.CSV数据文件(快速加载!) 旧的InTouch历史 SQL将数据值插入/更新到History 原始数据 传感器故障时输入修正值 检索原始的/最新的修正管理 系统管理控制台 InSQL管理与配置Snap-Ins 安全的远程管理 使用简便… 鼠标右键菜单 拖/放功能 集成的出错信息专业客户端工具ActiveFactory 与InSQL配套的客户端工具 无需懂SQL Trend趋势 IndustrialWorkbook嵌入EXCEL Report嵌入WORD Query形成SQL语句组件：趋势Trend强大的趋势功能 实时和历史趋势 方便的变量,时间选择 多重X，Y轴 统计功能 注释 放大缩小、平移功能 拷贝、粘贴、保存时间偏移组件：工作簿Workbook嵌入到Excel 不需SQL知识 时间引用 利用Office强大的功能组件：报告Report嵌入到Word 不需SQL知识 时间引用 利用Office强大的功能组件：Query生成SQL语句 不需SQL知识 可拷贝到其它查询工具中 降低编程难度FactorySuiteClients InTouch MSQuery ISQL CrystalReports扩展性 满足特殊功能的客户化前端软件 VisualBasic,C/C++,Delphi,PowerBuilder,Java 与商用系统的接口 I/O驱动程序,SQL对象,事件对象第二部分配置和运行配置参数 自动启动Autostart 设置Headroom，值15 设置主计算机时间同步 设置安全性 存储空间配置（硬盘） 启动InSQL导入标记名 从InTouch 手动添加标记名 标记名修改和删除 标记名文件夹第三部分客户端工具ActiveFactory趋势Trend 连接服务器、选择标记名 选择时间段，时间平移 单笔属性，宽度、颜色 查看数值，View/DataLog/Narrow 统计信息 添加注释 缩放，比例、橡皮 打印 同标记名多时间段 实时趋势，改变间隔时间Excal报表Workbook 连接服务器，插入标记名 插入历史值 插入实时值 插入统计值 定时报表，自动打印或另存Word报表Report 连接服务器 创建查询 插入查询 运行报表Query和SQL查询 使用Query 在SQLServer中查询 简单查询 历史数据 实时数据数据采集来自CSV文件 输入数据 插入数据 修改数据InSQL开发工具 InSQLToolkit Wonderware提供DLL动态连接库aaHistorian.DLL 读取数据，速度高于通过SQLServer 修改数据 添加手工标记名标记名ManualTag 删除标记名 写入数据MoreEfficientDataStorageThenew“SwingingDoor”datastoragealgorithmcanreducedatastoragerequirementsbyupto70%andstillprovideaccuraterepresentationsofthedata.ThistechniquewasdevelopedbyFoxboroandusesaratedeadbandtechniquetoeliminatedatavaluesatthesamevalueorfollowingthesamerate.Let’sillustratethedifferencesbetweenavaluedeadbandtechniqueandtheSwingingDoortechniquewiththenextslide.如何用分辨率控制来从数据中提纯信息?以离散为例。一个离散标签有两个数据值，1和0。如果我们用一个分辨率，比如说1000ms，来检索一个离散。然后求和，我们得到了以秒为单位的运行时间。如果我们对同一个查询来求其平均值，我们就得到了工作周期。改变检索模式，对得到的值求和，我们得到了接近于真实情况的离散的次数。或者说是电机发动的次数，或者是阀门被打开的次数。“BestFit”RetrievalImprovesAccuracyandPerformanceAnyonetrendingplantdatawantsdatathatrepresentstheprocessbeingstudiedandwantsresultsquickly.Thenew“BestFit”dataretrievalmodeallowshighlyaccuraterepresentationsofthedatabutalsominimizestheamountofdataretrievedsoqueriesrunquickly.Inthisexample,ifweusedeltaretrievalweseealotofdatawithalotofdetail–muchofthisdetailisnotuseful(noise).Italsotakesawhiletorunbecauseoftheamountofdatareturned.Ifweusecyclicalretrievalwegetafastresponsebutalargeamountofthedetailislost.Forexamplethegapinthemiddleofthetrendistotallymissed.Nowifweusethe“BestFit”retrievalmodewegainmuchmoredetailbutstillonlyretrievearelativelysmallamountofdata.Inthiscase,~300valuesversusover120,000valuesfordeltaretrieval.Ahugedecreaseintheamountofdatareturned.Ifthislevelofdetailisnotsufficientthiscanbeincreasebyincreasingthenumberofsubintervalsused.Thisisonepowerfuldataretrievalmode.“BestFit”RetrievalAlgorithmForthe"bestfit"retrievalmode,thetotaltimeforthequeryisdividedintoevensub-periods,andthenuptofivevaluesarereturnedforeachsub-period:FirstvalueintheperiodLastvalueintheperiodMinimumvalueintheperiod,withitsactualtimeMaximumvalueintheperiod,withitsactualtimeThefirst"exception"intheperiod(non-Goodquality).Thebestfitretrievalmodeallowsforacompromisebetweendeltaretrievalmodeandcyclicretrievalmode.Forexample,deltaretrievalmodecanaccuratelyrepresentaprocessoveralongperiodoftime.However,toachievethisrepresentation,alargenumberofdatavaluesmustbereturned.Ifthecyclicretrievalmodeisusedtoretrievethedata,theretrievalismuchmoreefficient,becausefewervaluesarereturned.However,therepresentationisnotasaccurate.The"bestfit"retrievalmodeallowsforfasterretrieval,astypicallyachievedbyusingthecyclicretrievalmode,plusthebetterrepresentationtypicallyachievedbyusingthedeltaretrievalmode.InSQLFailoverClusterArchitectureThisgraphicshowsthebasicfailoverclusterconfiguration.TwoserversareconnectedviaadedicatednetworkconnectioncalledtheHeartbeat.Thisconnectionisusedbythesystemtomonitoriftheprimaryserverislostandtodetermineifthesecondserverneedstotakeover.AsharedRAIDdiskstoragesystemprotectsthestoreddata.Theclusteredserversareconnectedtoboththeplantdatanetworkandtheplantbusinessnetworktoenabledatastorageandclientaccess.