用电信息采集系统数据处理性能提升方案V1.1

3.0 2024-09-14 12 0 4.92MB 91 页 8库币海报

用电信息采集系统数据处理

性能提升方案

二〇一三年〇七月

用电信息采集系统数据处理性能提升方案
目  录
一、引言........................................................................................................................................ 4
1 系统现状......................................................................................................................... 4
2 面临问题及发展趋势...................................................................................................... 4
二、现有业务应用和数据构成..................................................................................................... 5
1 业务应用需求................................................................................................................. 6
1.1 基本应用.............................................................................................................. 6
1.2 高级应用.............................................................................................................. 6
1.3 业务应用需求总结.............................................................................................. 7
2 数据构成分析................................................................................................................. 7
3 数据存储性能分析.......................................................................................................... 9
4 探索研究....................................................................................................................... 11
三、系统提升方案...................................................................................................................... 12
1 系统目标及原则............................................................................................................ 13
2 系统总体方案............................................................................................................... 14
1.1 性能提升方案.................................................................................................... 14
1.2 数据存储方案.................................................................................................... 15
1.3 数据处理方案.................................................................................................... 17
1.4 基于云存储与关系数据库的应用系统架构.....................................................20
3 系统特点、性能和功能................................................................................................ 21
3.1 系统特性............................................................................................................ 21
3.2 系统特点............................................................................................................ 21
3.3 系统性能............................................................................................................ 22
3.4 系统功能............................................................................................................ 24
4 平台方案优势............................................................................................................... 25
4.1 严格遵循国网标准化设计................................................................................25
4.2 先进的海量数据管理机制................................................................................25
4.3 尽可能少的业务系统改动................................................................................26
4.4 成熟的实施案例................................................................................................ 26
4.5 丰富的经验、鲜明的特色................................................................................27
5 优化存储策略............................................................................................................... 27
5.1 功能描述............................................................................................................ 29
5.2 分布式文件存储系统........................................................................................30
5.3 存储访问接口.................................................................................................... 31
5.4 分级动态存储方式............................................................................................ 32
5.5 优化存储关键技术............................................................................................ 33
5.6 云分布式调度引擎............................................................................................ 34
四、应用技术说明及要求........................................................................................................... 37
1 系统安全性................................................................................................................... 37
/ 91

用电信息采集系统数据处理性能提升方案
1.1 安全保障体系框架............................................................................................ 37
1.2 云计算平台的多级信任保护.............................................................................39
1.3 基于多级信任保护的访问控制.........................................................................43
1.4 云平台安全审计................................................................................................ 46
1.5 云计算综合安全网关........................................................................................49
2 系统可靠性与扩展性.................................................................................................... 52
2.1 系统可靠性........................................................................................................ 52
2.2 系统扩展性........................................................................................................ 54
3 数据存储系统............................................................................................................... 55
3.1 海量数据分布式数据存储构架.........................................................................55
3.2 适应应用需求的混合存储策略.........................................................................57
3.3HDFS 数据存储.................................................................................................... 58
3.4HBase 数据存储.................................................................................................. 61
3.5Database 数据存储............................................................................................ 63
3.6 数据存储的可靠性............................................................................................ 65
3.7 数据压缩............................................................................................................ 66
4 计算与存储集群的可靠性与负载均衡设计.................................................................68
4.1 计算与存储集群 Master 单点失效容错处理....................................................68
4.2 计算与存储集群的负载均衡处理.....................................................................75
4.3HDFS 的可靠性设计............................................................................................ 77
4.4HBase 可靠性设计.............................................................................................. 79
4.5MapReduce 计算可靠性设计...............................................................................80
4.6 基于 Zookeeper 的单点失效和负载均衡设计..................................................83
五、系统实施方案...................................................................................................................... 85
1 与原系统整合方案........................................................................................................ 85
2 工作原理....................................................................................................................... 86
3 实施步骤....................................................................................................................... 87
六、下步工作开展建议.............................................................................................................. 88
/ 91

用电信息采集系统数据处理性能提升方案

一、引言

1.1 系统现状

随着国家电网公司对用电信息采集系统数据要求的提升，业务系统部署的

全面推进及业务应用的不断深化创新，采集系统逐渐呈现出覆盖规模庞大、采集

数据项复杂、存储数据时间长、业务多样化等特点（如山东、浙江、江苏等覆盖用

户数已达 1000-2000 万的级别），从而面临着海量数据存储慢、重点数据分析实

效差、系统整体性能下降等难题。同时，随着深化采集系统应用工作的大力开展

对用电信息采集的数据需求更广、数据挖掘更深、在线分析时效性要求更高。为

了充分发挥用电信息采集系统基础支撑作用，满足采集数据深化应用工作和对

数据存储、查询、统计、分析及对价值数据深入挖掘的需求，通过领先的技术手

段提升用电信息采集系统数据处理性能已势在必行。

1.2 面临问题及发展趋势

用电信息采集系统发展趋势,以采集系统全覆盖为支撑，深入挖掘采集系统

数据，深化应用采集系统功能，加强与营销、配电等相关系统集成，实现电费以

采集系统全覆盖为支撑，深入挖掘采集系统数据，深化应用采集系统功能，加

强与营销、配电等相关系统集成，实现电费抄核自动化、线损管理精细化、互动

服务智能化、费控功能实用化的“四化”目标，全面推进营销发展方式转变，全

面提升公司供电服务水平。

用电信息采集系统智能电表数量到2015 年将达到三亿块，用户用电信息采

集频率更加频繁，且数据是双向互动流转，规模和频率的指数级增长，对用电

信息的采集、存储、查询、分析等全生命周期的数据处理能力提出了更高的要求。

系统面临的问题主要有：

1)采集系统数据量急剧增长、数据类型多样、业务应用深化创新，对数据存储、

4 / 91

用电信息采集系统数据处理性能提升方案

查询、统计、分析及价值数据挖掘提出更高要求；

2) 终端数量及采集频率的剧增，采集数据量由 TB 级向 PB 级发展，导致数据采

集入库、分析、存储的压力剧增；

3)面临数据高性能存储和高可扩展性挑战，对系统的健壮性、灵活性、简单性、

可扩展性以及安全性提出了更高的要求；

4)电力业务向智能化、精细化方向发展，对数据处理复杂性、实时性提出更高

要求，跨业务、跨平台的数据挖掘能力需要进一步提升，迫切需要进行技术

架构优化和性能提升；

5)电力业务的不断深化导致计算资源趋于紧张。任务更复杂，涉及的数据量更

大，现有资源无法保证在规定的时间内完成；

6)现有系统架构在横向线性扩展能力不足，海量数据处理能力已显瓶颈。现有

系统基于 Oracle RAC 的数据库集群方式，由于其采用共享存储，需要在节

点间频繁的复制状态和共享数据块，节点的增加只能加剧数据交换，对于性

能的提升则非常有限，且成本高昂。

探讨和研究用电信息采集系统海量数据处理和性能提升已经迫在眉睫，云

计算技术对于海量数据的处理已经在互联网领域、智能交通领域、安防视频监控

领域得到验证，所以探讨和研究基于云计算平台的用电信息采集海量数据存储

与处理技术，解决现行用电信息采集系统现存问题，符合国家电网技术发展的

方向，是建设统一坚强智能电网的重要组成部分，是智能用电服务环节的技术

基础。对推动智能用电建设有重要意义。

二、现有业务应用和数据构成

现行各网省公司电力用户用电信息采集系统主站均符合国家电网公司电力

用户用电信息采集系统主站软件标准化设计（2012 年修订版）规范要求，综合

考虑功能特点、业务需求、界面布局等因素，将主站功能划分为基本应用、高级

应用、运行管理、有序用电、统计查询、系统管理六部分功能，个别省网公司根据

自身业务特点及实际需求，在二级菜单或三级菜单内添加个性化功能模块。

用电信息采集系统是智能用电建设的数据源，是大营销体系建设的基础，

5 / 91

用电信息采集系统数据处理性能提升方案

是促进“三集五大”体系建设的源动力，用电信息采集系统的基本应用、高级应

用和深化应用等功能，都是建立在数据采集的基础上。归根结底，采集数据是落

脚点，是用电信息采集系统建设过程转化为应用成效的关键，业务应用同时也

决定了采集系统数据的构成。数据主要分为两大类：一是基础档案及业务数据，

二是采集或计算数据。

2.1 业务应用需求

2.1.1 基本应用

用电信息采集系统的基本应用，主要包括：基本应用、运行管理、统计查询

等，涵盖了数据采集管理、档案管理、时钟管理、计量在线监测、运行状况管理、

现场管理、时钟管理、预付费管理、接口管理、日冻结等采集数据查询等功能模块

支撑了用电信息采集系统基础业务，比如采集任务设置、数据召测、客户/终端/

电能资产表等基础档案管理、终端运行管理、终端设备运行状态、终端工况管理、

数据异常处理、终端校时等，从而促进采集数据在预付费管理、自动化抄表业务

的应用，推动着采集系统核心业务发展。

2.1.2 高级应用

随着采集系统的建设，基本应用已无法满足更多、更广的业务需求，高级功

能的应用对数据的深度挖掘与深化应用已成必然趋势。

1、现阶段高级应用

主站标准化设计中高级应用、有序用电涵盖了配变监测分析、线损分析、重点

用户监测、重要信息推送、数据修复、有序用电指标管理、有序用电任务编制与执

行、有序用电分析等功能模块，是采集系统数据高端应用的重要支撑。比如将采

集的功率与功率因数数据应用于变压器负载分析、负荷预测、变压器经济运行衡

量指标及功率因数越限统计，实现台区超载监控分析；将电压曲线数据应用三

相电压不平衡分析、电压合格率数据分析等，实现客户侧供电质量监控与评价，

6 / 91

用电信息采集系统数据处理性能提升方案

为生产、配电等部门优化配网结构，提高配网供电质量提供决策依据；将采集客

户的负荷数据应用于负荷预测和有序用电方案编制，制定合理的限电计划，实

现区域负荷的合理调控。

2、深化应用方向

根据《国家电网公司关于加快用电信息采集系统深化应用的意见》（国家电

网营销[2013]101 号）文件精神，2013-2015 年采集系统深化应用工作总体目标

除了涵盖远程自动抄表、费控功能应用外，还包含了线损监测、反窃电监测、分

布式电源监测、双向互动服务、市场及需求侧管理应用、辅助业扩报装、故障抢修

业务、辅助电能质量监测与可靠性统计应用等方面，明确了公司三年内采集系统

深化应用的方向和具体目标。

此外，国家电网公司对采集系统深化应用的工作要求，已不仅局限于营销

系统的专业业务应用，而是站在促进公司“三集五大”体系建设，加强专业数

据间的高效协同的高度推动采集数据的深化应用，推进与其它系统平台的数据

接口，比如与安质部国网电能质量在线监测系统、运检部供电电压自动采集、省

级计量中心生产调度平台、配电自动化、电能服务管理平台等系统的集成和信息

共享，增强采集数据的支撑作用，必将推动采集数据挖掘向着更广、更深的业务

领域拓展。

2.1.3 业务应用需求总结

基于用电信息采集系统的基本应用、高级应用以及进一步深化应用的工作要

求，现阶段至 2015 年末，业务应用需求可概括为：需首先满足采集系统基础业

务需求，如基础档案的管理、终端运行管理、采集任务设置等，支撑全面自动化

抄表、预付费与费控管理工作。然后挖掘采集数据价值，扩大数据应用范围，应

用于配变监测分析、线损分析、有序用电、供电质量监测、反窃电分析等高端业务

促进采集系统应用效益最大化。

2.2 数据构成分析

根据业务应用需求分析可了解到，不论是基本应用、高级应用还是深化应用

7 / 91

用电信息采集系统数据处理性能提升方案

最终都需要采集数据的支撑。归根结底，采集数据是落脚点，是采集系统建设过

程转为应用成效的关键，业务应用同时也决定了采集系统数据的构成。数据主要

分为两大类：一是基础档案及业务数据，二是采集或计算数据。

前者主要包括变电站、线路、变压器、客户、计量点、运行表、终端、采集关系

等基础档案类数据以及终端调试涉及测量点参数等、费控业务涉及购电单、购电

参数、有序用电涉及方案及控制命令等。后者主要包括日冻结表码数据（正向有

功总、尖、峰、平、谷、反向有功总、尖、峰、平、谷、正向无功总、反向无功总、需量

表码等13个主要数据项）、曲线表码数据、日/月电量数据、功率/电流/电压/功

率因素等负荷数据、电压越限统计数据、终端剩余电量数据、终端停上电事件等。

序号主要业务数据项特点存储要求重要性

基础档案管

理

变电站、线路、变压器、

客户、计量点、运行表、

终端、采集关系等基础档

案类数据以及终端调试

涉及测量点参数等、费控

业务涉及购电单、购电参

数、有序用电涉及方案及

控制命令

数据基数相对

稳定，日增长

量相对较小

永久存储高

2自动化抄表

日冻结表码数据（正向

有功总、尖、峰、平、谷、

反向有功总、尖、峰、平、

谷、正向无功总、反向无

功总、需量表码等13个主

要数据项）

数据基数较

大，日增长量

较大

永久存储高

3预付费与费

控管理

日冻结表码数据、终端剩

余电量等

用户范围逐渐

扩大，日增长

逐渐增大，且

涉及电量数据

召测、占用通

高

8 / 91

用电信息采集系统数据处理性能提升方案

信资源等

4 统计查询

日冻结表码数据、曲线表

码数据

数据基数较

大，日增长量

较大

一般

线损监测与

分析

日冻结表码数据、曲线表

码数据、日电量数据

数据基数较

大，日增长量

较大，且需对

原始数据进行

大量计算，占

用系统资源较

多

一般

6配变监测

变压器容量信息、功率、

功率因数等负荷数据

一般

7反窃电监测

电量差动越限、失压断相

越限、异常告警事件等

一般

供电质量监

测

三相电压曲线数据、电压

越限统计数据、谐波数据

等

一般

有序用电、市

场及需求侧

管理应用

功率等负荷数据、日电量

数据等

一般

电能质量在

线监测、供电

电压采集系

统等接口

三相电压曲线数据、电压

越限统计数据、终端停上

电事件、电表故障信息等

一般

上表列举了10 项典型业务，其重要性优先级是根据现阶段的基本应用和深化应

用方向大体确定，其中优先级为高的代表无论采集系统性能高低，尤其是系统

性能下降无法满足全部应用需要取舍时需优先保证的业务，而优先级为一般的

代表在一定阶段重点应用的业务，且可能随着业务应用方向的多样化逐渐转变

为高优先级。

2.3 数据存储性能分析

在现行采集系统采集压力情况下，业务应用需求及数据重要性优先级决定

9 / 91

用电信息采集系统数据处理性能提升方案

了主站前置机通信及数据存储与读取的周期与频度，尤其是性能较低的情况下

势必影响到部分高级功能的应用，下面主要从采集覆盖规模、数据项总数、单表

数据量、整体数据量等多角度分析数据存储与读取的压力。

（一）采集覆盖规模扩大导致基础档案表数据量基数大，降低数据库整体

性能。

以采集系统建设规模中等数据量的省级集中的网省公司为例，假设终端投

运数为120 万台，覆盖用户数为1200 万户，数据采集相关的基础档案如运行电

能表为 1200 万只，计量点数为1200 万个，采集测量点关系表为 1200 万行，按

照一个测量点平均对应 3 个任务计算，则采集对象任务表为 3600 万行。而采集

数据的存储与读取一般涉及几张表的关键字段的连接，因此，采集覆盖规模庞

大的数据量基数已决定了采集系统数据存储与读取的效率，将直接导致采集系

统数据库整体性能的下降。

（二）业务深化应用的复杂性导致采集数据项繁多，数据库日增量庞大，

进而影响采集数据的存储与读取效率

对于电能示值日冻结表，一个测量点一条记录，那么该表每日数据增量为

1200 万条，月数据量增为 1200*30=3.6 亿条，年数据增量为3.6*12=43.2 亿条；

对于总电能示值曲线数据表，假设采集正向有功总、无功总、反向有功总、无功

总等四个数据项，那么每日数据增量为：1200*4=4800 万条，月数据量增为

4800*30=14.4 亿条，年数据增量为14.4*12=172.8亿条。此外，采集任务涉及

采集数据项已不仅局限于电量表码，还扩展到功率、电流、电压、功率因素等负

荷数据以及终端停上电事件等。功率、电流电压曲线数据表均与总电能示值曲线

数据表保持同数据量级，可测算整体年数据量级已达数百亿。

采集系统功能的扩展应用及数据挖掘必然影响主站软件中部分复杂度较高、

10 / 91

文档加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

亲！下载文档到电脑，查找使用更方便

开通VIP 海量精品免费下载，VIP免费文档当前共计100000+，合计每篇下载不到2厘

8 库币 0人已下载

直接下载

摘要：

用电信息采集系统数据处理性能提升方案二〇一三年〇七月用电信息采集系统数据处理性能提升方案目录一、引言........................................................................................................................................41.1系统现状.............................................................................................................

展开>> 收起<<

用电信息采集系统数据处理性能提升方案V1.1.doc

共91页,预览91页

还剩页未读，继续阅读

温馨提示：66文库网--作为在线文档分享平台，一直注重给大家带来优质的阅读体验；让知识分享变得简单、有价值；海量文档供您查阅下载，让您的工作简单、轻松而高效！ 1. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。 2. 66文库网仅提供信息存储空间，仅对广大用户、作者上传内容的表现方式做保护处理，对上传分享的文档内容本身不做任何修改或编辑，并不对下载的任何内容负责。 3. 广大用户、作者上传的文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。 4. 本站不保证、不承担下载资源内容的准确性、安全性和完整性, 同时也不承担用户因使用下载资源对自己和他人造成任何形式的伤害或损失。

用电信息采集系统数据处理性能提升方案V1.1

相关推荐

猜您喜欢

举报选择: