复制文本
下载此文档
加入vip，每篇下载不到2厘

江苏省环保厅1831项目方案建议书

3.0 2024-09-14 24 0 4.99MB 61 页 8库币 海报
投诉举报
江苏省环保厅
1831 项目云平台
技术方案建议书
、
目 录
1系统总体概述................................................................................................................3
1.1 系统基本功能.................................................................................................3
1.2 系统建设的主要设计思想和设计目标、设计原则...........................................4
1.3 系统的主要技术特点......................................................................................4
1.4 系统总体构架.................................................................................................5
1.5 cStor 云存储系统简介....................................................................................6
1.6 cProc 云处理平台简介...................................................................................9
1.7 系统设计性能...............................................................................................11
1.7.1 数据流量处理能力.................................................................................11
1.7.2 数据存储读取能力.................................................................................11
1.8 系统功能......................................................................................................13
2系统设计实施与关键技术方法....................................................................................14
2.1 cStor 云存储系统.........................................................................................14
2.1.1 技术架构...............................................................................................14
2.1.2 工作原理...............................................................................................16
2.1.3 管理机制...............................................................................................17
2.1.4 关键技术...............................................................................................18
2.2 cProc 云处理平台.........................................................................................20
2.2.1 数据立方(DataCube)............................................................................20
2.2.2 任务监控器（JobKeeper）...................................................................22
2.2.3 cProc 数据处理.....................................................................................25
2.2.4 Zookeeper 可靠性.................................................................................27
2.3 八大环境监控子系统....................................................................................29
2.3.1 饮用水水源地监控系统.........................................................................29
2.3.2 流域水环境监控系统.............................................................................31
2.3.3 空气环境监控系统.................................................................................32
2.3.4 辐射环境监控系统.................................................................................33
2.3.5 重点污染源监控系统.............................................................................34
2.3.6 机动车监控系统....................................................................................35
2.3.7 危险废物监控系统.................................................................................36
2.3.8 风险源监控系统....................................................................................37
2.4 平台安全......................................................................................................41
2.4.1 云处理平台信任保护.............................................................................41
2.4.2 基于多级信任保护的访问控制..............................................................45
2.4.3 云处理平台安全审计.............................................................................48
2.4.4 云处理平台安全网关.............................................................................51
3项目管理和实施..........................................................................................................54
3.1 项目开发周期...............................................................................................54
3.2 项目实施......................................................................................................54
3.3 客户受益......................................................................................................55
1系统总体概述
1.1 系统基本功能
“1831”生态环境监控系统建设工程，是建设一个全省联网资源共享的生
态环境自动监控平台，实现对全省生态环境的现代化监管，系统于生态省建设，
为管理和决策提供参考和依据。系统集饮用水水源地监控、流域水环境监控、
空气环境监控、辐射环境监控、重点污染源监控、机动车监控、危险废物监控、
风险源监控八大子系统于一体，在省、市、县组建三级环境监控中心，通过一
套环境监控管理办法，达到自动监控、科学管理、合理决策的生态建设目标。
系统的各子系统基本功能和组成如下：
饮用水水源地监控系统
能够对省内 111 个集中式饮水水源地水质进能监测、汇报等。
流域水环境监控系统
能够对全省 252 个河流水质进行实时监测，预警和保护。
空气环境监控系统
能够实时检测分析全省环境空气质量，确定空气污染程度。
辐射环境监控系统
能够对全省 529 个放射源辐射环境进行实时监控、实时查询分析。
重点污染源监控系统
能够实时监测全省集中式污水处理厂和污水处理情况和燃煤电厂的鼓风机
电量。
机动车监控系统
能够实时监控全省分析机动车尾气的污染情况。
危险废物监控系统
能够监控危险废物的情况，以及对废物管理部门采集的数据进行实时分析。
风险源监控系统
能够监控全省环境风险源，并对风险源进行分析。
1.2 系统建设的主要设计思想和设计目标、设计原则
设计思想：自动监测设备将采集到的实时监测数据上报到省环保厅云存储
系统存储。八大监控子系统操作平台向省环保厅云处理平台发出查询请求，云
处理平台通过并行计算高效快速的从云存储系统查询数据并分析汇总，向各监
控子系统提供查询的数据。
设计目标：采用云计算、物联网和信息网格技术，对在用的业务系统进行
分析，确定那些信息需要从原系统中抽取出来进行集成，然后建立一个基于云
存储的、可扩展，具有统一规范数据格式的中心数据库，将各业务系统核心数
据抽取到中心数据库进行数据集成；利用云计算平台的强大处理能力进行数据
的处理和挖掘；最后，在中心数据库上开发建立包括企业信息全寿命管理（即
从企业登记开始到企业注销的全程信息管理）、数据精确分析、处置决策、趋
势分析等在内的应用，并为其它系统预留数据调用接口，最终建成一个涵盖在
用系统数据，支持全局信息管理分析与应用的监控系统。
设计原则：
（1）技术领先，性能优异
系统将采用国际先进的云存储和云计算技术，并在此基础上提供高效的查
询和分析处理。
（2）数据安全可靠
系统将采用多种容错技术保证存储的数据安全和故障的自动恢复。
1.3 系统的主要技术特点
实时性：平台在高效率并行分布式软件的支撑下，可以实时完成数据入库、
分析和管理工作。海量数据入库不会出现数据堆积现象，各类分析和查询工作
基本都在秒级完成，具有前所未有的高效性。
高可靠性：基于对云计算可靠性深厚的研究积累，彻底解决了当前分布式
计算平台易出现的单点故障问题。任何一个节点出现故障，系统将自动屏蔽，
而且不会出现丢失数据的现象。
可伸缩性：在不停机的情况下，增加节点，平台的处理能力自动增加；减
少节点，平台的处理能力自动缩减。这样，可以做到与云计算平台的无缝对接，
根据计算和存储任务动态地申请或释放资源，最大限度地提高资源利用率。
高性价比：采用 X86架构廉价计算机构建云计算平台，用软件容错替代硬
件容错，大大节省成本。在目标性能和可靠性条件下，可比传统的小型机加商
用数据库方案节省 10 倍左右的成本。
全业务支持：采用分布式数据库模式，绝大部分海量数据存放于分布式平
台并进行分布式处理，少量实时性要求很高的数据存放于关系数据库中，可支
撑各种类型的业务。不仅支撑查询、统计、分析业务，还可支撑深度数据挖掘
和商业智能分析业务。
1.4 系统总体构架
江苏省环保厅 1831 项目主要包括八大环境监控子系统：饮用水水源地监控
系统、流域水环境监控系统、空气环境监控系统、辐射环境监控系统、重点污
染源监控系统、机动车监控系统、危险废物监控系统、风险源监控系统。这八
大环境子系统共同组成一个完整的环境监控系统，它们都是充分利用现有监测
设备，与省环保厅联网后，数据信息汇聚存储至省环保厅云存储系统中，然后
再由省环保厅云处理平台负责对数据进行索引、分析等处理，并向八大系统的
应用层提供 API 调用，快速反馈分析的结果。
图表 1 系统示意图
以数据为中心，数据从最底层的数据采集层中采集到，将这些数据传输到
数据中心，同时进行数据索引、分类、分割、清理等操作，将遵循一定规范的
数据和索引数据同时实时存储到云存储系统中，在云处理平台上提供数据接口，
并与最上层的前台应用层交互数据。
1.5 cStor 云存储系统简介
cStor 云存储系统是南京云创存储科技有限公司自主研发的、具有自主知识
产权的高科技产品，是国内最早实现并保持领先的云存储系统，整套系统包括
软件与硬件，是一个海量的云存储平台。
图2 C1000 系列云存储产品存储机柜
与传统的大规模存储系统相比，cStor 针对绝大多数数据密集型应用的特点
从多个方面进行了优化，从而在一定规模下达到成本、可靠性和性能的最佳平
衡。cStor 凭着超低的价格、优异的性能、高度可靠、绿色节能、无限容量、
在线自动伸缩、易用通用等诸多压倒性优势，获得了广电、安防、刑侦、政务、
交通、动漫等各行业用户青睐，产品代理和销售商已发展到数十家。
目前，cStor 云存储系统已成熟应用于安防视频监控、刑侦、广电、交通、
电信、医疗、政务等诸多领域，性能卓越，表现出色，从未出现故障，得到用
户一致称赞。
图3 部署在南京政务云数据中心云创机器
下图4为一简单的 cStor 云存储系统部署示意图。
图 4 cStor 云存储系统部署示意图
cStor 云存储系统采用了分布式的存储架构，元数据服务器采用主备双机容
错的方式管理各个存储节点，文件分散存储在各存储节点上。客户端与元数据
服务器间只有控制流，数据流直接在各存储节点间交互。
因此，系统的整体吞吐率随着存储的规模的增大是线性增加，直到达到带宽的
饱和利用。
1.6 cProc 云处理平台简介
云存储层包括公司自主研发的云储存系统 cStor 和 apache 开源云储存系统
HDFS；而在数据管理层中，包含数据立方、Hbase；数据处理层包含 JobKeeper
和MapReduce；最后的监控协调层则包括 zookeeper和Chukwa 来实现对整个系
统的实时监控和数据管理。
下图为 cProc 云处理平台架构：
通过数据立方，可以对元数据进行数据分析、清理、分割。
对结构化数据任意关键字索引，形成一个多维数据模型，数据立方的命名
也由此而来。数据立方是独立于 cProc 云处理平台的技术架构，用户可以选择
性采用数据立方，也可以单独采用 Hbase、Hive 等技术框架，通过数据立方或
Hbase，可以将结构化数据看成一张无限大的表，操作这张表跟操作传统关系型
数据库一样，上层应用无需修改，完全符合用户原来操作习惯。
对于非结构化数据，cProc 云处理平台采用公司自主研发的超安存算法，对
这些数据块进行分割，散乱存储到云储存系统上，然后采用分布式并行处理，
对数据进行实时处理，cProc 云处理平台的处理性能随着节点的增多而成倍数
增长。
cProc 云处理平台拥有以下特点：
1.对任意多关键字实时索引
2.支持类 SQL 复杂并行组合查询
3.分布式万兆实时数据流秒级处理
4.高可靠性，系统无单点，确保意外情况下，系统的正常运行
以上特点由云创公司自主研发的下面几大功能来提供保证，分别是数据立
方，分布式数据处理,调度均衡器、数据传输接口等。
数据立方对数据建立高效的索引结构。数据立方是云创公司研发的高效数
据结构，该结构成功解决了海量数据的快速索引和查询问题，使得百亿条记录
级的数据能够秒级处理。
分布式数据处理是云创公司研发的处理海量数据的处理框架，用于对大规
模数据集的并行处理。处理能力可以通过增加或减少机器达到动态调整。采用
先进的容错技术，确保处理任务的可靠性，即使在异常情况下，如机器宕机、
断网的情况下，确保处理任务的实时性和准确性。
调度均衡器是云创公司研发的解决单点故障的一项技术，用于解决系统内
的单点问题，确保某机器的应用程序状态在宕机或断网时，可将状态从异常机
器转移到其他机器上，中间无数据丢失。
数据传输接口是云创公司经过多年积累，专门针对地面数据传输研究出高
性能可靠文件传输协议，采用并行流水线方式、将传输与存储作联合优化，并
支持多点中继高效传输。经过多项实地远程传输试验，结果表明该技术的传输
效率在 1Gb/s光纤线路上达到了带宽的 80%左右，处于国际最高水平。
几大功能相辅相成，高效且可靠地处理海量数据，确保响应迅速，传输速度快，
处理结果准确。

标签： #环保

摘要：

江苏省环保厅1831项目云平台技术方案建议书、目录1系统总体概述................................................................................................................31.1系统基本功能.................................................................................................31.2系统建设的主要设计思想和设计目标、设计原则...........................

展开>> 收起<<
江苏省环保厅1831项目方案建议书.docx

共61页,预览61页

还剩页未读， 继续阅读

温馨提示：66文库网--作为在线文档分享平台，一直注重给大家带来优质的阅读体验；让知识分享变得简单、有价值；海量文档供您查阅下载，让您的工作简单、轻松而高效！ 1. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。 2. 66文库网仅提供信息存储空间，仅对广大用户、作者上传内容的表现方式做保护处理，对上传分享的文档内容本身不做任何修改或编辑，并不对下载的任何内容负责。 3. 广大用户、作者上传的文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。 4. 本站不保证、不承担下载资源内容的准确性、安全性和完整性, 同时也不承担用户因使用下载资源对自己和他人造成任何形式的伤害或损失。

相关推荐

更多
立即下载
分类：行业资料 价格：8库币 属性：61 页 大小：4.99MB 格式：DOCX 时间：2024-09-14

猜您喜欢

更多
/ 61
评分 收藏
分销
立即下载
客服
关注