青年 · 你說



蘇州燃氣集團智慧燃氣大數據平臺建設與應用研發(fā)
+ 查看更多
蘇州燃氣集團智慧燃氣大數據平臺建設與應用研發(fā)
+ 查看更多
一、概述
蘇州燃氣集團搭建大數據基礎平臺的目的是為了打造一個面向整個燃氣行業(yè)的服務平臺,平臺能夠存儲涵蓋公司的安全管理、營銷、用戶服務等各類數據,并具備數據接入導入、實時數據處理、數據挖掘和可視化展示等功能,能夠為蘇州燃氣集團提供能耗分析、安全管控、決策控制等服務內容。
二、平臺建設
1.實施步驟
ApacheHadoop是針對大規(guī)模分布式數據而開發(fā)的軟件框架,目前已經成為企業(yè)管理大數據的基礎支撐技術,是解決企業(yè)數據中心大數據存儲、大規(guī)模數據計算、快速數據分析的優(yōu)秀基礎數據平臺。
基于Hadoop體系,本次建設的大數據基礎平臺主要實現數據采集、大數據平臺、應用功能的搭建。
2.總體架構
本次建設服務器系統(tǒng)采用Ubuntu16.04,大數據平臺搭建使用CDH(Cloudera’sDistributionincludingApacheHadoop)產品5.15.1版本,建設以Hadoop體系為核心,搭建以HDFS為基礎的分布式文件存儲系統(tǒng),具備動態(tài)擴展和數據冗余備份特性。
3.主要成效
本次搭建的數據平臺便于以后更便捷地使用燃氣集團各個獨立系統(tǒng)中的數據而又不影響現有系統(tǒng)的運行,可以統(tǒng)一規(guī)劃管理這些數據,基本可以滿足以下功能:
(1)數據接入功能;(2)數據管理功能;(3)數據輸出功能。
三、數據應用
1.用戶分析
燃氣集團需要根據客戶的行為偏好、行為特征,向不同燃氣客戶群體提供差異化服務。同時,燃氣集團可以通過統(tǒng)計分析不同區(qū)域的客戶群體的燃氣信息來挖掘出區(qū)域性的偏好,可以大大提升企業(yè)對客戶需求的洞察力,可以為營銷和服務的策劃、執(zhí)行、評估、優(yōu)化提供寶貴的指引,從而提高工作的主動性、精準度。
2.負荷預測
為保證用戶的安全平穩(wěn)用氣,必須要掌握天然氣負荷的變化規(guī)律,科學準確的負荷預測有利于保證管網的優(yōu)化運行,提高管網投資的經濟性和可靠性,是燃氣管網安全平穩(wěn)供氣的基礎。
該應用將影響燃氣的相關因素(如天氣、氣溫、節(jié)假日等)作為特征進行建模,使用機器學習算法(回歸分析、時間序列、人工神經網絡等)建模進行燃氣負荷預測。
四、主要創(chuàng)新點
1.使用了開源的大數據平臺,資料全面,便于學習、開發(fā)與測試。本次搭建的大數據平臺安裝了ClouderaManager安裝部署管理工具,通過平臺搭建工作,逐步熟悉大數據平臺的技術特點。
2.自行研發(fā)的用戶分析和用氣負荷預測應用通過結合天氣、節(jié)日等外圍因素,通過燃氣集團積累多年的歷史數據來挖掘、發(fā)現用氣規(guī)律及預測未來變化趨勢,提升企業(yè)對客戶需求的洞察力,為集團決策提供指引,提高工作的精準度。
蘇州燃氣集團搭建大數據基礎平臺的目的是為了打造一個面向整個燃氣行業(yè)的服務平臺,平臺能夠存儲涵蓋公司的安全管理、營銷、用戶服務等各類數據,并具備數據接入導入、實時數據處理、數據挖掘和可視化展示等功能,能夠為蘇州燃氣集團提供能耗分析、安全管控、決策控制等服務內容。
二、平臺建設
1.實施步驟
ApacheHadoop是針對大規(guī)模分布式數據而開發(fā)的軟件框架,目前已經成為企業(yè)管理大數據的基礎支撐技術,是解決企業(yè)數據中心大數據存儲、大規(guī)模數據計算、快速數據分析的優(yōu)秀基礎數據平臺。
基于Hadoop體系,本次建設的大數據基礎平臺主要實現數據采集、大數據平臺、應用功能的搭建。
2.總體架構
本次建設服務器系統(tǒng)采用Ubuntu16.04,大數據平臺搭建使用CDH(Cloudera’sDistributionincludingApacheHadoop)產品5.15.1版本,建設以Hadoop體系為核心,搭建以HDFS為基礎的分布式文件存儲系統(tǒng),具備動態(tài)擴展和數據冗余備份特性。
3.主要成效
本次搭建的數據平臺便于以后更便捷地使用燃氣集團各個獨立系統(tǒng)中的數據而又不影響現有系統(tǒng)的運行,可以統(tǒng)一規(guī)劃管理這些數據,基本可以滿足以下功能:
(1)數據接入功能;(2)數據管理功能;(3)數據輸出功能。
三、數據應用
1.用戶分析
燃氣集團需要根據客戶的行為偏好、行為特征,向不同燃氣客戶群體提供差異化服務。同時,燃氣集團可以通過統(tǒng)計分析不同區(qū)域的客戶群體的燃氣信息來挖掘出區(qū)域性的偏好,可以大大提升企業(yè)對客戶需求的洞察力,可以為營銷和服務的策劃、執(zhí)行、評估、優(yōu)化提供寶貴的指引,從而提高工作的主動性、精準度。
2.負荷預測
為保證用戶的安全平穩(wěn)用氣,必須要掌握天然氣負荷的變化規(guī)律,科學準確的負荷預測有利于保證管網的優(yōu)化運行,提高管網投資的經濟性和可靠性,是燃氣管網安全平穩(wěn)供氣的基礎。
該應用將影響燃氣的相關因素(如天氣、氣溫、節(jié)假日等)作為特征進行建模,使用機器學習算法(回歸分析、時間序列、人工神經網絡等)建模進行燃氣負荷預測。
四、主要創(chuàng)新點
1.使用了開源的大數據平臺,資料全面,便于學習、開發(fā)與測試。本次搭建的大數據平臺安裝了ClouderaManager安裝部署管理工具,通過平臺搭建工作,逐步熟悉大數據平臺的技術特點。
2.自行研發(fā)的用戶分析和用氣負荷預測應用通過結合天氣、節(jié)日等外圍因素,通過燃氣集團積累多年的歷史數據來挖掘、發(fā)現用氣規(guī)律及預測未來變化趨勢,提升企業(yè)對客戶需求的洞察力,為集團決策提供指引,提高工作的精準度。