青年 · 你說(shuō)
\01.png)
\02.png)
\03.png)
蘇州燃?xì)饧瘓F(tuán)智慧燃?xì)獯髷?shù)據(jù)平臺(tái)建設(shè)與應(yīng)用研發(fā)
+ 查看更多
蘇州燃?xì)饧瘓F(tuán)智慧燃?xì)獯髷?shù)據(jù)平臺(tái)建設(shè)與應(yīng)用研發(fā)
+ 查看更多
一、概述
蘇州燃?xì)饧瘓F(tuán)搭建大數(shù)據(jù)基礎(chǔ)平臺(tái)的目的是為了打造一個(gè)面向整個(gè)燃?xì)庑袠I(yè)的服務(wù)平臺(tái),平臺(tái)能夠存儲(chǔ)涵蓋公司的安全管理、營(yíng)銷、用戶服務(wù)等各類數(shù)據(jù),并具備數(shù)據(jù)接入導(dǎo)入、實(shí)時(shí)數(shù)據(jù)處理、數(shù)據(jù)挖掘和可視化展示等功能,能夠?yàn)樘K州燃?xì)饧瘓F(tuán)提供能耗分析、安全管控、決策控制等服務(wù)內(nèi)容。
二、平臺(tái)建設(shè)
1.實(shí)施步驟
ApacheHadoop是針對(duì)大規(guī)模分布式數(shù)據(jù)而開發(fā)的軟件框架,目前已經(jīng)成為企業(yè)管理大數(shù)據(jù)的基礎(chǔ)支撐技術(shù),是解決企業(yè)數(shù)據(jù)中心大數(shù)據(jù)存儲(chǔ)、大規(guī)模數(shù)據(jù)計(jì)算、快速數(shù)據(jù)分析的優(yōu)秀基礎(chǔ)數(shù)據(jù)平臺(tái)。
基于Hadoop體系,本次建設(shè)的大數(shù)據(jù)基礎(chǔ)平臺(tái)主要實(shí)現(xiàn)數(shù)據(jù)采集、大數(shù)據(jù)平臺(tái)、應(yīng)用功能的搭建。
2.總體架構(gòu)
本次建設(shè)服務(wù)器系統(tǒng)采用Ubuntu16.04,大數(shù)據(jù)平臺(tái)搭建使用CDH(Cloudera’sDistributionincludingApacheHadoop)產(chǎn)品5.15.1版本,建設(shè)以Hadoop體系為核心,搭建以HDFS為基礎(chǔ)的分布式文件存儲(chǔ)系統(tǒng),具備動(dòng)態(tài)擴(kuò)展和數(shù)據(jù)冗余備份特性。
3.主要成效
本次搭建的數(shù)據(jù)平臺(tái)便于以后更便捷地使用燃?xì)饧瘓F(tuán)各個(gè)獨(dú)立系統(tǒng)中的數(shù)據(jù)而又不影響現(xiàn)有系統(tǒng)的運(yùn)行,可以統(tǒng)一規(guī)劃管理這些數(shù)據(jù),基本可以滿足以下功能:
(1)數(shù)據(jù)接入功能;(2)數(shù)據(jù)管理功能;(3)數(shù)據(jù)輸出功能。
三、數(shù)據(jù)應(yīng)用
1.用戶分析
燃?xì)饧瘓F(tuán)需要根據(jù)客戶的行為偏好、行為特征,向不同燃?xì)饪蛻羧后w提供差異化服務(wù)。同時(shí),燃?xì)饧瘓F(tuán)可以通過(guò)統(tǒng)計(jì)分析不同區(qū)域的客戶群體的燃?xì)庑畔?lái)挖掘出區(qū)域性的偏好,可以大大提升企業(yè)對(duì)客戶需求的洞察力,可以為營(yíng)銷和服務(wù)的策劃、執(zhí)行、評(píng)估、優(yōu)化提供寶貴的指引,從而提高工作的主動(dòng)性、精準(zhǔn)度。
2.負(fù)荷預(yù)測(cè)
為保證用戶的安全平穩(wěn)用氣,必須要掌握天然氣負(fù)荷的變化規(guī)律,科學(xué)準(zhǔn)確的負(fù)荷預(yù)測(cè)有利于保證管網(wǎng)的優(yōu)化運(yùn)行,提高管網(wǎng)投資的經(jīng)濟(jì)性和可靠性,是燃?xì)夤芫W(wǎng)安全平穩(wěn)供氣的基礎(chǔ)。
該應(yīng)用將影響燃?xì)獾南嚓P(guān)因素(如天氣、氣溫、節(jié)假日等)作為特征進(jìn)行建模,使用機(jī)器學(xué)習(xí)算法(回歸分析、時(shí)間序列、人工神經(jīng)網(wǎng)絡(luò)等)建模進(jìn)行燃?xì)庳?fù)荷預(yù)測(cè)。
四、主要?jiǎng)?chuàng)新點(diǎn)
1.使用了開源的大數(shù)據(jù)平臺(tái),資料全面,便于學(xué)習(xí)、開發(fā)與測(cè)試。本次搭建的大數(shù)據(jù)平臺(tái)安裝了ClouderaManager安裝部署管理工具,通過(guò)平臺(tái)搭建工作,逐步熟悉大數(shù)據(jù)平臺(tái)的技術(shù)特點(diǎn)。
2.自行研發(fā)的用戶分析和用氣負(fù)荷預(yù)測(cè)應(yīng)用通過(guò)結(jié)合天氣、節(jié)日等外圍因素,通過(guò)燃?xì)饧瘓F(tuán)積累多年的歷史數(shù)據(jù)來(lái)挖掘、發(fā)現(xiàn)用氣規(guī)律及預(yù)測(cè)未來(lái)變化趨勢(shì),提升企業(yè)對(duì)客戶需求的洞察力,為集團(tuán)決策提供指引,提高工作的精準(zhǔn)度。
蘇州燃?xì)饧瘓F(tuán)搭建大數(shù)據(jù)基礎(chǔ)平臺(tái)的目的是為了打造一個(gè)面向整個(gè)燃?xì)庑袠I(yè)的服務(wù)平臺(tái),平臺(tái)能夠存儲(chǔ)涵蓋公司的安全管理、營(yíng)銷、用戶服務(wù)等各類數(shù)據(jù),并具備數(shù)據(jù)接入導(dǎo)入、實(shí)時(shí)數(shù)據(jù)處理、數(shù)據(jù)挖掘和可視化展示等功能,能夠?yàn)樘K州燃?xì)饧瘓F(tuán)提供能耗分析、安全管控、決策控制等服務(wù)內(nèi)容。
二、平臺(tái)建設(shè)
1.實(shí)施步驟
ApacheHadoop是針對(duì)大規(guī)模分布式數(shù)據(jù)而開發(fā)的軟件框架,目前已經(jīng)成為企業(yè)管理大數(shù)據(jù)的基礎(chǔ)支撐技術(shù),是解決企業(yè)數(shù)據(jù)中心大數(shù)據(jù)存儲(chǔ)、大規(guī)模數(shù)據(jù)計(jì)算、快速數(shù)據(jù)分析的優(yōu)秀基礎(chǔ)數(shù)據(jù)平臺(tái)。
基于Hadoop體系,本次建設(shè)的大數(shù)據(jù)基礎(chǔ)平臺(tái)主要實(shí)現(xiàn)數(shù)據(jù)采集、大數(shù)據(jù)平臺(tái)、應(yīng)用功能的搭建。
2.總體架構(gòu)
本次建設(shè)服務(wù)器系統(tǒng)采用Ubuntu16.04,大數(shù)據(jù)平臺(tái)搭建使用CDH(Cloudera’sDistributionincludingApacheHadoop)產(chǎn)品5.15.1版本,建設(shè)以Hadoop體系為核心,搭建以HDFS為基礎(chǔ)的分布式文件存儲(chǔ)系統(tǒng),具備動(dòng)態(tài)擴(kuò)展和數(shù)據(jù)冗余備份特性。
3.主要成效
本次搭建的數(shù)據(jù)平臺(tái)便于以后更便捷地使用燃?xì)饧瘓F(tuán)各個(gè)獨(dú)立系統(tǒng)中的數(shù)據(jù)而又不影響現(xiàn)有系統(tǒng)的運(yùn)行,可以統(tǒng)一規(guī)劃管理這些數(shù)據(jù),基本可以滿足以下功能:
(1)數(shù)據(jù)接入功能;(2)數(shù)據(jù)管理功能;(3)數(shù)據(jù)輸出功能。
三、數(shù)據(jù)應(yīng)用
1.用戶分析
燃?xì)饧瘓F(tuán)需要根據(jù)客戶的行為偏好、行為特征,向不同燃?xì)饪蛻羧后w提供差異化服務(wù)。同時(shí),燃?xì)饧瘓F(tuán)可以通過(guò)統(tǒng)計(jì)分析不同區(qū)域的客戶群體的燃?xì)庑畔?lái)挖掘出區(qū)域性的偏好,可以大大提升企業(yè)對(duì)客戶需求的洞察力,可以為營(yíng)銷和服務(wù)的策劃、執(zhí)行、評(píng)估、優(yōu)化提供寶貴的指引,從而提高工作的主動(dòng)性、精準(zhǔn)度。
2.負(fù)荷預(yù)測(cè)
為保證用戶的安全平穩(wěn)用氣,必須要掌握天然氣負(fù)荷的變化規(guī)律,科學(xué)準(zhǔn)確的負(fù)荷預(yù)測(cè)有利于保證管網(wǎng)的優(yōu)化運(yùn)行,提高管網(wǎng)投資的經(jīng)濟(jì)性和可靠性,是燃?xì)夤芫W(wǎng)安全平穩(wěn)供氣的基礎(chǔ)。
該應(yīng)用將影響燃?xì)獾南嚓P(guān)因素(如天氣、氣溫、節(jié)假日等)作為特征進(jìn)行建模,使用機(jī)器學(xué)習(xí)算法(回歸分析、時(shí)間序列、人工神經(jīng)網(wǎng)絡(luò)等)建模進(jìn)行燃?xì)庳?fù)荷預(yù)測(cè)。
四、主要?jiǎng)?chuàng)新點(diǎn)
1.使用了開源的大數(shù)據(jù)平臺(tái),資料全面,便于學(xué)習(xí)、開發(fā)與測(cè)試。本次搭建的大數(shù)據(jù)平臺(tái)安裝了ClouderaManager安裝部署管理工具,通過(guò)平臺(tái)搭建工作,逐步熟悉大數(shù)據(jù)平臺(tái)的技術(shù)特點(diǎn)。
2.自行研發(fā)的用戶分析和用氣負(fù)荷預(yù)測(cè)應(yīng)用通過(guò)結(jié)合天氣、節(jié)日等外圍因素,通過(guò)燃?xì)饧瘓F(tuán)積累多年的歷史數(shù)據(jù)來(lái)挖掘、發(fā)現(xiàn)用氣規(guī)律及預(yù)測(cè)未來(lái)變化趨勢(shì),提升企業(yè)對(duì)客戶需求的洞察力,為集團(tuán)決策提供指引,提高工作的精準(zhǔn)度。