-
當(dāng)前位置:首頁 > 創(chuàng)意學(xué)院 > 營銷推廣 > 專題列表 > 正文
數(shù)據(jù)生命周期安全過程域(數(shù)據(jù)生命周期階段通過的安全過程域有幾個(gè))
大家好!今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于數(shù)據(jù)生命周期安全過程域的問題,以下是小編對此問題的歸納整理,讓我們一起來看看吧。
創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè),服務(wù)客戶遍布全球各地,相關(guān)業(yè)務(wù)請撥打電話:175-8598-2043,或添加微信:1454722008
本文目錄:
一、數(shù)據(jù)治理十步法
以下文章來源于談數(shù)據(jù) ,作者石秀峰
1、找癥狀,明確目標(biāo)
任何企業(yè)實(shí)施數(shù)據(jù)治理都不是為了治理數(shù)據(jù)而治理數(shù)據(jù),其背后都是管理和業(yè)務(wù)目標(biāo)的驅(qū)動(dòng)。企業(yè)中普遍存在的數(shù)據(jù)質(zhì)量問題有:數(shù)據(jù)不一致、數(shù)據(jù)重復(fù)、數(shù)據(jù)不準(zhǔn)確、數(shù)據(jù)不完整、數(shù)據(jù)關(guān)系混亂、數(shù)據(jù)不及時(shí)等。
由于這些數(shù)據(jù)問題的存在對業(yè)務(wù)的開展和業(yè)務(wù)部門之間的溝通造成了較大的困擾,產(chǎn)生了很大的成本;各異構(gòu)的系統(tǒng)中數(shù)據(jù)不一致,導(dǎo)致業(yè)務(wù)系統(tǒng)之間的應(yīng)用集成無法開展;數(shù)據(jù)質(zhì)量差無法支撐數(shù)據(jù)分析,分析結(jié)果與實(shí)際偏差較大。然而要實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)管理、數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)的目標(biāo),沒有高質(zhì)量的數(shù)據(jù)支撐是行不通的。
目標(biāo):企業(yè)實(shí)施數(shù)據(jù)治理的第一步,就是要明確數(shù)據(jù)治理的目標(biāo),理清數(shù)據(jù)治理的關(guān)鍵點(diǎn)。
技術(shù)工具:實(shí)地調(diào)研、高層訪談、組織架構(gòu)圖。
輸入:企業(yè)數(shù)據(jù)戰(zhàn)略規(guī)劃,亟待解決的業(yè)務(wù)問題,經(jīng)營發(fā)展需求,業(yè)務(wù)需求等;
輸出:數(shù)據(jù)治理的初步溝通方案,項(xiàng)目任務(wù)書,工作計(jì)劃表;
2、理數(shù)據(jù),現(xiàn)狀分析
針對企業(yè)數(shù)據(jù)治理所處的內(nèi)外部環(huán)境,從組織、人員、流程、數(shù)據(jù)四個(gè)方面入手,進(jìn)行數(shù)據(jù)治理現(xiàn)狀的分析。
某企業(yè)數(shù)據(jù)治理痛點(diǎn)分析
組織方面:是否有專業(yè)的數(shù)據(jù)治理組織,是否明確崗位職責(zé)和分工。
人員方面:數(shù)據(jù)人才的資源配置情況,包括數(shù)據(jù)標(biāo)準(zhǔn)化人員、數(shù)據(jù)建模人員,數(shù)據(jù)分析人員,數(shù)據(jù)開發(fā)人員等,以及數(shù)據(jù)人才的占比情況。
流程方面:數(shù)據(jù)管理的現(xiàn)狀,是否有歸口管理部門,是否有數(shù)據(jù)管理的流程、流程各環(huán)節(jié)的數(shù)據(jù)控制情況等;
數(shù)據(jù)方面:梳理數(shù)據(jù)質(zhì)量問題列表,例如:數(shù)據(jù)不一致問題,數(shù)據(jù)不完整,數(shù)據(jù)不準(zhǔn)確、數(shù)據(jù)不真實(shí)、數(shù)據(jù)不及時(shí)、數(shù)據(jù)關(guān)系混亂,以及數(shù)據(jù)的隱私與安全問題等。
目標(biāo):分析企業(yè)數(shù)據(jù)管理和數(shù)據(jù)質(zhì)量的現(xiàn)狀,確定初步數(shù)據(jù)治理成熟度評估方案。
技術(shù)工具:實(shí)地訪談、調(diào)研表、數(shù)據(jù)質(zhì)量問題評議表、關(guān)鍵數(shù)據(jù)識別方法論(例如:主數(shù)據(jù)特征識別法);
輸入:需求及現(xiàn)狀調(diào)研表、訪談?dòng)涗?、?shù)據(jù)樣本、數(shù)據(jù)架構(gòu)、數(shù)據(jù)管理制度和流程文件;
輸出:數(shù)據(jù)問題列表、數(shù)據(jù)U/C矩陣、數(shù)據(jù)治理現(xiàn)狀分析報(bào)告、數(shù)據(jù)治理評估方案;
3、數(shù)據(jù)治理成熟度評估
數(shù)據(jù)治理成熟度反映了組織進(jìn)行數(shù)據(jù)治理所具備的條件和水平,包括元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、業(yè)務(wù)流程整合、主數(shù)據(jù)管理和信息生命周期管理。
CMMI DMM數(shù)據(jù)管理能力成熟度評估模型
數(shù)據(jù)治理成熟度評估是利用標(biāo)準(zhǔn)的成熟度評估工具結(jié)合行業(yè)最佳實(shí)踐,針對企業(yè)的數(shù)據(jù)治理現(xiàn)狀進(jìn)行的客觀評價(jià)和打分,找到企業(yè)數(shù)據(jù)治理的短板,以便制定切實(shí)可行的行動(dòng)方案。數(shù)據(jù)治理成熟度結(jié)束后形成初步的行動(dòng)方案,一般包括數(shù)據(jù)治理戰(zhàn)略,數(shù)據(jù)治理指標(biāo),數(shù)據(jù)治理規(guī)則,數(shù)據(jù)治理權(quán)責(zé)。數(shù)據(jù)治理愿景和使命是數(shù)據(jù)治理的整體目標(biāo);數(shù)據(jù)治理指標(biāo)定義了數(shù)據(jù)治理目標(biāo)的衡量方法;數(shù)據(jù)治理規(guī)則和定義包括與數(shù)據(jù)相關(guān)的政策、標(biāo)準(zhǔn)、合規(guī)要求、業(yè)務(wù)規(guī)則和數(shù)據(jù)定義等;權(quán)利和職責(zé)規(guī)定了由誰來負(fù)責(zé)制訂數(shù)據(jù)相關(guān)的決策、何時(shí)實(shí)施、如何實(shí)施,以及組織和個(gè)人在數(shù)據(jù)治理策略中該做什么。
目標(biāo):結(jié)合業(yè)界標(biāo)準(zhǔn)的數(shù)據(jù)治理成熟度模型,根據(jù)企業(yè)管理和業(yè)務(wù)需求進(jìn)行數(shù)據(jù)治理成熟的評估,形成初步的數(shù)據(jù)治理策略和行動(dòng)路線。
技術(shù)工具:數(shù)據(jù)治理評估模型,例如:DCMM,CMMI DMM,IBM數(shù)據(jù)治理成熟度評估模型等;
輸入:第2步的輸入以及數(shù)據(jù)治理評估模型、數(shù)據(jù)治理評估工具(評估指標(biāo)、打分表等);
輸出:數(shù)據(jù)治理評估結(jié)果,數(shù)據(jù)治理策略,初步的行動(dòng)方案;
4、數(shù)據(jù)質(zhì)量問題根因分析
數(shù)據(jù)治理的目的是解決數(shù)據(jù)質(zhì)量問題提升數(shù)據(jù)質(zhì)量,從而為數(shù)據(jù)驅(qū)動(dòng)的數(shù)字化企業(yè)提供源動(dòng)力,而提到數(shù)據(jù)質(zhì)量問題,做過BI、數(shù)倉的同學(xué)一定知道,這是一個(gè)技術(shù)和業(yè)務(wù)“經(jīng)常打架”相互推諉的問題。
某企業(yè)數(shù)據(jù)問題根因分析魚骨圖
產(chǎn)生數(shù)據(jù)質(zhì)量問題的原因有很多,有業(yè)務(wù)方面的、有管理方面的、也有技術(shù)方面的,按照80/20法則,80%的問題是由20%的原因造成起的。所以,如果能夠解決這20%的問題,就能得到80%的改進(jìn)。
目標(biāo):分析并找到數(shù)據(jù)質(zhì)量問題產(chǎn)生的根本原因,制定行之有效的解決方案;
技術(shù)工具:頭腦風(fēng)暴、5W1H、SWOT、因果(魚刺)圖、帕拉圖等;
輸入:數(shù)據(jù)問題列表、數(shù)據(jù)U/C矩陣、數(shù)據(jù)治理現(xiàn)狀分析報(bào)告、數(shù)據(jù)治理評估結(jié)果;
輸出:數(shù)據(jù)質(zhì)量評估結(jié)果、對業(yè)務(wù)的潛在影響和根本原因。
5、業(yè)務(wù)影響及實(shí)施優(yōu)先級評估
通過數(shù)據(jù)治理成熟度評估,從組織、流程、制度、人員、技術(shù)等方面找到企業(yè)在數(shù)據(jù)治理的待提升的領(lǐng)域和環(huán)節(jié),再通過數(shù)據(jù)質(zhì)量根因分析找到數(shù)據(jù)質(zhì)量問題發(fā)生的根本原因,進(jìn)一步明確了數(shù)據(jù)治理的目標(biāo)和內(nèi)容。再接下來,就需要確定數(shù)據(jù)治理策略,定義數(shù)據(jù)治理的實(shí)施優(yōu)先級。
某企業(yè)主數(shù)據(jù)治理實(shí)施優(yōu)先級評估
不同的數(shù)據(jù)治理領(lǐng)域解決的是不同的問題,而數(shù)據(jù)治理的每個(gè)領(lǐng)域都有它的實(shí)施難點(diǎn),對企業(yè)來說,需要從業(yè)務(wù)的影響程度,問題的緊急程度、實(shí)施的難易程度等多個(gè)維度進(jìn)行分析和權(quán)衡,從而找到符合企業(yè)需求并滿足企業(yè)發(fā)展的方案。
目標(biāo):確定數(shù)據(jù)治理核心領(lǐng)域和支撐體系的建設(shè)/實(shí)施優(yōu)先級;
技術(shù)工具:四象限法則(分別從業(yè)務(wù)影響程度/實(shí)施難以程度,問題重要程度/問題緊急程度繪制優(yōu)先級矩陣)、KANO模型
輸入:數(shù)據(jù)治理成熟度能力評估結(jié)果、數(shù)據(jù)質(zhì)量問題根因分析結(jié)果;
輸出:數(shù)據(jù)治理實(shí)施優(yōu)先級策略
6、制定數(shù)據(jù)治理行動(dòng)路線和計(jì)劃
路線圖是使用特定技術(shù)方案幫助達(dá)到短期或者長期目標(biāo)的計(jì)劃,用于新產(chǎn)品、項(xiàng)目或技術(shù)領(lǐng)域的開發(fā),是指應(yīng)用簡潔的圖形、表格、文字等形式描述技術(shù)變化的步驟或技術(shù)相關(guān)環(huán)節(jié)之間的邏輯關(guān)系。路線圖是一種目標(biāo)計(jì)劃,就是把未來計(jì)劃要做的事列出來,直至達(dá)到某一個(gè)目標(biāo),就好像沿著地圖路線一步一步找到終點(diǎn)一樣,故稱路線圖。
某企業(yè)數(shù)據(jù)治理實(shí)施路線圖
企業(yè)數(shù)據(jù)治理的實(shí)施路線圖的制定是以企業(yè)數(shù)據(jù)戰(zhàn)略——愿景和使命為綱領(lǐng),以急用優(yōu)先為原則,以分步實(shí)施為策略進(jìn)行了整體設(shè)計(jì)和規(guī)劃。實(shí)施路線圖主要包含的內(nèi)容:分幾個(gè)階段實(shí)施,每個(gè)階段的目標(biāo)、工作內(nèi)容、時(shí)間節(jié)點(diǎn)要求、環(huán)境條件等。筆者觀點(diǎn):任何一個(gè)企業(yè)的數(shù)據(jù)治理都不是一蹴而就,一步到位的,需要循序漸進(jìn)、持續(xù)優(yōu)化!實(shí)施路線圖就是基于此產(chǎn)生的,因此說數(shù)據(jù)治理實(shí)施路線圖也是說服利益相關(guān)者支持的一個(gè)重要手段。
目標(biāo):確定數(shù)據(jù)治理的階段以及每個(gè)階段的目標(biāo);
技術(shù)工具:路線圖法
輸入:數(shù)據(jù)治理成熟度能力評估結(jié)果、業(yè)務(wù)影響及實(shí)施優(yōu)先級評估結(jié)果;
輸出:數(shù)據(jù)治理實(shí)施路線圖或稱階段目標(biāo)計(jì)劃
7、制定數(shù)據(jù)治理詳細(xì)實(shí)施方案
數(shù)據(jù)治理詳細(xì)實(shí)施方案是用于指導(dǎo)主數(shù)據(jù)的各項(xiàng)實(shí)施工作,一般包括:數(shù)據(jù)治理核心領(lǐng)域、數(shù)據(jù)治理支撐體系、數(shù)據(jù)治理項(xiàng)目管理三個(gè)方面。
數(shù)據(jù)治理總體框架圖
數(shù)據(jù)治理核心領(lǐng)域包括:數(shù)據(jù)架構(gòu)、數(shù)據(jù)服務(wù)、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)標(biāo)準(zhǔn)管理、主數(shù)據(jù)管理、數(shù)據(jù)安全管理、數(shù)據(jù)生命周期管理。
數(shù)據(jù)治理支撐體系包括:組織(組織架構(gòu)、組織層次、崗位職責(zé))、制度(管控模式、規(guī)章制度、考核機(jī)制)、流程(歸口部門、管理流程、流程任務(wù)等)、技術(shù)(數(shù)據(jù)集成、數(shù)據(jù)清洗、數(shù)據(jù)開發(fā)、數(shù)據(jù)應(yīng)用、數(shù)據(jù)運(yùn)營、支撐平臺、實(shí)施方案等)。
數(shù)據(jù)治理項(xiàng)目管理方案包括:項(xiàng)目組隊(duì)、項(xiàng)目計(jì)劃、質(zhì)量保證計(jì)劃、配置管理計(jì)劃、培訓(xùn)和售后等。
關(guān)于數(shù)據(jù)治理的核心領(lǐng)域,詳見筆者之前分享的數(shù)據(jù)治理框架解讀系列文章。
關(guān)于數(shù)據(jù)治理的支撐體系,詳見筆者之前分享的數(shù)據(jù)治理成功關(guān)鍵要素系列文章。
目標(biāo):基于數(shù)據(jù)質(zhì)量根因分析、業(yè)務(wù)影響和實(shí)施優(yōu)先級評估結(jié)果,制定詳細(xì)實(shí)施方案;
輸入:業(yè)務(wù)影響及實(shí)施優(yōu)先級評估結(jié)果,行動(dòng)路線和計(jì)劃;
輸出:數(shù)據(jù)治理詳細(xì)實(shí)施方案。
8、數(shù)據(jù)治理實(shí)施過程控制
數(shù)據(jù)治理實(shí)施過程控制是對數(shù)據(jù)治理項(xiàng)目的范圍控制、進(jìn)度控制、質(zhì)量控制和成本控制,通過對企業(yè)的各項(xiàng)資源的合理協(xié)調(diào)與利用,而達(dá)成的數(shù)據(jù)治理目標(biāo)的各種措施。從項(xiàng)目管理的角度來講也是項(xiàng)目管理的黃金三角:范圍、時(shí)間、質(zhì)量、成本。
任何項(xiàng)目的質(zhì)量和進(jìn)度是需要良好的項(xiàng)目管理來保證的,數(shù)據(jù)治理也一樣。與傳統(tǒng)的軟件工程項(xiàng)目不同,數(shù)據(jù)治理項(xiàng)目有著范圍邊界模糊、影響范圍廣、短期難見效、實(shí)施周期長等特點(diǎn):
①范圍邊界模糊,數(shù)據(jù)治理涉及到的關(guān)鍵領(lǐng)域如元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)標(biāo)準(zhǔn)管理、主數(shù)據(jù)管理等很多是存在交叉的,邊界很難界定,例如:實(shí)施數(shù)據(jù)質(zhì)量管理項(xiàng)目,會涉及元數(shù)據(jù)管理、數(shù)據(jù)標(biāo)準(zhǔn)管理等,同樣一個(gè)元數(shù)據(jù)管理項(xiàng)目也會涉及數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)質(zhì)量。
②影響范圍廣,數(shù)據(jù)治理的實(shí)施不是一個(gè)部門能夠完成的,是需要從高級管理層、到各業(yè)務(wù)部門、信息部門通力協(xié)作,共同完成的;
③短期難見效,數(shù)據(jù)治理項(xiàng)目實(shí)施完成后,其數(shù)據(jù)治理的效果被每個(gè)業(yè)務(wù)點(diǎn)滴操作所“稀釋”,并不像其他項(xiàng)目,例如BI,那樣明顯的體現(xiàn)出來,所以主導(dǎo)數(shù)據(jù)治理的部門會經(jīng)常遭到質(zhì)疑。
④實(shí)施周期長,在沒有清晰的數(shù)據(jù)治理目標(biāo)和范圍約定的情況下,數(shù)據(jù)治理是一個(gè)“無底洞”。所以,在實(shí)施數(shù)據(jù)治理項(xiàng)目之前制定好實(shí)施路線圖和詳細(xì)的實(shí)施方案就顯得格外重要(第6、7步)。
目標(biāo):通過對數(shù)據(jù)治理項(xiàng)目實(shí)施過程的進(jìn)度控制、質(zhì)量控制和成本控制以實(shí)現(xiàn)數(shù)據(jù)治理的目標(biāo);
技術(shù)工具:PP(項(xiàng)目計(jì)劃)、PMC(項(xiàng)目控制)、IPM(集成項(xiàng)目管理)、RSKM(風(fēng)險(xiǎn)管理)——CMMI過程域;
輸入:6-7步的輸出:數(shù)據(jù)治理實(shí)施路線圖,數(shù)據(jù)治理詳細(xì)實(shí)施方案;
輸出:各項(xiàng)項(xiàng)目控制措施,例如:項(xiàng)目計(jì)劃、SOW、項(xiàng)目風(fēng)險(xiǎn)列表、項(xiàng)目報(bào)告、項(xiàng)目總結(jié)等;
9、監(jiān)控評估數(shù)據(jù)治理實(shí)施效果
隨著大數(shù)據(jù)技術(shù)的不斷發(fā)展,應(yīng)當(dāng)從企業(yè)的全局?jǐn)?shù)據(jù)治理環(huán)境的角度,明確數(shù)據(jù)治理關(guān)鍵技術(shù)運(yùn)用及其標(biāo)準(zhǔn)規(guī)范,構(gòu)建成效評估指標(biāo)體系,進(jìn)行治理效果評價(jià);并運(yùn)用數(shù)據(jù)治理能力成熟度模型再次評估,界定數(shù)據(jù)管理層次,從而使得跨系統(tǒng)、跨業(yè)務(wù)、跨部門的數(shù)據(jù)治理體系的建設(shè)與實(shí)施能夠通過各方協(xié)作順利進(jìn)行,實(shí)現(xiàn)卓越數(shù)據(jù)治理,進(jìn)而通過數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)、數(shù)據(jù)驅(qū)動(dòng)管理和運(yùn)營以實(shí)現(xiàn)企業(yè)的降本、增效、提質(zhì)、創(chuàng)新。
某企業(yè)數(shù)據(jù)治理看板(數(shù)據(jù)已脫敏)
數(shù)據(jù)治理成效評估指標(biāo)體系應(yīng)根據(jù)企業(yè)及數(shù)據(jù)治理項(xiàng)目的實(shí)際情況制定,一般包括:時(shí)間性、數(shù)量性、完整性、準(zhǔn)確性四個(gè)維度。
①時(shí)間性即數(shù)據(jù)的及時(shí)性。該維度主要通過源業(yè)務(wù)系統(tǒng)數(shù)據(jù)接入的上報(bào)及時(shí)性、接入及時(shí)性等方面進(jìn)行核對。通過分析月指標(biāo)、周指標(biāo)、日指標(biāo)的數(shù)據(jù)及時(shí)率,得出在規(guī)定時(shí)間和頻度周期內(nèi)接入系統(tǒng)的比例,以此反映數(shù)據(jù)接入及時(shí)性。
②數(shù)量性。該維度是從數(shù)據(jù)存量,數(shù)據(jù)增量,數(shù)據(jù)訪問量,數(shù)據(jù)交換量、數(shù)據(jù)使用量等指標(biāo)反映數(shù)據(jù)的使用情況,可以分為月度指標(biāo)、周指標(biāo)、日指標(biāo)、時(shí)分指標(biāo)等。
③準(zhǔn)確性。這個(gè)維度主要由各類數(shù)據(jù)中邏輯的準(zhǔn)確性、數(shù)據(jù)值的準(zhǔn)確性、數(shù)據(jù)頻段和字段之間的準(zhǔn)確性以及數(shù)據(jù)的精度等內(nèi)容組成。該準(zhǔn)確率同樣包括:月度、每周、每日等準(zhǔn)確率指標(biāo)。
④完整性。此維度主要以單元維度完整性、數(shù)據(jù)業(yè)務(wù)維度組合完整性、索引值完整性等不同方面進(jìn)行核對,是驗(yàn)證數(shù)據(jù)質(zhì)量完整性的主要組成部分,包括月度指標(biāo)、周指標(biāo)、日指標(biāo)數(shù)據(jù)的完整性等內(nèi)容。
目標(biāo):檢驗(yàn)各項(xiàng)數(shù)據(jù)治理指標(biāo)的落實(shí)情況,查漏補(bǔ)缺,夯實(shí)數(shù)據(jù)治理效果;
技術(shù)工具:數(shù)據(jù)治理效果的評價(jià)指標(biāo)體系、各種數(shù)據(jù)圖表工具;
輸入:數(shù)據(jù)治理效果評估指標(biāo);
輸出:數(shù)據(jù)治理評估的月報(bào)、周報(bào)、日報(bào)等;
10、數(shù)據(jù)治理持續(xù)改進(jìn)
數(shù)據(jù)治理模式應(yīng)業(yè)務(wù)化、常態(tài)化,不應(yīng)是一個(gè)項(xiàng)目、“一陣風(fēng)”的模式。
圖片源自互聯(lián)網(wǎng)
數(shù)據(jù)治理工作應(yīng)向企業(yè)生產(chǎn)、銷售業(yè)務(wù)一樣作為一項(xiàng)重點(diǎn)的業(yè)務(wù)工作來開展,構(gòu)建專業(yè)的數(shù)據(jù)治理組織,設(shè)置合適的崗位權(quán)責(zé),建立相應(yīng)的管理流程和制度,讓數(shù)據(jù)標(biāo)準(zhǔn)貫徹到每個(gè)業(yè)務(wù)環(huán)節(jié),形成一種常態(tài)的工作。在筆者看來,在數(shù)據(jù)源頭加強(qiáng)企業(yè)數(shù)據(jù)的治理,讓常態(tài)化治理成為日常業(yè)務(wù),才能從根本上徹底解決企業(yè)數(shù)據(jù)質(zhì)量的各種問題,讓數(shù)據(jù)真正轉(zhuǎn)化為企業(yè)資產(chǎn),以實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)流程優(yōu)化、數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)創(chuàng)新、數(shù)據(jù)驅(qū)動(dòng)管理決策的目標(biāo)。
目標(biāo):數(shù)據(jù)治理常態(tài)化,持續(xù)提升數(shù)據(jù)質(zhì)量,驅(qū)動(dòng)流程優(yōu)化和管理創(chuàng)新。
輸入:持續(xù)的、規(guī)范的、標(biāo)準(zhǔn)的各項(xiàng)業(yè)務(wù)操作;數(shù)據(jù)治理監(jiān)控的各項(xiàng)指標(biāo)和報(bào)告;
輸出:持續(xù)輸出的高質(zhì)量的數(shù)據(jù);
博主觀點(diǎn):原理大家都懂,實(shí)踐時(shí)困難重重。在專家的指導(dǎo)下,應(yīng)用適當(dāng)?shù)墓ぞ呖勺尷碚撧D(zhuǎn)化為現(xiàn)實(shí)。華矩科技,專業(yè)的數(shù)據(jù)治理服務(wù)與技術(shù)提供商。
二、什么是數(shù)據(jù)生命周期,如何定義啊
算法的基本特征:是一組嚴(yán)謹(jǐn)?shù)囟x運(yùn)算順序的規(guī)則,每一個(gè)規(guī)則都是有效的,數(shù)據(jù)庫的生命周期:需求分析階段、概念設(shè)計(jì)階段、邏輯設(shè)計(jì)階段、物理設(shè)計(jì)階段、
三、數(shù)據(jù)安全級別由高到低劃分為
數(shù)據(jù)安全級別從高到低劃分為5級、4級、3級、2級、1級。
定級目標(biāo):
定級目標(biāo)旨在全面梳理和確立適當(dāng)分級,用于指導(dǎo)建立統(tǒng)一、完善的數(shù)據(jù)生命周期安全保護(hù)框架的基礎(chǔ)工作。
在人行通知文件以及《數(shù)據(jù)安全法》等法規(guī)中,關(guān)于數(shù)據(jù)安全的目標(biāo)則是“保障數(shù)據(jù)依法有序自由流動(dòng)”。
在現(xiàn)已成熟的數(shù)據(jù)安全治理體系方法論中,數(shù)據(jù)分類分級是執(zhí)行層面首要任務(wù),也是最艱巨的任務(wù)。圍繞這個(gè)任務(wù)目標(biāo),在實(shí)際展開數(shù)據(jù)定級工作時(shí),需要采用對數(shù)據(jù)全生命周期的動(dòng)態(tài)管控等數(shù)據(jù)安全治理方法。
數(shù)據(jù)安全定級規(guī)則:
與其他標(biāo)準(zhǔn)類似,數(shù)據(jù)安全性(CIA)遭到破壞后可能造成的影響是確定數(shù)據(jù)安全級別的重要判斷依據(jù)。
將影響程度分為四級:嚴(yán)重?fù)p害、一般損害、輕微損害、無損害。
將數(shù)據(jù)安全級別是根據(jù)影響程度進(jìn)行劃分的。(個(gè)人金融信息保護(hù)技術(shù)規(guī)范中定為C3、C2、C1類,分別對應(yīng)4、3、2級)
數(shù)據(jù)安全定級范圍:
主要界定定級范圍為電子數(shù)據(jù),包括紙質(zhì)文件掃描件。
定級原則:
合法合規(guī)性原則、可執(zhí)行性原則、時(shí)效性原則、自主性原則、差異性原則、客觀性原則。
關(guān)于時(shí)效性原則,指數(shù)據(jù)安全有效期具有一定期限。但是在本標(biāo)準(zhǔn)中,并沒有做出清晰界定。
四、ClickHouse數(shù)據(jù)生命周期管理
ClickHouse原生支持?jǐn)?shù)據(jù)生命周期 (TTL)管理的功能,可以對表或者表的某個(gè)字段添加TTL配置。
語法如下:
1)針對表
如果表之前沒設(shè)置TTL則直接新增。語法如下:
ALTER TABLE dmp_log.ods_rule_engine_log MODIFY TTL insert_time + INTERVAL 180 DAY;
對應(yīng)的刪除操作:
ALTER TABLE dmp_log.ods_rule_engine_log REMOVE TTL;
對于ReplicatedMergeTree引擎表,只需要在一個(gè)節(jié)點(diǎn)執(zhí)行即可,clickhouse會自動(dòng)同步到別的節(jié)點(diǎn)。
當(dāng)然可以根據(jù)數(shù)據(jù)的熱度不同,將數(shù)據(jù)移動(dòng)到別的存儲上。語法如下:
TTL d + INTERVAL 1 MONTH [DELETE],
d + INTERVAL 1 WEEK TO VOLUME 'aaa',
d + INTERVAL 2 WEEK TO DISK 'bbb';
2)針對字段
ALTER TABLE example_table
MODIFY COLUMN
c String TTL d + INTERVAL 1 MONTH;
TTL固然很方便,但是在數(shù)據(jù)量大的時(shí)候,性能消耗是非常大的。建議還是定期通過刪除分區(qū)或者備份分區(qū)的方式來實(shí)現(xiàn)數(shù)據(jù)的生命周期管理。
語法如下:
alter table dmp_log.ods_rule_engine_log drop partition 202007 ;
以上就是關(guān)于數(shù)據(jù)生命周期安全過程域相關(guān)問題的回答。希望能幫到你,如有更多相關(guān)問題,您也可以聯(lián)系我們的客服進(jìn)行咨詢,客服也會為您講解更多精彩的知識和內(nèi)容。
推薦閱讀:
行業(yè)分析報(bào)告免費(fèi)網(wǎng)站(中國行業(yè)數(shù)據(jù)分析網(wǎng))
貸款客戶數(shù)據(jù)(貸款數(shù)據(jù)資源)
中國服裝消費(fèi)數(shù)據(jù)(中國服裝消費(fèi)數(shù)據(jù)2019)