資料整合的新一波趨勢︰主資料(Master Data)管理
http://www.ithome.com.tw/itadm/article.php?c=52201&s=1
在企業IT整合的方法中，專門針對主資料管理的解決方案和技術，逐漸成為許多大型軟體供應商所強調的部分，包含ERP、資料庫、資料倉儲等廠商，都已正式推出具體的產品。
對當前的企業來說，如何讓既有的資訊變得更正確、精準，仍不太容易。而且這些資訊當中，有些類型相當特別，因為是許多應用系統、交易程序都會用到、存取的部分，所以很重要，等於與企業營運的命脈密切相關，這種資料稱為主資料（Master Data），舉例來說，它們可能是所謂的基本資料，包括顧客、產品、員工、地點、資產、原料等主題。
企業必須設法維護主資料本身，做到一定的品質，例如內容的可信度高，同時又是獨特而不重複的；而且，重點是主資料要在既有的營運流程中妥善運用，例如銷售、行銷、財務等，協助企業內外相關的使用者，能夠在流程上更快速地作業。
此外，企業也逐漸意識到，可以藉助主資料與既有系統的搭配、運用，來改善既有的商業流程與決策，這些因素都使得主資料管理（Master Data Management，MDM）受到更大的關注，幾乎是繼商業智慧之後，再次驅動資料整合下一波應用的新動力。
用法上容易與資料倉儲混淆
因為牽涉到交易系統的處理程序，MDM的實際資料處理作業上相當複雜，而且需要考量到多種因素。所以當我們一開始去修改資料時，雖然執行程序和路徑要維持不變，但這些資訊的變更，不只是要傳到主資料管理系統上，然後這套系統的資訊，也要能再傳回既有系統上。
而且，到了其他系統都可以和MDM相互存取的階段，會有一種複雜的狀況發生：當後端的資料庫異動，而主資料管理系統本身的資料，也因其他系統的作業而變更主資料內容時，這兩邊的資料同步該怎麼處理？
從MDM到既有系統之間，固然可以採用發布與訂閱的方式來同步處理，但相反地，資料從既有系統如何同步到MDM才是重點。目前雖然有既定的工具可運用，但是這些又跟主資料管理系統無關，只是執行專案過程中一定要做的事情。總而言之，這些過程企業需要通盤考量，並且找到比較理想的技術和方式。
還有更複雜的，例如MDM和資料倉儲相互搭配。很多人可能會把資料倉儲和主資料管理混為一談，以為兩者都在做一樣的事情。其實資料倉儲對MDM而言，屬於既有系統的範疇，因為那邊的資料通常是由應用系統端，透過ETL工具再進到資料倉儲，然後這裡面又可能衍生出好幾個資料超市（Data Mart）。
這麼看來，主資料管理和資料倉儲之間似乎存在一些曖昧的關係，但它們之間有何不同？
如果主資料管理裡面的顧客資料，已經有一個完整的檢視，而且內容是最新的，這些資料其實是可以給資料倉儲來使用的。但資料倉儲本身在處理過程中，會再分析出很多資訊，這些過去很少回饋至交易系統端。如果能做到，前端服務的專員能夠同時掌握顧客的VIP等級與流失率，業務運作上會更妥善。
就主資料管理和資料倉儲而言，它們之間是相互協調的，而不是彼此取代。
兩者的定位差異在於，主資料管理系統必須要能讓前端的服務人員可以使用，而不只是藏在後端系統而已。
兩者也有共通之處──都要求資料是正確的。由於資料倉儲會執行資料清理（Data Cleaning）的工作，當資料進到資料倉儲時會經過修正，但這些異動不會自動回溯到應用系統當中的後端資料庫，因此錯的資訊還是錯的，而對主資料管理來說，這些錯誤的確是需要去更正的。
一般人或許會認為，資料倉儲只是客服中心的一種應用系統。我只能說，的確是可以在這樣的系統上去建立一個客服中心系統，大部分企業雖然已經建置了，但裡面的系統其實只服務客服中心本身的需求，而不是全部的人，所以觀念上不同。單靠客服中心手上的資訊來整併，成效還是有限，而且一不注意，可能會因此誤認所有的主資料，都需要以客服中心的資料為重。
用Data Hubs的做法來整合主資料
很多人也許會問，透過資料庫這類儲存庫來彼此同步裡面的內容，不是就可以解決主資料整合的需求嗎？
問題在於，這樣的關係裡，當某個系統的資料更動之後，另一個系統就面臨到是否需要同步處理的狀況。企業通常有N個系統，它們之間或許會相互將資料同步處理，但並非全部系統的資料都處於同步的狀態，通常只選幾個來實作，光是這樣的串連，機制就很複雜，因此會產生很多技術上的問題。
這其實和資料庫處理的觀念有關。也就是所謂的兩階段確認（Two phase commit）。如果修改資料，按下「完成」後，內容直接變更（Update），這叫做One phase commit；但兩階段確認是資料處理完成後，由於要連帶更新另一個系統的資料，所以並不立即宣告「完成」，而是確保兩邊的資料都變更了，交易才算完成。
如果沒有一套系統在中間串連，企業就要自行在不同系統之間，設法做到兩階段確認，這將會衍生一個問題：假設有12個系統要同步更新資料，資料變更時，要等12個系統都完成作業時，前端才會收到「完成」的資訊，也就是說，企業完全無法控制資料處理的效能。
對MDM來說，資料變更時，這些異動只發生在這個系統內，但MDM會將這些資料的最新版本，發布給相關其他的系統去同步。
如果是由主資料管理系統來協調這些動作，是有點像是中介軟體在扮演的角色。IBM軟體產品處軟體系統架構顧問巫介唐提到，就該公司的解決方案來說，實際上是靠EAI和Services元件的技術。
換句話說，MDM本身不直接去處理這些資料的異動，但是它會去擷取（Capture）那些資訊，把它們送給EAI，現在很多MDM廠商的產品都具備這樣的功能。通常這種技術叫做「發布與訂閱（Publish and Subscribe）」，幾乎是所有EAI廠商都具備的特色。
也許你會以為，MDM直接溝通每個系統後端的資料庫、儲存庫等資料儲存。其實不然，既有的應用系統仍直接依照原先的方式，去存取後面的資料庫系統。不過想做到這個目標，困難之處在於如何相容於既有的架構，逐漸發展成理想的架構。
巫介唐說，像這樣去改變資料處理與存取的路徑需要時間，固然須靠有經驗的廠商來引導，但目前臺灣還沒有企業以這樣的方式去發展，所以整體上，仍缺乏實際可參考的案例；而且過程可能得花上10年以上，絕對不是花點錢、1年內就能做得出來的。
妥善運用，能使企業免於違反法規
MDM應該是在企業內部裡面去建置、使用的，不過就像上述研究機構所分析的全球各地的應用狀態，有些企業以SaaS的方式來應用主資料管理。根據巫介唐的判斷，這種狀況可能是因為國外的企業可以合法買到顧客資料，例如Gartner將這種業務稱為Customer Data Integration（CDI），但這類解決方案較針對Party，即顧客資料，其他層面的主資料較少涵蓋到。
有種CDI的做法其實也和SaaS有關，Gartner稱為External Reference Style。在這種方式中，當企業要去查一個顧客的資訊時，可以從外部的系統取回資訊，更進一步了解顧客的基本資料，作為後續評估，例如是否結過婚、所需照顧的子女數。
這種服務的形成，是因為有很多顧客本身的基本資訊，在其他廠商的應用系統當中，都已經建檔，既然當地允許企業販售顧客資訊，所以這種SaaS是有可能存在的。
至於MDM跟法規遵循有關，也不難理解。因為透過這類型系統的操作，企業將能看到所謂的Portfolio──顧客所擁有或購買的產品，以及跟公司的關係。看到這些資訊後，企業能夠發起一些行銷活動，去延伸規畫更引起對方購買欲的產品組合，像是這個顧客是否適合其他產品的交叉銷售（Cross-sale）。這些資訊除了來自企業自身營運用應用系統內的主資料，也很可能是從資料倉儲端匯入，更進一步地還可能包括隱私資料或是偏好。
一旦企業直接運用這些資料，卻沒有注意到有人可能對接收這樣的行銷廣告行為感到反彈時，就很可能會因此觸法。因為企業發起行銷活動時，並沒有主動排除那些不想受打擾的顧客。
某些國家甚至有這樣的法令來約束公司行號的行銷手法。像美國國會曾經制定「勿來電」執行法 （Do-Not-Call Implementation Act），並且授權聯邦貿易委員會建置「勿來電」登記系統，成立一個National Do Not Call Registry的資料庫，任何一個人只要打電話去登記資訊、加入這個計畫，政府就保障這個顧客不會受到所有廠商的電話產品推銷，造成騷擾。
這將會造成一種狀況：通常這些情報往往只能全部蒐集進來，之後企業以此大量發送傳單，如果沒有這方面的過濾機制，例如在主資料管理系統裡面加註，就無法確定本身是否能遵守這樣的法令要求，作業上一定會有失誤。
