第四方物流是在電子商務(wù)和第三方物流基礎(chǔ)上發(fā)展起來的可以滿足物流一體化、系統(tǒng)化的要求,可以最大限度地節(jié)約物流資源的整體供應(yīng)鏈物流解決方案提供者。第四方物流最重要的作用是以IT技術(shù)為依托,最大限度地整合物流資源,以在整個(gè)供應(yīng)鏈管理上,對(duì)資源進(jìn)行分配。第四方物流是在第三方物流的基礎(chǔ)上發(fā)展起來的,第三方物流服務(wù)提供商已經(jīng)運(yùn)營(yíng)了很長(zhǎng)時(shí)間,系統(tǒng)中積攢了大量的數(shù)據(jù),這些數(shù)據(jù)當(dāng)中隱含了大量的可以輔助第四方物流進(jìn)行諸如優(yōu)化策略中的路徑選擇、運(yùn)輸載體選擇、第三方物流供應(yīng)商選擇等決策的知識(shí),如何將這些分布的數(shù)據(jù)轉(zhuǎn)化成決策欣據(jù),成為第四方物流實(shí)現(xiàn)資源分配至關(guān)重要的一個(gè)問題。采用傳統(tǒng)的數(shù)據(jù)挖掘辦法面臨著數(shù)據(jù)安全性、數(shù)據(jù)保密性、網(wǎng)絡(luò)帶寬等限制,為了解決這一問題,針對(duì)第四方物流系統(tǒng)的情況,本文將分布式數(shù)據(jù)挖掘應(yīng)用到第四方物流系統(tǒng)中,輔助第四方物流有效地集成數(shù)據(jù)、處理數(shù)據(jù)、挖掘知識(shí),為供應(yīng)鏈中資源的合理分配提供決策依據(jù)。
1 第四方物流
1.1 第四方物流的概念及背景
1996年第四方物流由埃森哲公司提出,他們給第四方物流的定義如下:“第四方物流供應(yīng)商是一個(gè)供應(yīng)鏈的集成商,它對(duì)公司內(nèi)部和具有互補(bǔ)性的服務(wù)供應(yīng)商所擁有的不同資源、能力和技術(shù)進(jìn)行整合和管理,提供一整套供應(yīng)鏈解決方案。”第四方物流主要是對(duì)制造企業(yè)或分銷企業(yè)的供應(yīng)鏈進(jìn)行監(jiān)控,在解決企業(yè)物流的基礎(chǔ)上,整合社會(huì)資源,解決物流信息充分共享、社會(huì)物流資源充分利用的問題。
第三方物流作為專業(yè)化的物流的一種形式,因其能提供良好的物流服務(wù)而在國(guó)內(nèi)外得到了蓬勃發(fā)展,并且得到了各行業(yè)的廣泛認(rèn)可,但隨著企業(yè)管理和服務(wù)能力的不斷延伸,特別是企業(yè)經(jīng)營(yíng)面IIf的業(yè)務(wù)內(nèi)容越來越復(fù)雜,活動(dòng)越來越細(xì),客觀上要求企業(yè)在物流管理上不僅僅是針對(duì)某項(xiàng)活動(dòng)戴某幾項(xiàng)活動(dòng)進(jìn)行有效的運(yùn)作和管理,而是能有機(jī)地整合各種物流活動(dòng)和相應(yīng)的業(yè)務(wù)以及信息,從事全方位、系統(tǒng)化的管理,第三方物流提供商在綜合技術(shù)、集成技術(shù)、戰(zhàn)略和全球擴(kuò)展能力上存在局限性,不得不轉(zhuǎn)而求助于咨詢公司、集成技術(shù)提供商等物流服務(wù)提供商,由其評(píng)佑、設(shè)計(jì)、制汀及運(yùn)作全面的供應(yīng)鏈集成方案,由此形成了第四方物流。
1.2 第四方物流的特點(diǎn)
第四方物流具有策劃、實(shí)施和監(jiān)督供應(yīng)鏈管理的能力,其核心思想是企業(yè)集中于其核心能力的發(fā)展,把在銷售、運(yùn)作和供應(yīng)鏈管理上的責(zé)任移交給第四方物流。
第四方物流在現(xiàn)實(shí)的運(yùn)作過程中,表現(xiàn)出來的功能特點(diǎn)如下:首先,第四方物流提供一整套完善的供應(yīng)鏈解決方案;體現(xiàn)再造、供應(yīng)鏈過程協(xié)作和供應(yīng)鏈過程再設(shè)計(jì)的功能;實(shí)施流程一體化、系統(tǒng)集成和運(yùn)作交接,執(zhí)行、承擔(dān)多個(gè)供應(yīng)鏈職能和流程的運(yùn)作。其次,第西方物流提供商充分利用一批服務(wù)提供商的能力,包括B2B、IT供應(yīng)商、合同物流供應(yīng)商、呼叫中心和電信增值服務(wù)商等,再加上客戶的能力和第四方物流提供商自身的能力,提供一個(gè)全方位的供應(yīng)鏈解決方案,來滿足公司所面臨的廣泛而復(fù)雜的需求。
2 分布式數(shù)據(jù)挖掘
數(shù)據(jù)挖掘是通過仔細(xì)分析大量數(shù)據(jù)來揭示有意義的新的關(guān)系、趨勢(shì)和模式的過程,通過數(shù)據(jù)挖掘可以用來發(fā)現(xiàn)隱藏在數(shù)據(jù)中的知識(shí),可以充分利用已擁有的數(shù)據(jù)。
傳統(tǒng)的數(shù)據(jù)挖掘基本上是一個(gè)本地的數(shù)據(jù)分析工具,僅能對(duì)本地?cái)?shù)據(jù)集產(chǎn)生一定的理解性或概括性的知識(shí)。隨著網(wǎng)絡(luò)技術(shù)和分布式數(shù)據(jù)庫(kù)技術(shù)的發(fā)展和成熟,原來數(shù)據(jù)的集中式存儲(chǔ)和管理逐漸轉(zhuǎn)變?yōu)榉植际酱鎯?chǔ)和管理,數(shù)據(jù)存儲(chǔ)方式的變化也必然會(huì)捉進(jìn)數(shù)據(jù)挖掘技術(shù)及其系統(tǒng)結(jié)構(gòu)的變化。由于實(shí)際應(yīng)用中數(shù)據(jù)的安全性、私有性、保密性以及網(wǎng)絡(luò)的帶寬限制,使得首先將分散存儲(chǔ)的數(shù)據(jù)集中到一個(gè)數(shù)據(jù)庫(kù)中再進(jìn)行挖掘的方法是不可行的,分布式數(shù)據(jù)挖掘技術(shù)就是在這個(gè)背景下產(chǎn)生的。
2.1 分布式數(shù)據(jù)挖掘的概念
所謂分布式數(shù)據(jù)挖掘,就是使用分布式算法,風(fēng)邏輯上或物理上分布的數(shù)據(jù)源中發(fā)現(xiàn)知識(shí)的過程。典型地,這種環(huán)境以異種數(shù)據(jù)、多用戶、大規(guī)模數(shù)據(jù)量為特征。
典型的分布式數(shù)據(jù)挖掘算法的兩個(gè)基本步驟是:局部數(shù)據(jù)分析,生成局部數(shù)據(jù)模型(局部知識(shí));組合不同數(shù)據(jù)站點(diǎn)上的局部數(shù)據(jù)模型,得到全局?jǐn)?shù)據(jù)模型(全局知識(shí))。
2.2 關(guān)鍵技術(shù)
分布式數(shù)據(jù)挖掘不同于傳統(tǒng)的集中式的數(shù)據(jù)挖掘,是在分布的、異構(gòu)的數(shù)據(jù)上進(jìn)行挖掘,對(duì)數(shù)據(jù)集成和知識(shí)吸收提出了更高的要求,所以分布式數(shù)據(jù)挖掘系統(tǒng)需要解決的關(guān)鍵技術(shù)有:a.數(shù)據(jù)收集(Data Integration)。收集數(shù)據(jù)是數(shù)據(jù)挖掘的第一階段,集中式的數(shù)據(jù)挖掘系統(tǒng)先從關(guān)系數(shù)據(jù)庫(kù)中提取數(shù)據(jù)表,然后把它存放到一個(gè)數(shù)據(jù)倉(cāng)庫(kù)戴數(shù)據(jù)集市中,因此在分布式數(shù)據(jù)挖掘中所有的挖掘過程應(yīng)提供一個(gè)一致的存儲(chǔ)結(jié)構(gòu),以方便從邏輯上戴物理上分布的數(shù)據(jù)源中收集數(shù)據(jù)。b.并行數(shù)據(jù)挖掘。采用并行算法對(duì)數(shù)據(jù)進(jìn)行挖掘可以克服數(shù)據(jù)挖掘算法時(shí)間復(fù)雜度很高的缺點(diǎn),目前已經(jīng)出現(xiàn)了不少分布式和并行的數(shù)據(jù)挖掘算法,如并行挖掘關(guān)聯(lián)規(guī)則的算法CD(_countDistribution)、CaD(Candidate Distribution)、DD(Data Distribution),以及Park等人提出的PDM等。c.知識(shí)吸收。通過數(shù)據(jù)挖掘算法從幾個(gè)數(shù)據(jù)集中提取知識(shí)進(jìn)行知識(shí)吸收,然后用這些數(shù)據(jù)挖掘過程中產(chǎn)生的知識(shí)片斷結(jié)合成一個(gè)完整的知識(shí)來完成知識(shí)推理過程。d.分布式軟件引擎。應(yīng)用開發(fā)主要是開發(fā)軟組件,然后再把它們組合起來,現(xiàn)在比較流行的分布式組件模型是CORBA、ActiveX/DCOM和Java Beans。
2.3 體系結(jié)構(gòu)
目前已出現(xiàn)了許多基于不同技術(shù)的分布式數(shù)據(jù)挖掘體系結(jié)構(gòu)。張學(xué)明等研究了一種基于CORBA技術(shù)并采用多線程并行數(shù)據(jù)挖掘機(jī)制的分布式并行體系結(jié)構(gòu);陳剛對(duì)基于移動(dòng)Agent技術(shù)的分布式數(shù)據(jù)挖掘系統(tǒng)結(jié)構(gòu)進(jìn)行了研究;侯敬軍等則提出了一重基于Web Services的分布式體系結(jié)構(gòu),可實(shí)現(xiàn)分布式異構(gòu)環(huán)境下的大容量數(shù)據(jù)的數(shù)據(jù)挖掘;Krishnaswamy研究了一種用于電子商務(wù)應(yīng)用的基于異構(gòu)和分布式環(huán)境的聯(lián)邦式數(shù)據(jù)挖掘系統(tǒng);Omer Rana等提出了一種基于組件技術(shù)的具有良好可擴(kuò)展性的分布式數(shù)據(jù)挖掘系統(tǒng)框架,該框架可以方便地集成第三方插件和用戶自定義組件。
3 第四方物流分布式數(shù)據(jù)挖擁系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)
第四方物流最重要的作用是以IT技術(shù)為依托,最大限度地整合物流資源,以在整個(gè)供應(yīng)鏈管理上對(duì)資源進(jìn)行分配。而在整合外界資源進(jìn)行優(yōu)化決策時(shí),關(guān)鍵問題在于路徑、運(yùn)輸載體和第三方物流供應(yīng)商的選擇上。第三方物流提供商在運(yùn)營(yíng)過程中積攢了大量的物流解決數(shù)據(jù),其中包含了豐富的路徑選擇和運(yùn)輸載體選擇的知識(shí),成為第四方物流進(jìn)行優(yōu)化決策中最真實(shí)的決策依據(jù)。這些數(shù)據(jù)存在于不同的第三方物流提供商信息系統(tǒng)中,而且數(shù)據(jù)是異構(gòu)的。結(jié)合第四方物流系統(tǒng)的這些特點(diǎn),參考Kargupta在1996年提出的數(shù)據(jù)挖掘代理的分布式數(shù)據(jù)挖掘代理系統(tǒng)(PADMA),提出了第四方物流決策支持的分布式數(shù)據(jù)挖掘系統(tǒng)框架(4PLDMA)。
3.1 應(yīng)用程序
由客戶評(píng)價(jià)模塊、物流方案設(shè)計(jì)模塊、路徑優(yōu)化選擇模塊、第三方物流供應(yīng)商選擇模塊等組成,實(shí)現(xiàn)用戶和計(jì)算機(jī)之間的交互,具有擴(kuò)展性和健壯性等特點(diǎn),預(yù)留了接口以用于新的功能模塊的追加,在應(yīng)用程序?qū)崿F(xiàn)上,4PLDMA采用Java技術(shù)。
3.2 挖掘協(xié)調(diào)器
該構(gòu)件是系統(tǒng)的核心部件之一,它是整個(gè)系統(tǒng)的協(xié)調(diào)器,負(fù)責(zé)數(shù)據(jù)挖掘要求分析和結(jié)果集成。具體過程如下:響應(yīng)應(yīng)用程序的數(shù)據(jù)挖掘請(qǐng)求,并對(duì)挖掘請(qǐng)求進(jìn)行分析,確定挖掘的條件和目標(biāo);針對(duì)分析的結(jié)果首先查詢案例庫(kù),查詢是否有符合的數(shù)據(jù)挖掘結(jié)果,有符合條件的則將結(jié)果直接返回應(yīng)用程序。如果不存在符合條件的結(jié)果,開始動(dòng)態(tài)驅(qū)動(dòng)數(shù)據(jù)疙掘分布式組件,獲得分布式組件的挖掘結(jié)果,在集成知識(shí)庫(kù)的指導(dǎo)下應(yīng)用推理邏輯對(duì)中間結(jié)果進(jìn)行集成,并在結(jié)果的基礎(chǔ)上進(jìn)行綜合性挖掘,最后將挖掘結(jié)果返回應(yīng)用程序。在技術(shù)實(shí)現(xiàn)上,該部分應(yīng)用Agent技術(shù),充當(dāng)管理Agent的角色。
3.3 數(shù)據(jù)挖掘分布式組件
該組件部署在第三方物流信息系統(tǒng)處,負(fù)責(zé)接收挖掘協(xié)調(diào)器戴本地信息系統(tǒng)應(yīng)用程序傳來的挖掘請(qǐng)求,進(jìn)行第三方物流信息系統(tǒng)中的數(shù)據(jù)挖掘分析,通過調(diào)用4PLDAM中數(shù)據(jù)挖掘中的數(shù)據(jù)挖掘操作方法對(duì)本地?cái)?shù)據(jù)進(jìn)行數(shù)據(jù)挖掘,并將結(jié)果返回給挖掘協(xié)調(diào)器。該組件由任務(wù)協(xié)調(diào)器、挖掘操作模塊、數(shù)據(jù)預(yù)處理模塊組成。
任務(wù)協(xié)調(diào)器:接受來自挖掘協(xié)調(diào)器或本地信息系統(tǒng)應(yīng)用程序的數(shù)據(jù)挖掘請(qǐng)求,進(jìn)行數(shù)據(jù)挖掘任務(wù)分析,決定調(diào)用哪些操作方法,應(yīng)用于哪些數(shù)據(jù)源,并激活數(shù)據(jù)預(yù)處理模塊和挖掘操作模塊進(jìn)行協(xié)同工作,完成數(shù)據(jù)挖掘任務(wù),并將結(jié)果返回給調(diào)用者。
數(shù)據(jù)預(yù)處理模塊:數(shù)據(jù)預(yù)處理模塊是該組件中最重要的部分,整個(gè)4PLDAM系統(tǒng)的數(shù)據(jù)預(yù)處理工作是在該模塊中進(jìn)行的,主要功能是定義數(shù)據(jù)源、格式化數(shù)據(jù)源以及過濾數(shù)據(jù)源,包括以下子功能:a.數(shù)據(jù)映射。將源表中的數(shù)據(jù)映射成ID形式,并生成對(duì)照表(ID和原始值的對(duì)照)。此功能的目的是把不同形式的數(shù)據(jù)映射成統(tǒng)一的、可供挖掘模塊操作的形式。b.類型映射。對(duì)源表中所列數(shù)據(jù)類型進(jìn)行強(qiáng)制類型轉(zhuǎn)換。之所以需要這個(gè)功能,是因?yàn)樵跀?shù)據(jù)庫(kù)中不同的數(shù)據(jù)類型很多,數(shù)據(jù)挖掘算法只支持其中最基本的幾種。c.列映射。從源表中提取所需要的列,以減少數(shù)據(jù)量,提高系統(tǒng)的效率。d.挖掘操作模塊。由該模塊來調(diào)用數(shù)據(jù)挖掘庫(kù)中的挖掘操作方法,并按照方法中的操作順序和挖掘算法對(duì)本地?cái)?shù)據(jù)進(jìn)行挖掘,并將結(jié)果返回給任務(wù)協(xié)調(diào)器。該組件也采用多Agent技術(shù)來實(shí)現(xiàn),充當(dāng)任務(wù)Agent的角色,在該組件內(nèi)部各模塊應(yīng)用Agent技術(shù)的集中式模式來實(shí)現(xiàn)。
3.4 數(shù)據(jù)挖掘庫(kù)
數(shù)據(jù)挖掘庫(kù)是系統(tǒng)的核心部分,該庫(kù)存儲(chǔ)的是各種挖掘操作方法,以供挖掘協(xié)調(diào)器和數(shù)據(jù)挖掘分布式組件的調(diào)用。每個(gè)方法中包括數(shù)據(jù)準(zhǔn)備和數(shù)據(jù)挖掘算法在內(nèi)的所有挖掘操作,且這些操作信息是有順序的(用戶進(jìn)行這些操作的順序),這是因?yàn)橐粋(gè)數(shù)據(jù)挖掘操作在整個(gè)知識(shí)發(fā)現(xiàn)過程中往往不是孤立的,一個(gè)操作的結(jié)果可能是下一個(gè)操作的輸入。另外方法中還保存挖掘操作的參數(shù)設(shè)置。
數(shù)據(jù)挖掘庫(kù)的特點(diǎn):a.可擴(kuò)充性。該庫(kù)為用戶提供了增加挖掘操作方法、設(shè)置挖掘操作方法參數(shù)的API,提高了系統(tǒng)的可擴(kuò)充性。b.集成性。挖掘操作方法可以用多種語言實(shí)現(xiàn),在數(shù)據(jù)挖掘庫(kù)中用XML的方式保存。
3.5 集成知識(shí)庫(kù)
將局部數(shù)據(jù)挖掘結(jié)果集成全局?jǐn)?shù)據(jù)挖掘結(jié)果是分布式數(shù)據(jù)挖掘中一個(gè)重要的階段,目前對(duì)多分類器的集成研究較為成熟,多分類器的組合方法包括傳統(tǒng)的擇多判決法(如投票表決法、計(jì)分法等)、線性加權(quán)組合方法、模糊推理法以及通過分析樣本特征而動(dòng)態(tài)選擇分類器的方法等,把這些集成方法寫成XML的形式存儲(chǔ)在知識(shí)庫(kù),指導(dǎo)挖掘協(xié)調(diào)器的結(jié)果集成。
3.6 案例庫(kù)
在物流方案設(shè)計(jì)中,由于客戶業(yè)務(wù)具有一定的穩(wěn)定性和相似性,所以方案中涉及的優(yōu)化策略會(huì)相同或相似,另外進(jìn)行一次數(shù)據(jù)挖掘?qū)⒒ㄙM(fèi)很多的系統(tǒng)資源,因此應(yīng)該把挖掘的結(jié)果連同挖掘的要求存儲(chǔ)在案例庫(kù)中,實(shí)現(xiàn)挖掘結(jié)果的充分利用和共享。
4 基于分布式數(shù)據(jù)挖掘系統(tǒng)第四方物流的業(yè)務(wù)流程
第四方物流匯集了眾多存儲(chǔ)、運(yùn)輸、第三方物流服務(wù)提供商等合作伙伴,因此在第四方物流的決策中,如何集成、合理分配物流資源,如何充分利用合作伙伴已有的歷史運(yùn)營(yíng)數(shù)據(jù)成為關(guān)鍵的問題。
把分布式數(shù)據(jù)挖掘系統(tǒng)應(yīng)用到第四方物流的決策支持中,可以整合已有物流系統(tǒng)中的異構(gòu)數(shù)據(jù),挖掘出蘊(yùn)含在歷史運(yùn)營(yíng)數(shù)據(jù)中的決策知識(shí),并能夠保證數(shù)據(jù)的安全性,為物流方案的整合設(shè)計(jì)提供強(qiáng)大的支持,提高第四方物流業(yè)務(wù)流程的科學(xué)性。
第四方物流的業(yè)務(wù)流程中關(guān)鍵的是汀單接收以前的可行性分析及效益分析和在物流方案實(shí)施之前的優(yōu)化決策,下文將討論在這兩個(gè)關(guān)鍵步驟如何利用分布式數(shù)據(jù)挖掘提供決策支持。
4.1 可行性分析及效益分析
一方面決策者使用4PLDDM應(yīng)用程序中客戶評(píng)價(jià)模塊,應(yīng)用數(shù)據(jù)挖掘中的分類算法在各處第三方供應(yīng)商物流服務(wù)記錄中挖掘特定客戶的信用類型;另一方面,決策者將汀貨的具體內(nèi)容輸入到效益評(píng)價(jià)模塊中,應(yīng)用神經(jīng)網(wǎng)絡(luò)0M遺傳算法來分析此類貨物運(yùn)輸?shù)氖找婕帮L(fēng)險(xiǎn)度;最后分析自身的能力,確定是否擁有或控制合適的運(yùn)輸載體,是否擁有可供選擇的第三方物流供應(yīng)商,從以上各個(gè)方面來考慮是否接訂單。
4.2 優(yōu)化決策
要在滿足客戶要求的前提下進(jìn)行優(yōu)化決策,達(dá)到自身效益最大。優(yōu)化決策中涉及路徑優(yōu)化選擇、運(yùn)輸載體選擇、第三方物流供應(yīng)商評(píng)價(jià)及選擇、效益綜合評(píng)價(jià)。
在每個(gè)優(yōu)化選擇中,決策者把目標(biāo)提交給對(duì)應(yīng)的應(yīng)用程序模塊,應(yīng)用程序模塊在業(yè)務(wù)邏輯分析基礎(chǔ)上動(dòng)態(tài)調(diào)度挖掘協(xié)調(diào)器,由分布式數(shù)據(jù)挖掘組件在第三方物流信息系統(tǒng)中應(yīng)用數(shù)據(jù)挖掘算法挖掘出相應(yīng)的知識(shí)模式,如第三方物流供應(yīng)商的分類模式等,以此采指導(dǎo)優(yōu)化決策。
5 總結(jié)與展望
第四方物流是一種介于制造企業(yè)和運(yùn)輸企業(yè)之間的電子物流服務(wù)平臺(tái),同時(shí)也是鏈?zhǔn)焦芾淼慕Y(jié)合體,其通過Internet的技術(shù)支持,使“全球貿(mào)易網(wǎng)絡(luò)”成為可能。第四方物流最大的特點(diǎn)是對(duì)物流資源進(jìn)行整合,實(shí)現(xiàn)資源的最合理分配,節(jié)約成本。如何從異構(gòu)的信息系統(tǒng)中分析數(shù)據(jù)成為一個(gè)關(guān)鍵的問題,本文提出了第四方物流分布式數(shù)據(jù)挖掘系統(tǒng)及部分技術(shù)實(shí)現(xiàn),解決了數(shù)據(jù)挖掘中的數(shù)據(jù)安全性和保密性等問題,設(shè)計(jì)了在分布式數(shù)據(jù)挖掘基礎(chǔ)上第四方物流的業(yè)務(wù)流程,大大改進(jìn)了第四方物流決策的正確性和可靠性。未來幾年,我國(guó)將成為全球制造基地,迫切需要建立與之配套的強(qiáng)大的物流配送體系。文中提出的分布式數(shù)據(jù)挖掘的第四方物流系統(tǒng)將在物流配送體系的決策系統(tǒng)中發(fā)揮巨大的作用。
|