分布式系統架構實(shí)踐

　　五彩石項目并沒(méi)有以淘寶網(wǎng)或者淘寶商城的架構為基礎進(jìn)行演化式的改進(jìn)，而是進(jìn)行了比較徹底的重構，是一次全新的架構升級， 是分布式技術(shù)跨時(shí)代之進(jìn)步。

　　在做系統整合之前，整個(gè)架構和非互聯(lián)網(wǎng)的軟件廠(chǎng)商架構是一樣的，基礎架構基于商業(yè)數據庫、小型機、高端存儲設備，業(yè)務(wù)系統架構是端到端的煙囪式架構。

　　簡(jiǎn)單來(lái)說(shuō)，每個(gè)業(yè)務(wù)版塊都是一個(gè)獨立系統，公共的數據都是訪(fǎng)問(wèn)數據庫的，沒(méi)有形成公共的服務(wù)層。端到端的架構優(yōu)勢是小規模團隊作戰，速度會(huì )很快，各種復雜的需要一般都只需在一個(gè)系統即可完成，而且研發(fā)同學(xué)對整個(gè)系統都很熟悉，系統運維都比較簡(jiǎn)單，同時(shí)系統的穩定性也比較高。

　　隨著(zhù)業(yè)務(wù)復雜度的提升，系統規模的不斷擴展，這種架構也開(kāi)始出現問(wèn)題。包括如下挑戰：

　　業(yè)務(wù)研發(fā)效率比較低

　　業(yè)務(wù)研發(fā)效率也導致了業(yè)務(wù)的擴展性受限，做一個(gè)新的市場(chǎng)也必須重新開(kāi)始建設，而不能重用一些業(yè)務(wù)模塊。

　　系統擴展性較弱

　　因為數據庫連接的關(guān)系。應用服務(wù)器的擴展規模受限制，別外數據庫本身的容量也會(huì )因為小型機的計算能力而受限。

　　技術(shù)升級受限

　　比如要對數據庫進(jìn)行擴展或者修改，需要修改多個(gè)系統，然后再對多個(gè)系統進(jìn)行回歸測試，同樣對熱點(diǎn)數據增加緩存，也需要對多個(gè)系統進(jìn)行修改。

　　通過(guò)抽象和梳理，本質(zhì)上我們需要解決的第一個(gè)問(wèn)題，就是業(yè)務(wù)的擴展性問(wèn)題，然后需要解決因為這個(gè)問(wèn)題帶來(lái)的技術(shù)擴展性問(wèn)題。

　　1、業(yè)務(wù)擴展性問(wèn)題之解決

　　為了解決業(yè)務(wù)擴展性問(wèn)題，首先需要建立共享服務(wù)層。把公共的業(yè)務(wù)元素抽離出來(lái)形成共享的服務(wù)。

　　比如taobao.com、tmall.com、ju.taobao.com等應用，這些都需要用到會(huì )員服務(wù)，那么就把會(huì )員服務(wù)作為共享服務(wù)抽取出來(lái)，任何系統需要獲取會(huì )員信息時(shí)只需通過(guò)調用會(huì )員服務(wù)的API就可以，而不需要每個(gè)業(yè)務(wù)方自己再開(kāi)發(fā)一套會(huì )員系統。

　　同樣思路，把電商業(yè)務(wù)公共的服務(wù)，如商品服務(wù)、交易服務(wù)、營(yíng)銷(xiāo)服務(wù)、店鋪服務(wù)、推薦服務(wù)、庫存、物流等從各個(gè)業(yè)務(wù)抽離出來(lái)建設成共享服務(wù)，后續新建的業(yè)務(wù)市場(chǎng)均基于這些公共的電商元素來(lái)構建。

　　共享服務(wù)層的建立很好地對橫向業(yè)務(wù)提供了統一的數據和服務(wù)收口，例如手機淘寶、安全、商家服務(wù)這三個(gè)橫向的業(yè)務(wù)就非常依賴(lài)共享服務(wù)。

　　如下列表：

　　手機淘寶通過(guò)共享服務(wù)得到了業(yè)務(wù)輸出的一致性和統一性

　　安全上，比如對商品數據做統一治理

　　商家服務(wù)則使用了共享服務(wù)開(kāi)發(fā)TOP平臺，來(lái)對接外部商家的工具包

　　各個(gè)共享服務(wù)之間形成了比較的隔離，保障各個(gè)共享服務(wù)獨立的發(fā)展空間，每個(gè)共享服務(wù)之間有互相關(guān)聯(lián)，又互相獨立。

　　在系統建設上，把交易和商品兩個(gè)服務(wù)中心完全獨立的團隊和獨立的系統去建設。

　　商品服務(wù)中心和交易服務(wù)中心是完全獨立的兩套共享服務(wù)，所以在業(yè)務(wù)發(fā)展層面比較獨立，系統間又不互相影響。

　　這使得商品相關(guān)的業(yè)務(wù)全部封閉在商品服務(wù)中心里，交易相關(guān)的業(yè)務(wù)全部封閉在交易服務(wù)中心里，架構的域之間形成低耦合、高內聚。由于隔離做得比較好，沒(méi)有業(yè)務(wù)之間的復雜交錯，所以各個(gè)業(yè)務(wù)領(lǐng)域發(fā)展創(chuàng )新不受限制。

　　值得一提的案例就是早期支付業(yè)務(wù)慢慢成為支付寶，物流業(yè)務(wù)發(fā)展為菜鳥(niǎo)物流，而TOP從給商家提供API演化為服務(wù)商家的聚石塔。

　　2、技術(shù)擴展性問(wèn)題的解決

　　第二個(gè)問(wèn)題就提技術(shù)擴展性�！悍孔忧�奇百怪，但是磚頭都是一樣的』。

　　利用共享服務(wù)解決了業(yè)務(wù)擴展性的問(wèn)題，它的好處是新構建一個(gè)業(yè)務(wù)市場(chǎng)變得非常容易和快捷，同時(shí)任何數據結構的變化只需在一個(gè)地方改變。

　　帶來(lái)的挑戰是系統分布式后對于研發(fā)來(lái)說(shuō)，要關(guān)注分布式本身。這是我們不希望的，我們希望開(kāi)發(fā)人員仍然像之前開(kāi)發(fā)單機版的軟件一樣開(kāi)發(fā)軟件，把分布式的控制在一些通用的組件里面。

　　這就需要引入解決分布式問(wèn)題的中間件技術(shù)。

　　當時(shí)并沒(méi)有商業(yè)軟件可以使用，也沒(méi)有合適的開(kāi)源產(chǎn)品可以選。五彩石項目第一次大規模使用了中間件。系統分布式后，需要有一套統一的組件來(lái)解決分布式引發(fā)的共性技術(shù)問(wèn)題。比如提供服務(wù)的發(fā)現機制、提供服務(wù)的分組路由機制、同機房?jì)?yōu)先機制等。我們將其沉淀在一個(gè)框架里，這個(gè)框架被稱(chēng)為HSF。

　　為了解決單庫性能瓶頸問(wèn)題，使用分庫分表的技術(shù)，這個(gè)技術(shù)被沉淀在TDDL框架上面。

　　為了解決分布式事務(wù)的性能問(wèn)題，把原本一個(gè)事務(wù)的工作拆成了異步執行，同時(shí)必須要保證最終數據的一致性，我們采用了消息發(fā)布訂閱的方式來(lái)解決，這個(gè)消息框架就是Notify。

　　有了HSF、TDDL、Notify這『三大件』，有效地解決了應用分布式后引發(fā)的技術(shù)擴展性問(wèn)題，同時(shí)讓整個(gè)系統的技術(shù)架構變得依舊如當初一樣的簡(jiǎn)。

　　如果系統計算能力不夠，基本上能做到只需要增加服務(wù)器即可。共享服務(wù)層和分布式中間件使頻繁的業(yè)務(wù)變化封閉在了一個(gè)適合的系統層，同時(shí)技術(shù)的變化也隔離在了一個(gè)合適的范圍。如下圖所示：

　　小結

　　為了解決業(yè)務(wù)擴展性問(wèn)題，通過(guò)抽取共享服務(wù)層，在非常低的試錯成本下涌現出來(lái)大量新的業(yè)務(wù)市場(chǎng)，推動(dòng)了阿里電商業(yè)務(wù)的快速發(fā)展，同時(shí)共享服務(wù)本身也隨著(zhù)業(yè)務(wù)發(fā)展起到了越重要的作用。比如庫存中心服務(wù)的抽取，使得和商家對接的供應鏈領(lǐng)域得到了快速發(fā)展。

　　為了解決技術(shù)擴展性問(wèn)題，引入了分布中間件技術(shù)。擴展服務(wù)器的存儲和計算能力變得只需要增加服務(wù)器就可以輕松解決，研發(fā)過(guò)程不需要關(guān)注分布式帶來(lái)的的理解上的困難。分布式中間件的本質(zhì)是讓多臺廉價(jià)的PC服務(wù)器可以組成一臺超級計算機。

　　通過(guò)五彩石項目，阿里技術(shù)完成了一次偉大的技術(shù)變革，為后續的持續架構演進(jìn)打下了堅實(shí)基礎。沉淀了一套『共享服務(wù)化』的架構理念，以及一套與該架構理念相對應的分布式中間件技術(shù)。

　　這個(gè)架構理念和這套分布式中間件技術(shù)在后續阿里的業(yè)務(wù)和技術(shù)發(fā)展上被大范圍使用，同時(shí)也被業(yè)界很多互聯(lián)網(wǎng)公司所借鑒。

【分布式系統架構實(shí)踐】相關(guān)文章：

如何搭建系統CSS架構12-31

系統架構設計模式大全08-22

系統架構師是做什么的12-30

如何成為優(yōu)秀的系統架構師06-03

圖書(shū)檢索系統體系架構研究12-05

基于云架構的系統安全設計08-08

系統架構師的就業(yè)前景分析01-11

系統架構設計師要素01-11

系統架構師必須具備哪些能力05-07

MES系統安全架構設計09-19