"網(wǎng)易寶"是網(wǎng)易公司為方便用戶進(jìn)行網(wǎng)上交易推出的安全、穩(wěn)定、快捷的在線支付平臺(tái)，為用戶提供了多種方便的在線充值、交易管理、在線支付帳戶管理、代收、提現(xiàn)等服務(wù)。網(wǎng)易寶現(xiàn)更名為網(wǎng)易支付。
 

網(wǎng)易寶有限公司是網(wǎng)易旗下的第三方支付公司。依托網(wǎng)易郵箱、游戲、門戶網(wǎng)站等強(qiáng)勢(shì)產(chǎn)品優(yōu)勢(shì)，致力于構(gòu)建具有網(wǎng)易特色的綜合支付平臺(tái)，為企業(yè)和用戶提供"安全、便捷、人性化"的在線支付解決方案。

業(yè)務(wù)覆蓋:B2C、B2B、C2B2C; 服務(wù)線上線下產(chǎn)品，包括網(wǎng)絡(luò)游戲、電子商務(wù)、在線教育、生活繳費(fèi)、保險(xiǎn)行業(yè)、彩票行業(yè)。

網(wǎng)易寶支撐了整個(gè)集團(tuán)業(yè)務(wù)絕大部分的支付場(chǎng)景，平均每天的支付訂單有100萬(wàn)單，接近1億的交易額。因此，一個(gè)嚴(yán)謹(jǐn)實(shí)用的系統(tǒng)是必不可少的，下面就從我的理解上說(shuō)說(shuō)網(wǎng)易寶的系統(tǒng)是如何實(shí)現(xiàn)高可用的。
 

網(wǎng)易寶的所有核心應(yīng)用和中間件都是集群部署的，通過(guò)負(fù)載均衡，平均分配流量。

對(duì)于業(yè)務(wù)系統(tǒng)， 在nginx服務(wù)器(nginx集群部署，負(fù)載均衡使用LVS)上配置了負(fù)載均衡策略，路由請(qǐng)求到后端的應(yīng)用服務(wù)器resin。如果web應(yīng)用集群某臺(tái)機(jī)器掛了，nginx通過(guò)心跳健康檢查，3秒內(nèi)能檢測(cè)到，把這臺(tái)機(jī)器從可用列表中剔除出去。

中間件dubbo的consumer基于負(fù)載均衡算法， 獲取zookeeper上統(tǒng)計(jì)的provider的負(fù)載情況，決定請(qǐng)求哪臺(tái)provider。Kafka也是類似的原理。如果dubbo服務(wù)的某臺(tái)provider掛了，與provider維持長(zhǎng)連接的zookeeper心跳線程會(huì)檢測(cè)到，把provider從服務(wù)的可用provider列表中剔除，并快速通知到所有依賴該服務(wù)的consumer(也是維持的TCP長(zhǎng)連接)，consumer更新本地緩存的provider列表。

對(duì)于有狀態(tài)的服務(wù)器，都有數(shù)據(jù)備份機(jī)制。

數(shù)據(jù)庫(kù)主庫(kù)會(huì)異步同步數(shù)據(jù)到備庫(kù)。數(shù)據(jù)庫(kù)主庫(kù)掛了，如果切到備庫(kù)，可能會(huì)丟失部分業(yè)務(wù)數(shù)據(jù)(異步復(fù)制，網(wǎng)絡(luò)穩(wěn)定情況下10ms以內(nèi)的延遲，不是同步寫(xiě)多份的)。Kafka每條消息都會(huì)復(fù)制到不同的機(jī)器(broker)上。Zookeeper上的數(shù)據(jù)也是多寫(xiě)的。Kafka的主broker掛了或者zookeeper的主服務(wù)器掛了，通過(guò)選舉算法選舉出新的leader。Leader用于讀寫(xiě)，slavers用于備份。Leader掛了，從slavers中選舉出新的leader快速恢復(fù)服務(wù)。Kafka和zookeeper是做了數(shù)據(jù)高可靠性保證的，極小概率會(huì)出現(xiàn)丟失數(shù)據(jù)的情況。
 

多機(jī)房部署上，網(wǎng)易寶有杭州、北京兩地機(jī)房。杭州是主機(jī)房，北京是備，不是多活的。 北京的機(jī)房服務(wù)器數(shù)量較少，數(shù)據(jù)庫(kù)服務(wù)器性能較差，數(shù)據(jù)復(fù)制也有秒級(jí)的延遲。所以不到萬(wàn)不得已，是不會(huì)切到備用機(jī)房的。目前網(wǎng)易支付已經(jīng)在搭建義橋的機(jī)房，2017年實(shí)現(xiàn)濱江機(jī)房和義橋機(jī)房的雙活,解決機(jī)房的單點(diǎn)問(wèn)題。

綜上所述，在同一個(gè)機(jī)房，網(wǎng)易寶無(wú)論是無(wú)狀態(tài)的服務(wù)器，還是有狀態(tài)的服務(wù)器，從存儲(chǔ)層，到中間件層，到應(yīng)用層，都不存在單點(diǎn)問(wèn)題。機(jī)房的單點(diǎn)問(wèn)題也會(huì)在不久后解決。

更新不頻繁的基礎(chǔ)熱點(diǎn)數(shù)據(jù)，如配置項(xiàng)、所有商戶信息、網(wǎng)關(guān)數(shù)據(jù)，在應(yīng)用啟動(dòng)時(shí)，加載到本地緩存。減少對(duì)數(shù)據(jù)庫(kù)的頻繁調(diào)用。

網(wǎng)易寶的session管理使用中心化的memcached集群，業(yè)務(wù)流程中的一些狀態(tài)數(shù)據(jù)，也是存放到memcached。系統(tǒng)之間使用文件數(shù)據(jù)交互的，文件保存到FTP。需要持久化的業(yè)務(wù)數(shù)據(jù)保存到中心化的數(shù)據(jù)庫(kù)。 不管是業(yè)務(wù)數(shù)據(jù)，還是非業(yè)務(wù)數(shù)據(jù)，都不會(huì)保存到本地應(yīng)用服務(wù)器，保證應(yīng)用無(wú)狀態(tài)化，使得應(yīng)用集群可以快速的橫向擴(kuò)展。

為了保證核心支付服務(wù)的穩(wěn)定性，數(shù)據(jù)庫(kù)上做了讀寫(xiě)分離。核心業(yè)務(wù)的讀寫(xiě)走主庫(kù)。對(duì)于讀實(shí)時(shí)性要求不高的查詢場(chǎng)景，查詢備庫(kù)。如商戶系統(tǒng)訂單的查詢請(qǐng)求。對(duì)于耗時(shí)長(zhǎng)的sql的查詢場(chǎng)景，查詢異構(gòu)庫(kù)，如商戶的對(duì)賬單下載。

§

§ 熱點(diǎn)賬戶處理異步化

為了避免熱點(diǎn)賬戶上的行鎖的激烈競(jìng)爭(zhēng)影響系統(tǒng)吞吐，網(wǎng)易寶對(duì)熱點(diǎn)賬戶的余額更新和資金流水生成，做了異步處理。業(yè)務(wù)完成后如果需要變動(dòng)熱點(diǎn)賬戶的金額，先生成緩沖流水，然后由調(diào)度任務(wù)異步去消費(fèi)緩沖流水去更新余額、生成資金流水。使熱點(diǎn)賬戶的并發(fā)鎖競(jìng)爭(zhēng)變成了串行處理，大大降低了行鎖競(jìng)爭(zhēng)導(dǎo)致的線程阻塞，提高了系統(tǒng)的吞吐。

提現(xiàn)、退款處理對(duì)實(shí)時(shí)性的要求不高，通過(guò)異步化，對(duì)于處理失敗的訂單可以用重試機(jī)制補(bǔ)償。避免了同步調(diào)用失敗給用戶不好的體驗(yàn)。

關(guān)鍵詞： 網(wǎng)易寶