芒果视频

分布式系統的技術棧分析 分布式管理系統常用技術和應用場景

本文章由注冊用戶 知無涯 上傳提供 2024-11-30 評論 0
摘要:分布式系統是一種復雜的系統,應用過程中會衍生出很多分布式需求,為了應對這些需求,分布式系統的技術棧主要有分布式通信技術、分布式資源管理和負載調度技術、分布式協調與同步技術、分布式存儲技術等,不同的技術在應用場景方面也有所不同,下面一起來看看分布式系統的技術棧分析以及分布式管理系統常用技術和應用場景吧。

一、分布式系統的技術棧分析

分布式系統的出(chu)現是(shi)業(ye)務發展導致的最終(zhong)結果,而由于業(ye)務的拆分(fen),我(wo)們又被迫會衍生出(chu)更多的分(fen)布式需求來,以(yi)及應對(dui)這些需求的技術:

1、因為業務拆分的多,業務對應的模塊之間就需要通信,為了保證通信的快速可靠,我們需要掌握分布式通信技術

2、業務拆分的過多,每個模塊可能還需要搞集群,那么多服務器資源,為了能夠保證資源的精準分配,我們還需要考慮分布式資源管理和負載調度技術

3、業務拆分之后,模塊與模塊之間又需要對很多共享數據做訪問,為了保證安全完整的數據狀態,我們也要用到分布式協調與同步技術

4、到了業務拆分的階段,數據必然龐大,為了數據存儲的可靠,為了保證優秀的數據讀寫性能,我們需要分布式存儲技術

5、業務如此復雜,為了公司的發展,業務能繼續擴大,就需要能更加精準的營銷和運營,我們還需要對數據進行實時、離線處理分析,此時,我們又得考慮分布式計算技術

6、在業務拆分后,整體架構出現了巨變,不可能再用以前集群方式的思維去考慮高可用,那么分布式的可靠性技術又要納入我(wo)們的掌握范疇。

二、分布式管理系統常用技術和應用場景

1、consistent hashing:一(yi)致性(xing)哈希,解決數據均衡分布問題。

2、vector clock:時鐘向量,多版本(ben)數據修(xiu)改。

3、Quorum W R>N[with vector clock]:抽屜(ti)原(yuan)理,數據(ju)一(yi)致性的另一(yi)種解決方(fang)案。時鐘向量,多版本數據(ju)修改。

4、Merkle tree [with anti-entropy]:數據復制(zhi)。

5、MVCC:copy-on-write與snapshot。

6、2PC/3PC:分布式事務。

7、Paxos:強一致性協(xie)議。

8、Symmetry and Decentralization:對(dui)稱性和去中(zhong)心化。對(dui)稱性(symmetry)簡化了系統的配置和維護,去中(zhong)心化是對(dui)對(dui)稱性的延伸,可以避免master單(dan)點(dian),同時(shi)方便集群scale out。

9、Map-Reduce:分而治之;移(yi)動數據不如移(yi)動計(ji)算(suan)。將計(ji)算(suan)盡量調(diao)(diao)度到(dao)與存儲(chu)節(jie)點在同一(yi)臺物理(li)機(ji)器上(shang)的(de)計(ji)算(suan)節(jie)點上(shang)進行,這稱之為本地化計(ji)算(suan),本地化計(ji)算(suan)是計(ji)算(suan)調(diao)(diao)度的(de)一(yi)種(zhong)重要優化。

10、Gossip協議:節點管理。

網站提醒和聲明
本站(zhan)為(wei)注冊用戶提供(gong)(gong)信(xin)(xin)息(xi)存儲空間服務,非“MAIGOO編輯(ji)”、“MAIGOO榜單研究員”、“MAIGOO文(wen)章編輯(ji)員”上傳提供(gong)(gong)的文(wen)章/文(wen)字均是(shi)注冊用戶自主發布上傳,不代表本站(zhan)觀點,版權歸原(yuan)作者所有,如(ru)有侵權、虛假信(xin)(xin)息(xi)、錯誤信(xin)(xin)息(xi)或(huo)任何問題(ti),請及時(shi)聯系我們,我們將在第(di)一(yi)時(shi)間刪除(chu)或(huo)更正。 申請刪除>> 糾錯>> 投訴侵權>> 網頁上相關信息(xi)的知識產權(quan)歸(gui)網站(zhan)方所有(包括但不限于文字、圖片(pian)、圖表(biao)、著(zhu)作權(quan)、商標權(quan)、為用戶提供的商業(ye)信息(xi)等),非(fei)經許(xu)可不得(de)抄襲(xi)或(huo)使用。
提交說明: 快速提交發布>> 查看提交幫助>> 注冊登錄>>
您還未登錄,依《網絡安全法》相關要求,請您登錄賬戶后再提交發布信息。點擊登錄>>如您還未注冊,可點擊注冊>>,感謝您的理解及支持!
發表評論
最新評論
暫無評論
相關推薦
分布式管理系統的市場前景怎么樣 分布式系統的發展趨勢分析
分布式系統具有高性能、低能耗、易擴展等優勢,在指揮中心、物聯網、醫療保健等多個領域有著廣泛的應用,整體來看應用場景是比較廣闊的,未來隨著技術的發展,分布式管理系統將向智能化、靈活性、健壯性等方向發展,提高性能和可靠性、穩定性,并進一步提高管理效率和降低操作成本。下面一起來看看分布式管理系統的市場前景怎么樣以及分布式系統的發展趨勢分析吧。
分布式系統架構設計三大原則 分布式系統架構設計有哪些優化策略
分布式系統的架構設計直接關系到分布式系統的性能表現,進行架構設計時,要注意三大原則,分別是高可用設計、高并發設計和高性能設計,設計過程中,為了優化架構,可以采用數據分片、負載均衡、緩存機制、異步處理、分布式事務、容錯處理等策略。下面一起來詳細了解一下分布式系統架構設計三大原則以及分布式系統架構設計有哪些優化策略吧。
什么是分布式儲能系統 分布式儲能在電力系統的應用場景
隨著可再生能源的擴展,越來越有必要將不斷變化、間歇式的電力輸出轉變成更穩定和可靠的電力供應。分布式儲能系統通過調節負荷,吸收電力峰值,在電力供應突然降低時注入電力,就地能源存儲可以緩解由可再生能源生產輸出所造成的電源波動。分布式儲能系統接入位置靈活,目前多在中低壓配電網、分布式發電及微電網、用戶側應用。
分布式系統的基礎是什么 分布式系統的設計難點有哪些
分布式系統是建立在計算機網絡之上的,因此它的基礎就是計算機網絡,不過分布式系統的設計思想和網絡操作系統不同,并且由于分布式系統自身的特點及應用環境的復雜性,分布式系統在設計中存在部分失效問題、性能和可靠性過分依賴于網絡、缺乏統一控制等難點。下面一起來了解一下分布式系統的基礎是什么以及分布式系統的設計難點有哪些吧。
分布式系統的技術棧分析 分布式管理系統常用技術和應用場景
分布式系統是一種復雜的系統,應用過程中會衍生出很多分布式需求,為了應對這些需求,分布式系統的技術棧主要有分布式通信技術、分布式資源管理和負載調度技術、分布式協調與同步技術、分布式存儲技術等,不同的技術在應用場景方面也有所不同,下面一起來看看分布式系統的技術棧分析以及分布式管理系統常用技術和應用場景吧。