并行处理技术和多处理机课件

並行處理技術和多處理機

一並行性概念並行處理是一種有效的強調開發計算過程中並行事件的資訊處理方式.在數值計算，數據處理，知識處理或人工智慧求解過程中，可能存在某些能同時進行運算或操作的部分。同時性（simultaneity）:指兩個或多個事件在同一時刻發生在多個資源中。併發性（concurrency）:指兩個或多個事件在同一時間間隔內發生在多個資源中6.1概述在同一時刻或同一時間間隔內完成多個性質相同或不同的任務1．從電腦資訊加工步驟和階段看，並行性等級可分為：存貯器操作並行----並行存貯器系統和以相聯存貯器為核心構成的相聯處理機。

處理器操作步驟並行----可以是一條指令的取指、分析、執行等操作步驟，也可以是具體運算。

處理器操作並行----為支持向量、數組運算，可以通過重複設置處理單元進行，如並行處理機

指令、任務、作業並行----稱為較高級並行，屬於多指令流多數據流電腦。二.並行的等級和分類2.從系統結構發展看:高性能的單處理機,SIMD並行處理機,多處理機,多電腦系統非馮.諾依曼電腦(屬於多處理機系統)並行性的開發還可以按程式大小劃分不同粒度的開發方式。我們先來介紹兩個概念：顆粒規模（grainsize）或粒度（granularity）----是衡量軟體進程所含計算量的尺度。測量方法是數一下顆粒（程式段）中的指令數目。一般用細、中、粗來描述，時延-（TC）是機器各子系統間通信開銷的時間量度。如：存貯時延是處理機訪問存貯器所需時間；同步時延是兩臺處理機互相同步所需的時間。3.程式劃分和粒度並行性粒度：每次並行處理的規模大小。用字母G表示

G=TW/TCTW：所有處理器進行計算的時間總和；TC：所有處理器進行通信的時間總和。（設系統共有P個處理器）當TC較大時，通信量大，則G較小處理粒度較細。反之對於粗粒度的並行，通信量較小。作業級（程式）任務級（過程或程式段）子任務級（例行程式，或副程式）指令或語句迴圈或遞歸迴圈級5級4級3級2級1通信需求與調度開銷並行程度粗粒度中粒度細粒度現代電腦程式運行並行性級別

五種程式執行級別體現了不同的演算法粒度規模以及通信和控制要求的變化。級別越低，軟體進程的粒度越細。一般情況，程式可在這些級別的組合狀態下運行。（1）指令級：並行性發生在指令內部微操作之間或指令之間。取決於程式的具體情況。可借助於優化編譯器開發細粒度並行性，它能自動檢測並行性並將源代碼換成運行時系統能識別的並行形式。（2）迴圈級：相當於迭代迴圈操作，典型迴圈包含的指令大約幾百條，迴圈級並行性是並行機或向量電腦上運行的最優程式結構，並行處理主要由編譯器在迴圈級中進行開發。（3）子任務級：屬於中粒度。副程式是在單處理機或多處理機的多道程序設計這一級進行的。這一級並行性由演算法設計者或程式員開發而非用編譯器開發。（4）任務級：這是與任務、過程、程式段、協同程式級相對應的中粒度或粗粒度規模。典型粒度包含的指令幾千條，檢測本級的並行性比細粒度級困難得多，需要更多地涉及過程間的相關性分析。需編譯器支持。（5）作業（程式）級：對於少量幾臺高性能處理機構成的超級電腦開發這種粗粒度並行性切實可行。小結：

細粒度並行性常在指令級或迴圈級上借助於並行化或向量化編譯器來進行開發的。任務或作業步驟（過程級）中粒度並行性開發需要程式員和編譯器的共同作用。開發程式作業級的粗粒度並行性主要取決於高效的操作系統和所用演算法的效率。共用變數通信常用於支持中、細粒度計算。消息傳遞型多電腦用於中粒度和粗粒度的計算。通常情況下，粒度越細，並行性潛力越大，通信和調度的開銷也越大。細粒度能提供較高的並行度，但與粗粒度計算相比，其通信開銷也較大。大規模並行性通常是在細粒度級上開發。如：SIMD或MIMD電腦上開發的數據並行性。提高電腦系統的並行性的技術途徑：(單機系統)時間重疊（TimeInterleaving）：在並行性概念中引入時間因素。讓多個處理過程在時間上相互錯開，輪流重疊地使用同一套硬體設備的各個部分，以加快硬體周轉而贏得速度。資源重複（ResourceReplication）：並行性概念中引入空間因素。通過重複設置的硬體資源來提高系統可靠性或性能。例如，通過使用兩臺或多臺完全相同的電腦完成同樣的任務來提高可靠性。資源共用（ResourceSharing）：利用軟體的方法讓多個用戶按一定時間順序輪流地使用同一套資源，以提高其利用率，這樣相應地提高整個系統的性能。例如多道程序分時系統.6.2並行處理技術及發展(多機系統)功能專用化,機間互連,網路化技術途徑發展成異構型多處理機,同構型多處理機,分佈式處理機系統多道程序分時系統虛擬記憶體多終端遠程終端分佈處理系統局域電腦網通信處理機電腦網多存儲體多操作部件相聯處理機並行處理機同構型多處理機系統可重構,容錯多處理機緊密耦合系統現行控制高速緩存指令操作宏流水線異構型多處理機系統高級語言資料庫處理機鬆散耦合系統、專用週邊處理機多電腦系統單處理機資源共用資源重複時間重疊多機互連功能專用化網路化

並行處理技術發展一、並行處理機的基本構成並行處理機是通過重複設置大量相同的處理單元PE（ProcessingElement），將它們按一定的方式互連，在統一的控制部件CU（ControlUnit）控制下，對各自分配來的不同數據並行地完成同一條指令所規定的操作。它依靠操作一級的並行處理來提高系統的速度。

並行處理機的控制部件中進行的是單指令流，因此與高性能單處理機一樣，指令基本上是串行執行，最多加上使用指令重疊或流水線的方式工作。指令重疊是將指令分成兩類，把只適合串行處理的控制和標量類指令留給控制部件自己執行，而把適合於並行處理的向量類指令播送到所有處理單元，控制讓處於活躍的那些處理單元去並行執行。因此這是一種標量控制類指令和向量類指令的重疊執行。6.3

SIMD並行電腦（陣列處理機）二並行處理機分類

並行處理機根據存貯器採用的組成方式不同分成兩種基本構成。（1）分佈存貯的並行處理機各個處理單元設有局部存貯器存放分佈式數據，只能被本處理單元直接訪問。此種局部存貯器稱為處理單元存貯器（ProcessingElementMemory）PEM。在控制部件CU內設有一個用來存放程式的主存貯器CUM。整個系統在CU統一控制下運行系統程式的用戶程式。執行主存中的用戶程式指令播送給各個PE，控制PE並行地執行。

（2）共用存貯的並行處理機。每個PE沒有局部存觸器，存儲模組以集中形式為所有PE共用。互連網IN受CU控制，具有雙向性採用分佈式存貯器組成基本結構。…ICNPE0PE1PEN-1MM0MM1MMN-1CUSCI/O-CHI/OSM……PEM0PE0PEM1PE1PEMN-1PEMN-1ICNCUCUMI/O介面DSC（A）具有共用存貯器並行處理機結構（B）分佈存貯器並行處理機結構ILLIAC-IV結構（分布存貯器並行處理機結構）處理單元陣列由64個PUi構成,每個Pui包括(PEi和PEMi)

由64個結構完全相同的處理單元PEi

構成，每個處理單元PEi字長64位，PEMi為隸屬於PEi的局部記憶體，每個記憶體有2K字，全部PEi由CU統一管理，PEi都有一根方式位線，用來向CU傳送每個PEi的方式寄存器D中的方式位，使CU能瞭解各PEi的狀態是否活動，作為控制它們工作的依據。

陣列控制器CU相當一臺小型控制電腦

對處理單元陣列實現控制,(發控制信號,廣播公共地址,廣播公共數據)對指令流進行解碼控制,利用CU內部資源可以進行標量操作,接受和處理各類中斷，其他輸入輸出操作。I/O系統

由磁片檔系統DFS，輸入輸出子系統和宿主電腦S/C構成（駐留操作系統，編譯程序，I/O服務程式等）012047PEM0。。。。012047PEM1。。。。012047PEM63。。。。XDABRSPE0XDABRSPE1PE630163。。。。ACAR0ACAR1ACAR2ACAR3ALU控制器CU累加器ADB............方位匯流排指令控制線CU匯流排......到PE63到PE0ILLIAC-IV的處理單元原理圖…...

D為方式位寄存器R路由器互連用PU16PU0PU8PU7PU55PU63PU0PU1PU7PU8PU9PU15PU56PU57PU63PU0PU1PU7PU56PU57PU58ILLIAC-IV的處理單元互連圖將PU63傳送到PU10，最快可經PU63→PU7→PU8→PU9→PU10。

（1）並行處理機：並行機中每個處理器以160ns的時鐘週期進行向量計算。所有16個算術單元AE對不同的數據組（從並行處理機控制器廣播來）進行同一種指令操作。（2）控制處理器：除了用以控制並行處理機以外，還提供了與系統管理機相連的介面。（3）檔記憶體：半導體輔助記憶體。BSP的計算任務檔從系統管理機加載到它上面。然後對這些任務進行排隊，由控制處理機加以執行。（4）對準網路：包完全交叉開關以及用來實現數據從一個源廣播至幾個目的地以及當幾個源尋找一個目的地地址時能分解衝突的硬體。這就需要在算術單元陣列和記憶體模組之間具備通用的互連特性。而存儲模組和對準網路的組合功能則提供了並行記憶體的無衝突訪問能力。算術單元也利用輸出對準網路來實現一些諸如數據壓縮和擴展操作以及快速傅立葉變換演算法等專用功能。科學處理機BSP系統結構（集中式共用存貯器)指令解碼控制部件處理器記憶體NW2NW117個存儲塊16個處理單元對準網路對準網路BSP的五級數據流水線構圖（集中式共用存貯器）作用：（1）由17個記憶體模組並行讀出16個運算元；（2）經對準網路NW1將16個運算元重新排列成16個處理單元所需要的次序；（3）將排列好的16個操作送到並行處理單元完成操作；（4）所得的16個結果經過對準網路NW2重新排列成17個記憶體模組所需要的次序；（5）寫入記憶體；BSP的五級數據流水線在BSP中，記憶體-記憶體型的浮點運算是流水進行的。BSP的流水線組織由五個功能級組成。尤其是並行處理機包括有16個處理單元、17個記憶體模組和2套互連網絡（亦稱對準網路）組合在一起，就形成了一條五級的數據流水線，使連續幾條向量指令能在時間下重疊起來執行。

共同特點：可以通過各種途徑把它們轉化成為對數組或向量的處理，利用多個處理單元對向量或數組所包含的各個分量同時進行運算，從而易於獲得很高的處理速度。三

並行處理機的特點並行處理機有如下特點：（1）

利用資源重複（空間因素）而非時間重疊。（2）

利用同時性而非併發性。它的每個處理單元在同一時刻要同等地擔負起各種運算功能。（3）

提高運算速度主要是靠增大處理單元個數，比起向量流水線處理機主要依靠縮短時鐘週期來說，速度提高的潛力要大得多。（4）使用簡單而又規整的互連網絡來確定多個處理單元之間的連接模式。

（5）並行處理機（陣列機）研究必須與並行演算法研究密切結合，使之適應性更強，應用面更廣。6．3．2SIMD並行處理機演算法一．矩陣加 矩陣加(配比加)是最簡單的情況。假定兩個8*8的矩陣A，B，相加，所得結果矩陣C也是一個8*8的矩陣。設AB的分量元素分別存在PEMi的Z,Z+1單元中,所得結果矩陣C各分量存在PEMi

的Z+2單元中用下麵三條指令可一次完成(64個處理單元並行)LDAZ；全部（Z）由PEMi送到PE的累加器RGAiADRNZ+1；全部（Z+1）與（RGAi）進行浮點規舍加結果送RGAiSTAZ+2；全部（RGAi）由PE送到DEMi的（Z+2）單元這裏0≤i≤63

ZZ+1Z+2A（0，0）B（0，0）C（0，0）PEM0A（0，1）B（0，1）C（0，1）PEM1A（7，7）B（7，7）C（7，7）PEM63......矩陣加記憶體分舉例

矩陣乘是涉及二維數組運算。它比矩陣加複雜的多。設A，B和C為3個8*8的二維矩陣。若給定A和B，則為計算C=A*B的64個分量，可用下列公式：

其中0≤i≤7,0≤j≤7。二．矩陣乘在SISD電腦上求解這個問題，可執行FORTRAN語言編寫的下列程式（I,J,K三重迴圈，每重迴圈執行8次，共需512次乘，加的時間）

DO10I=0，7DO10J=0,7

C（I，J）=0

DO10K=0，710C（I，J）=C（I，J）+A（I，K）*B（K，J）A(0,0)A(1,0)...A(7,0)B(0,0)B(1,0)...B(7,0)C(0,0)C(1,0)...C(7,0)A(0,1)A(1,1)...A(7,1)B(0,1)B(1,1)...B(7,1)C(0,1)C(1,1)...C(7,1)A(0,7)A(1,7)...A(7,7)B(0,7)B(1,7)...B(7,7)C(0,7)C(1,7)...C(7,7)PEM1PEM2PEM7...矩陣乘記憶體分配舉例（設用八個處理單元即PU並行）………...八個局部記憶體PEMi,每個連續存放A,B和結果向量C的一列元素在SIMD電腦上求解這個問題，(相當於原來的J迴圈,用八個處理器同時進行一次乘加運算,共需64次乘加時間)

DO10I=0，7C（I，J）=0

DO10K=0，710C（I，J）=C（I，J）+A（I，K）*B（K，J）進一步把K迴圈也改為並行,相當於64個單元全部並行運算,DO10I=0，7C（I，J）=010C（I，J）=C（I，J）+A（I，K）*B（K，J）

這時,數據重新分配在64個局部記憶體上,同時,八個中間積A（I，K）*B（K，J）能夠並行加(累加),速度提高8/Log28三累加和

這是一個將N個數的順序相加過程轉變為並行相加過程的問題。設N為8，即有8個數A（I）順序累加，其中0<=I<=7

在SISD電腦上可寫成下列程式：

C=0DO10I=0，710C=C+A（I）用成對遞歸演算法,只需Log28=3在SISD電腦上可寫成下列程式

C=ADO10K=0,Log28-110C=C+SHFTR(C,2**K)

其中SHFTR(C,2**K)是向量傳送語句,C向量各分量向右傳送步距為2的K次冪設原始數據A（I）分別存在PEM的某個單元中K=0K=1K=2A0A0A0A0A1A0+A1A0+A1A0+A1A2A1+A2A0+A1+A2A0+A1+A2A3A2+A3A0+A1+A2+A3A0+A1+A2+A3A4A3+A4A1+A2+A3+A4A0+A1+A2+A3+A4A5A4+A5A2+A3+A4+A5A0+A1+A2+A3+A4+A5A6A5+A6A3+A4+A5+A6A0+A1+A2+A3+A4+A5+A6A7A6+A7A4+A5+A6+A7A0+A1+A2+A3+A4+A5+A6+A7步距1步距2步距4一、多處理機概念和特點多處理機是一種系統構造方式，具有多個處理機（由多個指令部件執行部件分別控制）共用主存或輸入輸出子系統，在統一操作系統控制下，通過共用主存或高速通訊網絡進行通訊，在硬體、軟體各級上相互作用，來協同求解問題，實現作業，任務級甚至指令級間並行。6.4多處理機結構

許多多處理機系統除了共用主存外，每個處理機都有自己局部記憶體，甚至輸入、輸出設備，本身就構成了一臺完整的電腦，每臺電腦分別受各自獨立操作系統控制，機間往往以通道或通信線路進行通訊，以檔或數據集交互作用實現任務作業級並行，這就是多電腦系統，我們以下討論中籠統稱為多處理機系統。6.4多處理機結構(MIMD)一.多處理機概念特點多臺處理機,通過共用主存或通訊網進行通訊,在軟體,硬體各級相互作用,協同求解問題,實現指令間,到作業,任務級的並行。（1）具有更大的靈活性和更強的通用性。（2）主要開發高層次作業及任務級（粗粒性）並行性（3）並行任務的派生需要用顯式的專用語句或指令加以表示，在SIMD機中，並行操作由單獨指令表示和控制，故不需要設置專門的指令。（4）併發執行的進程間的同步需要採取特殊措施，以保證程式原來的正確語義。而在SIMD機中，由於受統一控制器控制，因此工作是自然同步的。（5）對資源分配和任務分配要進行良好的調度，因此要採取軟體手段，否則系統性能將受較大影響（6）MIMD系統在執行條件語句時比SIMD系統有較高的效率（7）MIMD的非同步特性使得它在執行一串完成時間可變的指令時，比SIMD有更快的速率處理機1處理機N...處理機2記憶體記憶體...記憶體互連網絡I/OI/O（a）共用存儲型緊耦和系統處理機1處理機N...處理機2記憶體記憶體...記憶體互連網絡I/OI/O...I/O（b）點對點型松耦合系統二.兩種多處理機結構

根據記憶體存取方式分為三種模型均勻記憶體存取(Uniform-Memory-Access）簡稱UMA非均勻記憶體存取（Nonuniform-Memory-Access）NUMA高速緩存存儲結構（Cache-Only-MemoryArchitecture）COMA模型共用存儲型多處理機多處理機系統中，多個處理器，高速緩存（cache）一般利用公共匯流排實現互連。這類機器是通過共用主存實現處理機間的相互通信，（主存對所有處理器有統一的地址編址）因此相互間的聯繫是比較緊密的。所有處理機共用I/O設備或通過通道和外設相連，整個系統有統一的操作系統管理，提供處理機及程式之間的作業、任務、檔、數據各個級別上的相互聯繫。UMA模型：這種模型結構圖物理記憶體SM1，SM2……SMm被所有處理機均勻共用，所有處理機對所有存儲字具有相同存取時間，每臺處理機允許私有的cache，系統的外部設備也可以一定形式共用。

NUMA模型：是另一種共用記憶體系統，其訪問時間隨存儲字的位置不同而變化，其共用記憶體物理上是分佈在所有處理機的本地記憶體上。所有本地記憶體的集合組成了全局地址空間，可被所有的處理機訪問。COMA模型：只用高速緩存的多處理機，是NUMA機的一種特例，只是將後者分佈主記憶體換成了高速緩存，在每個處理機結點上沒有記憶體層次結構，全部高速緩衝記憶體組成了全局地址空間。緊耦合系統多處理機分類進一步說明I/OSM1SMmP1P2Pn

系統互連(匯流排,交叉開關,多級網路)處理機。。。。

。。。。共用記憶體UMA多處理機模型LM1P1LM2P2LMnPn

互連網絡。。。。

。。。。

。。。。GSM

全局互連網絡GSMGSM。。。。

。。。。

CIN

P

P

P。。。。

CSMCSMCSM。。。。

P

PPCSMCSMCSM

。。。。CIN（a）NUMA共用本地記憶體（如BBNButterfly）（b）層次式機群模型（如伊利諾伊大學的Cedar系統）多處理機系統的兩種NUMA模型

互連網絡

DCP

DCP

DCP...多處理機的COMA模型

它由多個電腦模組組成，每個節點有一臺處理機和局部記憶體及本身的輸入輸出設備，通過節點匯流排連在一起，電腦模組又通過節點介面接到互連網上，通過消息傳遞實現互相通信。各處理機物理連接鬆散，多分佈式記憶體，適於粗粒度的並行。鬆散耦合多處理機系統可分為層次型和非層次型。鬆散耦合多處理機系統

層次式：常採用多級匯流排實現層次連接。例子如機群系統，美國的卡內基-梅隆大學研製的系統，是有50個LSI-11小型機組成三層匯流排的多處理機系統。非層次式：各結點機（包括處理機，記憶體，I/O系統和網路介面（NI）通過節點匯流排連在一起），而各個電腦模組又通過網路介面連到外部互連網上。通過消息傳輸系統（MTS）對各結點機進行多個訪問請求的仲裁。

鬆散耦合多電腦系統數據傳送速度低，延遲時間長，各節點間距離不等，相互聯繫少。互連網如前面已討論的各種構成多電腦的靜態網路拓撲結構。環形、樹形、網格、超立方體、帶環立方體等。結點之間要求有相同的通信模式PMI/ONI模組1

消息傳送系統MTSPMI/ONI模組N....電腦模組（節點機）N1-節點機介面

鬆散耦合的多處理機系統Cmn層次式多機系統單處理機：cache一致性問題只存在於cache與主存之間，即使有I/O通道共用cache亦可通過全寫法或回寫法較好地加以解決；多處理機：由於每一個處理機都有一個cache，因此在寫操作時，必須保證各cache之間的數據一致性。導致多處理機系統中cache內容不一致的因素有三個：（1）可寫數據的共用。一臺處理機採用全寫法或回寫法修改某一個數據塊時，引起其他處理機的cache中同一副本的不一致。（2）輸入輸出活動。如果輸入輸出處理機直接接在系統匯流排上，也會導致cache不一致。（3）進程遷移。進程遷移就是把一個尚未執行完的進程調度到另一個空閒的處理機中去執行。為提高整個系統的效率，有的系統允許進程遷移，使系統負載平衡。這將引起cache的不一致。四多處理機cache一致性硬體為基礎方法:監視cache協議法（snoopycacheprotocol）各個處理機中的cache控制器都有一個監聽部件，隨時都在監視著其他cache的行動。當一個處理機寫入本身cache中某一個數據塊時，同時也寫入主存，這個操作，起到了向匯流排上的其他處理機發送保持一致命令的作用，通知這些處理機，就應把這個副本作廢或更新，以此來達到cache的一致性。把數據塊作廢的辦法叫寫作廢法（weite-invalidate），把數據塊更新的辦法叫寫更新法（write-update）解決多處理機CACHE一致性有以硬體，軟體為基礎的兩種方法

當處理機數目很多,不採用匯流排結構時,監視協議法很困難。將採用目錄表法目錄表法（directoryscheme）這種方法要在主存中建立一個目錄表，記錄各公用的數據塊都存放在哪幾個處理機的cache中。表的每一項中記錄一個數據塊的使用情況，內容包括有幾個指示器，指示器指出這個數據塊的副本放在哪幾個處理機的cache中，還有指示位表示是否已有cache向這個數據塊寫入過新內容等。有了這個目錄表，當一個處理機寫入本身的cache時，只需要有選擇地通知存有這個數據塊的處理機的cache即可。使其內容或廢除或更新。有三種目錄表*全幅目錄表法*有限目錄表法*鏈接目錄表法共用記憶體X:。。。c--數據---CacheP1讀XCacheP2讀XCacheP3讀X。。。共用記憶體X:。。。c--數據---CacheP1CacheP2CacheP3X:數據X:數據X:數據（a）全幅目錄表共用記憶體X:數據cCacheP3CacheX:數據P2CacheX:數據CTP1P1CacheCacheP2CacheP3。。。X:數據共用記憶體X:數據cCT讀X（c）鏈接目錄表

共用記憶體X:數據cCacheP1CacheP2CacheP3讀X。。。X:數據X:數據CacheP1CacheP2CacheP3。。。X:數據X:數據共用記憶體X:數據c（b）有限目錄表

三種目錄表法

靠軟體的作用來限制一些公用的可寫數據存放到cache中。在編譯時，通過編譯程序分析，把數據分為能用cache的（cacheable）和不能用cache的（noncacheable）兩部分，不能用cache的數據只能存在主存中。為了儘量提高工作效率，並不是把所有要寫入的數據都歸入不能用cache的數據之列，編譯程序在分析時，要看一下可寫數據是否在哪一段時間裏可以安全地存入cache，哪一段時間裏不允許寫到cache中。使它在安全的期間使用cache存放，等到這段安全時期終了時，再把這個可寫數據在cache中的副本作廢，並規定不能用cache。這種方法比較簡單，實際是避開了在CACHE中實現可寫數據的共用問題，影響系統性能。以軟體為基礎的辦法並行演算法略（單設有並行演算法課）6.6.4多處理機操作系統分類多處理機操作系統的功能：資源分配和管理表格和數據保護防止系統死鎖非正常情況下的結束（例外情況處理）輸入輸出負載平衡處理機負荷平衡系統重新組合主從型Master-SlaveConfiguration）主從型其管理程式只在一個指定的處理機（主處理機）上運行。該主處理機可以是專門的執行管理功能的控制處理機，也可以是與其它從處理機相同的通用機，除執行管理功能外，也能作其他方面的應用。優點：

1.硬體結構比較簡單；

2.簡化了管理控制的實現；

3.實現起來簡單、經濟、方便，是目前大多數多處理機操作系統所採用的方式；缺點：

1.對主處理機的可靠性要求很高；

2.整個系統顯得不夠靈活；

3.如果負荷過重，也會影響整個系統的性能；各自獨立型（SeparateSupervisor）各自獨立型將控制功能分散給多臺處理機，共同完成對整個系統的控制工作。每臺處理機都有一個獨立的管理程式（操作系統的內核）在運行，即每臺處理機都有一個內核的副本，按自身的需要及分配給它的程式需要來執行各種管理功能。優點：1.很適應分佈處理的模組化結構特點，減少對大型控制專用處理機的需求；2.某個處理機發生故障，不會引起整個系統癱瘓，有較高的可靠性；3.每臺處理機都有其專用控制表格，使訪問系統表格的衝突較少，也不會有許多公用的執行表，同時控制進程和用戶進程一起進行調度，能取得較高的系統效率。缺點：1.這種方式實現複雜；2.某臺處理機一旦發生故障，要想恢復和重新執行未完成的工作較困難；3.使整個系統的輸入輸出結構變換需要操作員干預；4.