本博客歡迎轉(zhuǎn)發(fā)，但請保留原作者信息！內(nèi)容系本人學(xué)習(xí)、研究和總結(jié)，如有雷同，實屬榮幸！

來自：http://lynnkong./blog/1806470

1      RAID

獨立磁盤冗余數(shù)組（RAID, Redundant Array of Independent Disks），不同的RAID等級在兩個目標(biāo)間取得平衡，分別是增加數(shù)據(jù)可靠性以及增加存儲器（群）讀寫性能

RAID 0
將數(shù)據(jù)按磁盤的個數(shù)來進(jìn)行分段。速度最快，沒有冗余，如果一個磁盤（物理）損壞，則所有的數(shù)據(jù)都會丟失。
Size=2*min(S1, S2)


RAID 1
兩組以上的N個磁盤相互作備份，在一些多線程操作系統(tǒng)中能有很好的讀取速度，但寫入速度有微小的降低?？煽啃宰罡摺?/span>Size=min(S1, S2)


 
RAID 2
這是RAID 0的改良版，以漢明碼(Hamming Code)的方式將數(shù)據(jù)進(jìn)行編碼后分區(qū)為獨立的比特，寫入硬盤。因為在數(shù)據(jù)中加入了錯誤修正碼（ECC，Error Correction Code），所以數(shù)據(jù)整體的容量會比原始數(shù)據(jù)大一些，RAID2最少要三臺磁盤驅(qū)動器方能運作。


 
RAID 3
采用Bit－interleaving（數(shù)據(jù)交錯存儲）技術(shù)，它需要通過編碼再將數(shù)據(jù)比特分區(qū)后分別存在硬盤中，而將同比特檢查后單獨存在一個硬盤中，但由于數(shù)據(jù)內(nèi)的比特分散在不同的硬盤上，因此就算要讀取一小段數(shù)據(jù)資料都可能需要所有的硬盤進(jìn)行工作，所以這種規(guī)格比較適于讀取大量數(shù)據(jù)時使用。


 
RAID 4
它與RAID 3不同的是它在分區(qū)時是以區(qū)塊為單位分別存在硬盤中，但每次的數(shù)據(jù)訪問都必須從同比特檢查的那個硬盤中取出對應(yīng)的同比特數(shù)據(jù)進(jìn)行核對，由于過于頻繁的使用，所以對硬盤的損耗可能會提高。（Block interleaving）


 
RAID 5
RAID Level 5 是一種儲存性能、數(shù)據(jù)安全和存儲成本兼顧的存儲解決方案。它使用的是Disk Striping（硬盤分區(qū)）技術(shù)。RAID 5 至少需要三顆硬盤， RAID 5不是對存儲的數(shù)據(jù)進(jìn)行備份，而是把數(shù)據(jù)和相對應(yīng)的奇偶校驗信息存儲到組成RAID5的各個磁盤上，并且奇偶校驗信息和相對應(yīng)的數(shù)據(jù)分別存儲于不同的磁盤上。當(dāng)RAID5的一個磁盤數(shù)據(jù)發(fā)生損壞后，可以利用剩下的數(shù)據(jù)和相應(yīng)的奇偶校驗信息去恢復(fù)被損壞的數(shù)據(jù)。 RAID 5可以理解為是RAID 0和RAID 1的折衷方案。RAID 5可以為系統(tǒng)提供數(shù)據(jù)安全保障，但保障程度要比鏡像低而磁盤空間利用率要比鏡像高。RAID 5具有和RAID 0相近似的數(shù)據(jù)讀取速度，只是因為多了一個奇偶校驗信息，寫入數(shù)據(jù)的速度相當(dāng)?shù)穆羰褂谩盎貙懜咚倬彺妗笨梢宰屝阅芨纳撇簧?。同時RAID 5的磁盤空間利用率要比RAID 1高，存儲成本相對較便宜。
Size=(N-1)*min(S1, S2,..., SN)


 
RAID 6
與RAID 5相比，RAID 6增加了第二個獨立的奇偶校驗信息塊。兩個獨立的奇偶系統(tǒng)使用不同的算法，數(shù)據(jù)的可靠性非常高，即使兩塊磁盤同時失效也不會影響數(shù)據(jù)的使用。但RAID 6需要分配給奇偶校驗信息更大的磁盤空間，相對于RAID 5有更大的“寫損失”，因此“寫性能”非常差。較差的性能和復(fù)雜的實作方式使得RAID 6很少得到實際應(yīng)用。
同一數(shù)組中最多容許兩個磁盤損壞。更換新磁盤后，數(shù)據(jù)將會重新算出并寫入新的磁盤中。依照設(shè)計理論，RAID 6必須具備四個以上的磁盤才能生效。
Size=(N-2)*min(S1, S2,..., SN)


RAID 10/01
RAID 10/01細(xì)分為RAID 1+0或RAID 0+1。
RAID 1+0是先鏡射再分區(qū)數(shù)據(jù)，再將所有硬盤分為兩組，視為是RAID 0的最低組合，然后將這兩組各自視為RAID 1運作。
RAID 0+1則是跟RAID 1+0的程序相反，是先分區(qū)再將數(shù)據(jù)鏡射到兩組硬盤。它將所有的硬盤分為兩組，變成RAID 1的最低組合，而將兩組硬盤各自視為RAID 0運作。
性能上，RAID 0+1比RAID 1+0有著更快的讀寫速度。
可靠性上，當(dāng)RAID 1+0有一個硬盤受損，其余三個硬盤會繼續(xù)運作。RAID 0+1 只要有一個硬盤受損，同組RAID 0的另一只硬盤亦會停止運作，只剩下兩個硬盤運作，可靠性較低。
因此，RAID 10遠(yuǎn)較RAID 01常用，零售主板絕大部份支持RAID 0/1/5/10，但不支持RAID 01。


RAID 50
RAID50也被稱為鏡象陣列條帶，由至少六塊硬盤組成，像RAID0一樣，數(shù)據(jù)被分區(qū)成條帶，在同一時間內(nèi)向多塊磁盤寫入；像RAID5一樣，也是以數(shù)據(jù)的校驗位來保證數(shù)據(jù)的安全，且校驗條帶均勻分布在各個磁盤上。其目的在于提高RAID5的讀寫性能
應(yīng)用
RAID2、3、4較少實際應(yīng)用，因為RAID5已經(jīng)涵蓋了所需的功能，因此RAID2、3、4大多只在研究領(lǐng)域有實現(xiàn)，而實際應(yīng)用上則以RAID5為主。

RAID4有應(yīng)用在某些商用機器上，像是NetApp公司設(shè)計的NAS系統(tǒng)就是使用RAID4的設(shè)計概念

2      存儲概述

存儲技術(shù)
數(shù)據(jù)備份越來越受到人們的重視，并成為網(wǎng)絡(luò)建設(shè)過程中必考慮的內(nèi)容。網(wǎng)絡(luò)存儲設(shè)備根據(jù)存儲技術(shù)的不同，主要分為三類：DAS（Direct Attached Storage）、NAS（Network Attached Storage）和SAN（Storage Area Network）。

存儲方式
對象存儲基于文件系統(tǒng)，通過文件系統(tǒng)來存儲訪問數(shù)據(jù)。
塊存儲是以塊為基本單元的存儲方式，其傳輸不存在數(shù)據(jù)打包/解包的過程，可提供更高的傳輸性能
文件存儲設(shè)備通過以太網(wǎng)與服務(wù)器連接。服務(wù)器通過NFS、CIFS、HTTP、FTP等協(xié)議進(jìn)行數(shù)據(jù)訪問。數(shù)據(jù)通過以太網(wǎng)傳輸，有打包/解包的過程

 
存儲接口
常見的存儲接口包括SCSI、iSCSI、SAS、SATA、FC、FCoE等。

可靠性技術(shù)
存儲的可靠性技術(shù)主要有RAID、備份、快照、鏡像、群集并發(fā)存取等。

相關(guān)硬件
常用的存儲設(shè)備主要有磁盤陣列、存儲服務(wù)器和FC交換機。

三種存儲技術(shù)
DAS是指將存儲設(shè)備通過SCSI線纜或FC（Fiber Channel）直接連接到服務(wù)器上
NAS按照TCP/IP協(xié)議進(jìn)行通信，以文件的I/O方式進(jìn)行數(shù)據(jù)傳輸。它擁有自己的文件系統(tǒng)，通過網(wǎng)絡(luò)文件系統(tǒng)NFS（Network File System）或通用Internet文件系統(tǒng)CIFS（Common Internet File System）對外提供文件訪問服務(wù)。
SAN是一種通過網(wǎng)絡(luò)方式連接存儲設(shè)備和應(yīng)用服務(wù)器的存儲架構(gòu)，這個網(wǎng)絡(luò)專用于服務(wù)器和存儲設(shè)備之間的訪問，SAN代表的是一種專用于存儲的網(wǎng)絡(luò)架構(gòu)，與協(xié)議和設(shè)備類型無關(guān)。有FC SAN和IP SAN兩種方案。

 

3      iSCSI

iSCSI是網(wǎng)絡(luò)存儲標(biāo)準(zhǔn)，其核心是在TCP/IP網(wǎng)絡(luò)上傳輸SCSI協(xié)議，用TCP/IP報文、和ISCSI報文封裝SCSI報文，使得SCSI命令和數(shù)據(jù)可以在普通以太網(wǎng)絡(luò)上進(jìn)行傳輸。

iSCSI的工作過程：當(dāng)iSCSI主機應(yīng)用程序發(fā)出數(shù)據(jù)讀寫請求后，操作系統(tǒng)會生成一個相應(yīng)的SCSI命令，該SCSI命令在iSCSI initiator層被封裝成ISCSI消息包并通過TCP/IP傳送到設(shè)備側(cè)。設(shè)備側(cè)的iSCSI target層會解開iSCSI消息包，得到SCSI命令的內(nèi)容，然后傳送給SCSI設(shè)備執(zhí)行。設(shè)備執(zhí)行SCSI命令后的響應(yīng)，在經(jīng)過設(shè)備側(cè)iSCSI target層時被封裝成ISCSI響應(yīng)PDU，通過TCP/IP網(wǎng)絡(luò)傳送給主機的ISCSI initiator層。iSCSI initiator會從ISCSI響應(yīng)PDU里解析出SCSI響應(yīng)并傳送給操作系統(tǒng)，操作系統(tǒng)再響應(yīng)給應(yīng)用程序

iSCSI SAN 上單個可發(fā)現(xiàn)的實體（如啟動器或目標(biāo)）表示一個 iSCSI 節(jié)點。每個節(jié)點都有一個或多個將其連接到

SAN 的端口。iSCSI 端口是 iSCSI 會話的端點。每個端口可通過多種方式進(jìn)行標(biāo)識（IP地址/ISCSI名稱）。

3.1    iet

iet(iSCSI Enterprise Target)是Linux下的iSCSI Target實現(xiàn)，open-iscsi是Linux下的iscsi initiator實現(xiàn)。使用iet和open-iscsi就可以方便的實現(xiàn)簡單的IPSAN，同時iet也可以和其他系統(tǒng)的iscsi initiator配合使用。

target名稱：采用”iqn.yyyy-mm.<reversed domain name>[:identifier]”的格式?？梢詫K設(shè)備，文件，LVM卷，RAID卷作為塊設(shè)備映射給iSCSI initiator使用，在/etc/iet/ietd.conf文件中增加如下內(nèi)容實現(xiàn)塊設(shè)備映射：
Lun <lunID> Path=<device>,Type=fileio|blockio[,IOMode=(wb|ro)]，其中：
lunID：從0開始，最大2^14-1
Path=<device>指定塊設(shè)備?？梢允褂?/span>dd命令生成一個文件
Type=fileio|blockio指定塊設(shè)備類型，分區(qū)及dd命令生成的文件使用fileio類型；LVM卷、RAID卷使用blockio類型
IOMode=(wb|ro)指定iSCSI initiator允許的操作，wb表示可讀寫，ro表示只讀

添加一個新的Target。其中[id]為數(shù)字必須是唯一的，后面的Name需要自定義，也需要保證是唯一的。
ietadm --op new --tid=[id] --params Name=iqn.zqin.example
添加一個新的lun。其中[id]必須是一個已經(jīng)存在的tid號，[lun]從0開始
ietadm --op new --tid=[id] --lun=[lun] --params Path=/path/exported/file,Type=fileio
停止某個Target的某個Connection的連接
ietadm --op delete --tid=2 --sid=562950876233792 --cid=1  && ietadm --op delete --tid=2

3.2    iscsiadm

iscsiadm -m <op> 其中op=<discovery|node|session>
iscsiadm -m discovery
顯示數(shù)據(jù)庫中discovery記錄
iscsiadm -m node

顯示數(shù)據(jù)庫中的所有的節(jié)點，輸出：

192.168.122.102:3260,11 iqn.2006-08.com.huawei:oceanstor:210000e0fc123456:notconfig:192.168.122.102 192.168.123.100:3260,1 iqn.2006-08.com.huawei:oceanstor:210000e0fc123456:notconfig:192.168.123.100
iscsiadm -m session

顯示所有的會話和連接，輸出：

tcp: [1] 192.168.123.100:3260,1 \ iqn.2006-08.com.huawei:oceanstor:210000e0fc123456:notconfig:192.168.123.100

tcp: [2] 192.168.122.102:3260,11 \ iqn.2006-08.com.huawei:oceanstor:210000e0fc123456:notconfig:192.168.122.102

-m discovery --type=[type] --portal=[ip:port]
發(fā)起discovery，type指定類型，包括sendtargets, slp, isns，portal指定目標(biāo)器的IP和端口，如：
iscsiadm -m discovery -t st -p 192.168.159.74

-m discovery --portal=[ip:port] --op=[op] [--name=[name] --value=[value]]
操作數(shù)據(jù)庫的discovery表中對應(yīng)portal的記錄(一般不用對discovery表進(jìn)行操作)，可執(zhí)行的操作op包括[new], [delete], [update] 或[show]，name表示紀(jì)錄項的名字，value表示紀(jì)錄項的值。

-m node --targetname=[name] --portal=[ip:port] [--login|--logout|--rescan|--stats
對以targetname或portal指定的節(jié)點進(jìn)行操作
-m node --targetname=[name] --portal=[ip:port] --op=[op] [--name=[name] --value=[value]]
操作數(shù)據(jù)庫的nodes表中對應(yīng)targetname或portal的節(jié)點。可執(zhí)行的操作包括[new], [delete], [update] 或[show];示例：
iscsiadm -m node -p 192.168.122.102 --op update -n node.conn[0].startup -v automatic

-m session --sid=[sid] [ --print=level | --rescan | --logout ] --op=[op] [--name=[name] --value=[value]]
操作由sid指定的會話，包括重掃描，logout和數(shù)據(jù)庫記錄操作等，如：
#iscsiadm -m session --sid 1 –rescan
表示對會話1進(jìn)行重掃描。
#iscsiadm -m session --sid 1 或 #iscsiadm -m session --sid 1 print=1
表示顯示會話1相關(guān)信息，print可設(shè)為0~2。

一般步驟：
1. 使用腳本或手動啟動iscsi服務(wù)
2. 發(fā)起discovery
# iscsiadm -m discovery -t sendtargets -p 192.168.122.102:3260，輸出：
192.168.122.102:3260,1 iqn.2001-04.com.example:storage.disk2.sys1.xyz
成功的話使用iscsiadm -m node可以看到對應(yīng)的節(jié)點(被發(fā)現(xiàn)的目標(biāo)也叫節(jié)點)
# iscsiadm -m node -T <target-name> -p <ip-address>:<port> --login
登入目標(biāo)器，target-name為上一步發(fā)現(xiàn)target時的獲得的，此時通過fdisk -l就可以看到映射過來的磁盤(或者在/dev/disk/by-path/路徑下有對應(yīng)lun的文件)，該磁盤可以像使用本地磁盤一樣進(jìn)行格式化，分區(qū)等操作。如：
fdisk /dev/sdc
mkfs.ext3 /dev/sdc1
mount /dev/sdc1 /mnt/iscsi
如果要在系統(tǒng)啟動時自動掛接，在/etc/fstab加入一行：
/dev/sdc                /mnt/iscsi              ext3     default        0 0
如果以后目標(biāo)器IP改變了，可以先刪除老節(jié)點，如：
# iscsiadm -m node -p 192.168.122.102 -o delete
再重新發(fā)起discovery生成新節(jié)點，如：
# iscsiadm -m discovery -t sendtargets -p 192.168.123.100
如果要登出節(jié)點，先解除掛載：#umount /mnt/iscsi，然后登出
# iscsiadm -m node -T iqn.2001-04.com.example:storage.disk2.sys1.xyz -p 192.168.123.100:3260 -u
3. 設(shè)置自動登陸目標(biāo)器
對于已經(jīng)存在于數(shù)據(jù)庫中的節(jié)點，使用iscsiadm更新紀(jì)錄項：
# iscsiadm -m node -p 192.168.122.102 –op update -n node.conn[0].startup -v automatic
對于還沒有添加的節(jié)點，編輯配置文件/etc/iscsi/iscsid.conf，在其中增加一項：
node.conn[0].startup = automatic
這樣以后通過discovery新添加的節(jié)點node.conn[0].startup都會被設(shè)置為automatic
設(shè)置自動登陸目標(biāo)器后，每次使用init腳本啟動iscsi服務(wù)時都會自動登入目標(biāo)器（即生成LUN）

與多路徑的相關(guān)設(shè)置
iSCSI 啟動器通過周期向目標(biāo)器下發(fā)ping（iSCSI NOP-Out requests）來檢測連接狀態(tài)，使用多路徑軟件時，可通過減小NOP-Out的發(fā)送間隔和超時時間來更快的感知路徑故障，具體設(shè)置文件/etc/iscsi/iscsid.conf中的以下兩項：
node.conn[0].timeo.noop_out_interval = 5
node.conn[0].timeo.noop_out_timeout = 5

3.3    ISCSI存儲系統(tǒng)架構(gòu)

iSCSI存儲設(shè)備從架構(gòu)上可以分為4中類型：
1. 控制器架構(gòu)
    核心處理器全部采用硬件；設(shè)備內(nèi)部是無線纜的背板結(jié)構(gòu)，所有部件與背板之間通過標(biāo)準(zhǔn)或非標(biāo)準(zhǔn)的插槽鏈接在一起；操作系統(tǒng)是嵌入式設(shè)計；
2. iSCSI連接橋架構(gòu)(市場已不多見)
    分為兩個部分，一個部分是前端協(xié)議轉(zhuǎn)換設(shè)備，另一部分是后端存儲。前端協(xié)議轉(zhuǎn)換部分一般為硬件設(shè)備，主機接口為千兆以太網(wǎng)接口，磁盤接口一般為SCSI接口或FC接口，可連接SCSI磁盤陣列和FC存儲設(shè)備，通過千兆以太網(wǎng)主機接口對外提供ISCSI數(shù)據(jù)傳輸協(xié)議；后端存儲一般采用SCSI磁盤陣列和FC存儲設(shè)備，將SCSI磁盤陣列和FC存儲設(shè)備的主機接口直接連接到iSCSI橋的磁盤接口上。
    設(shè)備本身只有協(xié)議轉(zhuǎn)換功能，沒有RAID校驗和快照、卷復(fù)制等功能。創(chuàng)建RAID組、創(chuàng)建LUN等操作必須在存儲設(shè)備上完成，存儲設(shè)備有什么功能，整個iSCSI設(shè)備就具有什么樣的功能。
3. PC架構(gòu)
    即高性能PC+iSCSI target軟件，通過PC服務(wù)器的以太網(wǎng)卡對外提供iSCSI數(shù)據(jù)傳輸協(xié)議。所有的RAID組校驗、邏輯卷管理、iSCSI運算、TCP/IP運算等都是以純軟件方式實現(xiàn)，因此對PC的CPU和內(nèi)存的性能要求較高。另外iSCSI存儲設(shè)備的性能極容易受PC服務(wù)器運行狀態(tài)的影響。
4. PC+NIC架構(gòu)
    相對于PC+iSCSI Target高效。

3.4    ISCSI存儲連接方式

1.以太網(wǎng)卡+initiator軟件方式
    服務(wù)器、主機、iSCSI存儲通過以太網(wǎng)線連接到以太網(wǎng)交換機上，或直接連接到主機的以太網(wǎng)卡上。在主機上安裝Initiator軟件，將以太網(wǎng)卡虛擬為iSCSI卡，接受和發(fā)送iSCSI數(shù)據(jù)報文，從而實現(xiàn)主機和iSCSI設(shè)備之間的iSCSI協(xié)議和TCP/IP協(xié)議傳輸功能。
    該方式硬件成本最低，但進(jìn)行ISCSI包文和TCP/IP包文轉(zhuǎn)換需要占用主機端的一部分資源。不過在低I/O和低帶寬性能要求的應(yīng)用環(huán)境中應(yīng)該可以滿足數(shù)據(jù)訪問要求。
2.硬件TOE網(wǎng)卡+initiator軟件方式
    具有TOE（TCP Offload Engine）功能的智能以太網(wǎng)卡可以將網(wǎng)絡(luò)數(shù)據(jù)流量的處理工作全部轉(zhuǎn)到網(wǎng)卡上的集成硬件中進(jìn)行，把系統(tǒng)主處理器CPU從忙于協(xié)議處理的繁重的內(nèi)核中斷服務(wù)中解脫出來，主機只承擔(dān)TCP/IP控制信息的處理任務(wù).
    與第一種方式相比，采用TOE卡可以大幅度提高數(shù)據(jù)的傳輸速率。TCP/IP協(xié)議棧功能由TOE卡完成，而iSCSI層的功能仍舊由主機來完成。
    由于TOE卡也采用TCP/IP協(xié)議，相當(dāng)于一塊高性能的以太網(wǎng)卡，所以第二種方式也可以看做是第一種連接方式的特殊情況
3. iSCSI HBA卡(硬件Initiator)方式
    在主機上安裝專業(yè)的iSCSI HBA適配卡，從而實現(xiàn)主機與交換機之間、主機與存儲之間的高效數(shù)據(jù)交換。該方式數(shù)據(jù)傳輸性能最好，價格也最高

3.5    ISCSI存儲使用模式

 
2

 
B

 
C