《電子技術應用》
您所在的位置:首頁 > 通信與網絡 > 設計應用 > 悲催的存儲工程師 SAN故障經驗的分享
悲催的存儲工程師 SAN故障經驗的分享
IT168
黃永兵 譯
摘要: 一般來說,企業級主存儲是相當穩定的,如果沒有強壯的存儲設備,就不能奢望應用程序可靠,它們本身就有一大堆問題,如果存儲也鬧別扭,事情只會變得更糟,這就是為什么企業愿意把大部分IT預算用于購買最好,最可靠的存儲基礎設施的原因。
關鍵詞: SAN 存儲 主存儲
Abstract:
Key words :

一般來說,企業級主存儲是相當穩定的,如果沒有強壯的存儲設備,就不能奢望應用程序可靠,它們本身就有一大堆問題,如果存儲也鬧別扭,事情只會變得更糟,這就是為什么企業愿意把大部分IT預算用于購買最好,最可靠的存儲基礎設施的原因。

冗余磁盤,冗余控制器,鏡像緩存,以及冗余存儲網絡都旨在提供具備容錯能力的存儲基礎設施,在關鍵任務環境中,這些都是必需的,但即使是最高強度的冗余存儲架構在人面前也是毫無保障的。
在我接觸過的企業存儲設備中,只有一個沒有因硬件故障導致災難性后果,相反,我已經記不清有多少因文檔糟糕、技術支持胡亂建議、培訓不充分,以及軟件或固件等原因導致存儲災難性故障,我想說的是,大部分都是人的原因造成的。
就在上個月,我就親眼目睹了兩起主存儲崩潰事件。
在企業存儲基礎設施中,用戶由兩個獨立的但同樣重要的小組支持:設備小組和管理小組,故事就發生了他們中間。
固件版本不匹配
在第一起案例中,在現有存儲環境中引入了新的存儲設備,按照設想,新舊存儲設備可以實現無縫整合,最終實現用新設備替換掉舊設備的目的。
由于新系統采用了最新的硬件,需要的固件版本比當前的舊系統要高,按正常情況,升級現有系統的固件版本,和新系統匹配是沒有問題的,但它需要一個維護窗口。
根據相關文檔的解釋,這里使用的兩個固件版本似乎可以共存,數據遷移可以平滑地從舊系統轉移到新系統,因此數據轉移工作就在兩個固件版本不同的存儲設備之間開始了。
起初,事情進展順利,測試數據成功轉移到了新設備,性能測試結果超出預期,沒有發現任何問題,接下來,一些非關鍵的數據卷也成功遷移了,于是決定遷移所有的生產數據,由于數據量巨大,遷移過程花了幾天時間才完成。
就在遷移完成大家終于松了一口氣的時候(不到30分鐘),新存儲設備(現在存儲了組織的所有生產數據)從存儲網絡掉線了,變得完全不可訪問,幸運的是,這事兒發生在周六早上,很少有用戶注意到,但最終導致整個虛擬服務器基礎設施無法使用。
重新給新設備加電后,它又返回到存儲網絡了,大家齊心協力花了幾個小時將所有系統全部上線,最后還算幸運,數據未丟失,也未遭到破壞。
接下來的任務是找出究竟發生了什么,是新設備不可靠?難道有硬件或實施問題在測試期間未被發現?兩周后,在廠家技術支持人員的幫助下,確定這起故障是兩個設備因固件不匹配引起的,最后,廠家也修改了相關文檔,建議任何時候應盡量將所有設備的固件版本升級為一致。
當然,在廠商提供的那些文檔中,我們還是看到許多用詞不明確的地方,給讀者留下了許多想象的空間,從這個案例中我們總結出一個經驗:文檔不一定可靠,千萬不要自以為是!
倒霉的現場技術人員
在第二個案例中,生產存儲陣列開始出現一些瞬時錯誤,這些錯誤似乎表明后端光纖通道循環出了問題,由于所有系統在控制器和磁盤之間的連接使用了多個冗余循環,不能立即確定究竟是哪里出了問題,但對進一步調查和修復行動提供了保證。
這個陣列簽訂了高級支持合同,因此廠商很快就派遣了一位技術人員抵達現場,確定問題的根源,這位技術人員到了現場就立即投入到工作中,首先閱讀了系統日志,并對硬件做了簡單檢查,看了看各種線纜和收發器是否連接正確。
但他什么問題也沒有發現,于是,他插上一根串口線,接到設備的維護端口,在管理軟件中發出特定的命令,直接從控制器導出了原始性能數據,其目的是讓控制器吐出詳細的錯誤信息,以便更高級的工程師解碼分析。
串口和控制器的軟件內核是直接相通的,輸錯一個字符就可能引起嚴重的后果,在這種情況下,如果你在終端模擬器按下Ctrl-Z,會導致兩個冗余控制器同時重啟,所有入站存儲連接會被突然重置,會發生什么只有求佛主保佑。
仔細看看你的鍵盤,你會發現Ctrl和Z鍵隔得并不遠,如果事先不知道同時按下它們后果有多嚴重,或一不小心誤按,我想你會一輩子記得這事的。
和第一起案例一樣,幸虧中斷時間不長,也沒有導致數據丟失或破壞,但還是花了幾個小時才將各種應用程序重新上線。
教訓
事后看來,不管文檔上有沒有明確說明,在固件不匹配的情況下做任何事情都是自找麻煩,此外,在處理大量數據遷移時不能掉以輕心,想一邊喝咖啡一邊操作還得悠著點。
也許你從來沒有想過一個完全冗余的企業級存儲網絡還會全部宕掉,是的,這種事情雖然很少見,但的確發生過。在眾多存儲事故中,我發現大部分都是人為因素造成的,有可能就是你,或你的同事,也可能是新進入的廠商。
各路存儲廠商都在努力讓自己的管理系統變得更具吸引力,更友好的管理界面,但他們忽略了天天擺弄這些軟件和硬件的IT人員,軟硬件環境越來越復雜,誰也不能保證不會出現誤操作。
除了廠商要做好嚴格的保護設計,文檔實時更新外,作為用戶一方,也要加強自身維護隊伍的建設,在不確定會引起什么后果之前,最好不要急著動手。
此內容為AET網站原創,未經授權禁止轉載。
热re99久久精品国产66热_欧美小视频在线观看_日韩成人激情影院_庆余年2免费日韩剧观看大牛_91久久久久久国产精品_国产原创欧美精品_美女999久久久精品视频_欧美大成色www永久网站婷_国产色婷婷国产综合在线理论片a_国产精品电影在线观看_日韩精品视频在线观看网址_97在线观看免费_性欧美亚洲xxxx乳在线观看_久久精品美女视频网站_777国产偷窥盗摄精品视频_在线日韩第一页
  • <strike id="ygamy"></strike>
  • 
    
      • <del id="ygamy"></del>
        <tfoot id="ygamy"></tfoot>
          <strike id="ygamy"></strike>
          久久精品在线免费观看| 国产精品高清免费在线观看| 亚洲午夜在线观看视频在线| 国产欧美精品国产国产专区| 久久久久久噜噜噜久久久精品| 欧美成人精品1314www| 欧美激情亚洲综合一区| 国产日韩av在线播放| 亚洲激情在线激情| 欧美国产日韩亚洲一区| 国产精品v欧美精品v日本精品动漫| 亚洲高清视频一区| 麻豆成人91精品二区三区| 国产精品系列在线| 亚洲黄色在线| 欧美日本国产精品| 欧美在线不卡视频| 一本色道久久99精品综合| 欧美人妖在线观看| 亚洲国产免费| 亚洲一区3d动漫同人无遮挡| 99视频+国产日韩欧美| 久久精品亚洲精品国产欧美kt∨| 一本色道久久88综合亚洲精品ⅰ| 亚洲精品一区二区三区樱花| 欧美日韩亚洲一区二区三区| 国产曰批免费观看久久久| 在线观看视频免费一区二区三区| 国产精品久久久久一区二区| 日韩一二三在线视频播| 欧美婷婷在线| 亚洲欧美日韩综合国产aⅴ| 欧美与黑人午夜性猛交久久久| 91久久精品日日躁夜夜躁国产| 夜夜爽99久久国产综合精品女不卡| 麻豆精品视频在线观看| 欧美刺激午夜性久久久久久久| 国产精品日韩在线观看| 亚洲一区国产视频| 欧美精品一区在线观看| 老色鬼精品视频在线观看播放| 国产精品videossex久久发布| 欧美日韩国产成人精品| 亚洲精品在线视频| 久久精品国产69国产精品亚洲| 久久综合五月| 欧美激情网友自拍| 欧美日本精品一区二区三区| 亚洲欧美在线磁力| 99国产欧美久久久精品| 久久av免费一区| 永久域名在线精品| 欧美精品九九| 欧美成人一二三| 久久久久国产精品午夜一区| 国产综合色精品一区二区三区| 久久这里有精品15一区二区三区| 国产精品二区在线观看| 欧美视频在线观看免费| 国产精品久久7| 亚洲午夜免费视频| 欧美粗暴jizz性欧美20| 黑人操亚洲美女惩罚| 亚洲精品人人| 欧美日韩一区二区高清| 欧美性理论片在线观看片免费| 亚洲国产精品免费| 国产乱码精品一区二区三区不卡| 欧美日韩免费观看一区| 一本色道久久综合亚洲精品小说| 欧美日韩亚洲一区二区三区| 国产亚洲观看| 久久久免费精品| 国产精品国产三级国产专播精品人| 一区二区三区日韩在线观看| 欧美日韩国产精品专区| 国产嫩草影院久久久久| 亚洲手机成人高清视频| 久久综合给合| 亚洲三级视频| 亚洲深夜福利视频| 亚洲国产精品女人久久久| 国产精品xnxxcom| 久久精品亚洲一区| 欧美一级夜夜爽| 国产精品美女xx| 亚洲精品一区中文| 国产精品久久久久毛片软件| 久久久久久免费| 国产精品jvid在线观看蜜臀| 国产人成精品一区二区三| a91a精品视频在线观看| 免费高清在线视频一区·| 日韩午夜电影| 欧美精品高清视频| 美女性感视频久久久| 亚洲国产精彩中文乱码av在线播放| 在线一区二区三区做爰视频网站| 激情校园亚洲| 日韩午夜在线| 亚洲国产欧洲综合997久久| 国产精品一区二区久久久久| 母乳一区在线观看| 午夜亚洲性色福利视频| 久久日韩粉嫩一区二区三区| 欧美日韩一区在线观看视频| 亚洲国产精品久久久久秋霞不卡| 欧美永久精品| 鲁大师影院一区二区三区| 国内外成人在线视频| 理论片一区二区在线| 欧美大秀在线观看| 91久久精品国产91久久性色tv| 亚洲美女av黄| 老司机精品久久| 国产精品综合色区在线观看| 欧美一区二视频| 免费欧美电影| 国产精品久久久久高潮| 午夜精品成人在线视频| 久久综合狠狠| 国产精品激情av在线播放| 国产精品久久久久免费a∨| 亚洲欧洲一区二区在线观看| 欧美高清视频一二三区| 一区电影在线观看| 欧美日韩网址| 免费观看久久久4p| 欧美www视频在线观看| 亚洲午夜激情网站| 乱中年女人伦av一区二区| 亚洲欧美亚洲| 国产精品尤物福利片在线观看| 久久青草久久| 蜜桃久久av| 亚洲欧洲另类| 欧美天堂在线观看| 性18欧美另类| 国产麻豆成人精品| 久久嫩草精品久久久久| 在线亚洲精品福利网址导航| 亚洲国产免费看| 99一区二区| 日韩亚洲欧美一区二区三区| 久久这里有精品视频| 久久久久久穴| 欧美成人精品一区二区三区| 国产精品永久| 国产伦精品一区| 国产欧美日韩伦理| 日韩午夜精品| 欧美日韩一区二区三| 亚洲少妇一区| 久久久久久久尹人综合网亚洲| 欧美一区激情视频在线观看| 韩国av一区二区三区在线观看| 亚洲精品一品区二品区三品区| 老色鬼精品视频在线观看播放| 亚洲国产综合视频在线观看| 欧美在线一级视频| 韩日午夜在线资源一区二区| 亚洲人成在线观看一区二区| 国产欧美一区二区三区在线老狼| 亚洲亚洲精品三区日韩精品在线视频| 韩日欧美一区二区| 国产麻豆精品在线观看| 欧美午夜片在线观看| 欧美精品综合| 亚洲综合国产激情另类一区| 日韩西西人体444www| 国产精品亚洲第一区在线暖暖韩国| 一区二区三区日韩精品视频| 韩国在线一区| 欧美激情一区在线| 亚洲一区视频| 久久国产日韩欧美| 性欧美videos另类喷潮| 国产亚洲精品bv在线观看| 亚洲综合另类| 亚洲黄色成人网| 噜噜噜在线观看免费视频日韩| 国产欧美日韩在线视频| 欧美—级在线免费片| 免费久久久一本精品久久区| 欧美中文在线免费| 亚洲一区在线看| 黑丝一区二区| 欧美另类高清视频在线| 欧美国产高潮xxxx1819| 亚洲国产综合视频在线观看| 久久先锋影音av| 亚洲第一毛片| 欧美性做爰猛烈叫床潮| 欧美激情视频在线免费观看 欧美视频免费一| 欧美国产第一页| 午夜日韩激情| 亚洲国产一二三| 久久www成人_看片免费不卡| 99re6这里只有精品| 一区二区三区色| 国产精品视频免费一区| 久久av一区二区三区亚洲| 久久久久久久一区二区| 在线精品观看| 欧美久久久久| 国产精品国产三级国产aⅴ入口| 午夜精品美女久久久久av福利| 99视频一区二区| 一区二区激情小说| 久久久久久久97| 一区二区三区四区精品| av成人国产| 亚洲女人小视频在线观看| 伊人成年综合电影网| 日韩视频亚洲视频| 国产精品视频第一区| 久久人体大胆视频| 亚洲欧美国产精品桃花| 国产精品久久久一区二区三区| 99在线观看免费视频精品观看| 免费观看一区| 国产在线高清精品| 性欧美18~19sex高清播放| 久久久久国产精品麻豆ai换脸| 一区二区三区欧美激情| 久久er精品视频| 国产精品在线看| 欧美日韩综合一区| 亚洲欧美精品| 久久伊人亚洲| 免播放器亚洲一区| 欧美大片va欧美在线播放| 欧美成在线视频| 欧美成人久久| 欧美视频一区二区三区四区| 国产主播一区二区三区四区| 9i看片成人免费高清| 在线日韩av| 亚洲直播在线一区| 欧美福利视频| 性欧美精品高清| 蘑菇福利视频一区播放| 99av国产精品欲麻豆| aa级大片欧美三级| 国产一区视频观看| 一本色道精品久久一区二区三区| 狠狠爱综合网| 欧美波霸影院| 国产亚洲午夜高清国产拍精品| 亚洲高清视频一区二区| 国产亚洲精品资源在线26u| 亚洲综合色视频| 亚洲精品美女在线观看播放| aa国产精品| 韩国欧美国产1区| 激情欧美亚洲| 影音先锋在线一区| 欧美伊人影院| 欧美一级大片在线观看| 久久久不卡网国产精品一区| 午夜视频久久久久久| 久久久一二三| 亚洲欧洲一二三| 亚洲国产精品久久91精品| 精久久久久久久久久久| 一区二区在线视频观看| 欧美久久综合| 日韩视频一区二区三区在线播放免费观看| 久久久久久自在自线| 免费在线播放第一区高清av| 欧美日韩一视频区二区| 香蕉成人伊视频在线观看| 在线观看视频亚洲| 国产精品久久久久久久久久久久久| 久久精品国产久精国产一老狼| 欧美日韩国产一区精品一区| 国产精品久久久| 美日韩精品视频免费看| 欧美激情精品久久久| 欧美国产精品va在线观看| 亚洲午夜国产一区99re久久| 嫩草国产精品入口| 欧美99在线视频观看| 欧美亚洲在线观看| 欧美一区二区三区男人的天堂| 亚洲欧洲在线视频| 午夜亚洲性色福利视频| 欧美久久在线| 国产精品久久综合| 国产视频观看一区| 一区二区亚洲欧洲国产日韩| 快播亚洲色图| 国模 一区 二区 三区| 精东粉嫩av免费一区二区三区| 亚洲欧洲精品一区二区三区不卡| 黄色综合网站| 亚洲伊人第一页| 欧美偷拍一区二区| 欧美不卡一卡二卡免费版| 男女精品视频| 国产精品男人爽免费视频1| 久久亚洲精品中文字幕冲田杏梨| 欧美一区综合| 亚洲免费福利视频| 欧美精品www| 另类欧美日韩国产在线| 99国产精品久久久| 亚洲男女自偷自拍图片另类| 欧美一区视频| 在线播放日韩专区| 欧美极品一区| 99riav1国产精品视频| 亚洲国产精品久久久久婷婷老年| 久久一日本道色综合久久| 美女视频黄免费的久久| 国产日韩欧美一区| 激情欧美丁香| 久久综合伊人| 欧美日韩一区免费| 欧美在线亚洲综合一区| 国产精品一区二区三区乱码| 国产精品久久久久久久久免费樱桃| 国产精品jizz在线观看美国| 欧美日韩亚洲国产一区| 欧美激情1区2区| 国内精品久久久久影院优| 亚洲第一福利在线观看| 欧美午夜激情小视频|