截止到2月25日7點(diǎn)，我們的生產(chǎn)環(huán)境和數(shù)據(jù)修復(fù)都在有序的進(jìn)行，我們預(yù)計(jì)2月25日晚上24點(diǎn)前我們的生產(chǎn)環(huán)境將修復(fù)完成，微盟所有新用戶將可恢復(fù)服務(wù)，老用戶由于數(shù)據(jù)修復(fù)時(shí)間問題，我們將提供臨時(shí)過渡方案，我們預(yù)計(jì)老用戶數(shù)據(jù)修復(fù)將可在2月28日晚上24點(diǎn)前完成。
我們事后對(duì)惡意破壞生產(chǎn)環(huán)境的犯罪嫌疑人進(jìn)行追蹤分析，成功定位到犯罪嫌疑人登錄賬號(hào)及IP地址，并于2月24日向?qū)毶絽^(qū)公安局報(bào)案，目前犯罪嫌疑人已經(jīng)被寶山區(qū)公安局進(jìn)行刑事拘留，犯罪嫌疑人承認(rèn)了犯罪的事實(shí)。犯罪嫌疑人乃微盟研發(fā)中心運(yùn)維部核心運(yùn)維人員賀某，賀某于2月23日晚18點(diǎn)56分通過個(gè)人VPN登入公司內(nèi)網(wǎng)跳板機(jī)，因個(gè)人精神、生活等原因?qū)ξ⒚司€上生產(chǎn)環(huán)境進(jìn)行了惡意的破壞。——微盟集團(tuán)
在正文開始之前，我們來重溫下有名的阿西莫夫.機(jī)器人三定律，定律一：機(jī)器人不得傷害人類，或因不作為而使人類受到傷害;定律二：除非違背第一定律，機(jī)器人必須服從人類的命令。由此引申出本文一個(gè)重要的觀點(diǎn)，人類是系統(tǒng)可靠性和信息安全最大的敵人。
就在前天晚上的晚餐時(shí)間，微盟出了一件大事，一個(gè)心情劇烈波動(dòng)的運(yùn)維同學(xué)刪除了數(shù)據(jù)庫，嘩然一片，幸運(yùn)的是，在微盟和騰訊云的努力下，相關(guān)的數(shù)據(jù)都在有條不紊的恢復(fù)當(dāng)中。回溯這兩年的刪庫事件，可以說層出不窮，有誤刪的，有介質(zhì)損壞的，有人為的，單從這件事來說，非常嚴(yán)重，始作俑者被拘留，企業(yè)受到很大的損失。所以怎么吸取教訓(xùn)，怎么避免，下面通過微盟事件的一些細(xì)節(jié)，我們來剖析，企業(yè)的信息安全的偽壁壘。
觀點(diǎn)一：需要什么樣的權(quán)限來約束運(yùn)維?
很多人糾結(jié)于當(dāng)今遠(yuǎn)程辦公場景下的VPN的權(quán)限，此權(quán)限不是彼權(quán)限，今天我們談的是有關(guān)危險(xiǎn)行為限制方面的權(quán)限，而不是運(yùn)維職位所需要的履職權(quán)限。
其實(shí)人的行為比預(yù)想中的更加危險(xiǎn)，尤其對(duì)于要害職位更甚，而這個(gè)危險(xiǎn)一般來自于：(1)不知道這個(gè)行為有多么危險(xiǎn);(2)會(huì)故意的執(zhí)行這個(gè)明明知道非常危險(xiǎn)的一個(gè)行為，所以對(duì)于權(quán)限的控制首先要從對(duì)危險(xiǎn)行為限制開始。
一直以來，筆者始終覺得在產(chǎn)線環(huán)境下通過命令的方式是一種非常不好的習(xí)慣，在領(lǐng)導(dǎo)前面炫技的除外。在我看來，一個(gè)公司的運(yùn)維的技術(shù)能力強(qiáng)弱、安全管控體系是否完善完全可以通過運(yùn)維人員的具體操作和權(quán)限控制來看出一二，完全人肉的敲命令顯得運(yùn)維能力和安全管控體系越弱，自動(dòng)化平臺(tái)化進(jìn)行運(yùn)維能力的輸出，則運(yùn)維能力和安全管控體系越強(qiáng)。
1、rm、mv、alias等危險(xiǎn)命令應(yīng)受到嚴(yán)格的制約;應(yīng)使用盡量細(xì)化的權(quán)限認(rèn)證;禁止直接使用root用戶，這些耳熟能詳?shù)钠鋵?shí)都是運(yùn)維的門規(guī)，在日常運(yùn)維中屬于必備的checklist。可事實(shí)真的如此嗎?如何通過這些有效的手段來限制這些危險(xiǎn)的行為?
2、一個(gè)良好的運(yùn)維輸出能力應(yīng)該是這樣的，人管代碼，代碼管機(jī)器，而不是人管機(jī)器。大家可能還記得DevOps的宗旨，提高組織級(jí)的效率和質(zhì)量，放在這里，何嘗不是一種很好的解決辦法，危險(xiǎn)的行為通過機(jī)器來執(zhí)行。從信息審計(jì)的角度來看，每一次的現(xiàn)網(wǎng)環(huán)境的改動(dòng)，也是一點(diǎn)變更，也是一次環(huán)境的發(fā)布，你可以追蹤，可以回溯，可以記錄，可以審計(jì)。
3、我們又回到阿西莫夫.機(jī)器人三定律，定律三：除非違背第一及第二定律，機(jī)器人必須保護(hù)自己。當(dāng)一些危險(xiǎn)的行為發(fā)生時(shí)，作為系統(tǒng)的使用者和管理者理應(yīng)進(jìn)行防范，除了checklist以外，還有更好的方式嗎?那就是分而治之，操作人發(fā)起操作請(qǐng)求，審核人審核操作請(qǐng)求，機(jī)器來執(zhí)行請(qǐng)求。
4、過于放大權(quán)限的控制，其實(shí)也是不對(duì)的，這屬于一種開倒車，并不是所有的動(dòng)作都是具備危險(xiǎn)行為的動(dòng)作。因?yàn)楣收虾蜑?zāi)難不同，除了人為的，老天有時(shí)候也會(huì)跟你作對(duì)，介質(zhì)損壞，設(shè)備故障，病毒感染都會(huì)讓你的權(quán)限管控失去作用，該發(fā)生的故障都會(huì)不請(qǐng)自來，你的checklist、運(yùn)維流程和權(quán)限系統(tǒng)將會(huì)毫無作用，所以需要什么樣的權(quán)限來約束運(yùn)維，又不會(huì)增加太多的人力物力財(cái)力，無非三點(diǎn)。(一)框定極具危險(xiǎn)行為的動(dòng)作;(二)平臺(tái)化自動(dòng)化的運(yùn)維方式;(三)線上復(fù)核的流程。
觀點(diǎn)二：備份該怎么做?
對(duì)于觀點(diǎn)一中提到的，當(dāng)你的checklist和權(quán)限控制都無法hold住的時(shí)候，你需要的是一個(gè)具備實(shí)操的備份和恢復(fù)的手段。
通常來說，在沒有熱備份的情況下執(zhí)行危險(xiǎn)操作，不亞于開著200邁的跑車不系安全帶，活著是你幸運(yùn)。而在此次事故中，我們發(fā)現(xiàn)恢復(fù)時(shí)間是最亮的電，不亞于順豐刪庫事件中的恢復(fù)時(shí)間，十分的漫長。經(jīng)過仔細(xì)分析，除了始作俑者同時(shí)刪除了主備兩套庫，只保留了冷備份，這也是不幸中的萬幸，備份大家都有，那備份到底行不行?
1、備份時(shí)間的問題，全量和增量時(shí)間會(huì)影響你備份數(shù)據(jù)的數(shù)據(jù)失真，打個(gè)比方，你備份數(shù)據(jù)恢復(fù)到現(xiàn)網(wǎng)環(huán)境，在這時(shí)間段內(nèi)，你對(duì)數(shù)據(jù)有一些增刪改，那么你備份的數(shù)據(jù)就存在失真，所以你需要熱備份，且還需要備份所有DDL和DML語句的記錄。
2、恢復(fù)的驗(yàn)證，很多公司執(zhí)行備份策略數(shù)年中，從沒進(jìn)行過恢復(fù)測試，其實(shí)真正有重大故障或?yàn)?zāi)難來臨時(shí)，你會(huì)發(fā)現(xiàn)，各種問題讓你恢復(fù)失敗，比如介質(zhì)問題、數(shù)據(jù)問題，還有操作問題。
觀點(diǎn)三：云廠商的選擇
云計(jì)算引爆了互聯(lián)網(wǎng)的發(fā)展，越來越多的企業(yè)選擇了上云，同樣可以預(yù)見，云計(jì)算的明天就像今天的電力一樣，完全成為了信息經(jīng)濟(jì)社會(huì)的基礎(chǔ)資源。因此，云廠商的選擇格外重要。對(duì)于微盟來說，事故發(fā)生后，騰訊云技術(shù)團(tuán)隊(duì)就第一時(shí)間與微盟對(duì)齊，研究制定修復(fù)方案，協(xié)助微盟將損失降到最低。刪庫事件是不幸的，但選擇騰訊云又是幸運(yùn)的，不難想象，如果沒有騰訊云的協(xié)助，后果可以想象。
觀點(diǎn)四：工程師的操守
在談工程師操守前，理一下道德、制度、法律的關(guān)系，準(zhǔn)確說靠道德和職業(yè)素養(yǎng)約束自身，靠制度規(guī)避風(fēng)險(xiǎn)，靠法律懲罰違規(guī)。其實(shí)所有風(fēng)險(xiǎn)完全靠技術(shù)來解決，成本將會(huì)非常的高昂，只有通過制度、技術(shù)，企業(yè)文化，價(jià)值觀各個(gè)方面來預(yù)防和警戒。
對(duì)于管理者來說，要使員工有所成就，意味著要把人看成是一種有著特殊的生理與心理特點(diǎn)、能力、缺陷以及擁有不同行為模式的有機(jī)樣本，還意味著要把人力資源看成是活生生的人而不是物。
對(duì)于工程師來說，需要的不僅僅的操守，更需要的是對(duì)法律的敬畏。
觀點(diǎn)五：請(qǐng)給予更多理解
在安全管理方面，微盟確實(shí)做了很多工作，對(duì)服務(wù)和數(shù)據(jù)庫的權(quán)限都有非常嚴(yán)格的限制。但是，在特殊情況下的遠(yuǎn)程辦公期間，遇到這樣的意外，實(shí)在是令人同情。據(jù)我了解，騰訊云目前正在全力以赴幫助微盟及其客戶，希望在他們的一起努力下可以早日恢復(fù)。
