早上，接到客戶電話，dynamics CRM不能用了，此客戶從開始安裝程序開始二次開發期間，因電源問題導致服務器多次意外斷電，至今也不加UPS電源。前幾次，都不是很嚴重，服務器沒有大量文件損壞，操作系統還能正常，遠程都可以解決了。
此次，操作系統不正常了，看來問題大了去了。團隊人員趕過去，驚呆了。硬盤已壞了一塊，數據庫沒有備份。項目一直因種種原因沒有驗收，完全還原干凈的系統我們只要半小時，但客戶使用了一時間，有幾萬的數據。項目沒有驗收，先前管理機房人員已辭職，機房在一個全封閉的小倉庫中，沒有空調，單電源，沒有UPS。這種情況，估計再好的服務器也會在高溫時掛機。
還好服務器做的raid 5，一塊硬盤壞了沒有事，但發現在服務器不正常時，遭遇幾次意外關機，數據庫文件根本不能用，也沒有備份。
安先前經驗，重新恢復數據，處理幾次還是數據質疑，最終去了日志文件，解決了質疑問題。剛松了口氣，發現了更大問題。數據庫的數據出錯了，查詢前幾千條沒事，再多一條就報數據類型，數據值過大等錯誤。Delete，也不管用。不知各位碰到過這么神奇的問題沒，我聽說這情況就頭大了。
此時，已過了下班時間，當團隊其他人都聽說此時，全部自動到達客戶現場，包括出差剛回濟南，包括忙着別的項目，從未接觸過此項目的技術人員。大家開始討論方案，分工合作，發現select 都不能查詢導出的數據，可以通過數據庫角本生成數據。先將數據角本生成保存出來。一部分人還測試完全解決數據庫問題，另一部分人重新生成組織，做了一套全新干凈的系統，論證實驗怎樣通過角本數據還原所有數據。發現原來設計不到50人使用的系統，客戶已有200多人用CRM 與呼叫系統，4倍壓力，服務器怎么能跑動了？再深入分析數據發現，系統中有一些數據已出錯，角本不能直接有，要剔除錯誤數據，並且修正好再處理，做了很多年系統，第一次處理這樣的事。（可能以前都有備份吧）並且這樣處理，真是項目浩大工程。最后，發現數據庫不可能還原，只能手工修復數據了。
在多數公司中，如果碰到一個與自己無關工作，出現了要出很大力還不敢保證做好的事情，估計多數人會躲的遠遠的。讓我感動之處是，除了我（我在外地出差），都在現場積極處理，分工合作。做過dyanmics crm 多年的同仁們，如果給你一堆角本，剔除錯誤數據，再分析改正，還原生成到系統中，可能嗎？這此問題發生之前，我絕對不相信能搞好。但我們的團隊做到了，微軟不讓開發着動數據庫，很多人都不清楚數據放在哪，共享數據在哪，相互關聯數據怎樣生成。新組織的實體相關數據的ID是會變的。所有這些問題，都在模擬測試一步步攻克，當然團隊加班熬夜付出就不談了。
此次事件，讓學深刻學習到了，不可以太縱容客戶，實際那是不負責任的；為團隊成員感動，讓我看到團隊很強大，相信我們以后會做得更好。另一方面，對我們雲產品CRM早日上線更強烈。