虛擬化技術最早來自IBM大型機的分區技術，這種操作系統虛擬機技術使得用戶可在一臺主機上運行多個操作系統，同時運行多個獨立的商業應用。
隨著X86架構服務器使用越來越廣泛，基于X86架構服務器的虛擬化技術一經問世，便開始引導了通用服務器的虛擬化變革歷程。VMWare、XEN、微軟等廠家在軟件體系層面開始引領服務器虛擬化潮流。此前，虛擬化技術在 x86 架構上進展緩慢的主要原因有二：x86 架構本身不適合進行虛擬化;另一個原因則是 x86 處理器的性能不足。隨著Intel和AMD在X86架構上的不斷修改、X86處理器在性能上的飛速提高，虛擬化的的基本局限得到了解決。
服務器虛擬化的直接效果是導致數據中心具有更高的應用密度，在相同物理空間內邏輯服務器(虛擬機)數量比物理服務器大大增加。由此，服務器的總體業務處理量上升，使得服務器對外吞吐流量增大。
虛擬化計算技術已經逐步成為云計算服務的主要支撐技術，特別是在計算能力租賃、調度的云計算服務領域起著非常關鍵的作用。
在大規模計算資源集中的云計算數據中心，以X86架構為基準的不同服務器資源，通過虛擬化技術將整個數據中心的計算資源統一抽象出來，形成可以按一定粒度分配的計算資源池，如下圖所示。虛擬化后的資源池屏蔽了各種物理服務器的差異，形成了統一的、云內部標準化的邏輯CPU、邏輯內存、邏輯存儲空間、邏輯網絡接口，任何用戶使用的虛擬化資源在調度、供應、度量上都具有一致性。
虛擬化技術不僅消除大規模異構服務器的差異化，其形成的計算池可以具有超級的計算能力(如下圖所示)，一個云計算中心物理服務器達到數萬臺是一個很正常的規模。一臺物理服務器上運行的虛擬機數量是動態變化的，當前一般是4到20，某些高密度的虛擬機可以達到100:1的虛擬比(即一臺物理服務器上運行100個虛擬機)，在CPU性能不斷增強(主頻提升、多核多路)、當前各種硬件虛擬化(CPU指令級虛擬化、內存虛擬化、橋片虛擬化、網卡虛擬化)的輔助下，物理服務器上運行的虛擬機數量會迅猛增加。一個大型IDC中運行數十萬個虛擬機是可預見的，當前的云服務IDC在業務規劃時，已經在考慮這些因素。
