Desktopグループをインストールします。

$ sudo yum groupinstall Desktop

Xorgを設定します。

$ sudo Xorg -configure
$ sudo mv /root/xorg.conf.new /etc/xorg.conf

NetworkManagerがネットワーク設定を変更しないように削除します。

$ sudo yum erase NetworkManager*

Xorgを起動します。

$ startx

参考

• CentOS 6.4 で 後から Xorg をインストール