OpenStack Nova 创建出来的 instance 不是所有的类型都有存储的，比如 m1.tiny: Memory: 512MB, VCPUS: 1, Storage: 0GB, FlavorID: 1, Swap: 0MB, RXTX Quota: 0GB, RXTX Cap: 0MB 的存储就是 0，也就是说关闭 m1.tiny 类型的 instance 后所有数据都会丢失。OpenStack Nova 使用 nova-volume 服务来管理存储，可以把这种服务看成云计算时代的 USB，可以随时 attach 到 instance 上做额外存储，其实现和 Amazon 的 Elastic Block Storage (EBS) 不同，nova-volume 提供的是一种基于 Linux LVM 的 iSCSI 解决方案。

Nova-volume 需要一个单独的分区做 LVM，如果系统上没有多余的分区做 LVM 的话可以用一个文件来充当硬盘，当然这种方法只能自己测试玩玩，应用到生产环境最好还是用物理硬盘上的分区做 LVM.

新建一个文件来做 LVM：

# dd if=/dev/zero of=/home/vpsee/nova-volumes.img bs=1M seek=100000 count=0
# losetup -f nova-volumes.img

# losetup -a
/dev/loop0: [fb00]:24120015 (/home/vpsee/nova-volumes.img)

# vgcreate nova-volumes /dev/loop0
  No physical volume label read from /dev/loop0
  Physical volume "/dev/loop0" successfully created
  Volume group "nova-volumes" successfully created

# pvscan 
  PV /dev/sda5    VG node01         lvm2 [465.52 GiB / 48.00 MiB free]
  PV /dev/loop0   VG nova-volumes   lvm2 [97.65 GiB / 77.65 GiB free]
  Total: 2 [563.17 GiB] / in use: 2 [563.17 GiB] / in no VG: 0 [0   ]

默认情况下 iscsitarget 软件包安装后并没有自动启动，所以需要手动配置和启动 iscsitarget 服务：

# vi /etc/default/iscsitarget
ISCSITARGET_ENABLE=true

# service iscsitarget start
 * Starting iSCSI enterprise target service

新建一个大小为 10GB 的 volume，检查一下是否创建成功（available），并把刚创建的 volume 附加到正在运行的 instance 上，附加成功后再次检查 volume 的状态就变成 in-use 了：

# euca-create-volume -s 10 -z nova
VOLUME	vol-00000003	10	creating (mycloud, None, None, None)	2011-08-30T13:20:04Z

# euca-describe-volumes 
VOLUME	vol-00000003	 10		nova	available (mycloud, node01, None, None)	2011-08-30T13:20:04Z

# euca-describe-instances 
RESERVATION	r-i5927300	mycloud	default
INSTANCE	i-00000031	ami-00000006	172.16.39.224	172.16.39.224	running	mykey.priv (mycloud, node01)	0		m1.tiny	2011-08-26T07:12:57Z	nova		

# euca-attach-volume -i i-00000031 -d /dev/vdb vol-00000003
VOLUME	vol-00000003

# euca-describe-volumes 
VOLUME	vol-00000003	 10		nova	in-use (mycloud, node01, i-00000031[node01], /dev/vdb)	2011-08-30T13:20:04Z

如果想从运行的 instance 上卸载 volume 的话用 euca-detach-volume，卸载成功的话就会看到 volume 的状态又变回 available 了：

# euca-detach-volume vol-00000003
VOLUME	vol-00000003

# euca-describe-volumes 
VOLUME	vol-00000003	 10		nova	available (mycloud, node01, None, None)	2011-08-30T13:20:04Z

这篇在 Ubuntu 上安装和配置 OpenStack Nova 的评论比较多，至少有6位网友遇到 ping 不通的问题，说实话 ping 不通的原因有很多（最常见的是 euca-authorize 授权问题），如果没有提供有用信息只是留下一句“ping 不通”很难判断问题所在，建议大家以后留言的时候尽量把自己的情况说清楚，尽量多的提供一些信息。OpenStack Nova 的网络设置很复杂，controller 上可以有多个网卡，compute 上也可以有多网卡，controller 和 compute 的网络设置还可以不同，并且每个设置还可以分为 FlatManager, FlatDHCPManager, VlanManager，每个 project 允许不同的网络设置，并且每个 user 可以创建多个 project 和 network，晕了吧-～

这里只介绍最简单的一种情况，只有一个网卡、一个 user 创建一个 project 和 network、直接使用现有的局域网 IP 地址不干扰现有网络。就是说把安装好的 OpenStack Nova Controller/Compute 并入到现有的局域网里，在 Nova 上创建的 instance 通过 bridge 使用现有局域网的 IP（而不是另建一个私有网络）。比如 VPSee 实验室现在已经有了 172.16.38.0/23 这个网络，如何利用这个网络和配置 OpenStack Nova 呢？

先检查一下 Nova 的配置文件：

$ sudo vi /etc/nova/nova.conf
--logdir=/var/log/nova
--state_path=/var/lib/nova
--lock_path=/var/lock/nova
--verbose
--s3_host=172.16.39.111
--rabbit_host=172.16.39.111
--cc_host=172.16.39.111
--ec2_url=http://172.16.39.111:8773/services/Cloud
--FAKE_subdomain=ec2
--sql_connection=mysql://root:[email protected]/nova
--glance_host=172.16.39.111
--image_service=nova.image.glance.GlanceImageService
--my_ip=172.16.39.111
--network_manager=nova.network.manager.FlatManager
--fixed_range=172.16.38.0/23
--num_networks=1
--flat_injected=true

看看 bridge 网卡配置是否正确：

$ sudo vi /etc/network/interfaces
auto lo
iface lo inet loopback

auto br100
iface br100 inet static
address 172.16.39.111
netmask 255.255.254.0
gateway 172.16.38.1
bridge_ports eth0
bridge_stp off
bridge_maxwait 0
bridge_fd 0

如果修改了上面的配置需要重启 Nova 的各个模块和 Ubuntu 的网络，怕麻烦的话还是直接重启系统吧：

$ sudo reboot

如果 nova-manage network list 发现有以前留下的网络需要 delete 掉，删除所有以前残留的网络然后重新创建一个 172.16.38.0/23 新网络：

$ sudo nova-manage network delete 192.168.3.0/24 1 255

$ sudo nova-manage network create 172.16.38.0/23 1 512

$ sudo nova-manage network list
network           	netmask        	start address  	DNS            
172.16.38.0/23    	255.255.254.0  	172.16.38.2    	8.8.4.4

因为有些 IP 地址是我们局域网正在用的，新建的 VM 不能占用这些 IP，所以需要划分一些 IP 留给 OpenStack Nova 用，需要进入数据库后修改 fixed_ips 这个表的 reserved 为 0，比如我们想把 172.16.39.222-226 这5个 IP 留给 OpenStack Nova instances：

$ mysql -u root -p
Enter password: 
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 135
Server version: 5.1.54-1ubuntu4 (Ubuntu)

Copyright (c) 2000, 2010, Oracle and/or its affiliates. All rights reserved.
This software comes with ABSOLUTELY NO WARRANTY. This is free software,
and you are welcome to modify and redistribute it under the GPL v2 license

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> use nova;
Database changed

mysql> update fixed_ips set reserved = '1';
Query OK, 6 rows affected (0.00 sec)
Rows matched: 1448  Changed: 6  Warnings: 0

mysql> update fixed_ips set reserved = '0' where address='172.16.39.222';
mysql> update fixed_ips set reserved = '0' where address='172.16.39.223';
mysql> update fixed_ips set reserved = '0' where address='172.16.39.224';
mysql> update fixed_ips set reserved = '0' where address='172.16.39.225';
mysql> update fixed_ips set reserved = '0' where address='172.16.39.226';

重启 OpenStack Nova 的各个模块，然后新建一个 ubuntu instance 测试一下是否得到了正确的 IP 并能 ping 通网关（172.16.38.1）。

因为 Python 的版本问题，在 CentOS 5.6 上安装 OpenStack 不是件容易的事情，因为 OpenStack 是 Python 2.6 写的，CentOS 5.6 上默认的是 Python 2.4 的环境，一些关键工具（比如 yum 等）和依赖关系都需要 2.4，不容易直接升级到 2.6，所以要在 CentOS 上安装 OpenStack 的话简单的办法是直接用 CentOS 6.0（默认是 Python 2.6）. OpenStack 的基本介绍以及如何在 Ubuntu 上安装 OpenStack Nova 可以看：在 Ubuntu 上安装和配置 OpenStack Nova. 对云计算平台感兴趣的朋友可以看看另一个开源的云计算系统：在 CentOS 上安装和配置 OpenNebula.

安装和配置基本系统

在安装完基本的 CentOS 6.0 系统后（最小化安装）升级和更新整个系统，然后关闭 SELINUX 后重启，为了简单方便最好也关闭 iptables：

# yum update
# yum upgrade

# vi /etc/sysconfig/selinux
SELINUX=disabled

# chkconfig iptables off
# service iptables stop

# shutdown -r now

安装 OpenStack Nova

下载和安装 OpenStack 源：

# wget http://yum.griddynamics.net/yum/diablo-3/openstack/openstack-repo-2011.3-0.3.noarch.rpm
# rpm -ivh openstack-repo-2011.3-0.3.noarch.rpm

OpenStack Nova 需要在控制结点（Cloud Controller）和计算结点（Cloud Compute）上都安装和启用 libvirtd：

# yum install libvirt
# chkconfig libvirtd on
# service libvirtd start

如果服务器用来做 Cloud Controller 结点需要安装（OpenStack Nova 云里至少要有一台服务器作为控制结点）：

# yum install euca2ools openstack-nova-node-full unzip

如果服务器只是做 Cloud Compute 结点则需要在每个计算结点上都安装（理论上 OpenStack Nova 云里可以有无数个计算结点）：

# yum install openstack-nova-node-compute

配置 MySQL 数据库

OpenStack Nova 需要数据库的支持，这里用的是 MySQL：

# service mysqld start
# chkconfig mysqld on
# service rabbitmq-server start
# chkconfig rabbitmq-server on

修改 MySQL 绑定地址，以便其他的节点服务器也能访问这个数据库：

# vi /etc/my.cnf
...
#bind-address           = 127.0.0.1
bind-address            = 0.0.0.0
...

# service mysql restart

创建一个名为 nova 的数据库，并设置 root 从任何 IP 访问的权限和密码：

# mysql -uroot -ppassword -e 'CREATE DATABASE nova;'
# mysql -uroot -ppassword -e "GRANT ALL PRIVILEGES ON *.* TO \
'root'@'%' WITH GRANT OPTION;"
# mysql -uroot -ppassword -e "SET PASSWORD FOR \
'root'@'%' = PASSWORD('password');"

配置 Nova：

$ sudo vi /etc/nova/nova.conf
--verbose=false
--ec2_url=http://172.16.39.111:8773/services/Cloud
--s3_host=172.16.39.111
--cc_host=172.16.39.111
--rabbit_host=172.16.39.111
--sql_connection=mysql://nova:[email protected]/nova
--glance_api_servers=172.16.39.111:9292
--use_s3=true
--libvirt_type=kvm
--use_syslog=false
--node_availability_zone=nova
--logdir=/var/log/nova
--logging_context_format_string=%(asctime)s %(name)s: %(levelname)s [%(request_id)s %(user)s %(project)s] %(message)s
--logging_default_format_string=%(asctime)s %(name)s: %(message)s
--logging_debug_format_suffix=
--use_cow_images=true
--auth_driver=nova.auth.dbdriver.DbDriver
--network_manager=nova.network.manager.VlanManager
--scheduler_driver=nova.scheduler.zone.ZoneScheduler
--image_service=nova.image.glance.GlanceImageService
--use_ipv6=false
--ca_path=/var/lib/nova/CA
--keys_path=/var/lib/nova/keys
--images_path=/var/lib/nova/images
--buckets_path=/var/lib/nova/buckets
--instances_path=/var/lib/nova/instances
--networks_path=/var/lib/nova/networks
--dhcpbridge_flagfile=/etc/nova/nova.conf
--dhcpbridge=/usr/bin/nova-dhcpbridge
--injected_network_template=/usr/share/nova/interfaces/
--libvirt_xml_template=/usr/share/nova/libvirt.xml.template
--vpn_client_template=/usr/share/nova/client.ovpn.template
--credentials_template=/usr/share/nova/novarc.template
--state_path=/var/lib/nova
--lock_path=/var/lib/nova/tmp
--vnc_enabled=true
--vncproxy_url=http://172.16.39.111:6080
--vncserver_host=0.0.0.0
--vnc_token_ttl=300

每次重启一堆服务很麻烦，写个脚本方便重启 nova 所有服务：

# vi nova-restart-all.sh
#!/bin/bash
for n in api compute network objectstore scheduler vncproxy; do service openstack-nova-$n restart; done
service openstack-glance-api restart
service openstack-glance-registry restart

# chmod +x nova-restart-all.sh

# ./nova-restart-all.sh

使用 Nova

接下来的步骤和在 Ubuntu 上安装和配置 OpenStack Nova 差不多，这里就不再赘述：

# nova-manage db sync
# nova-manage network create 192.168.0.0/24 1 255
# nova-manage floating create 10.10.10.2 10.10.10.224/27
# nova-manage user admin vpsee
# nova-manage project create mycloud vpsee

导出权限信息：

# mkdir /home/vpsee/creds
# nova-manage project zipfile mycloud vpsee /home/vpsee/creds/novacreds.zip

# cd /home/vpsee/creds
# unzip novacreds.zip
# chown -R vpsee:vpsee /home/vpsee/creds/

# source /home/vpsee/creds/novarc

再次重启 nova 相关的所有服务：

# ./nova-restart-all.sh

如果一切正常的话，应该可以看到下面的类似信息，这样 OpenStack Nova 就成功安装了：

# euca-describe-availability-zones verbose
AVAILABILITYZONE	nova	available
AVAILABILITYZONE	|- node00	
AVAILABILITYZONE	| |- nova-network	enabled :-) 2011-08-16 19:28:13
AVAILABILITYZONE	| |- nova-compute	enabled :-) 2011-08-16 19:28:22
AVAILABILITYZONE	| |- nova-scheduler	enabled :-) 2011-08-16 19:28:14

启动第一个实例

启动实例之前需要先上传一个系统模版（称之为镜像 image），自己制作 image 有点麻烦，可以参考：为 OpenStack Nova 制作 Ubuntu 镜像 和 为 OpenStack Nova 制作 Windows 镜像。

有了 image 后就可以启动实例了，就像在 C++/Java 等面向对象语言里面有了类（class）以后可以创建实例（instance）一样，这里有了 OS image 以后就可以创建 OS instance 了。启动和访问实例可以看这篇 的相关部分。

正在准备这篇博客的时候有位朋友刚好在 在 Ubuntu 上安装和配置 OpenStack Nova 里问到一个类似的问题：

koory – July 19th, 2011 10:18 am
vpsee你好!实例资源如何修改，实例默认启动内存都是512M,我想修改成1G,怎么操作?

OpenStack Nova 默认提供了一些虚拟机配置的实例类型，比如：

$ sudo nova-manage instance_type list
m1.medium: Memory: 4096MB, VCPUS: 2, Storage: 40GB, FlavorID: 3, Swap: 0GB, RXTX Quota: 0GB, RXTX Cap: 0MB
m1.large: Memory: 8192MB, VCPUS: 4, Storage: 80GB, FlavorID: 4, Swap: 0GB, RXTX Quota: 0GB, RXTX Cap: 0MB
m1.tiny: Memory: 512MB, VCPUS: 1, Storage: 0GB, FlavorID: 1, Swap: 0GB, RXTX Quota: 0GB, RXTX Cap: 0MB
m1.xlarge: Memory: 16384MB, VCPUS: 8, Storage: 160GB, FlavorID: 5, Swap: 0GB, RXTX Quota: 0GB, RXTX Cap: 0MB
m1.small: Memory: 2048MB, VCPUS: 1, Storage: 20GB, FlavorID: 2, Swap: 0GB, RXTX Quota: 0GB, RXTX Cap: 0MB

新建一个云实例（云虚拟机或云 VPS）的时候就从这些实例配置类型里面选择一个配置，然后以这个配置来启动云实例，这些默认的实例类型是固定的，内存、CPU、硬盘等参数都是固定的，默认只有5个类型：m1.small, m1.tiny, m1.medium, m1.large 和 m1.xlarge. 如果我们需要一个 256MB，硬盘 10GB，VCPU 1个的云实例怎么办呢？可以用 nova-manage instance_type create 创建一个新的实例类型，比如创建一个名字为 m1.xtiny 的新类型：

$ sudo nova-manage instance_type create m1.xtiny 256 1 10 0 0 0
m1.xtiny created

上面 256 1 10 0 0 0 这一串分别表示：内存，VCPU，硬盘大小，SWAP 大小，RXTX quotas 和 RXTX cap. 如果不记得这些参数的顺序的话，可以看看联机的 nova-manage instance_type create 帮助说明：

$ sudo nova-manage instance_type create
Possible wrong number of arguments supplied
instance_type create: Creates instance types / flavors
           arguments: name memory vcpus local_gb flavorid [swap] [rxtx_quota]
                      [rxtx_cap]

然后查看一下 m1.xtiny 是否创建成功：

$ sudo nova-manage instance_type list
...
m1.xtiny: Memory: 256MB, VCPUS: 1, Storage: 10GB, FlavorID: 0, Swap: 0GB, RXTX Quota: 0GB, RXTX Cap: 0MB
...

如果想删除刚刚创建的 m1.xtiny 也很容易：

$ sudo nova-manage instance_type delete m1.xtiny
m1.xtiny deleted

OpenStack 基于 Web 的管理控制台 OpenStack Dashboard 是用 Python 和 Django 框架写的，部署到生产环境比较麻烦，没有基于 PHP 的 web 程序那么直观，不过 OpenStack Dashboard 项目正在快速开发中，还不稳定，一般不会用到生产环境，所以想试玩的话用 Django 自带的 web server 就可以了。如果想部署到生产环境建议用 apache + mod_wsgi 的方式，这也是 django 官方建议部署 django app 的方式。

安装版本控制工具和 python 虚拟环境：

$ sudo apt-get install -y git bzr
$ sudo easy_install virtualenv

下载 openstack dashboard 源代码并运行 run_tests.sh：

$ git clone https://github.com/4P/openstack-dashboard.git
$ cd openstack-dashboard
$ sudo sh run_tests.sh

如果上面的最新 git 代码不好用，需要找旧版本的 openstack dashboard，需要使用 bzr 从 launchpad 下载（今年6月份 openstack dashboard 项目从 launchpad 移到 github）。最新的 64 版本使用了最新的 django 1.3，安装没问题但是访问的时候显示 ViewDoesNotExist 错误，所以 VPSee 建议使用旧的 46 版本（django 1.2.4）：

$ bzr init-repo .
$ bzr branch lp:openstack-dashboard
$ cd openstack-dashboard
$ bzr revert -r 46
$ sudo sh run_tests.sh

安装脚本里用到了 git，如果你的网络环境需要代理才能上网的话需要配置一下 git 使用 http 代理服务器。

对照 在 Ubuntu 上安装和配置 OpenStack Nova 一文并在 /home/vpsee/creds/novarc 文件里找到 NOVA_ACCESS_KEY, NOVA_SECRET_KEY 等相关信息填写以下参数：

$ vi openstack-dashboard/local/local_settings.py
...
NOVA_DEFAULT_ENDPOINT = 'http://172.16.39.111:8773/services/Cloud'
NOVA_DEFAULT_REGION = 'nova'
NOVA_ACCESS_KEY = '22781cf0-b8b6-44e8-86c8-baf8d3827662:mycloud'
NOVA_SECRET_KEY = '2dc4007f-3425-417b-a598-33a190d2f995'
NOVA_ADMIN_USER = 'vpsee'
NOVA_PROJECT = 'mycloud'
...

同步数据库的时候需要创建一个 superuser 访问 django web：

$ source .dashboard-venv/bin/activate

$ sudo tools/with_venv.sh dashboard/manage.py syncdb
Creating table auth_permission
...
Creating table registration_registrationprofile

You just installed Django's auth system, which means you don't have any superusers defined.
Would you like to create one now? (yes/no):

$ sudo tools/with_venv.sh dashboard/manage.py runserver 172.16.39.111:8000
Validating models...
0 errors found

Django version 1.2.4, using settings 'dashboard.settings'
Development server is running at http://172.16.39.111:8000/
Quit the server with CONTROL-C.

现在打开浏览器输入 http://172.16.39.111:8000/ 就应该可以看到登录界面，输入刚才创建的 superuser 的用户名和密码后就可以进入控制台了。控制台的功能有限，没有命令行那么丰富，不过基本的创建、查看、关闭 instance 功能还是有的：

上次 VPSee 给 OpenStack Nova 制作 Ubuntu 镜像的时候忘了介绍制作 Windows 镜像和在 Nova 上运行 Windows 虚拟机的情况，前几天刚好有人在微薄上问到这个问题。在 Nova 上运行 Windows 的虚拟机其实很容易，和运行 Linux 虚拟机差不多：先制作一个 Windows 虚拟机镜像（模板），然后再以这个镜像为模板来创建 Windows 虚拟机（实例）。

安装 Windows 镜像

创建一个 10GB 大小的 “硬盘”（raw 格式）：

$ kvm-img create -f raw windowsxp.img 10G
Formatting 'windowsxp.img', fmt=raw size=10737418240

openstack 启动虚拟机实例的时候使用的是 virtio 接口，但是 windows 默认没有这个接口的驱动，所以需要额外的驱动。然后使用 ISO 文件的 windowsxp.iso 安装盘来安装 Windows：

$ wget http://alt.fedoraproject.org/pub/alt/virtio-win/latest/images/bin/
virtio-win-1.1.16.vfd

$ sudo kvm -m 1024 -cdrom windowsxp.iso -drive file=windowsxp.img,if=virtio,boot=on \
-fda virtio-win-1.1.16.vfd -boot d -nographic -vnc :0

在另外一台机器上使用 vnc 客户端就可以看到 windows 安装过程和进行操作：

$ vncview 172.16.39.111:5900

安装完 windows 后可以进行一些必要的定制，比如打开 RDP 访问、设置防火墙不要屏蔽 RDP 等，这时候也可以安装一些必要软件，要注意的是这个是以后的模板，要尽量保持系统原样，最好不要做定制也不要装任何软件，可以留给客户自己做，定制这东西每个人口味都不同。

发布 Windows 镜像

windows 虚拟机镜像做好以后就可以发布到云里了，注册镜像后会得到一个标志符 ami-00000004，以后就用这个 ami-00000004 来识别云里面的镜像（还记得我们上次做的 ubuntu 镜像的标志符是 ami-00000003 吗？）：

$ euca-bundle-image -i windowsxp.img 
Checking image
Encrypting image
Splitting image...
Part: windowsxp.img.part.00
Part: windowsxp.img.part.01
...
Part: windowsxp.img.part.65
Generating manifest /tmp/windowsxp.img.manifest.xml

$ euca-upload-bundle -b mybucket -m /tmp/windowsxp.img.manifest.xml 
Checking bucket: mybucket
Uploading manifest file
Uploading part: windowsxp.img.part.00
...
Uploading part: windowsxp.img.part.65
Uploaded image as mybucket/windowsxp.img.manifest.xml

$ euca-register mybucket/windowsxp.img.manifest.xml
IMAGE	ami-00000004

检验一下 windows 镜像是否上传成功，ami-00000004 就是我们刚做的 windows 镜像：

$ euca-describe-images
IMAGE	aki-00000001	mybucket/vmlinuz-2.6.32-28-server.manifest.xml		available	public		x86_64	kernel	 	 
IMAGE	ari-00000002	mybucket/initrd.img-2.6.32-28-server.manifest.xml		available	public		x86_64	ramdisk	 	 
IMAGE	ami-00000003	mybucket/ubuntutemplate.img.manifest.xml		available	public		x86_64	machine	aki-00000001	ari-00000002
IMAGE	ami-00000004	mybucket/windowsxp.img.manifest.xml		untarring	public		x86_64	machine

第一个 Windows 虚拟机实例

有了这个 windows 模板（镜像）以后我们就可以以这个 “镜像” 为模板来为云计算用户创建 n 个 windows 虚拟机，运行之前需要 key：

$ euca-describe-keypairs 
KEYPAIR	mykey	76:7d:93:88:a0:e5:3e:5d:4b:62:cd:85:c5:23:7a:05

$ euca-run-instances -k mykey -t m1.small ami-00000004
RESERVATION	r-er0zkjm7	mycloud	default
INSTANCE	i-00000003	ami-00000004			scheduling	mykey (mycloud, None)	0	m1.small	2011-06-20T14:08:45Z	unknown zone

然后用 nova-manage 命令检查是否成功运行 windows 虚拟机，状态栏 state 应该是 running 状态：

$ sudo nova-manage vm list
instance   node            type       state      launched            image        kernel       ramdisk       project    user       zone       index
i-00000003 node01           running    2011-06-20 14:12:49 7                                       mycloud    vpsee       None       0

大功告成，用一个 RDP 客户端连接 windows 就可以了（这个 windows 云虚拟机使用的是内部 IP）：

# rdesktop 192.168.3.4

最近超级忙，被 Mesh Potato 的项目折腾的不行，发现只要什么东西沾上 “分布式、集群” 这些东西事情就变得格外复杂，一台 Asterisk 服务器做 VoIP 容易，n 台 Asterisk 服务器做集群就不容易；一台 Xen/KVM 服务器做虚拟机容易，n 台 Xen/KVM 服务器做云计算就不是那么容易。上星期我们介绍了在 Ubuntu 上安装和配置 OpenStack Nova，今天来进一步介绍如何在 OpenStack Nova 环境里制作虚拟机模板（镜像）以及创建虚拟机运行实例（以 Ubuntu 为例子）。为了和我们平时说的 “VMware/Xen/KVM/VirtualBox 虚拟机” 区分开，VPSee 在这里把在 OpenStack Nova、OpenNebula 这样的云计算平台上运行的虚拟机称为 “云虚拟机”。简单说在 OpenStack Nova 平台上运行一个 ubuntu 虚拟机的流程是：先制作一个 ubuntu 虚拟机镜像（模板），然后再以这个镜像为模板来创建 ubuntu 虚拟机（实例）。

安装 Ubuntu 镜像

首先下载要安装的 ubuntu 版本：

$ wget http://releases.ubuntu.com/lucid/ubuntu-10.04.2-server-amd64.iso

创建一个 10GB 大小的 “硬盘”（raw 格式）：

$ kvm-img create -f raw ubuntu.img 10G
Formatting 'ubuntu.img', fmt=raw size=10737418240

使用刚才下载的 ubuntu “安装盘” 和刚创建的 “硬盘” 引导启动系统，为了简单起见，VPSee 在这里使用 kvm 虚拟技术，避开 xen 繁琐的配置。-vnc 参数代表打开 vnc 访问，以便可以用其他机器远程登录到这个引导界面进行安装操作：

$ sudo kvm -m 512 -cdrom ubuntu-10.04.2-server-amd64.iso \
-drive file=ubuntu.img -boot d -nographic -vnc :0

用 vncviewer 登录引导界面后按照屏幕的提示完成 ubuntu 的安装工作（和在自己电脑上安装 ubuntu 过程一样）。需要注意的是在分区阶段把 10GB 硬盘全部划分成一个 ext4 root 分区，不要创建多个分区也不要创建 swap 区：

$ vncviewer 172.16.39.111:5900

安装完后退出（必要时 kill 掉 kvm 进程），按照下面命令启动刚刚安装好的虚拟机镜像 ubuntu.img，如果出现 failed to find romfile “pxe-rtf8139.bin” 的错误提示可以通过安装 kvm-pxe 解决：

$ sudo kvm -m 512 -drive file=ubuntu.img -boot c -nographic -vnc :0
kvm: pci_add_option_rom: failed to find romfile "pxe-rtl8139.bin"

$ sudo apt-get install kvm-pxe

再次用 vnc 登录虚拟机镜像，安装一些必要工具（因为这个镜像将会是模板，所以最好保持最简最小化，不要乱装东西）：

$ vncviewer 172.16.39.111:5900

$ sudo apt-get update
$ sudo apt-get upgrade
$ sudo apt-get install openssh-server cloud-init

70-persistent-net.rules 会自动添加其他的网络接口，需要删除这个文件避免自动添加除了 eth0 以外的接口。删除后系统基本就准备好了，关闭虚拟机：

$ sudo rm -rf /etc/udev/rules.d/70-persistent-net.rules

$ sudo shutdown -h now

调整 Ubuntu 镜像

因为 OpenStack 只接受 ext4 文件系统格式的镜像，所以需要把上面创建的 raw 镜像（kvm-img create -f raw）转换成 ext4 镜像。下面的步骤用来找出镜像文件里面的分区起点是从哪里开始的：

$ sudo losetup -f ubuntu.img 
$ sudo losetup -a
/dev/loop0: [fb00]:24117291 (/home/vpsee/ubuntu.img)

$ sudo fdisk -cul /dev/loop0

Disk /dev/loop0: 10.7 GB, 10737418240 bytes
255 heads, 63 sectors/track, 1305 cylinders, total 20971520 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x000502e6

      Device Boot      Start         End      Blocks   Id  System
/dev/loop0p1   *        2048    20969471    10483712   83  Linux

上面最后一行显示分区是从扇区（sector）2048开始的，每个扇区是512个字节，所以是从 2048 x 512 = 1048576个字节开始的。记住这个1048576，下面会用到。

卸载 loop 后重新从1048576字节开始挂载：

$ sudo losetup -d /dev/loop0

$ sudo losetup -f -o 1048576 ubuntu.img 
$ sudo losetup -a
/dev/loop0: [fb00]:24117291 (/home/vpsee/ubuntu.img), offset 1048576

把这整个分区拷贝到一个新文件就是一个我们要的 ext4 文件系统镜像：

$ sudo dd if=/dev/loop0 of=ubuntutemplate.img
20969472+0 records in
20969472+0 records out
10736369664 bytes (11 GB) copied, 107.455 s, 99.9 MB/s

用完 loop 后记得卸载：

$ sudo losetup -d /dev/loop0

挂载（mount）刚创建的 ext4 文件系统镜像，并修改分区加载表（/etc/fstab），注释或删除以前的，加上 UUID=uec-rootfs 一行：

$ sudo mount -o loop ubuntutemplate.img /mnt

$ sudo vi /mnt/etc/fstab
#UUID=1dc3a59e-faab-41ee-b232-3300163676bf / ext4 errors=remount-ro 0 1
UUID=uec-rootfs                           / ext4 defaults          0 0

把内核（vmlinuz）和内存盘（initrd）文件拷贝出来以便后面和虚拟机镜像一起发布到OpenStack 云里。使用完虚拟机镜像后记得卸载（unmount）：

$ sudo cp /mnt/boot/vmlinuz-2.6.32-28-server /home/vpsee/
$ sudo cp /mnt/boot/initrd.img-2.6.32-28-server /home/vpsee/

$ sudo umount /mnt

把刚才的虚拟机镜像 ubuntutemplate.img 的文件系统标志改成 ‘uec-rootfs’：

$ sudo tune2fs -L uec-rootfs ubuntutemplate.img 
tune2fs 1.41.14 (22-Dec-2010)

发布 Ubuntu 镜像

好了，ubuntu 镜像已经做好了，现在可以发布到云里了，需要3个东西，虚拟机的内核文件、虚拟机的内存盘文件和虚拟机镜像文件：

$ uec-publish-image -t image --kernel-file vmlinuz-2.6.32-28-server \
--ramdisk-file initrd.img-2.6.32-28-server amd64 ubuntutemplate.img mybucket
ami-00000006	mybucket/ubuntutemplate.img.manifest.xml

等待一段时间后出现 ami-00000006 mybucket/ubuntutemplate.img.manifest.xml 表示我们刚制作的 ubuntu 镜像已经正式发布到云里，以后就可以以这个镜像为模板来快速生成虚拟机实例（instance）。可以通过 euca-describe-images 来查看：

$ euca-describe-images

IMAGE	aki-00000001	mybucket/vmlinuz-2.6.32-28-server.manifest.xml		availablpublic		x86_64	kernel	 	 
IMAGE	ari-00000002 	mybucket/initrd.img-2.6.32-28-server.manifest.xml		available	public		x86_64	ramdisk	 	 
IMAGE	ami-00000003	mybucket/ubuntutemplate.img.manifest.xml		untarring	public		x86_64	machine	aki-00000001	ari-00000002

第一个 Ubuntu 虚拟机实例

有了 ubuntu 镜像（模板）以后我们就可以以这个 “镜像” 为模板来为云计算用户创建 n 个 ubuntu 虚拟机（操作系统）实例，不过在运行实例之前需要 key：

$ euca-add-keypair mykey > mykey.priv
$ chmod 600 mykey.priv 

$ euca-describe-keypairs
KEYPAIR	mykey	76:7d:93:88:a0:e5:3e:5d:4b:62:cd:85:c5:23:7a:05

$ euca-run-instances -k mykey -t m1.tiny ami-00000003
RESERVATION	r-n0lpdme5	vpseecloud	default
INSTANCE	i-00000001	ami-00000003			scheduling	mykey (vpseecloud, None)	0		m1.tin2011-05-20T14:00:34Z	unknown zone

上面使用 euca-run-instances 创建一个实例后可以用 nova-manage 命令看到：

$ sudo nova-manage vm list
instance   node            type       state      launched            image        kernel       ramdisk       project    user       zone       index
i-00000001 node01           launching  None                3            1            2             vpseecloud    vpsee       None       0

还记得上篇：在 Ubuntu 上安装和配置 OpenStack Nova 的创建网络部分吗？可以看看现在的云里面 IP 分配情况：

$ sudo nova-manage network list
network           	netmask        	start address  	DNS            
192.168.3.0/25    	255.255.255.128	192.168.3.3    	None           

刚才用 euca-run-instances 启动的一个 ubuntu 虚拟机实例的 IP 就是从 192.168.3.3 开始的，所以 ssh 登录这个 IP 就登上了我们的第一个云虚拟机：）

$ ssh 192.168.3.3
vpsee@i-00000001:~$ 

想制作 CentOS 虚拟机镜像的话可以看：为 OpenStack Nova 制作 CentOS 镜像；想制作 Windows 虚拟机镜像的话可以看：为 OpenStack Nova 制作 Windows 镜像。

OpenStack 是由 Rackspace 和 NASA 共同开发的云计算平台，帮助服务商和企业内部实现类似于 Amazon EC2 和 S3 的云基础架构服务（Infrastructure as a Service, IaaS）。OpenStack 包含两个主要模块：Nova 和 Swift，前者是 NASA 开发的虚拟服务器部署和业务计算模块；后者是 Rackspack 开发的分布式云存储模块，两者可以一起用，也可以分开单独用。OpenStack 是开源项目，除了有 Rackspace 和 NASA 的大力支持外，后面还有包括 Dell, Citrix, Cisco, Canonical 这些重量级公司的贡献和支持，发展速度非常快，有取代另一个业界领先开源云平台 Eucalyptus 的态势。

OpenStack 是 Python 2.6 写的，CentOS 5.6 上默认的是 Python 2.4 的环境并且还有很多依赖关系不容易升级到 2.6，所以在 Ubuntu 上安装会简单一些，而且 Ubuntu 是 OpenStack 的官方首选系统，文档都是按 Ubuntu 写的，所以这里 VPSee 采用最新的 Ubuntu 11.04 Server 64bit 版本来安装和配置 OpenStack Nova. 使用 CentOS 的朋友可以看看：在 CentOS 上安装和配置 OpenStack Nova；如果对其他类似的开源云计算平台感兴趣的话可以看看：在 CentOS 上安装和配置 OpenNebula.

配置网络

在安装完基本的 Ubuntu 11.04 Server 系统后升级和更新整个系统，安装完 bridge-utils 包后重启系统：

$ sudo apt-get update
$ sudo apt-get upgrade

$ sudo apt-get install bridge-utils

$ sudo reboot

配置网桥：

$ sudo vi /etc/network/interfaces

auto lo
iface lo inet loopback

auto eth0
iface eth0 inet static
address 172.16.39.111
netmask 255.255.254.0
gateway 172.16.38.1

auto br100
iface br100 inet static
bridge_ports eth1
bridge_stp off
bridge_maxwait 0
bridge_fd 0
address 192.168.0.1
netmask 255.255.0.0
broadcast 192.168.255.255

关于 FlatManager 网络配置可参考：OpenStack Nova 安装后的 FlatManager 网络配置。

安装 NTP 服务

OpenStack Nova 需要 NTP 服务器来保持所有节点服务器（Cloud Compute）的时间同步，所以需要在前端控制服务器（Cloud Controller）上安装 NTP 服务器，然后在节点服务器上安装 NTP 客户端保持与前端的同步：

$ sudo apt-get install ntp

$ sudo vi /etc/ntp.conf
server 127.127.1.0
fudge 127.127.1.0 stratum 10

$ sudo /etc/init.d/ntp restart

安装和配置 MySQL 数据库

OpenStack Nova 需要数据库的支持，这里选用 MySQL（当然也可以用其他的数据库，比如 PostgreSQL 等）：

$ sudo apt-get install mysql-server

修改 MySQL 绑定地址，以便其他的节点服务器也能访问这个数据库：

$ sudo vi /etc/mysql/my.cnf
...
#bind-address           = 127.0.0.1
bind-address            = 0.0.0.0
...

$ sudo /etc/init.d/mysql restart

创建一个名为 nova 的数据库，并设置 root 从任何 IP 访问的权限和密码：

$ sudo mysql -uroot -ppassword -e 'CREATE DATABASE nova;'
$ sudo mysql -uroot -ppassword -e "GRANT ALL PRIVILEGES ON *.* TO \
'root'@'%' WITH GRANT OPTION;"
$ sudo mysql -uroot -ppassword -e "SET PASSWORD FOR \
'root'@'%' = PASSWORD('password');"

安装 Glance 镜像服务

Glance 是个镜像服务器，用来给 OpenStack Nova 提供操作系统镜像（image）服务，提供可选择的操作系统模版（镜像）。

$ sudo apt-get install glance

安装 OpenStack Nova

OpenStack Nova 已经进入 Ubuntu 11.04 源，所以直接安装就可以了，不必源码安装：

$ sudo apt-get install rabbitmq-server nova-common nova-doc python-nova 
nova-api nova-network nova-volume nova-objectstore nova-scheduler nova-compute

$ sudo apt-get install -y euca2ools

$ sudo apt-get install -y unzip

配置 Nova：

$ sudo vi /etc/nova/nova.conf
--dhcpbridge_flagfile=/etc/nova/nova.conf
--dhcpbridge=/usr/bin/nova-dhcpbridge
--logdir=/var/log/nova
--state_path=/var/lib/nova
--lock_path=/var/lock/nova
--verbose
--s3_host=172.16.39.111
--rabbit_host=192.168.0.1
--cc_host=192.168.0.1
--ec2_url=http://172.16.39.111:8773/services/Cloud
--fixed_range=192.168.0.0/16
--network_size=8
--FAKE_subdomain=ec2
--routing_source_ip=192.168.0.1
--sql_connection=mysql://root:[email protected]/nova
--glance_host=192.168.0.1
--image_service=nova.image.glance.GlanceImageService

重启 nova 相关服务以便设置生效：

$ sudo restart libvirt-bin; sudo restart nova-network; 
sudo restart nova-compute; sudo restart nova-api; 
sudo restart nova-objectstore; sudo restart nova-scheduler; 
sudo restart nova-volume; sudo restart glance-api; sudo restart glance-registry

使用 Nova

开始使用 Nova 前需要创建 nova 数据库表、创建网络、创建管理员帐号、创建云并联到刚才创建的管理员上：

$ sudo nova-manage db sync
$ sudo nova-manage network create 192.168.0.0/24 1 255
$ sudo nova-manage floating create 10.10.10.2 10.10.10.224/27
$ sudo nova-manage user admin vpsee
$ sudo nova-manage project create mycloud vpsee

因为多个管理员可以创建多个不同的云，所以某个云的管理员需要特定的权限才能访问和管理自己的 Nova 云，创建权限信息，并解压到自己的目录里，需要注意的是每次使用 nova 管理云的时候都需要读取 novarc 里面的配置信息：

$ mkdir /home/vpsee/creds
$ sudo nova-manage project zipfile mycloud vpsee /home/vpsee/creds/novacreds.zip

$ cd /home/vpsee/creds
$ unzip novacreds.zip
$ sudo chown -R vpsee:vpsee /home/vpsee/creds/

$ source /home/vpsee/creds/novarc

每次用 nova 的时候都要用到 novarc 里面的环境变量，每次 source novarc 很麻烦，所以最好加到 .bashrc 里面：

$ cat  /home/vpsee/creds/novarc >> /home/vpsee/.bashrc
$ source /home/vpsee/.bashrc

再次重启 nova 相关的所有服务：

$ sudo restart libvirt-bin; sudo restart nova-network; 
sudo restart nova-compute; sudo restart nova-api; 
sudo restart nova-objectstore; sudo restart nova-scheduler;
sudo restart nova-volume; sudo restart glance-api; sudo restart glance-registry

如果一切正常的话，应该可以打印出如下的类似信息：

$ euca-describe-availability-zones verbose
AVAILABILITYZONE	nova	available
AVAILABILITYZONE	|- node00
AVAILABILITYZONE	| |- nova-scheduler	enabled :-) 2011-05-22 10:32:31
AVAILABILITYZONE	| |- nova-network	enabled :-) 2011-05-22 10:32:32
AVAILABILITYZONE	| |- nova-compute	enabled :-) 2011-05-22 10:32:24

如果出现这个问题，检查 novarc 这个文件看看 EC2_URL, S3_URL, NOVA_URL 这三行是不是有两个连续的 http://？

$ euca-describe-availability-zones verbose
invalid literal for int() with base 10: ''

$ vi /home/vpsee/creds/novarc
...
export EC2_URL="http://http://172.16.39.100:8773/services/Cloud"
export S3_URL="http://http://172.16.39.100:3333"
...
export NOVA_URL="http://http://172.16.39.100:8774/v1.1/"
...

删除一个 http:// 就可以了：

$ vi /home/vpsee/creds/novarc
...
export EC2_URL="http://172.16.39.100:8773/services/Cloud"
export S3_URL="http://172.16.39.100:3333"
...
export NOVA_URL="http://172.16.39.100:8774/v1.1/"
...

启动第一个实例

启动实例之前需要先上传一个系统模版，我们称之为镜像（image），自己制作操作系统镜像有点麻烦（请看：为 OpenStack Nova 制作 Ubuntu 镜像，为 OpenStack Nova 制作 CentOS 镜像 和 为 OpenStack Nova 制作 Windows 镜像。），这里直接使用一个已经做好的 Ubuntu 10.10 版本镜像，下载已经做好的镜像文件并上传到镜像服务器（这里镜像服务器和前端服务器在同一台物理服务器上）：

$ wget http://c0179148.cdn1.cloudfiles.rackspacecloud.com/ubuntu1010-UEC-localuser-image.tar.gz

$ uec-publish-tarball ubuntu1010-UEC-localuser-image.tar.gz ubuntu1010-bucket x86_64

列出云里现有的可以加载的镜像，并以某个镜像（比如编号为 ami-00000003）为模版启动一个实例（操作系统）：

$ euca-describe-images
IMAGE	aki-00000001	ubuntu1010-bucket/vmlinuz-2.6.32-28-server.manifest.xml		available	public		x86_64	kernel	 	 
IMAGE	ari-00000002	ubuntu1010-bucket/initrd.img-2.6.32-28-server.manifest.xmavailable	public		x86_64	ramdisk	 	 
IMAGE	ami-00000003	ubuntu1010-bucket/maverick-server-uec-amd64.img.manifest.xml		available	public		x86_64	machine	aki-00000001	ari-00000002

$ euca-add-keypair mykey > mykey.priv

$ euca-run-instances -k mykey -t m1.tiny ami-00000003

检查一下实例是否成功启动和运行：

$ virsh list
 Id Name                 State
----------------------------------
  1 instance-00000001    running

访问实例

启动实例后怎么访问呢？和访问 VPS 一样，需要 IP 地址然后 ssh 访问，还记得上面的网络配置么，新创建的系统将按照 192.168.0.x 的形式分配 IP，所以 192.168.0.3 就是刚刚 euca-run-instances 创建的实例的 IP 地址：

$ ssh [email protected]

Troubleshooting

解决 DataSourceEc2.py[WARNING]: ‘http://169.254.169.254′ failed: url error 问题。
删除 OpenStack Nova Volume 时遇到的 error_deleting 问题。
解决 Warning: failed to parse error message from AWS: :1:0: syntax error 问题。
重置 OpenStack Nova 数据库。

一年前讨论 Linux 发行版的时候提到了一些超级计算机的数据，今年6月份数据有点变化，这次刚发布的11月份超级计算机统计报告的亮点依然是中国，中国的 “天河1A” 第一次拿到冠军宝座，并且前十占有两个席位，排名都很靠前（第一和第三），6月份中国有24台超级计算机上榜，按照国家排名与德国并列第四，这次有42台计算机进入 Top500，仅次于美国。上次上榜的超级计算机的处理能力加起来中国排名第二，这次不管是计算机处理能力还是上榜的超级计算机台数都跃升为第二，短短6个月就造了18台超级计算机并进榜，非常惊讶，难道开始造航母了？（新浪：中国造航母须具备五大科技能力 超级计算机居首）

还有一个亮点值得讨论的地方是 Amazon 的云计算集群计算系统（Amazon EC2 Cluster, Xeon X5570 2.95 Ghz, 10G Ethernet）进入 Top500，排名第231位，这是云计算的一次非常大的尝试和进步，VPSee 去年还讨论了 “云计算可以用来替代高性能计算吗？”，当时云计算的性能远远没有达到高性能计算（HPC ）的要求，时过一年居然就上了榜，现在普通人用信用卡就可以用上超级计算机服务，这在以前是不敢想象的事情，会不会有人利用这种云计算 HPC 破译密码呢？

Linux 依然是超级计算机的绝对主力，对比6月份数据发现 Linux 总体上升5台，牢牢占有82%的份额，其中 CentOS 上升1台，SLES 9 下降1台，SLES 10 下降2台，SUSE/openSUSE/SLES 系还在下降。以下数据来自：Top 500 Super Computer Sites：

随着 Xen 服务器的增多，管理起来会越来越麻烦，如果有一些集成化的辅助工具来统一管理所有的服务器、虚拟机以及集中分配计算资源将会很方便。不过 VPSee 一般都避免使用一些太智能的工具，智能化自动工具有时候太智能，而且很难理解，特别是遇到问题的时候很难排错，因为自动和智能掩盖了工具背后的原理和过程，不知道是工具错了还是自己用错了。市面上有一些结合虚拟技术面向云计算的 Xen/KVM 管理工具，比如 Eucalyptus, OpenNebula, OpenQRM 等用来统一部署和管理虚拟环境，Ganeti 虽然没有前面几个强大，也勉强算一员。Ganeti 最初是由 Google 瑞士苏黎世 office 的一小撮人开发的 Xen/KVM 虚拟机集群管理工具，用来管理内部一些由廉价计算机组成的虚拟服务器集群，廉价计算机集群是 Google 的特色之一。

详细一点说，Ganeti 是一个基于 Xen 或 KVM 虚拟技术的虚拟集群环境管理工具，用来管理一堆运行 Xen 服务器的统一管理界面，这样创建、删除、启动、关闭、重装、查看、移植虚拟机就用不着逐个去某台 Xen 服务器上操作，整合了整个虚拟操作环境，统一管理所有硬盘、操作系统、内存等资源，简化了操作，显然 Ganeti 需要运行在 Xen/KVM 平台上。把 Ganeti, Xen/KVM, LVM, DRBD, RAID10 等几个技术整合起来可以架设一个云计算基础环境，配上一个基于 Web 的控制面板和计费系统就可以当作 “云 VPS” 拿来忽悠。

安装和配置基本系统

首先在每个 node（node1, node2, …）上都安装上最基本的 Debian 系统（Ganeti 官方推荐1个集群里的 node 数目不要超过40个），VPSee 建议在所有 node 上一致采用最小化安装并使用最简单的分区方式：使用 sda1 做 /（10GB），使用 sda2 做 swap（2GB），剩余的空间将会在下面的步骤用到。安装完后开始对每个 node 都做如下类似配置，以 node1 为例，每个 node 上都需要配置 /etc/hosts，Ganeti 就是靠这里的 hostname 来识别 node 的，所以这一步很重要，设置好 hostname 后用 hostname -f 测试一下是否正确：

# vi /etc/hosts

127.0.0.1       localhost.localdomain   localhost
172.16.39.10    cluster1.vpsee.com      cluster1
172.16.39.11	node1.vpsee.com node1
172.16.39.12	node2.vpsee.com node2
172.16.39.101   inst1.vpsee.com         inst1

# hostname -f
node1.vpsee.com

如果 node1 上的 hostname 不正确可以修正：

# vi /etc/hostname
node1.vpsee.com
# /etc/init.d/hostname.sh start

接下来需要给每个 node 配置一个静态 IP，需要注意的是 Ganeti 在默认 bridge 模式下会是用 xen-br0 这个名字，所以我们需要在每个 node 上建立这个 bridge：

# vi /etc/network/interfaces 
auto lo
iface lo inet loopback

auto eth0
iface eth0 inet static
    address 172.16.39.11
    netmask 255.255.254.0
    network 172.16.38.0
    broadcast 172.16.39.255
    gateway 172.16.38.1
auto xen-br0
iface xen-br0 inet static
    address 172.16.39.11
    netmask 255.255.254.0
    network 172.16.38.0
    broadcast 172.16.39.255
    gateway 172.16.38.1
    bridge_ports eth0
    bridge_stp off
    bridge_fd 0

需要注意的是，要对每个想加入 Ganeti 的 node 做相应的配置和调整，比如 IP，hostname 等。在 node2, node3, …, nodeN 上重复上面的步骤。

安装和配置 LVM

这一步骤也需要在每个 node 上重复。先检查分区，在 sda3 上分区，分区格式是 LVM，每个 node 上的这个区将被拿来做 Ganeti 的存储池（storage pool）用来存储 Xen 虚拟机镜像（要注意的是记得在安装 debian 的是后就留出大部分空间来做 sda3）：

$ sudo fdisk -l
...
   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1        1216     9764864   83  Linux
/dev/sda2            1216        1703     3906560   82  Linux swap / Solaris

$ sudo fdisk /dev/sda

n p 3 enter enter t 3 L 8e w

$ sudo fdisk -l
...
   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1        1216     9764864   83  Linux
/dev/sda2            1216        1703     3906560   82  Linux swap / Solaris
/dev/sda3            1703       60801   474711584+  8e  Linux LVM

安装 LVM 工具包，并用 LVM 工具创建物理卷和 LVM 卷组：

# apt-get install lvm2

$ sudo pvcreate /dev/sda3
  Physical volume "/dev/sda3" successfully created

$ sudo vgcreate xenvg /dev/sda3
  Volume group "xenvg" successfully created

重启系统以便刚创建的 LVM 生效：

# shutdown -r now

安装和配置 Xen 系统

按照 “在 Debian 上安装 Xen” 的步骤安装 Xen：

# apt-get install xen-hypervisor-3.2-1-amd64 \
xen-linux-system-2.6.26-2-xen-amd64 xen-utils-3.2-1 \
xenstore-utils xenwatch xen-shell xen-tools

安装和配置 Ganeti

可以从 Ganeti 官方网站下载源代码编译安装，为了少给自己添麻烦避免一些未知的编译、安装错误，建议新手直接从 debian 源安装：

# apt-get install ganeti

开始使用 Ganeti

在给集群（cluster）增加结点（node）之前需要先初始化这个集群，指定谁是老大（master node）。所以首先用 gnt-cluster 初始化一个 node (node1)，这个 node1 将成为 master node，登陆到 node1 上，在 node1 上执行以下操作：

# gnt-cluster init node1

# gnt-node list
Node            DTotal  DFree MTotal MNode MFree Pinst Sinst
node1.vpsee.com 454044 454044   3893  3686   128     0     0

有了 master node (node1) 后，这个 master node 就是老大，用来管理其他的 slave nodes (node2, node3, …, nodeN) ，所有操作都要在 master node 上执行。现在我们可以在这个集群中加入 node2：

# gnt-node add node2.vpsee.com

# gnt-node list
Node            DTotal  DFree MTotal MNode MFree Pinst Sinst
node1.vpsee.com 454044 454044   3893  3686   128     0     0
node2.vpsee.com  37440  37440   2035  1024   969     0     0

可以看到这个集群已经统一管理 node1, node2 以及 node1 和 node2 上的资源，比如内存、硬盘等。现在我们终于可以开始创建虚拟机了，我们只需要在 master node (node1) 上执行安装虚拟机的命令就可以自动部署到集群中：

# gnt-instance add -t plain -n node2.vpsee.com -o debootstrap -s 5g \
--swap-size 256 -m 256 --kernel /boot/vmlinuz-`uname -r` \
--ip 172.16.39.101 inst1.vpsee.com
* creating instance disks...
adding instance inst1.vpsee.com to cluster config
 - INFO: Waiting for instance inst1.vpsee.com to sync disks.
 - INFO: Instance inst1.vpsee.com's disks are in sync.
creating os for instance inst1.vpsee.com on node node2.vpsee.com
* running the instance OS create scripts...
...

要重装虚拟机的话，执行 reinstall：

# gnt-instance reinstall inst1.vpsee.com
This will reinstall the instance inst1.vpsee.com and remove all data.
Continue?
y/[n]/?: y
Running the instance OS create scripts...

查看正在运行的虚拟机（instance）：

# gnt-instance list
Instance          OS          Primary_node      Status  Memory
inst1.vpsee.com debootstrap node1.vpsee.com running    256

Ganeti 结合 DRBD 后还可以实现冗余、备份、在不同 node 之间自由迁移等功能，比如一个 node 挂了另一个 node 自动接替，某个 node 负载太高把上面的一个或几个 instance（虚拟机）暂时或永久迁移到另一个 node 降低单一 node 的负载等，非常酷。更多参考资料、帮助文档和命令行参数解释请看 Ganeti 的官方文档。