autocluster

   1 #!/bin/bash
   2 # main autocluster script
   3 #
   4 # Copyright (C) Andrew Tridgell  2008
   5 # Copyright (C) Martin Schwenke  2008
   6 #
   7 # This program is free software; you can redistribute it and/or modify
   8 # it under the terms of the GNU General Public License as published by
   9 # the Free Software Foundation; either version 3 of the License, or
  10 # (at your option) any later version.
  11 #
  12 # This program is distributed in the hope that it will be useful,
  13 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  14 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15 # GNU General Public License for more details.
  16 #
  17 # You should have received a copy of the GNU General Public License
  18 # along with this program; if not, see <http://www.gnu.org/licenses/>.
  19
  20 ##BEGIN-INSTALLDIR-MAGIC##
  21 # There are better ways of doing this but not if you still want to be
  22 # able to run straight out of a git tree.  :-)
  23 if [ -f "$0" ]; then
  24     installdir="`dirname \"$0\"`"
  25 else
  26     autocluster=`which $0`
  27     installdir="`dirname \"$autocluster\"`"
  28 fi
  29 ##END-INSTALLDIR-MAGIC##
  30
  31 ####################
  32 # show program usage
  33 usage ()
  34 {
  35     cat <<EOF
  36 Usage: autocluster [OPTION] ... <COMMAND>
  37   options:
  38      -c <file>                   specify config file (default is "config")
  39 EOF
  40
  41     releases=$(list_releases)
  42
  43     usage_smart_display \
  44         defconf "WITH_RELEASE" "" \
  45         "<string>" "specify preset options for a release using a version string.  Possible values are: ${releases}."
  46
  47 cat <<EOF
  48      -e <expr>                   execute <expr> and exit (advanced debugging)
  49      -x                          enable script debugging
  50      --dump                      dump config settings and exit
  51
  52   configuration options:
  53 EOF
  54
  55     usage_config_options
  56
  57     cat <<EOF
  58
  59   commands:
  60      create base
  61            create a base image
  62
  63      create cluster CLUSTERNAME
  64            create a full cluster
  65
  66      create node CLUSTERNAME IP_OFFSET
  67            (re)create a single cluster node
  68
  69      mount DISK
  70            mount a qemu disk on mnt/
  71
  72      unmount
  73            unmount a qemu disk from mnt/
  74
  75      bootbase
  76            boot the base image
  77
  78      testproxy
  79            test your proxy setup
  80 EOF
  81     exit 1
  82 }
  83
  84 ###############################
  85
  86 die () {
  87     fill_text 0 "ERROR: $*" >&2
  88     exit 1
  89 }
  90
  91 ###############################
  92
  93 # Indirectly call a function named by ${1}_${2}
  94 call_func () {
  95     local func="$1" ; shift
  96     local type="$1" ; shift
  97
  98     local f="${func}_${type}"
  99     if type -t "$f" >/dev/null && ! type -P "$f" >/dev/null ; then
 100         "$f" "$@"
 101     else
 102         f="${func}_DEFAULT"
 103         if type -t "$f" >/dev/null && ! type -P "$f" >/dev/null  ; then
 104             "$f" "$type" "$@"
 105         else
 106             die "No function defined for \"${func}\" \"${type}\""
 107         fi
 108     fi
 109 }
 110
 111 # Note that this will work if you pass "call_func f" because the first
 112 # element of the node tuple is the node type.  Nice...  :-)
 113 for_each_node ()
 114 {
 115     local n
 116     for n in $NODES ; do
 117         "$@" $(IFS=: ; echo $n)
 118     done
 119 }
 120
 121 hack_one_node_with ()
 122 {
 123     local filter="$1" ; shift
 124
 125     local node_type="$1"
 126     local ip_offset="$2"
 127     local name="$3"
 128     local ctdb_node="$4"
 129
 130     $filter
 131
 132     local item="${node_type}:${ip_offset}${name:+:}${name}${ctdb_node:+:}${ctdb_node}"
 133     nodes="${nodes}${nodes:+ }${item}"
 134 }
 135
 136 # This also gets used for non-filtering iteration.
 137 hack_all_nodes_with ()
 138 {
 139     local filter="$1"
 140
 141     local nodes=""
 142     for_each_node hack_one_node_with "$filter"
 143     NODES="$nodes"
 144 }
 145
 146 register_hook ()
 147 {
 148     local hook_var="$1"
 149     local new_hook="$2"
 150
 151     eval "$hook_var=\"${!hook_var}${!hook_var:+ }${new_hook}\""
 152 }
 153
 154 run_hooks ()
 155 {
 156     local hook_var="$1"
 157
 158     local i
 159     for i in ${!hook_var} ; do
 160         $i
 161     done
 162 }
 163
 164 # Use with care, since this may clear some autocluster defaults.!
 165 clear_hooks ()
 166 {
 167     local hook_var="$1"
 168
 169     eval "$hook_var=\"\""
 170 }
 171
 172 ##############################
 173
 174 # common node creation stuff
 175 create_node_COMMON ()
 176 {
 177     local NAME="$1"
 178     local ip_offset="$2"
 179     local type="$3"
 180     local template_file="${4:-$NODE_TEMPLATE}"
 181
 182     if [ "$SYSTEM_DISK_FORMAT" = "raw" -a "$BASE_FORMAT" != "raw" ] ; then
 183         die "Error: if SYSTEM_DISK_FORMAT is \"raw\" then BASE_FORMAT must also be \"raw\"."
 184     fi
 185
 186     IPNUM=$(($FIRSTIP + $ip_offset))
 187     DISK="${VIRTBASE}/${CLUSTER}/${NAME}.${SYSTEM_DISK_FORMAT}"
 188     local base_disk="${VIRTBASE}/${BASENAME}.${BASE_FORMAT}"
 189
 190     if [ "$BASE_PER_NODE_TYPE" = "yes" ] ; then
 191         base_disk="${VIRTBASE}/${BASENAME}-${type}.${BASE_FORMAT}"
 192     fi
 193
 194     mkdir -p $VIRTBASE/$CLUSTER tmp
 195
 196     rm -f "$DISK"
 197     case "$SYSTEM_DISK_FORMAT" in
 198         qcow2)
 199             echo "Creating the disk..."
 200             qemu-img create -b "$base_disk" -f qcow2 "$DISK"
 201             create_node_configure_image "$DISK" "$type"
 202             ;;
 203         raw)
 204             echo "Creating the disk..."
 205             cp -v --sparse=always "$base_disk" "$DISK"
 206             create_node_configure_image "$DISK" "$type"
 207             ;;
 208         none)
 209             echo "Skipping disk image creation as requested"
 210             ;;
 211         *)
 212             die "Error: unknown SYSTEM_DISK_FORMAT=\"${SYSTEM_DISK_FORMAT}\"."
 213     esac
 214
 215     set_macaddrs $CLUSTER $ip_offset
 216
 217     # Pull the UUID for this node out of the map.
 218     UUID=$(awk "\$1 == $ip_offset {print \$2}" $uuid_map)
 219
 220     echo "Creating $NAME.xml"
 221     substitute_vars $template_file tmp/$NAME.xml
 222
 223     # install the XML file
 224     $VIRSH undefine $NAME > /dev/null 2>&1 || true
 225     $VIRSH define tmp/$NAME.xml
 226 }
 227
 228 create_node_configure_image ()
 229 {
 230     local disk="$1"
 231     local type="$2"
 232
 233     mount_disk "$disk"
 234     setup_base "$type"
 235     unmount_disk
 236 }
 237
 238 # Provides an easy way of removing nodes from $NODE.
 239 create_node_null () {
 240     :
 241 }
 242
 243 ##############################
 244
 245 hack_nodes_functions=
 246
 247 expand_nodes () {
 248     # Expand out any abbreviations in NODES.
 249     local ns=""
 250     local n
 251     for n in $NODES ; do
 252         local t="${n%:*}"
 253         local ips="${n#*:}"
 254         case "$ips" in
 255             *,*)
 256                 local i
 257                 for i in ${ips//,/ } ; do
 258                     ns="${ns}${ns:+ }${t}:${i}"
 259                 done
 260                 ;;
 261             *-*)
 262                 local i
 263                 for i in $(seq ${ips/-/ }) ; do
 264                     ns="${ns}${ns:+ }${t}:${i}"
 265                 done
 266                 ;;
 267             *)
 268                 ns="${ns}${ns:+ }${n}"
 269         esac
 270     done
 271     NODES="$ns"
 272
 273     # Apply nodes hacks.  Some of this is about backward compatibility
 274     # but the hacks also fill in the node names and whether they're
 275     # part of the CTDB cluster.  The order is the order that
 276     # configuration modules register their hacks.
 277     run_hooks hack_nodes_functions
 278
 279     if [ -n "$NUMNODES" ] ; then
 280         # Attempt to respect NUMNODES.  Reduce the number of CTDB
 281         # nodes to NUMNODES.
 282         local numnodes=$NUMNODES
 283
 284         hack_filter ()
 285         {
 286             if [ "$ctdb_node" = 1 ] ; then
 287                 if [ $numnodes -gt 0 ] ; then
 288                     numnodes=$(($numnodes - 1))
 289                 else
 290                     node_type="null"
 291                     ctdb_node=0
 292                 fi
 293             fi
 294         }
 295
 296         hack_all_nodes_with hack_filter
 297
 298         [ $numnodes -gt 0 ] && \
 299             die "Can't not use NUMNODES to increase the number of nodes over that specified by NODES.  You need to set NODES instead - please read the documentation."
 300     fi
 301
 302     # Check IP addresses for duplicates.
 303     local ip_offsets=":"
 304     # This function doesn't modify anything...
 305     get_ip_offset ()
 306     {
 307         [ "${ip_offsets/${ip_offset}}" != "$ip_offsets" ] && \
 308             die "Duplicate IP offset in NODES - ${node_type}:${ip_offset}"
 309         ip_offsets="${ip_offsets}${ip_offset}:"
 310     }
 311     hack_all_nodes_with get_ip_offset
 312 }
 313
 314 ##############################
 315
 316 sanity_check_cluster_name ()
 317 {
 318     [ -z "${CLUSTER//[A-Za-z0-9]}" ] || \
 319         die "Cluster names should be restricted to the characters A-Za-z0-9.  \
 320 Some cluster filesystems have problems with other characters."
 321 }
 322
 323 hosts_file=
 324
 325 common_nodelist_hacking ()
 326 {
 327     # Rework the NODES list
 328     expand_nodes
 329
 330     # Build /etc/hosts and hack the names of the ctdb nodes
 331     hosts_line_hack_name ()
 332     {
 333         # Ignore nodes without names (e.g. "null")
 334         [ "$node_type" != "null" -a -n "$name" ] || return 0
 335
 336         local sname=""
 337         local hosts_line
 338         local ip_addr="$IPBASE.0.$(($FIRSTIP + $ip_offset))"
 339
 340         if [ "$ctdb_node" = 1 ] ; then
 341             num_ctdb_nodes=$(($num_ctdb_nodes + 1))
 342             sname="${CLUSTER}n${num_ctdb_nodes}"
 343             hosts_line="$ip_addr ${sname}.${ld} ${name}.${ld} $name $sname"
 344             name="$sname"
 345         else
 346             hosts_line="$ip_addr ${name}.${ld} $name"
 347         fi
 348
 349         # This allows you to add a function to your configuration file
 350         # to modify hostnames (and other aspects of nodes).  This
 351         # function can access/modify $name (the existing name),
 352         # $node_type and $ctdb_node (1, if the node is a member of the
 353         # CTDB cluster, 0 otherwise).
 354         if [ -n "$HOSTNAME_HACKING_FUNCTION" ] ; then
 355             local old_name="$name"
 356             $HOSTNAME_HACKING_FUNCTION
 357             if [ "$name" != "$old_name" ] ; then
 358                 hosts_line="$ip_addr ${name}.${ld} $name"
 359             fi
 360         fi
 361
 362         echo "$hosts_line"
 363     }
 364     hosts_file="tmp/hosts.$CLUSTER"
 365     {
 366         local num_ctdb_nodes=0
 367         local ld=$(echo $DOMAIN | tr A-Z a-z)
 368         echo "# autocluster $CLUSTER"
 369         hack_all_nodes_with hosts_line_hack_name
 370         echo
 371     } >$hosts_file
 372
 373     # Build /etc/ctdb/nodes
 374     ctdb_nodes_line ()
 375     {
 376         [ "$ctdb_node" = 1 ] || return 0
 377         echo "$IPBASE.0.$(($FIRSTIP + $ip_offset))"
 378         num_nodes=$(($num_nodes + 1))
 379     }
 380     nodes_file="tmp/nodes.$CLUSTER"
 381     local num_nodes=0
 382     hack_all_nodes_with ctdb_nodes_line >$nodes_file
 383     : "${NUMNODES:=${num_nodes}}"  # Set $NUMNODES if necessary
 384
 385     # Build UUID map
 386     uuid_map="tmp/uuid_map.$CLUSTER"
 387     uuid_map_line ()
 388     {
 389         echo "${ip_offset} $(uuidgen) ${node_type}"
 390     }
 391     hack_all_nodes_with uuid_map_line >$uuid_map
 392 }
 393
 394 create_cluster_hooks=
 395 cluster_created_hooks=
 396
 397 create_cluster ()
 398 {
 399     CLUSTER="$1"
 400
 401     sanity_check_cluster_name
 402
 403     mkdir -p $VIRTBASE/$CLUSTER $KVMLOG tmp
 404
 405     # Run hooks before doing anything else.
 406     run_hooks create_cluster_hooks
 407
 408     common_nodelist_hacking
 409
 410     for_each_node call_func create_node
 411
 412     echo "Cluster $CLUSTER created"
 413     echo ""
 414
 415     run_hooks cluster_created_hooks
 416 }
 417
 418 cluster_created_hosts_message ()
 419 {
 420     echo "You may want to add this to your /etc/hosts file:"
 421     cat $hosts_file
 422 }
 423
 424 register_hook cluster_created_hooks cluster_created_hosts_message
 425
 426 create_one_node ()
 427 {
 428     CLUSTER="$1"
 429     local single_node_ip_offset="$2"
 430
 431     sanity_check_cluster_name
 432
 433     mkdir -p $VIRTBASE/$CLUSTER $KVMLOG tmp
 434
 435     common_nodelist_hacking
 436
 437     for n in $NODES ; do
 438         set -- $(IFS=: ; echo $n)
 439         [ $single_node_ip_offset -eq $2 ] || continue
 440         call_func create_node "$@"
 441
 442         echo "Requested node created"
 443         echo ""
 444         echo "You may want to update your /etc/hosts file:"
 445         cat $hosts_file
 446
 447         break
 448     done
 449 }
 450
 451 ###############################
 452 # test the proxy setup
 453 test_proxy() {
 454     export http_proxy=$WEBPROXY
 455     wget -O /dev/null $INSTALL_SERVER || \
 456         die "Your WEBPROXY setting \"$WEBPROXY\" is not working"
 457     echo "Proxy OK"
 458 }
 459
 460 ###################
 461
 462 kickstart_floppy_create_hooks=
 463
 464 # create base image
 465 create_base() {
 466
 467     NAME="$BASENAME"
 468     DISK="${VIRTBASE}/${NAME}.${BASE_FORMAT}"
 469
 470     mkdir -p $KVMLOG
 471
 472     echo "Testing WEBPROXY $WEBPROXY"
 473     test_proxy
 474
 475     echo "Creating the disk"
 476     qemu-img create -f $BASE_FORMAT "$DISK" $DISKSIZE
 477
 478     rm -rf tmp
 479     mkdir -p mnt tmp tmp/ISO
 480
 481     setup_timezone
 482
 483     echo "Creating kickstart file from template"
 484     substitute_vars "$KICKSTART" "tmp/ks.cfg"
 485
 486     if [ $INSTALLKEY = "--skip" ]; then
 487         cat <<EOF
 488 --------------------------------------------------------------------------------------
 489 WARNING: You have not entered an install key. Some RHEL packages will not be installed.
 490
 491 Please enter a valid RHEL install key in your config file like this:
 492
 493   INSTALLKEY="1234-5678-0123-4567"
 494
 495 The install will continue without an install key in 5 seconds
 496 --------------------------------------------------------------------------------------
 497 EOF
 498         sleep 5
 499     fi
 500
 501     # $ISO gets $ISO_DIR prepended if it doesn't start with a leading '/'.
 502     case "$ISO" in
 503         (/*) : ;;
 504         (*) ISO="${ISO_DIR}/${ISO}"
 505     esac
 506
 507     echo "Creating kickstart floppy"
 508     dd if=/dev/zero of=tmp/floppy.img bs=1024 count=1440
 509     mkdosfs tmp/floppy.img
 510     mount -o loop -t msdos tmp/floppy.img mnt
 511     cp tmp/ks.cfg mnt
 512     mount -o loop,ro $ISO tmp/ISO
 513
 514     echo "Setting up bootloader"
 515     cp tmp/ISO/isolinux/isolinux.bin tmp
 516     cp tmp/ISO/isolinux/vmlinuz tmp
 517     cp tmp/ISO/isolinux/initrd.img tmp
 518
 519     run_hooks kickstart_floppy_create_hooks
 520
 521     umount tmp/ISO
 522     umount mnt
 523
 524     UUID=`uuidgen`
 525
 526     substitute_vars $INSTALL_TEMPLATE tmp/$NAME.xml
 527
 528     rm -f $KVMLOG/serial.$NAME
 529
 530     # boot the install CD
 531     $VIRSH create tmp/$NAME.xml
 532
 533     echo "Waiting for install to start"
 534     sleep 2
 535
 536     # wait for the install to finish
 537     if ! waitfor $KVMLOG/serial.$NAME "$KS_DONE_MESSAGE" $CREATE_BASE_TIMEOUT ; then
 538         $VIRSH destroy $NAME
 539         die "Failed to create base image $DISK"
 540     fi
 541
 542     $VIRSH destroy $NAME
 543
 544     ls -l $DISK
 545     cat <<EOF
 546
 547 Install finished, base image $DISK created
 548
 549 You may wish to run
 550    chattr +i $DISK
 551 To ensure that this image does not change
 552
 553 Note that the root password has been set to $ROOTPASSWORD
 554
 555 EOF
 556 }
 557
 558 ###############################
 559 # boot the base disk
 560 boot_base() {
 561     CLUSTER="$1"
 562
 563     NAME="$BASENAME"
 564     DISK="${VIRTBASE}/${NAME}.${BASE_FORMAT}"
 565
 566     rm -rf tmp
 567     mkdir -p tmp
 568
 569     IPNUM=$FIRSTIP
 570     CLUSTER="base"
 571
 572     mount_disk $DISK
 573     setup_base
 574     unmount_disk
 575
 576     UUID=`uuidgen`
 577
 578     echo "Creating $NAME.xml"
 579     substitute_vars $BOOT_TEMPLATE tmp/$NAME.xml
 580
 581     # boot the base system
 582     $VIRSH create tmp/$NAME.xml
 583 }
 584
 585 ######################################################################
 586
 587 # various functions...
 588
 589 # Set some MAC address variables based on a hash of the cluster name
 590 # plus the node number and each adapter number.
 591 set_macaddrs () {
 592     local cname="$1"
 593     local ip_offset="$2"
 594
 595     local md5=$(echo $cname | md5sum)
 596     local nh=$(printf "%02x" $ip_offset)
 597     local mac_prefix="02:${md5:0:2}:${md5:2:2}:00:${nh}:"
 598
 599     MAC1="${mac_prefix}01"
 600     MAC2="${mac_prefix}02"
 601     MAC3="${mac_prefix}03"
 602     MAC4="${mac_prefix}04"
 603     MAC5="${mac_prefix}05"
 604     MAC6="${mac_prefix}06"
 605 }
 606
 607 # mount a qemu image via nbd
 608 connect_nbd() {
 609     echo "Connecting nbd to $1"
 610     mkdir -p mnt
 611     modprobe nbd
 612     killall -9 -q $QEMU_NBD || true
 613     $QEMU_NBD -p 1300 $1 &
 614     sleep 1
 615     [ -r $NBD_DEVICE ] || {
 616         mknod $NBD_DEVICE b 43 0
 617     }
 618     umount mnt 2> /dev/null || true
 619     nbd-client -d $NBD_DEVICE > /dev/null 2>&1 || true
 620     killall -9 -q nbd-client || true
 621     nbd-client localhost 1300 $NBD_DEVICE > /dev/null 2>&1 || true &
 622     sleep 1
 623 }
 624
 625 # disconnect nbd
 626 disconnect_nbd() {
 627     echo "Disconnecting nbd"
 628     sync; sync
 629     nbd-client -d $NBD_DEVICE > /dev/null 2>&1 || true
 630     killall -9 -q nbd-client || true
 631     killall -q $QEMU_NBD || true
 632 }
 633
 634 setup_image ()
 635 {
 636     local disk="$1"
 637
 638     case "$SYSTEM_DISK_FORMAT" in
 639         qcow2)
 640             connect_nbd "$disk"
 641             device=$NBD_DEVICE
 642             extra_mount_options=""
 643             ;;
 644         raw)
 645             device="$disk"
 646             extra_mount_options=",loop"
 647             ;;
 648         *)
 649             die "Error: unknown SYSTEM_DISK_FORMAT=${SYSTEM_DISK_FORMAT}."
 650     esac
 651 }
 652
 653 cleanup_image ()
 654 {
 655     case "$SYSTEM_DISK_FORMAT" in
 656         qcow2)
 657             disconnect_nbd
 658             ;;
 659         raw)
 660             :
 661             ;;
 662         *)
 663             die "Error: unknown SYSTEM_DISK_FORMAT=${SYSTEM_DISK_FORMAT}."
 664     esac
 665 }
 666
 667 # mount a qemu image via nbd
 668 mount_disk()
 669 {
 670     local disk="$1"
 671
 672     local device extra_mount_options
 673
 674     setup_image "$disk"
 675
 676     echo "Mounting disk ${disk}..."
 677     local m o
 678     for m in $SYSTEM_DISK_MOUNTS ; do
 679         local mount_ok=0
 680         o="${m#*:}" # Offset is after colon
 681         m="${m%:*}" # Mountpoint is before colon
 682         echo " mount ${m} from offset ${o}"
 683         local i
 684         for i in $(seq 1 5); do
 685             mount -o offset=${o}${extra_mount_options} $device "mnt${m}" && {
 686                 mount_ok=1
 687                 break
 688             }
 689             umount mnt 2>/dev/null || true
 690             sleep 1
 691         done
 692         [ $mount_ok = 1 ] || die "Failed to mount $disk"
 693     done
 694
 695     [ -d mnt/root ] || {
 696         echo "Mounted directory does not look like a root filesystem"
 697         ls -latr mnt
 698         exit 1
 699     }
 700 }
 701
 702 # unmount a qemu image
 703 unmount_disk() {
 704     echo "Unmounting disk"
 705     sync; sync;
 706
 707     # umounts are done in reverse.  Be lazy and construct a reverse
 708     # list, since the shell will handle any strange whitespace for
 709     # us...  ;-)
 710     local umounts=""
 711     local m
 712     for m in $SYSTEM_DISK_MOUNTS ; do
 713         umounts="${m%:*}${umounts:+ }${umounts}"
 714     done
 715     for m in $umounts ; do
 716         echo " umount ${m}"
 717         umount "mnt${m}" || umount "mnt${m}" || true
 718     done
 719     cleanup_image
 720 }
 721
 722 # setup the files from $BASE_TEMPLATES/, substituting any variables
 723 # based on the config
 724 copy_base_dir_substitute_templates ()
 725 {
 726     local dir="$1"
 727
 728     local d="$BASE_TEMPLATES/$dir"
 729     [ -d "$d" ] || return 0
 730
 731     local f
 732     for f in $(cd "$d" && find . \! -name '*~') ; do
 733         if [ -d "$d/$f" ]; then
 734             mkdir -p mnt/"$f"
 735         else
 736             substitute_vars "$d/$f" "mnt/$f"
 737         fi
 738         chmod --reference="$d/$f" "mnt/$f"
 739     done
 740 }
 741
 742 setup_base_hooks=
 743
 744 setup_base_ssh_keys ()
 745 {
 746     # this is needed as git doesn't store file permissions other
 747     # than execute
 748     chmod 600 mnt/etc/ssh/*key mnt/root/.ssh/*
 749     chmod 700 mnt/etc/ssh mnt/root/.ssh mnt/root
 750     if [ -r "$HOME/.ssh/id_rsa.pub" ]; then
 751        echo "Adding $HOME/.ssh/id_rsa.pub to ssh authorized_keys"
 752        cat "$HOME/.ssh/id_rsa.pub" >> mnt/root/.ssh/authorized_keys
 753     fi
 754     if [ -r "$HOME/.ssh/id_dsa.pub" ]; then
 755        echo "Adding $HOME/.ssh/id_dsa.pub to ssh authorized_keys"
 756        cat "$HOME/.ssh/id_dsa.pub" >> mnt/root/.ssh/authorized_keys
 757     fi
 758 }
 759
 760 register_hook setup_base_hooks setup_base_ssh_keys
 761
 762 setup_base_grub_conf ()
 763 {
 764     echo "Adjusting grub.conf"
 765     local o="$EXTRA_KERNEL_OPTIONS" # For readability.
 766     sed -e "s/console=ttyS0,19200/console=ttyS0,115200/"  \
 767         -e "s/ nodmraid//" -e "s/ nompath//"  \
 768         -e "s/quiet/noapic divider=10${o:+ }${o}/g" mnt/boot/grub/grub.conf -i.org
 769 }
 770
 771 register_hook setup_base_hooks setup_base_grub_conf
 772
 773 setup_base()
 774 {
 775     local type="$1"
 776
 777     umask 022
 778     echo "Copy base files"
 779     copy_base_dir_substitute_templates "all"
 780     if [ -n "$type" ] ; then
 781         copy_base_dir_substitute_templates "$type"
 782     fi
 783
 784     run_hooks setup_base_hooks
 785 }
 786
 787 # setup various networking components
 788 setup_network()
 789 {
 790     # This avoids doing anything when we're called from boot_base().
 791     if [ -z "$hosts_file" ] ; then
 792         echo "Skipping network-related setup"
 793         return
 794     fi
 795
 796     echo "Setting up networks"
 797     cat $hosts_file >>mnt/etc/hosts
 798
 799     echo "Setting up /etc/ctdb/nodes"
 800     mkdir -p mnt/etc/ctdb
 801     cp $nodes_file mnt/etc/ctdb/nodes
 802
 803     [ "$WEBPROXY" = "" ] || {
 804         echo "export http_proxy=$WEBPROXY" >> mnt/etc/bashrc
 805     }
 806
 807     if [ -n "$NFSSHARE" -a -n "$NFS_MOUNTPOINT" ] ; then
 808         echo "Enabling nfs mount of $NFSSHARE"
 809         mkdir -p "mnt$NFS_MOUNTPOINT"
 810         echo "$NFSSHARE $NFS_MOUNTPOINT nfs intr" >> mnt/etc/fstab
 811     fi
 812
 813     mkdir -p mnt/etc/yum.repos.d
 814     echo '@@@YUM_TEMPLATE@@@' | substitute_vars - > mnt/etc/yum.repos.d/autocluster.repo
 815 }
 816
 817 register_hook setup_base_hooks setup_network
 818
 819 setup_timezone() {
 820     [ -z "$TIMEZONE" ] && {
 821         [ -r /etc/timezone ] && {
 822             TIMEZONE=`cat /etc/timezone`
 823         }
 824         [ -r /etc/sysconfig/clock ] && {
 825             . /etc/sysconfig/clock
 826             TIMEZONE="$ZONE"
 827         }
 828         TIMEZONE="${TIMEZONE// /_}"
 829     }
 830     [ -n "$TIMEZONE" ] || \
 831         die "Unable to determine TIMEZONE - please set in config"
 832 }
 833
 834 # substite a set of variables of the form @@XX@@ for the shell
 835 # variables $XX in a file.
 836 #
 837 # Indirect variables @@@XX@@@ (3 ats) specify that the variable should
 838 # contain a filename whose contents are substituted, with variable
 839 # substitution applied to those contents.  If filename starts with '|'
 840 # it is a command instead - however, quoting is extremely fragile.
 841 substitute_vars() {(
 842         infile="${1:-/dev/null}" # if empty then default to /dev/null
 843         outfile="$2" # optional
 844
 845         instring=$(cat $infile)
 846
 847         # Handle any indirects by looping until nothing changes.
 848         # However, only handle 10 levels of recursion.
 849         count=0
 850         while : ; do
 851             outstring=$(_substitute_vars "$instring" "@@@")
 852             [ $? -eq 0 ] || die "Failed to expand template $infile"
 853
 854             [ "$instring" = "$outstring" ] && break
 855
 856             count=$(($count + 1))
 857             [ $count -lt 10 ] || \
 858                 die "Recursion too deep in $infile - only 10 levels allowed!"
 859
 860             instring="$outstring"
 861         done
 862
 863         # Now regular variables.
 864         outstring=$(_substitute_vars "$instring" "@@")
 865         [ $? -eq 0 ] || die "Failed to expand template $infile"
 866
 867         if [ -n "$outfile" ] ; then
 868             echo "$outstring" > "$outfile"
 869         else
 870             echo "$outstring"
 871         fi
 872 )}
 873
 874
 875 # Delimiter @@ means to substitute contents of variable.
 876 # Delimiter @@@ means to substitute contents of file named by variable.
 877 # @@@ supports leading '|' in variable value, which means to excute a
 878 # command.
 879 _substitute_vars() {(
 880         instring="$1"
 881         delimiter="${2:-@@}"
 882
 883         # Get the list of variables used in the template.  The grep
 884         # gets rid of any blank lines and lines with extraneous '@'s
 885         # next to template substitutions.
 886         VARS=$(echo "$instring" |
 887             sed -n -e "s#[^@]*${delimiter}\([A-Z0-9_][A-Z0-9_]*\)${delimiter}[^@]*#\1\n#gp" |
 888             grep '^[A-Z0-9_][A-Z0-9_]*$' |
 889             sort -u)
 890
 891         tmp=$(mktemp)
 892         for v in $VARS; do
 893             # variable variables are fun .....
 894             [ "${!v+x}" ] || {
 895                 rm -f $tmp
 896                 die "No substitution given for ${delimiter}$v${delimiter} in $infile"
 897             }
 898             s=${!v}
 899
 900             if [ "$delimiter" = "@@@" ] ; then
 901                 f=${s:-/dev/null}
 902                 c="${f#|}" # Is is a command, signified by a leading '|'?
 903                 if [ "$c" = "$f" ] ; then
 904                     # No leading '|', cat file.
 905                     s=$(cat -- "$f")
 906                     [ $? -eq 0 ] || {
 907                         rm -f $tmp
 908                         die "Could not substitute contents of file $f"
 909                     }
 910                 else
 911                     # Leading '|', execute command.
 912                     # Quoting problems here - using eval "$c" doesn't help.
 913                     s=$($c)
 914                     [ $? -eq 0 ] || {
 915                         rm -f $tmp
 916                         die "Could not execute command $c"
 917                     }
 918                 fi
 919             fi
 920
 921             # escape some pesky chars
 922             s=${s//
 923 /\\n}
 924             s=${s//#/\\#}
 925             s=${s//&/\\&}
 926             echo "s#${delimiter}${v}${delimiter}#${s}#g"
 927         done > $tmp
 928
 929         echo "$instring" | sed -f $tmp
 930
 931         rm -f $tmp
 932 )}
 933
 934 check_command() {
 935     which $1 > /dev/null || die "Please install $1 to continue"
 936 }
 937
 938 # Set a variable if it isn't already set.  This allows environment
 939 # variables to override default config settings.
 940 defconf() {
 941     local v="$1"
 942     local e="$2"
 943
 944     [ "${!v+x}" ] || eval "$v=\"$e\""
 945 }
 946
 947 load_config () {
 948     local i
 949
 950     for i in "${installdir}/config.d/"*.defconf ; do
 951         . "$i"
 952     done
 953 }
 954
 955 # Print the list of config variables defined in config.d/.
 956 get_config_options () {( # sub-shell for local declaration of defconf()
 957         local options=
 958         defconf() { options="$options $1" ; }
 959         load_config
 960         echo $options
 961 )}
 962
 963 # Produce a list of long options, suitable for use with getopt, that
 964 # represent the config variables defined in config.d/.
 965 getopt_config_options () {
 966     local x=$(get_config_options | tr 'A-Z_' 'a-z-')
 967     echo "${x// /:,}:"
 968 }
 969
 970 # Unconditionally set the config variable associated with the given
 971 # long option.
 972 setconf_longopt () {
 973     local longopt="$1"
 974     local e="$2"
 975
 976     local v=$(echo "${longopt#--}" | tr 'a-z-' 'A-Z_')
 977     # unset so defconf will set it
 978     eval "unset $v"
 979     defconf "$v" "$e"
 980 }
 981
 982 # Dump all of the current config variables.
 983 dump_config() {
 984     local o
 985     for o in $(get_config_options) ; do
 986         echo "${o}=\"${!o}\""
 987     done
 988     exit 0
 989 }
 990
 991 # $COLUMNS is set in interactive bash shells.  It probably isn't set
 992 # in this shell, so let's set it if it isn't.
 993 : ${COLUMNS:=$(stty size 2>/dev/null | sed -e 's@.* @@')}
 994 : ${COLUMNS:=80}
 995 export COLUMNS
 996
 997 # Print text assuming it starts after other text in $startcol and
 998 # needs to wrap before $COLUMNS - 2.  Subsequent lines start at $startcol.
 999 # Long "words" will extend past $COLUMNS - 2.
1000 fill_text() {
1001     local startcol="$1"
1002     local text="$2"
1003
1004     local width=$(($COLUMNS - 2 - $startcol))
1005     [ $width -lt 0 ] && width=$((78 - $startcol))
1006
1007     local out=""
1008
1009     local padding
1010     if [ $startcol -gt 0 ] ; then
1011         padding=$(printf "\n%${startcol}s" " ")
1012     else
1013         padding="
1014 "
1015     fi
1016
1017     while [ -n "$text" ] ; do
1018         local orig="$text"
1019
1020         # If we already have output then arrange padding on the next line.
1021         [ -n "$out" ] && out="${out}${padding}"
1022
1023         # Break the text at $width.
1024         out="${out}${text:0:${width}}"
1025         text="${text:${width}}"
1026
1027         # If we have left over text then the line break may be ugly,
1028         # so let's check and try to break it on a space.
1029         if [ -n "$text" ] ; then
1030             # The 'x's stop us producing a special character like '(',
1031             # ')' or '!'.  Yuck - there must be a better way.
1032             if [ "x${text:0:1}" != "x " -a "x${text: -1:1}" != "x " ] ; then
1033                 # We didn't break on a space.  Arrange for the
1034                 # beginning of the broken "word" to appear on the next
1035                 # line but not if it will make us loop infinitely.
1036                 if [ "${orig}" != "${out##* }${text}" ] ; then
1037                     text="${out##* }${text}"
1038                     out="${out% *}"
1039                 else
1040                     # Hmmm, doing that would make us loop, so add the
1041                     # rest of the word from the remainder of the text
1042                     # to this line and let it extend past $COLUMNS - 2.
1043                     out="${out}${text%% *}"
1044                     if [ "${text# *}" != "$text" ] ; then
1045                         # Remember the text after the next space for next time.
1046                         text="${text# *}"
1047                     else
1048                         # No text after next space.
1049                         text=""
1050                     fi
1051                 fi
1052             else
1053                 # We broke on a space.  If it will be at the beginning
1054                 # of the next line then remove it.
1055                 text="${text# }"
1056             fi
1057         fi
1058     done
1059
1060     echo "$out"
1061 }
1062
1063 # Display usage text, trying these approaches in order.
1064 # 1. See if it all fits on one line before $COLUMNS - 2.
1065 # 2. See if splitting before the default value and indenting it
1066 #    to $startcol means that nothing passes $COLUMNS - 2.
1067 # 3. Treat the message and default value as a string and just us fill_text()
1068 #    to format it.
1069 usage_display_text () {
1070     local startcol="$1"
1071     local desc="$2"
1072     local default="$3"
1073
1074     local width=$(($COLUMNS - 2 - $startcol))
1075     [ $width -lt 0 ] && width=$((78 - $startcol))
1076
1077     default="(default \"$default\")"
1078
1079     if [ $((${#desc} + 1 + ${#default})) -le $width ] ; then
1080         echo "${desc} ${default}"
1081     else
1082         local padding=$(printf "%${startcol}s" " ")
1083
1084         if [ ${#desc} -lt $width -a ${#default} -lt $width ] ; then
1085             echo "$desc"
1086             echo "${padding}${default}"
1087         else
1088             fill_text $startcol "${desc} ${default}"
1089         fi
1090     fi
1091 }
1092
1093 # Display usage information for long config options.
1094 usage_smart_display () {( # sub-shell for local declaration of defconf()
1095         local startcol=33
1096
1097         defconf() {
1098             local local longopt=$(echo "$1" | tr 'A-Z_' 'a-z-')
1099
1100             printf "     --%-25s " "${longopt}=${3}"
1101
1102             usage_display_text $startcol "$4" "$2"
1103         }
1104
1105         "$@"
1106 )}
1107
1108
1109 # Display usage information for long config options.
1110 usage_config_options (){
1111     usage_smart_display load_config
1112 }
1113
1114 list_releases () {
1115     local releases=$(cd $installdir/releases && echo *.release)
1116     releases="${releases//.release}"
1117     releases="${releases// /\", \"}"
1118     echo "\"$releases\""
1119 }
1120
1121 with_release () {
1122     local release="$1"
1123     shift # subsequent args are passed to release file
1124
1125     # This simply loads an extra config file from $installdir/releases
1126     f="${installdir}/releases/${release}.release"
1127     if [ -r "$f" ] ; then
1128         . "$f"
1129     else
1130         f="${installdir}/releases/${release%%-*}.release"
1131         if [ -r "$f" ] ; then
1132             . "$f" "${release#*-}"
1133         else
1134             echo "Unknown release \"${release}\" specified to --with-release"
1135             printf "%-25s" "Supported releases are: "
1136             fill_text 25 "$(list_releases)"
1137             exit 1
1138         fi
1139     fi
1140
1141 }
1142
1143 has_public_addresses_DEFAULT ()
1144 {
1145     false
1146 }
1147
1148 # Build public address configuration.
1149 # * 1st public IP:  unless specified, last octet is $FIRSTIP + $PUBLIC_IP_OFFSET
1150 # * Excluded nodes: unless specified via comma-separated list of IP offsets,
1151 #                   nodes are excluded via their node types
1152 # * Number of public addresses per interface is either specified or $NUMNODES.
1153 make_public_addresses () {
1154     local firstip="${1:-$(($FIRSTIP + $PUBLIC_IP_OFFSET))}"
1155     local excluded_nodes="$2"
1156     local num_addrs="${3:-${NUMNODES}}"
1157
1158     # For delimiting matches.
1159     excluded_nodes="${excluded_nodes:+,}${excluded_nodes}${excluded_nodes:+,}"
1160     # Avoid spaces
1161     excluded_nodes="${excluded_nodes// /}"
1162
1163     make_public_addresses_for_node ()
1164     {
1165         [ "$ctdb_node" = 1 ] || return 0
1166
1167         echo "[/etc/ctdb/public_addresses:${name}.${DOMAIN}]"
1168
1169         if [ -n "$excluded_nodes" -a \
1170             "${excluded_nodes/,${ip_offset},}" = "$excluded_nodes" ] ||
1171             ([ -z "$excluded_nodes" ] &&
1172                 call_func has_public_addresses "$node_type") ; then
1173
1174             local e i
1175             for e in "1" "2" ; do
1176                 for i in $(seq $firstip $(($firstip + $num_addrs - 1))) ; do
1177                     if [ $i -gt 254 ] ; then
1178                         die "make_public_addresses: octet > 254 - consider setting PUBLIC_IP_OFFSET"
1179                     fi
1180                     printf "\t${IPBASE}.${e}.${i}/24 eth${e}\n"
1181                 done
1182             done
1183         fi
1184         echo
1185     }
1186     hack_all_nodes_with make_public_addresses_for_node
1187 }
1188
1189 ######################################################################
1190
1191 load_config
1192
1193 ############################
1194 # parse command line options
1195 long_opts=$(getopt_config_options)
1196 getopt_output=$(getopt -n autocluster -o "c:e:xh" -l help,dump,with-release: -l "$long_opts" -- "$@")
1197 [ $? != 0 ] && usage
1198
1199 use_default_config=true
1200
1201 # We do 2 passes of the options.  The first time we just handle usage
1202 # and check whether -c is being used.
1203 eval set -- "$getopt_output"
1204 while true ; do
1205     case "$1" in
1206         -c) shift 2 ; use_default_config=false ;;
1207         -e) shift 2 ;;
1208         --) shift ; break ;;
1209         --with-release) shift 2 ;; # Don't set use_default_config=false!!!
1210         --dump|-x) shift ;;
1211         -h|--help) usage ;; # Usage should be shown here for real defaults.
1212         --*) shift 2 ;; # Assume other long opts are valid and take an arg.
1213         *) usage ;; # shouldn't happen, so this is reasonable.
1214     esac
1215 done
1216
1217 config="./config"
1218 $use_default_config && [ -r "$config" ] && . "$config"
1219
1220 eval set -- "$getopt_output"
1221
1222 while true ; do
1223     case "$1" in
1224         # force at least ./local_file to avoid accidental file from $PATH
1225         -c) . "$(dirname $2)/$(basename $2)" ; shift 2 ;;
1226         -e) eval "$2" ; exit ;;
1227         --with-release)
1228             with_release "$2"
1229             shift 2
1230             ;;
1231         -x) set -x; shift ;;
1232         --dump) dump_config ;;
1233         --) shift ; break ;;
1234         -h|--help) usage ;; # Redundant.
1235         --*)
1236             # Putting --opt1|opt2|... into a variable and having case
1237             # match against it as a pattern doesn't work.  The | is
1238             # part of shell syntax, so we need to do this.  Look away
1239             # now to stop your eyes from bleeding! :-)
1240             x=",${long_opts}" # Now each option is surrounded by , and :
1241             if [ "$x" != "${x#*,${1#--}:}" ] ; then
1242                 # Our option, $1, surrounded by , and : was in $x, so is legal.
1243                 setconf_longopt "$1" "$2"; shift 2
1244             else
1245                 usage
1246             fi
1247             ;;
1248         *) usage ;; # shouldn't happen, so this is reasonable.
1249     esac
1250 done
1251
1252 # catch errors
1253 set -e
1254 set -E
1255 trap 'es=$?;
1256       echo ERROR: failed in function \"${FUNCNAME}\" at line ${LINENO} of ${BASH_SOURCE[0]} with code $es;
1257       exit $es' ERR
1258
1259 # check for needed programs
1260 check_command expect
1261 if [ "$SYSTEM_DISK_FORMAT" != "raw" ] ; then
1262     check_command $QEMU_NBD
1263     check_command nbd-client
1264 fi
1265
1266 [ $# -lt 1 ] && usage
1267
1268 command="$1"
1269 shift
1270
1271 case $command in
1272     create)
1273         type=$1
1274         shift
1275         case $type in
1276             base)
1277                 [ $# != 0 ] && usage
1278                 create_base
1279                 ;;
1280             cluster)
1281                 [ $# != 1 ] && usage
1282                 create_cluster "$1"
1283                 ;;
1284             node)
1285                 [ $# != 2 ] && usage
1286                 create_one_node "$1" "$2"
1287                 ;;
1288             *)
1289                 usage;
1290                 ;;
1291         esac
1292         ;;
1293     mount)
1294         [ $# != 1 ] && usage
1295         mount_disk "$1"
1296         ;;
1297     unmount)
1298         [ $# != 0 ] && usage
1299         unmount_disk
1300         ;;
1301     bootbase)
1302         boot_base;
1303         ;;
1304     testproxy)
1305         test_proxy;
1306         ;;
1307     *)
1308         usage;
1309         ;;
1310 esac