cluster_configure - template substitutions depending on auth_type

These are horrible but can probably be made a bit cleaner later on.

Signed-off-by: Martin Schwenke <martin@meltin.net>

gpfs-nas.conf - define auth_method

Need to get rid of multiple template directories.  They are a
maintenance nightmare.

Signed-off-by: Martin Schwenke <martin@meltin.net>

cluster_configure - need to escape '|' in regular expression

Signed-off-by: Martin Schwenke <martin@meltin.net>

setup_cluster.sh - fix a typo where "all" is missing in an onnode command

Signed-off-by: Martin Schwenke <martin@meltin.net>

cluster_configure - fix FTP_EXPORTS setting

Signed-off-by: Martin Schwenke <martin@meltin.net>

cluster_configure - fix GPFS_SHARES setting

Signed-off-by: Martin Schwenke <martin@meltin.net>

cluster_configure - also go GPFS share setup for winbind

Signed-off-by: Martin Schwenke <martin@meltin.net>

gpfs-nas-postinstall.sh - add install of rssh

Signed-off-by: Martin Schwenke <martin@meltin.net>

setup_gpfs.sh - fix recovery lock setting for /etc/sysconfig/ctdb

Clearly nobody uses this, since it was broken in
94288bb324b1362a9994965e458addcd3b1e8f20 18 months ago.  :-(

Signed-off-by: Martin Schwenke <martin@meltin.net>

mknsd.sh - update to use shared_disk_ids file and to work with modern GPFS.

Old code is left for potential backward compatibility.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Shared disks: put IDs into a file on each node.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Rationalise list of packages in gpfs-nas-postinstall.sh.

Some packages no longer exist in modern clustered Samba.

Signed-off-by: Martin Schwenke <martin@meltin.net>

New configuration variable SHARED_DISK_ID_GEN for configurable shared disk IDs

The function or command specified should take 1 argument (disk
index/number) and print to stdout a unique identifier for that disk,
followed by a newline.  Sensible implementations will probably just
use echo.  :-)

The default implementation is via new function
shared_disk_id_default(), which ignores the disk number and generates
the ID using uuidgen, as per the previous hardcoded method.

scsi_id_autocluster.sh is modified to retrieve disk IDs up to 64 64
characters and is truncates at the first newline.  Therefore, in
general, the length of IDs is now governed by the generation function
rather than this script.

Signed-off-by: Martin Schwenke <martin@meltin.net>

vircmd - add -w/--wait argument with optional timeout.

This is only defined for start and shutdown.  The latter is possibly
the most meaningful one...

Signed-off-by: Martin Schwenke <martin@meltin.net>

Add RHEL 5.7 ISO details.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Add RHEL 6.1 ISO details.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Fix subsitute_vars() so it doesn't corrupt binary files.

Treating the file contents as a string in bash will almost always
corrupt binary files - at least any containing a NUL character.

This changes the code to use a temporary file rather than a string, so
none of this silliness occurs.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Makefile generates ChangeLog for dist and spec file installs it as doc.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Move variables QEMU_NBD and NBD_DEVICE to loopback implementation.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Automatically set default for SYSTEM_DISK_ACCESS_METHOD.

If using qcow2 system disks then prefer guestfish if it is installed,
or use loopback/NBD if requirement utilities are installed.

If not using qcow2 then default to loopback since this will be most
efficient.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Add sanity check to ensure guestfish is installed if it's use is selected.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Move sanity check for qcow2 images requiring NBD out of main script.

This is now a condition that only applies for if
$SYSTEM_DISK_ACCESS_METHOD is "loopback", so move the check to
05diskimage_guestfish.defconf, check the loopback condition and use
post_config_hooks to invoke the check.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Fix a problem with diskimage_* in the guestfish implementation.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Call "diskimage f args ..." rather than "diskimage_f args ...".

This means that no changes are needed in the main autocluster script
if new functions are added.

Unfortunately, this is an API change, so any add-ons to autocluster
that use the previous mechanism will need to be updated.  This is
pretty easy - just do this to your external file:

  1,$s/diskimage_/diskimage /g

Signed-off-by: Martin Schwenke <martin@meltin.net>

copy_base_dir_substitute_templates() should ignore .svn/ subdirectories.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Add diskimage_mv().

Signed-off-by: Martin Schwenke <martin@meltin.net>

Log files being installed from base/ .

Signed-off-by: Martin Schwenke <martin@meltin.net>

Rename config.d/05_* without that underscore.

For consistency with other files in config.d/.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Merge branch 'guestfish'

Update README for guestfish support.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Stop copy_base_dir_substitute_templates() chmod-ing existing directories.

This make break something out there but it is a sensible change.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Don't use guestfish is-dir directly, use diskimage_is_directory() instead.

guestfish is-dir doesn't use exit values to indicate status, and we
already handle that in diskimage_is_directory().

Signed-off-by: Martin Schwenke <martin@meltin.net>

Try to make diskimage_is_{file,directory}_guestfish work.

The return code seems bogus in the RHEL6.0 version.  They seem to
print either "true" or "false".

Signed-off-by: Martin Schwenke <martin@meltin.net>

Undo __ super-locationisation of variables in call_func().

There is code that references $type.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Implement diskimage_is-file() for loopback and guestfish.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Implement diskimage_grep() for loopback and guestfish.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Produce more useful error message when create base times out.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Work around guestfish upload not working with stdin.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Work around guestfish mkdir-p working badly with pre-existing symlinks.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Add guestfish method for accessing disk image.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Abstract out qemu-nbd/NBD/loopback mount of disk image.

In preparation for adding an alternate method.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Explicitly set disk image type to $BASE_FORMAT in install.xml.

If you don't specify a type then RHEL6's KVM default it to 'raw'.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Explicitly set disk image type to $SYSTEM_DISK_FORMAT in node.xml.

If you don't specify a type then RHEL6's KVM default it to 'raw'.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Add initial "no desktop" package listing for RHEL6.

Signed-off-by: Martin Schwenke <martin@meltin.net>

SYSTEM_DISK_PREFIX is now set from SYSTEM_DISK_TYPE and RHEL_VERSION.

RHEL6 guests need "sd" for "ide" disks, so automating this seems
sensible.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Support new SYSTEM_DISK_FORMAT=reflink.

This is like raw but it copied using --reflink=always.  This probably
requires disk images to be on btrfs, so this is experimental.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Make waitfor set LANG=C before running expect.

For some reason when creating a base image on RHEL6.0, expect exits
before it finds the designated pattern.  Using strace or expect -d
makes things mysteriously work, so debugging is very difficult.

On a whim, I wondered if expect is getting confused about multibyte
characters, so tried setting LANG=C.  This either fixes or works
around the problem.  It will do for now...

Signed-off-by: Martin Schwenke <martin@meltin.net>

Make setting of MEM happen in post_config_hooks() by default.

The previous default of 262144KB is not enough for RHEL6.  We use the
old default for RHEL5 and set an intial default of 512000KB for RHEL6.

A smaller limit may be possible for RHEL6... but this works.  :-)

Signed-off-by: Martin Schwenke <martin@meltin.net>

$ISO and $SYSTEM_DISK_MOUNTS now automatically set via post_config_hooks.

New function system_disk_mounts() returns a default value for
SYSTEM_DISK_MOUNTS that depend on $RHEL_VERSION.

New function rhel_post_config_hook() resets SYSTEM_DISK_MOUNTS and ISO
if they are equal to the magic value "@uto".  This is now the default
value for both of these variables.

Signed-off-by: Martin Schwenke <martin@meltin.net>

New hook post_config_hooks.

This is run after all configuration has been processed.  That is,
after command-line options processing.

It is also run before other exits where you can reasonably expect
configuration to be complete (--dump, -e <expr>).

It is not run before -E.  If you want to run in combination with -E
then add "run_hooks post_config_hooks" to the expression (or to a
previous -E option).  However, bear in mind that this may preempt any
magic the hooks might otherwise do after subsequent configuration
option processing.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Change handling of packages in kickstart with new variable RHEL_PACKAGES.

$RHEL_PACKAGES points to a file containing the standard package list,
which is inserted into the kickstart packages section along with
$_EXTRA_RHEL_PACKAGES and $EXTRA_PACKAGES.  The old packages list is
in RHEL5.packages, with an initial list of RHEL6 in RHEL6.packages.
The RHEL5 list has been slightly updated in the area of compat
packages.  The default value of $RHEL_PACKAGES invokes new function
rhel_package_list(), which prints the contents of the packages file
corresponding to the current $RHEL_VERSION.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Add RHEL6-compatible option to default value of KS_DONE_MESSAGE.

RHEL6 does not say "you may safely reboot your system" so we match
"System halted." to know when to halt the kickstart guest.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Remove persisent NIC naming in basic-postinstall.sh.

Different MAC addresses are used in guests for base creation than for
actual clusters.  We don't want the cluster nodes to remember any
NIC/MAC associations from the kickstart run.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Add RHEL5.6 ISO details.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Support for RHEL_VERSION=6.0 in rhel_print_iso.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Optimise newline subsitution during template expansion.

The current code uses a bash variable pattern substitution.  This can
be horrendously slow on a large value.  On my laptop it takes bash
about 0.7s to do a single replacement of the 1st newline in a ~50KB
value.  Doing a template substitution during the generation of XML for
100 shared disks causes the creation of a 1000 line value that is
about 35KB...  so handling 100 shared disks can be very slow!  :-(

This changes newlines to character 0x01 using tr and then uses sed to
replace these by "\\n".

There are other subsitutions nearby in the code but they don't tend to
cause this type of problem because they escape characters that tend to
be used less frequently.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Allow a lot more shared disks (about 700).

This is now a trivial change due to the use of arrays.

Based on a patch from Eugen Anghel <eugen.anghel@ro.ibm.com>.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Change shared disk device name code to use a bash array.

Based on a patch for more shared disks from Eugen Anghel
<eugen.anghel@ro.ibm.com>.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Revert "Allow a lot more shared disks (about 700)."

This can be done much better using arrays.

This reverts commit 5a5494821b51abfe2d6bf6f6dc9d960b8c3f0cde.

Allow a lot more shared disks (about 700).

Signed-off-by: Martin Schwenke <martin@meltin.net>

Added TODO file for cluster_configure.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Configuration file and wrapper script for simple GPFS-based NAS stack.

Master configuration file for cluster_configure and a wrapper script
to hold it all together.  The script may eventually become part of
cluster_configure.

Signed-off-by: Martin Schwenke <martin@meltin.net>

kickstart and post-install templated for simplified GPFS-based NAS cluster.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Initial version of cluster_configure.

See base/all/root/scripts/cluster_configure/README.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Change the SCSI ID prefix in shared disk images from "SOFS" to "AUTO".

Signed-off-by: Martin Schwenke <martin@meltin.net>

mknsd.sh creates its own list of disks to use as NSDs.

This currently uses /var/mmfs/etc/nsddevices to list the disks but
this script isn't generally available.

Instead we implement some custom logic that asks multipath about
available devices and then filters on those created by KVM or via
autocluster's iSCSI code.

Signed-off-by: Martin Schwenke <martin@meltin.net>

setup_gpfs.sh no longer uses cnpushfile.

Use a more generic combination of onnode and rsync.

Signed-off-by: Martin Schwenke <martin@meltin.net>

New configuration variable GPFS_DEFAULT_MOUNTPOINT, used by setup_gpfs.sh.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Move GPFS config variables from 50sofs.defconf to new file 40gpfs.defconf.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Move public IP config variables from 50sofs.defconf to 00base.defconf.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Make 3rd octet of IP addresses configurable.

This introduces new variables IPNET0, IPNET1, IPNET2.  These default
to 0, 1, 2 respectively.  That is, this change is backward compatible.

Signed-off-by: Martin Schwenke <martin@meltin.net>

NTP server should be GATEWAY, not a hand constructed IP address.

Signed-off-by: Martin Schwenke <martin@meltin.net>

New -E options needs "shift 2" - oops!

Signed-off-by: Martin Schwenke <martin@meltin.net>

Add new -E option like -e but doesn't exit.

In complex configurations it can be useful to add a function in a
configuration file and run it on the command-line.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Fix 2 bugs in iscsimultipath initscript.

* Incorrect reference to $c instead of $_c caused loop to never
  terminate.

* Need to flush multipath devices before trying again.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Fix think in iscsimultipath initscript.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Support HOSTS_STATIC_ENTRIES on the rhel_base nodes too.

Signed-off-by: Martin Schwenke <martin@meltin.net>

New configuration variable HOSTS_STATIC_ENTRIES.

This points to a file containing static entries that should be
inserted into /etc/hosts on each node.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Rework the code that finds the list of variables in a template.

This version seems cleaner and clearer than the previous version, so
is more likely to be correct.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Fix the template substitution in certain corner cases.

When template variables are surround by valid variable characters the
substitutions can fail.  This makes it more robust.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Fix hardcoded 10.0.0.1 in one of the iSCSI templates.

Signed-off-by: Martin Schwenke <martin@meltin.net>

New function shared_disk_iscsi_setup_base_get_ip() prints IP for iSCSI client.

This make the generation of IP addresses for iSCSI client
configurable.  If, for example, you're using an IP addressing scheme
that is out of autocluster's control, you can override this function
to try and provide an alternate solution.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Register shared_disk_iscsi_setup_base in shared_disk_setup.

Only register this is in setup_base_hooks if iSCSI shared disks are
being used.  It was registered globally.  This may, this hook is
registered even if you run clear_hooks on setup_base_hooks.

This obeys the "principal of least surprise" in the case where iSCSI
should work if you select iSCSI.  However, it might surprise people to
find a hook registered when they've clear the hook variable.  Can't
win 'em all.  If necessary, shared_disk_iscsi_setup_base() can be
overridden.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Move the "cluster created" message back into create_cluster().

Signed-off-by: Martin Schwenke <martin@meltin.net>

Put /etc/hosts editing suggestion into cluster_created_hooks.

Signed-off-by: Martin Schwenke <martin@meltin.net>

In setup_gpfs.sh, getopt complains if it doesn't have a -o option.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Kickstart: don't install xulrunner-devel - nothing needs it.

Signed-off-by: Martin Schwenke <martin@meltin.net>

grep sanity check in waitfor should now use extended regexps.

i.e. Pass "-E" to grep.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Make waitfor look for a regular expression rather than just a string.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Add $node_type to the UUID map.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Modify create_node_COMMON() to pull the UUID for this node out of the map.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Build a UUID map file in common_nodelist_hacking.

This maps between $ip_offset and UUID.  This isn't used anywhere
yet... however, there will be some autocluster applications where a
node will need to know the UUIDs of other nodes.

Note: after testing that the UUID map looks right, we'll actually use
it in create_node_COMMON().

Signed-off-by: Martin Schwenke <martin@meltin.net>

Fix a typo causing as syntax error.

Also clean up some of the progress messages.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Support SYSTEM_DISK_MOUNTS in unmount_disk().

Signed-off-by: Martin Schwenke <martin@meltin.net>

New configuration variable SYSTEM_DISK_MOUNTS.

Allows multiple filesystems to be mounted by mount_disk() at cluster
creation time.  This is useful if, for example, the base image has
been created with separate partitions for / and /var, and you need to
copy configuration to both filesystems.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Fix typo "derconf".

Signed-off-by: Martin Schwenke <martin@meltin.net>

New configuration variables BASE_PER_NODE_TYPE.

If set to "yes", this adds the node type to the base image filename
when creating each node.  This means you can have different base
images for each node type.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Add a comment to explain the previous commit.

Otherwise someone will wonder why...

Signed-off-by: Martin Schwenke <martin@meltin.net>

Fold setup_network() into setup_base().

Actually add it to setup_base_hooks but ensure that if $hosts_file is
unset then the function returns without doing anything.

Signed-off-by: Martin Schwenke <martin@meltin.net>

New config variable KS_DONE_MESSAGE, used to find end of kickstart install.

Currently we look for a fixed string to indicate that a kickstart
install is complete.  This changes that string to be parametrised, in
case we're using a non-standard installer.

Signed-off-by: Martin Schwenke <martin@meltin.net>