Only print message about creating a disk when actually creating a disk.

Signed-off-by: Martin Schwenke <martin@meltin.net>

New value for SYSTEM_DISK_FORMAT: "none".

This skips disk image creation but still creates the libvirt XML files
for the nodes.  This can be used if you want to take advantage of some
of autocluster's features but don't actually want to create a cluster.

Signed-off-by: Martin Schwenke <martin@meltin.net>

New function create_node_configure_image() to do the per-image configuration.

Move existing code to a function to make it easier to call
conditionally.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Test SONAS releases after 1.1.0.x with RHEL5.5.

Signed-off-by: Martin Schwenke <martin@meltin.net>

nbd-client is also optional if SYSTEM_DISK_FORMAT is not "raw".

Signed-off-by: Martin Schwenke <martin@meltin.net>

Always set SONAS_VERSION, since it is no longer a configuration variable.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Revert "New SOFS configuration variable SONAS_VERSION, default to null."

This reverts commit 91a7e656612a3bd94cb7922b5918a73048743d5c.

Given 7cccfaa022972988ee262f4014037c62abdecdf4 we no longer need this
is a configuration variable, so let's not support too many ways of
doing things!

Allow releases of the form <product>-<version> to use product.release.

Make releases more consistent with how they've always been.  If
there's no <product>-<version>.release file then look for
<product>.release and, if it exists, pass <version> to it.

Signed-off-by: Martin Schwenke <martin@meltin.net>

New release file for SONAS.

This is essentially the same as SoFS-2.0.release but respects either
$SONAS_VERSION or an argument to the release file.  It also sets a few
variables to more SONAS-specific values.

Signed-off-by: Martin Schwenke <martin@meltin.net>

New SOFS configuration variable SONAS_VERSION, default to null.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Make with_release() pass args $2.. to the release file when sourcing it.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Add support for RHEL5.5 cluster nodes.

Signed-off-by: Martin Schwenke <martin@meltin.net>

setup_gpfs.sh must source nsd_server_common.bash before processing args.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Add command-line options to setup_gpfs.sh.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Usage for SHARED_DISK_TYPE option should mention "iscsi".

Signed-off-by: Martin Schwenke <martin@meltin.net>

Makefile: Use time in the version string as well.

Otherwise the versions are less likely to be monotonic.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Makefile: Add rpm target and fix version.

Version can't contain hyphens or rpmbuild gets upset.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Makefile: Make dist target and associated generated targets more robust.

In the version, use the date from the last git commit rather than the
current date.  This means that debian/changelog and autocluster.spec
can be more reliably generated.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Document how to use autocluster with RHEL5 KVM package.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Parameterise the iSCSI target deletion with ISCSI_TID.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Use tgt-admin --delete with --force to delete targets.

This has 2 advantages:

* It disconnect any existing sessions to help force the deletion.

* It doesn't print an error message if the target doesn't exist.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Only check for QEMU_NBD command if SYSTEM_DISK_FORMAT is not "raw".

Signed-off-by: Martin Schwenke <martin@meltin.net>

Improve iSCSI host setup.

This adds a command to delete the iSCSI target.  This also changes the
message printed after cluster creation: the script should always be
run since leaving LUNs between clusters may result in cached data
surviving even though the disks have been recreated.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Remove any old shared disks before creating new ones.

Signed-off-by: Martin Schwenke <martin@meltin.net>

iscsimultipath initscript should identify itself when running.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Attempt to fix the iscsimultipath initscript.

Even if all of the devices are there, multipath doesn't necessarily do
what we expect.  This attempts to run multipath for up to 30 seconds
until the right number of slave devices appear.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Improve iSCSI multipath handling.

The current code uses a sleep to try to ensure that all the iSCSI
devices have appeared before running multipath.  Like any situation
involving a seemingly random sleep this is a bug.  When the host
machine is heavily loaded 5 seconds isn't enough.

This adds an extra initscript to handle this more properly.  The
initscript is always installed but is only enabled using chkconfig on
relevant nodes.

Signed-off-by: Martin Schwenke <martin@meltin.net>

If $SYSTEM_DISK_FORMAT is raw then just do a loopback mount.

In this case we don't need any qemu-nbd magic.

Signed-off-by: Martin Schwenke <martin@meltin.net>

If SYSTEM_DISK_FORMAT is "raw" then BASE_FORMAT must also be "raw".

Add a check to ensure this and a corresponding error if it isn't true.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Base image filename now ends in $BASE_FORMAT.

Using $BASE_FORMAT in the base image filename will make error more
obvious.

For raw system disks we will just be copying the base image, so it
needs to be raw too.  Currently changing BASE_FORMAT doesn't change
the name of the base image so, unless we do complicated things
(perhaps involving the "file" command), we won't be able to tell if
we're copying an old qcow2 image or current raw image.

Signed-off-by: Martin Schwenke <martin@meltin.net>

New configuration option SYSTEM_DISK_FORMAT.

If this is:

* "qcow2" then use qemu-img create with a a base image.

* "raw" then use cp to copy base image.

* otherwise, error.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Merge branch 'iscsi'

Fix RPM creation in autocluster

Martin,

while testing autocluster RPMs I had to make the following simple change to
autocluster:

commit bf7ded9fa88d11c219238499c2658fe68db0befb
Author: Ralph Wuerthner <ralph.wuerthner@de.ibm.com>
Date:   Thu Mar 4 09:13:35 2010 +0100

    Added config.d directory to RPM package

Fix iSCSI host setup bug.

Signed-off-by: Martin Schwenke <martin@meltin.net>

iscsi_out needs to be set in a function so it gets the value of CLUSTER.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Fix careless error in iSCSI host configuration.

The code to generate a LUN for each path was mostly missing and
otherwise broken.

This also reverts a stupid change in a recent commit that changed the
filename for the shared disk in the LUN specification.  We actually
use a variable that has the filename already in it...

Signed-off-by: Martin Schwenke <martin@meltin.net>

Make iscsi_cluster_created() point to file containing the tgtadm commands.

The list of commands is too long, so we no longer print them out, we
just point to the file.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Move iSCSI host setup from shared_disk_template() to shared_disk_setup().

shared_disk_template() is called for each node, so that was the wrong
place for this code.  This means shared_disk_template() is
approximately back to where it was a few versions ago.

Signed-off-by: Martin Schwenke <martin@meltin.net>

New configuration variables for shared disks.

This adds variables SHARED_DISK_FIRST_SUFFIX and
SHARED_DISK_MULTIPATH_NUMPATHS, which are used for default values of
arguments to shared_disk_template().

Passing arguments to shared_disk_template() is now deprecated.  Use
the variables instead.  That said, it should rarely be necessary to
modify the either variable from its default value.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Remove indentation from message in iscsi_cluster_created().

Signed-off-by: Martin Schwenke <martin@meltin.net>

iSCSI bug fixes.

Make iSCSI host setup add tgtadm commands instead of overwriting
existing file contents.  Fix a command that tried to use configuration
variables in the template style instead of required shell style.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Add missing backslashes to sed commands in iSCSI code.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Print a message when setting up iSCSI shared disks for each client.

Signed-off-by: Martin Schwenke <martin@meltin.net>

iscsi_cluster_created should only be registered if using iSCSI shared disks.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Use cluster_created_hooks to print a message about iSCSI host configuration.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Add new hook cluster_created_hook.

This is run at the end of cluster creation.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Rework handling of existing hooks, part 2.

Commit a65c5546d812b4669277e55c8d7f7ca915b6d12c needs this as well.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Rework handling of existing hooks.

Make hack_nodes_functions, create_cluster_hooks, setup_base_hooks use
the new hook infrastructure.

Signed-off-by: Martin Schwenke <martin@meltin.net>

New infrastructure functions register_hook and run_hooks.

The latter takes a variable *name* not a variable *value*.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Generation of iSCSI host configuration, part 1.

New configuration variable ISCSI_TID for target ID.  This may still
need to be retrofitted to the client configuration.
shared_disk_template() generates most of the required tgtadm commands
and shared_disk_iscsi_setup_base_internal() generates the ACLs.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Override shared_disk_iscsi_setup_base with SoFS-specific version.

This only calls shared_disk_iscsi_setup_base_internal if:

* there are no sofs_storage nodes; or
* the current node is a sofs_storage node.

Signed-off-by: Martin Schwenke <martin@meltin.net>

First part of iSCSI support for shared disks.

Several new configuration variables: ISCSI_HOST, ISCSI_PORT,
ISCSI_IQN, ISCSI_DEFAULT_TEMPLATE, ISCSI_ST_CONFIG_TEMPLATE - all
fairly self-explanatory.

shared_disk_template() does nothing if SHARED_DISK_TYPE is "iscsi".

shared_disk_setup() creates disk images with dd if SHARED_DISK_TYPE is
"iscsi".

New $setup_base_hook function shared_disk_iscsi_setup_base() does
these things on each node it is called for:

* Creates a default iSCSI client config.
* Hacks /etc/init.d/iscsi to do multipath magic.

shared_disk_iscsi_setup_base() is defined indirectly via function
shared_disk_iscsi_setup_base_internal() so that it can be overridden
by a function that may conditionally call the internal version.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Git should ignore more files in the debian/ subdirectory.

Signed-off-by: Martin Schwenke <martin@meltin.net>

shared_disk_template() bug fix for first disk suffix.

If the shared disks are of a different type to the system disks then
we should default to starting at 'a' instead of 'b'.

Signed-off-by: Martin Schwenke <martin@meltin.net>

setup_base now calls commands in $setup_base_hooks.

Use new function register_create_cluster_hook() to register hooks in
this variable.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Parameterise multipath.conf.

Add new variable SHARED_DISK_MULTIPATH_CALLOUT to parameterise the
uid_callout option and use SYSTEM_DISK_PREFIX to decide what to
blacklist.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Make the disk cache types configurable.

New options SYSTEM_DISK_CACHE and SHARED_DISK_CACHE can be used to
configure the cache type of the disks.  Valid values are: default,
none, writeback, writethrough - or as specified in the libvirt XML
documentation.

Signed-off-by: Martin Schwenke <martin@meltin.net>

In Makefile packaging files depend on Makefile.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Makefile puts git hash in version.

Signed-off-by: Martin Schwenke <martin@meltin.net>

For RPM BuildArch should be noarch.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Makefile fixes for building RPM.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Use rhel_gen_yum_repos to set YUM_TEMPLATE for SoFS releases.

SoFS.common now knows about the default SoFS settings for
YUM_TEMPLATE.  A couple of the release files set YUM_TEMPLATE
themselves because the default is not right for them.  Remove
SoFS.repo template and all of the associated SOFS_REPO_* options.

Hand tested for backward compatibility with commands like:

  ./autocluster --with-release=SoFS-2.0 \
    -e 'echo "@@@YUM_TEMPLATE@@@" | substitute_vars -'

Signed-off-by: Martin Schwenke <martin@meltin.net>

Sensible handling for YUM repositories.

* The generated file is always autocluster.repo.

* New function rhel_gen_yum_repos() takes a repo names as args and
  generates output including all the named repos (all enabled) along
  with the contents of templates/RHEL.repo.

* The change to autocluster cause the repo file to be generated is a
  bit interesting.  :-)

Signed-off-by: Martin Schwenke <martin@meltin.net>

Default RHEL_VERSION is now 5.4.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Use rhel_print_iso function for value of ISO in SoFS.common.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Add infrastructure function for determining RHEL ISO name from RHEL_VERSION.

Use this for default version of ISO.

Signed-off-by: Martin Schwenke <martin@meltin.net>

setup_gpfs.sh didn't work if there was only a single node.

The main problem was that $secondary was unset so mmcrcluster would
generate a usage message because there would be no argument to -s.
However, 'onnode 1 ...' was used and would generate a spurious warning
while failing to set secondary.

This version uses "onnode all ..." once and then manipulates the
resulting list of hosts.

Signed-off-by: Martin Schwenke <martin@meltin.net>

New configuration variable CREATE_BASE_TIMEOUT.

Signed-off-by: Martin Schwenke <martin@meltin.net>

vircmd: Sleep before retrying.

Signed-off-by: Martin Schwenke <martin@meltin.net>

vircmd: Exit with a useful return code.

Use the return code from the last virsh failure, if any.

Signed-off-by: Martin Schwenke <martin@meltin.net>

vircmd: Add retry loop in vircmd to work around spurious internal errors.

Based on a variation by Klaus Smolin.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Fix typo(s) in setup_tsm_server.sh - $AGENTS/$agents was inconsistent.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Revert "Make new commands added to setup_tsm_server.sh synchronous."

These changes don't work.  :-(

This reverts commit 831738a709251d57b13e8c02bfcc1f60dcb5a895.

Make new commands added to setup_tsm_server.sh synchronous.

Signed-off-by: Martin Schwenke <martin@meltin.net>

setup_tsm_server.sh updates to use storage pools more flexibly.

Add some TSM magic so that the backup and archive pools spill over
into the space management pool.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Remove the FIXME message related to $(genpkg) files.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Simplify "make dist".

I changed this locally to use "git archive" quite a while ago and it
has been slowing down my commits.  :-)

However, I couldn't figure out a neat way of adding the extra
$(genpkg) (generated packaging) files to the archive generated by "git
archive".  GNU tar's --transform option makes it trivial!

Signed-off-by: Martin Schwenke <martin@meltin.net>

Update setup_tsm_client.sh.

This should be run on a sofs_front node and will configure all
sofs_front nodes to do HSM.  Updated so that the first tsm_server node
is configured as the server and HSM is only configured on sofs_front
nodes.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Rename config variable TSM_ACRHIVE_POOL_SIZE to TSM_ARCHIVE_POOL_SIZE.

This was obviously a typo.  Given that the TSM support has been broken
for a while I don't think finally fixing the typo will hurt anyone.
:-)

Signed-off-by: Martin Schwenke <martin@meltin.net>

Add create node help to usage message.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Reinstate "autocluster create node" functionality.

This was removed several months ago when the node types were
generalised and it didn't seem to make sense at the time.

The new version takes an IP offset as its second argument and creates
the corresponding node.  It doesn't run the create cluster hooks,
since they may do cluster-wide things.

Note that creating a single node can result in an inconsistent
cluster.  For example, the when creating a node that is part of a CTDB
or GPFS cluster the behaviour is not well specified.  However, this
function may be very useful for (re)creating rhel_base and tsm_server
nodes.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Make setup_tsm_server.sh script work again.

This scripts hasn't received any love since the handling of node types
was generaliased.  Although we're meant to run this script on a
tsm_server node, we use the hostname of the first tsm_server node in
the NODES list.  Similarly, we setup all sofs_front nodes as client
nodes in the server config.

This isn't yet well tested but a quick test suggests that it does
work.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Cluster node hosts file updates.

Remove default TSM entry from the "all" hosts file.

Add new hosts file for "rhel_base" nodes that does not include
anything for CIFSNAME.  If a rhel_base node is used as a test client
then it should lookup CIFSNAME in DNS and connect via a real IP.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Copying a non-existent base template node-type-specific directory is harmless.

Signed-off-by: Martin Schwenke <martin@meltin.net>

When copying base templates, check if node-type-specific directory exists.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Reorganise base templates directory to allow for node-type-specific files.

* Previous contents of base/ are now in base/all.

* create_node_COMMON() takes an extra argument (inserted as $3) that
  specifies the node type.  All of the create_node_* functions pass
  "$type" for this argument.

* setup_base() now has an optional argument, which is only passed by
  create_node_COMMON.  Rather than simply copying and substituting
  templates for the entire $BASE_TEMPLATES/ subdirectory it now does
  this for $BASE_TEMPLATES/all and then $BASE_TEMPLATES/$type.
  Therefore, the contents of the type-specific directory override the
  contents of "all" directory.

* releases/SoFS.common uses the "all" version of SoFS-postinstall.sh
  when setting POSTINSTALL_TEMPLATE.  This variable also now respects
  $BASE_TEMPLATES instead of hard-coding the base/ subdirectory.

Signed-off-by: Martin Schwenke <martin@meltin.net>

New configuration variable SOFS_REPO_DAILY_SUFFIX.

Allows the suffix of the SoFS daily repository to be configured.  This
is allows you to set the name of this repo to, say "SoFS-2.0-RC" by
setting SOFS_REPO_DAILY_SUFFIX to "2.0-RC".

Signed-off-by: Martin Schwenke <martin@meltin.net>

Start with GPFS 3.3.0-0 for SoFS 2.x.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Stop GUIMEM being used for all nodes after a sofs_gui one.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Update README to document dependency on "expect" and to blame firewalls.

The "waitfor" script uses expect - this wasn't documented.

Installation problems can be blamed on firewalls.  This has been seem
on the current Fedora Core version, which installs a friendly firewall
that won't allow connections to squid.  Add a blame paragraph to the
section on squid.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Change IP address of SoFS install server.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Fix 2 problems in releases/SoFS.common from addition of SOFS_EXTRA_PACKAGES.

There were 2 things wrong with commit
734759caf0709b52e358dd61bcc4bfe4dc60907e.

* Remove single quotes around "ibmcim*" - they're not needed and cause
  an error.

* Also remove extra "esac" that was introduced at end of file.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Move list of extra SoFS packages to new config variable SOFS_EXTRA_PACKAGES.

Having this list of packages hardcoded in the postinstall script is a
maintenance nightmare.  This does the same thing using a variable,
with the default value in releases/SoFS.common.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Add installation of sofs-help package via releases/SoFS.common.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Make setup_gpfs.sh designate quorum nodes more cleanly.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Add new configuration option HOSTNAME_HACKING_FUNCTION.

You can define a function in your configuration file to hack cluster
node hostnames (and potentially other things), and set this option to
the name of that function.  This is basically an internal hack to
support hostname naming policies other than the autocluster default.

Note that using this option will probably break vircmd because it has
the allowable node/domain patterns for a cluster hardcoded - sorry
about that!  If you want to use the existing vircmd then you'll have
to pass a cluster name containing wildcards, and you'll need to be
confident that your wildcard patterns are strict enough to only match
nodes in each cluster!  Otherwise you'll have to write a vircmd
replacement that knows about your naming convention.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Make README more useful.

Divide README into more logical sections, explain more things, provide
more examples, ...

Signed-off-by: Martin Schwenke <martin@meltin.net>

Change host_setup libvirt network autostart links to be relative.

They should link to parent directory, not to an absolute path under
/etc.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Update conf.base-SoFS to tell vsftpd to use connect_from_port_20=YES.

Thanks to Klaus Smolin and Ronnie Sahlberge.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Attempt to set adminMode to allToAll in setup_gpfs.sh to for GPFS 3.3.

GPFS 3.3 requires that adminMode be set to allToAll for mm commands to
be run from any node.  The redirect from /dev/null ensures that older
versions of GPFS won't get stuck when they prompt you to warn about an
unknown option - hopefully the failure will be graceful.

Signed-off-by: Martin Schwenke <martin@meltin.net>