TODO(correct?) recoverd: when banning a node, update our local flags

is it correct to use nodes[pnn].flags ??

Signed-off-by: Michael Adam <obnox@samba.org>

recoverd: when the recmaster considers itself banned consider this when forcing an election

When we trigger an election because the recmaster considers itself inactive,
update our local nodemap with the recmaster's flags before calling
force_election(). This way, we don't send the inactive node freeze commands
(e.g.) that may fail and then lead to ourselves getting banned.

The theory is that this should help avoiding banning loops.

Signed-off-by: Michael Adam <obnox@samba.org>

recoverd: fix a comment typo

Signed-off-by: Michael Adam <obnox@samba.org>

recoverd: fix a comment in main_loop

Signed-off-by: Michael Adam <obnox@samba.org>

recoverd: eliminate some trailing spaces from ctdb_election_win()

Signed-off-by: Michael Adam <obnox@samba.org>

recovered: Remove old comment as the code corresponding to that has gone away

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

recovered: Set rec->node_flags as soon as we have the new information

Move this code before checking for rec->node_flags.

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

tools/ctdb: Add "force" option to "recover" command

At the moment there is no easy way to force a recovery when attempting
to reproduce certain classes of bugs.  This option is added without
documentation because it is dangerous until the bugs are fixed!  :-)

Signed-off-by: Martin Schwenke <martin@meltin.net>

recovered: When updating all the nodes, send the updated flags

Do not send our old copy of flags, but send the flags updated from the node.

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

debug: Print modflags in client function

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

debug: Print modflags

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

debug: print flag changes at higher debug level

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

banning: Do not set banning credits on a node if current node is inactive

If the current node is banned or stopped, then it should not assign banning
credits to other nodes since the current node will not have up-to-date flags
of other nodes.

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

Do an early check if we are recmaster when we get banned or stopped

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

merge with banning change

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

banning: No need to check if banned pnn is for local node

If the banned pnn is not the local node, the function returns early.
So no need for additional check.

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

banning: Make ctdb_local_node_got_banned() a void function

When this function is called, we are already committed to banning
and there is no point in failing this function.  In case, freezing of
databases fails, it will be fixed from recovery daemon.

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

banning: Log ban state changes for other nodes at higher debug level

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

banning: If freezing fails at some priority, stop freezing at higher priority

If the databases at lower priority cannot be frozen, then stop freezing
databases since freezing databases out of order can cause deadlock.
Recovery mode cannot be set active till all the databases are frozen.

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

recoverd: Print banning message only after verifying pnn

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

client: Exit with non-zero status when unix socket is closed

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

doc: Fix ctdb ping entry in manpage

Signed-off-by: Martin Schwenke <martin@meltin.net>

doc: Fix documentation for NoIPTakeover in ctdbd manpage

Signed-off-by: Martin Schwenke <martin@meltin.net>

doc: Update notification script section in ctdbd manpage

The example notification script is now much more useful.

Signed-off-by: Martin Schwenke <martin@meltin.net>

doc: Add nodestatus command to the ctdb manpage

Signed-off-by: Martin Schwenke <martin@meltin.net>

doc: Update NEWS

Signed-off-by: Martin Schwenke <martin@meltin.net>

tests: Integration tests use "ctdb nodestatus" for healthy cluster check

Also check that we're not in recovery mode.

Signed-off-by: Martin Schwenke <martin@meltin.net>

tests: Integration test infrastructure should do only a single recovery

No need for 2 recoveries after a restart.

Signed-off-by: Martin Schwenke <martin@meltin.net>

ctdbd: Fix panic on overlapping shutdowns

The runstate can't be set to SHUTDOWN twice, so the current naive code
causes a panic on the 2nd shutdown.  This regression was introduced in
commit 8076773a9924dcf8aff16f7d96b2b9ac383ecc28.

Signed-off-by: Martin Schwenke <martin@meltin.net>

ctdbd: Refactor shutdown sequence

Signed-off-by: Martin Schwenke <martin@meltin.net>

eventscripts: "setup" event doesn't need to wait for SETUP runstate

The "setup" event isn't called until ctdbd is in CTDB_RUNSTATE_SETUP
anyway...

Signed-off-by: Martin Schwenke <martin@meltin.net>

tests/eventscripts: New tests for 00.ctdb "init" event

These test dropping of IPs and TDB checking.

New stubs for date, tdbdump, tdbtool.

Enhance ip stub to handle "ip addr show to ..."

Tweak some infrastructure.

Signed-off-by: Martin Schwenke <martin@meltin.net>
Pair-programmed-with: Amitay Isaacs <amitay@gmail.com>

eventscripts: 13.per_ip_routing should not try hard to find public_addresses

This essentially reverts d4621277240721e6d130a930b0100506b64467ea.
This was added for testing but the test code was actually broken.
CTDB itself will only process public IPs if $CTDB_PUBLIC_ADDRESSES is
set, so no code should try to be more flexible than that!

The test code has been fixed instead.

Signed-off-by: Martin Schwenke <martin@meltin.net>

tests/eventscripts: setup_ctdb() should always set $CTDB_PUBLIC_ADDRESSES

Signed-off-by: Martin Schwenke <martin@meltin.net>
Pair-programmed-with: Amitay Isaacs <amitay@gmail.com>

logging: Notify parent when logging daemon is up

Messages are lost until it is really up because syslogd_is_started is
set too early.  Adding a pipe to do the notification allows the parent
to wait and only set syslogd_is_started when the logging daemon is
actually ready.

Signed-off-by: Martin Schwenke <martin@meltin.net>
Pair-programmed-with: Amitay Isaacs <amitay@gmail.com>

scripts: Move TDB checking from initscript to "init" event

It makes sense to do this in the "init" event and make the initscript
less complicated.

Signed-off-by: Martin Schwenke <martin@meltin.net>

scripts: Move dropping of all IPs from initscript to "init" event

It makes sense to do this in the "init" event and make the initscript
less complicated.

Signed-off-by: Martin Schwenke <martin@meltin.net>

scripts: drop_ip() should use delete_ip_from_iface()

Otherwise secondary addresses that aren't owned by CTDB could be
dropped.

Signed-off-by: Martin Schwenke <martin@meltin.net>

scripts: drop_all_public_ips() now prints messages to stdout, not log

Change all callers to maintain current behaviour.

Signed-off-by: Martin Schwenke <martin@meltin.net>

ctdbd: "init" event should run earlier in daemon initialisation

It should run before:

* the transport is started;
* databases are attached; and
* processing configuration files (e.g. nodes, public_addresses).

Signed-off-by: Martin Schwenke <martin@meltin.net>
Pair-programmed-with: Amitay Isaacs <amitay@gmail.com>

tools/ctdb: Do not exit prematurely on control timeout if retrying in a loop

This avoids premature exits from "ctdb stop" and "ctdb continue" due to
intermittent control (e.g. getpnn, getnodemap) timeouts.

This needs a proper fix to distinguish between timeout and failure
conditions and take appropriate action.

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

packaging: Update the minimum required library versions

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

build: Enable VERBOSE option to display build command line

make V=1 or make VERBOSE=1 will display build commands.

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

build: Fix tdb.h path to enable building with system TDB library

libctdb: Include config.h in libctdb/ctdb.c

Bug-Debian: http://bugs.debian.org/703551

ctdbd: Make sure we don't kill init process by mistake

If getpgrp() fails, it will return -1 and that will send KILL signal to init
process (PID 1).  This does not happen on RHEL, but does on AIX.

Reported-by: Chris Cowan <cc@us.ibm.com>
Signed-off-by: Amitay Isaacs <amitay@gmail.com>

tests/eventscripts: Unit tests for $CTDB_NFS_DUMP_STUCK_THREADS

Includes minor test infrastructure updates.

Signed-off-by: Martin Schwenke <martin@meltin.net>

tests/eventscripts: Fix -X tracing in iterate_test()

... and delete a bogus comment.

Signed-off-by: Martin Schwenke <martin@meltin.net>

tests/eventscripts: Add unit tests for $CTDB_MONITOR_NFS_THREAD_COUNT

Includes minor test infrastructure updates.

Signed-off-by: Martin Schwenke <martin@meltin.net>

eventscripts: New configuration varable $CTDB_NFS_DUMP_STUCK_THREADS

If some nfsd threads are still alive after a shutdown during a restart
then this indicates the maximum number of threads for which a stack
trace should be dumped.  This can be useful for trying to determine
why nfsd is stuck.

Signed-off-by: Martin Schwenke <martin@meltin.net>

eventscripts: Add new option $CTDB_MONITOR_NFS_THREAD_COUNT

Consider the following example:

1. There are 256 nfsd threads configured.
2. 200 threads are "stuck" in system calls, perhaps waiting for the
   underlying filesystem when an attempt is made to restart NFS.
3. 56 threads exit when NFS is stopped.
4. 56 new threads are started when NFS is started.
5. 200 "stuck" threads exit leaving only 56 threads running.

Setting this option to "yes" makes the 60.nfs monitor event look for
this situation and try to correct it.

Signed-off-by: Martin Schwenke <martin@meltin.net>

recoverd: Log node that causes takoever run to fail

Extend takeover_fail_callback() to just log (and not do any ban
processing) when the callback data is NULL.  Always call
ctdb_takeover_run() with the callback so that useful errors are always
logged.

Signed-off-by: Martin Schwenke <martin@meltin.net>
Pair-programmed-with: Amitay Isaacs <amitay@gmail.com>

doc: Add release notes for 2.2

Signed-off-by: Martin Schwenke <martin@meltin.net>

build: Fix extra whitespaces

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

tevent: Sync to tevent 0.9.18 from upstream

replace: Sync to latest replace from upstream

The latest commits affecting lib/replace remove autoconf build from
Samba tree.  So using following commit as a sync point.

  commit 9ddfd7d8784e6f546628f48990b69ee2850be52d
  Author: Andrew Bartlett <abartlet@samba.org>
  Date:   Wed May 22 17:23:30 2013 +1000

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

tdb: Sync to tdb 1.2.11 from upstream

talloc: Sync to talloc 2.0.8 from upstream

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

ctdbd: Log node state transitions at higher debug level

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

git: Ignore generated ctdb.spec file

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

git: Ignore ctdb_version.h file

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

build: Use REPLACE_OBJ and CTDB_EXTERNAL_OBJ to simplify build rules

This fixes the build on AIX where libreplace is required to build
ctdb_lock_helper, ctdb_fetch_lock_once, ctdb_fetch_readonly_once.

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

build: Support for building on AIX xlc compiler

xlc does not support -fPIC, -Wno-format-zero-length

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

tests: Do not use err() to support AIX

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

tests: Include system/time.h to support building on AIX

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

libctdb: Do not include sys/time.h to support build on AIX

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

util: Do not stop build if backtracing is not supported

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

eventscripts: Fix statd-callout update handling

60.nfs and 60.ganesha touch $statd_update_trigger every time they're
run.  This stops the statd-callout updates from ever being called.

Make this logic self-contained and move it to new function
nfs_statd_update() in the functions file.  Call this in 60.nfs and
60.ganesha with the appropriate update period as the only argument.

Signed-off-by: Martin Schwenke <martin@meltin.net>
Reported-by: Poornima Gupte <poornima.gupte@in.ibm.com>

tests/integration: Improve debug output for unhealthy cluster after restart

Signed-off-by: Martin Schwenke <martin@meltin.net>

tests/scripts: Delete unused $rows and $ww variables from run_tests

Signed-off-by: Martin Schwenke <martin@meltin.net>

packaging: Create separate package for pcp pmda

To build ctdb-pcp-pmda package, run packaging/RPM/makerpms.sh script with
"--with pmda" option.

Signed-off-by: Martin Schwenke <martin@meltin.net>
Pair-programmed-with: Amitay Isaacs <amitay@gmail.com>

build: Separate autoconf macros for pmda

The pmda stuff is no longer built by default even if the headers are
available.  To build, run "configure --enable-pmda".

Signed-off-by: Martin Schwenke <martin@meltin.net>
Pair-programmed-with: Amitay Isaacs <amitay@gmail.com>

build: Fix install paths for pcp pmda

Signed-off-by: Martin Schwenke <martin@meltin.net>
Pair-programmed-with: Amitay Isaacs <amitay@gmail.com>

packaging: makerpms.sh can take multiple arguments for rpmbuild

Signed-off-by: Martin Schwenke <martin@meltin.net>

eventscripts: Stop NAT gateway's delete_all() from polluting the log

Every time a node that wasn't the NAT gateway master gets reconfigured
something like this appears in the log:

  ctdbd: 11.natgw: Failed to del 10.0.1.139 on dev eth1

Since this usually fails it is better to mute the error than to have
it pollute the log.

Signed-off-by: Martin Schwenke <martin@meltin.net>

recoverd: Backward compatibility for nodes without IPREALLOCATED control

Consider the case of upgrading a cluster node by node, where some
nodes are still running older versions of CTDB without the
IPREALLOCATED control.  If a "new" node takes over as recovery master
and a failover occurs, then it will attempt to send IPREALLOCATED
controls to all nodes.  The "old" nodes will fail in a fairly
nondescript way (result == -1).

To try to handle this situation, fall back to the EVENTSCRIPT control
to handle "ipreallocated".  Only do this on the failed nodes.
However, do not do this on nodes that timed out (they've probably
implemented the control and we should call the regular fail_callback
to get those nodes banned) or for stopped nodes (since they can't
actually run the "ipreallocated" event via the EVENTSCRIPT control).

Signed-off-by: Martin Schwenke <martin@meltin.net>

scripts: Provide mktemp function for platforms without mktemp command

This is needed for AIX and possibly others.

Also provide a cheaper mktemp function is needed in the run_tests
script.

Signed-off-by: Martin Schwenke <martin@meltin.net>

tests: Fix integration tests to use real private IPs

192.0.2.x was a typo.

Signed-off-by: Martin Schwenke <martin@meltin.net>

pmda: handle new ctdb_statistics format

The ctdb_statistics structure was recently changed. Update the PMDA to
dereference the new structure member names.

Signed-off-by: David Disseldorp <ddiss@samba.org>
Reviewed-by: Michael Adam <obnox@samba.org>

tests/takeover: New test with 900 IPs

tests/takeover: Takeover tests can use up to 1024 and checks limits

Signed-off-by: Martin Schwenke <martin@meltin.net>

tests/takeover: LCP2 tests for weird, unbalanced corner-cases

2 tests to show a bad result and a 3rd test for the fix.

Signed-off-by: Martin Schwenke <martin@meltin.net>

tests/takeover: Allow takeover runs with differing IP allocations per node

Signed-off-by: Martin Schwenke <martin@meltin.net>

vacuum: Reduce the priority of non-critical error

Since the complete database is not locked when the receive_records
control is received, it's possible that we may not be able to obtain
lock on a chain.  We will try again to store this record.

Signed-off-by: Amitay Isaacs <amitay@gmail.com>
Reviewed-by: Michael Adam <obnox@samba.org>

ctdbd: fix comment explaining redirection of CTDB_REQ_CALL redirection.

Signed-off-by: Michael Adam <obnox@samba.org>

ctdbd: remove a nonempty blank line

Signed-off-by: Michael Adam <obnox@samba.org>

ctdbd: update comment describing ctdb_call_send_redirect()

Signed-off-by: Michael Adam <obnox@samba.org>

tests/takeover: New tests to check runstate handling

Signed-off-by: Martin Schwenke <martin@meltin.net>

recoverd: Nodes can only takeover IPs if they are in runstate RUNNING

Currently the order of the first IP allocation, including the first
"ipreallocated" event, and the "startup" event is undefined.  Both of
these events can (re)start services.

This stops IPs being hosted before the "startup" event has completed.

Signed-off-by: Martin Schwenke <martin@meltin.net>
Pair-programmed-with: Amitay Isaacs <amitay@gmail.com>

recoverd: Handle errors carefully when fetching tunables

If a tunable is not implemented on a remote node then this should not
be fatal.  In this case the takeover run can continue using benign
defaults for the tunables.

However, timeouts and any unexpected errors should be fatal.  These
should abort the takeover run because they can lead to unexpected IP
movements.

Signed-off-by: Martin Schwenke <martin@meltin.net>

recoverd: Set explicit default value when getting tunable from nodes

Both of the current defaults are implicitly 0.  It is better to make
the defaults obvious.

Signed-off-by: Martin Schwenke <martin@meltin.net>

client: async_callback() sets result to -ETIME if a control times out

Otherwise there is no way of treating a timeout differently to a
general failure.

Signed-off-by: Martin Schwenke <martin@meltin.net>
Pair-programmed-with: Amitay Isaacs <amitay@gmail.com>

ctdbd: Update the get_tunable code to return -EINVAL for unknown tunable

Otherwise callers can't tell the difference between some other failure
(e.g. memory allocation failure) and an unknown tunable.

Signed-off-by: Martin Schwenke <martin@meltin.net>

recoverd: Whitespace improvements

Signed-off-by: Martin Schwenke <martin@meltin.net>

recoverd: Use talloc_array_length() for simpler code

Signed-off-by: Martin Schwenke <martin@meltin.net>

ctdbd: When the "setup" event fails log an error and exit, don't abort

The "setup" event can fail when one of the eventscripts fails to run
its "setup" event.  If this occurs then the eventscript should log an
error.  The stack trace and core file generated when we abort provides
no useful information.

Signed-off-by: Martin Schwenke <martin@meltin.net>

eventscripts: 11.natgw should not call ctdb tool in "init" event

The current code calls "ctdb setnatgwstate ..." on every event.
However, calling the ctdb tool in the "init" event is not permitted.

Instead, update the capability when it is needed and at regular
intervals via the "monitor" event.

Signed-off-by: Martin Schwenke <martin@meltin.net>
Pair-programmed-with: Amitay Isaacs <amitay@gmail.com>

ctdbd: Add new runstate CTDB_RUNSTATE_FIRST_RECOVERY

This adds more serialisation to the startup, ensuring that the
"startup" event runs after everything to do with the first recovery
(including the "recovered" event).

Given that it now takes longer to get to the "startup" state, the
initscript needs to wait until ctdbd gets to "first_recovery".

Signed-off-by: Martin Schwenke <martin@meltin.net>
Pair-programmed-with: Amitay Isaacs <amitay@gmail.com>

tools/ctdb: "ctdb runstate" now accepts optional expected run state arguments

If one or more run states are specified then "ctdb runstate" succeeds
only if ctdbd is in one of those run states.

At the moment, if the "setup" event fails then the initscript succeeds
but ctdbd exits almost immediately.  This behaviour isn't very
friendly.

The initscript now waits until ctdbd is in "startup" or "running" run
state via the use of "ctdb runstate startup running", meaning that ctdbd
has successfully passed the "setup" event.

The "setup" event code in 00.ctdb now waits until ctdbd is in the
"setup" run state before proceeding via the use of "ctdb runstate setup".

Signed-off-by: Martin Schwenke <martin@meltin.net>
Pair-programmed-with: Amitay Isaacs <amitay@gmail.com>

tools/ctdb: New command runstate to print current runstate

Signed-off-by: Martin Schwenke <martin@meltin.net>
Pair-programmed-with: Amitay Isaacs <amitay@gmail.com>