new version 1.0.72

Merge branch 'martins'

add a licence file

use netstat to check first and only fall back to netcat if netstat is unavailable

new version 1.0.71

add a simple test script to test ctdb_check_tcp_ports

Michael

ctdb_check_tcp_ports: correctly detect listeners on ipv6 :::<port> w/out netcat

The netstat test only grepped for the ipv4 wildcard address.
Now the ipv6 wildcard listener is correctly detected as well.

Michael

ctdb_check_tcp_ports: fail the check if neither netstat nor netcat/nc is found

Michael

ctdb_check_tcp_ports: cope with multiple locations of netcat or nc

This fixes tcp port monitor events on systems, where netcat or nc
is not found in /usr/bin/, Debian, for instance.

The patch also separates the process of finding the binaries and
calling them, moving the detection outside of the loop over the
ports list.

Michael

remove include <netinet/in.h> from public ctdb.h

This is not portable.
The ctdb build includes the necessary headers from includes.h.
And users of ctdb should cope with including the necessary
prerequisite headers themselves.

Michael

packaging: add a maketarball script

The script extracts the version number from the spec file.
It takes an extra argument, that can be appended to the
version in the tar ball name and directory prefix.

Michael

Fix the build on AIX: sys/socket.h needs to be included before ctdb.h

(for struct sockaddr to be defined)

Thanks to William Jojo <w.jojo@hvcc.edu> for reporting.

Michael

autoconf: Make sure the result of the mkdir_has_mode test gets cached.

This fixes the autoconf 2.63 warning
"suspicious cache-id, must contain _cv_ to be cached".

Thanks to William Jojo <w.jojo@hvcc.edu> for reporting.

Michael

events.d/41.httpd: fix a comment typo

Michael

Fix treatment of link local ipv6 addresses: set the scope id.

metze / Michael

Signed-off-by: Michael Adam <obnox@samba.org>

ctdb_util: use the parse_ip() function - avoid code duplication

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

ctdb_sys_have_ip: fix ipv6 support for aix, too.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

ctdb_sys_have_ip: don't overwrite input data (setting port to 0)

metze

Signed-off-by: Michael Adam <obnox@samba.org>

Fix verification of IP allocation with ipv6 addresses on Linux.

Set sin_port or sin6_port to 0, depending on sa_family.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

events 50.samba: fix control of nmbd without separate nmb service script.

protect all potentially empty $CTDB_SERVICE_* script names

Michael

packaging(RPM): detect and use ccache if available

Michael

Makefile: remove extra "/" in paths

Michael

makerpms: fix detection of support for --rsyncable flag in gzip.

Michael

ctdb.init: fix typo

Michael

events 50.samba: also support suse and ubuntu/debain systems

for managing samba and winbind

This uses CTDB_INIT_STYLE as exported by ctdb.init.

suse systems usually have separate init scripts for
smb for smbd and nmb for nmbd, and the ubuntu/debian
start script for smbd and nmbd is called samba instead
of smb (on redhat).

Michael

funcions: make (nice_)service a noop for empty service name

Michael

ctdb.init: use detect_init_style() in the init script

and export CTDB_INIT_STYLE, so that event scripts
as called by ctdbd can use it.

Michael

functions: add detect_init_style().

Michael

new version

ctdb.init: add $network to RequiredStop to match RequiredStart.

This is to make rpm checks (eg.g for SuSE systems) survive.

Michael

Fix circular dependency error with autoconf 2.6.3.

Signed-off-by: Andreas Schneider <anschneider@suse.de>
(cherry picked from commit b39611c36bb904774fd4032bf2f8003fbdeb5d34)

Signed-off-by: Michael Adam <obnox@samba.org>

makerpms: fix creation of tarball when gzip does not know "--rsynceable"

--rsynceable is a patch to gzip that not all distributors / packagers
add to gzip. (It has just bitten me on openSUSE.) This path first detects
whether gzip knows about --rsynceable and then calls gzip accordingly.

Michael

ctdb.spec: fix version and (RPM-)release number.

Originally, 1.0 was the version in the spec file and 68 was the release.
But in fact everyone talked about ctdb version 1.0.68.
This puts this straight...

Michael

makerpms: confess

Michael

makerpms: don't hard-code the version number but extract it from ctdb.spec

Michael

makerpms: remove the need of calling makerpms.sh from the top level directory

Instead, extract needed information from the dirname of the invoked name.

Michael

makerpms: don't cd to $SPECDIR but rpmbuild -ba $SPECDIR/$SPECFILE instead

Michael

makerpms: catch error of git archive correctly (echo resets $?)

Michael

makerpms: move comment to appropriate place

Michael

makerpms: use variable (SPECFILE) that is available instead of hard coded file name

Michael

doc: join broken lines in excerpt from log.ctdb

Michael

ctdb.samba.org: fix instruction for turning off samba service autostart

Extend to show valid commands on Redhat and SuSE Linux.

Michael

Make message in 62_ctdb_persistent_unsafe.sh more informative.

Signed-off-by: Martin Schwenke <martin@meltin.net>

23_ctdb_moveip.sh sanity checks the list of IPs/nodes instead of
looping forever on older versions of CTDB.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Merge commit 'origin/master' into martins

Git should ignore the test_trigger event script.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Fix segfault in ip takeover fallback code.

metze

Signed-off-by: Michael Adam <obnox@samba.org>

Remove the sorts from 06_ctdb_getpid.sh - the PIDs should be listed in
node order.

Signed-off-by: Martin Schwenke <martin@meltin.net>

finish the ipv6 support.
allow clients to register either ipv4 or ipv6 client connections to the tickles list

Use $CTDB_TEST_WRAPPER in other tests that need it.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Use $CTDB_TEST_WRAPPER in 51_ctdb_bench.sh.

Signed-off-by: Martin Schwenke <martin@meltin.net>

For now, make tests/run_tests.sh runs the new test suite.  Add
tests/TODO.  Remove tests/start_daemons.sh - no longer used.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Test binaries now go in tests/bin and ctdb_test_env now adds this
directory to $PATH if local daemons are being used.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Add tests/README.  ctdb_test_env and, therefore, run_tests can now be
run from the tests subdirectory... and most other sensible places.
Rename $CTDB_TEST_REMOTE_SCRIPTS_DIR to $CTDB_TEST_REMOTE_DIR since it
is now intented that this directory can contain test binaries too.
daemons_start() now passes a full path to the events.d directory when
starting ctdbd.  Also fixed the path to ctdbd.  41_ctdb_ban.sh and
42_ctdb_unban.sh fail immediately if they fail to select a test node.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Merge commit 'origin/master' into martins

Delete some unstructured tests ({fetch,peristent,transaction}.sh) and
replace them with new simple tests (52_ctdb_fetch.sh,
53_ctdb_transaction.sh, 61_ctdb_persistent_safe.sh,
62_ctdb_persistent_unsafe.sh).  Remove "_simple" from some test
filenames in the simple subdirectory - that's redundant.  Always run
ctdb as $CTDB to allow $VALGRIND magic to be used.  Use pgrep/pkill to
detect/kill local daemons so those running under valgrind can be found
too - to support this, always run local daemons with the full path to
the executable.  run_tests now supports -s option to print sumamry
when done - with more and more tests, it is getting hard to follow
progress.  Sort the output of commands in 06_ctdb_getpid.sh to make
sure they compare nicely and also allow the processes' executables to
be called "memcheck" to catch those running under valgrind.  Remove
redundant calls to onnode in commands run from calls
try_command_on_node in some tests.  41_ctdb_ban.sh and
42_ctdb_unban.sh avoid banning the recmaster, since this causes the
recmaster to be reassigned and all nodes to be unbanned.  Minor
cleanups.

Signed-off-by: Martin Schwenke <martin@meltin.net>

new version 1.0.69

Remove old ctdbd.sh test script.  Remove unneeded nodes.txt and
public_addresses files - these are now created in tests/var as needed.
09_ctdb_ping.sh now recognises new "node disconnected" message.
Replace custom recovery detection code (which could not have been
working) with a call to "ctdb recover" in 32_ctdb_enable_simple.sh.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Remove bench.sh test and replace with new test 51_ctdb_bench.sh.
Function try_command_on_node node passes any options other than -v to
onnode.  Minor update to 14_ctdb_statistics.sh.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Bug fixes for ctdb_bench from Ronnie.

ctdb_test_env now sets $CTDB_TIMEOUT.  Fixed
26_ctdb_config_check_error_on_unreachable_ctdb.sh to work with new
generic error message when trying to talk to disconnected node.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Merge commit 'origin/master' into martins

New test 26_ctdb_config_check_error_on_unreachable_ctdb.sh.

Signed-off-by: Martin Schwenke <martin@meltin.net>

add better errorchecking that nodes we try to talk to using the "ctdb" tool actually exist and that it is connected.

two new dedicated ctdb error codes
21: node does not exist
22: node is disconnected

dont call ctdb_fatal() just because we are asked to restart a connection
to a remote node and ctdb->methods is NULL.

This can happen when we are in the middle of a normal shutdown of the
daemon and we have already shut down the transport layer (thus setting
ctdb->methods == NULL in the transport layer destructor)
band there is some unprocessed data related to a remote node.

This prevents an ugly race condition where ctdb might sometimes (rare)
cause a core dump during "ctdb shutdown".

Finish 24_ctdb_getdbmap.sh.  New test 25_dumpmemory.sh.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Merge commit 'origin/master' into martins

skip directories containing macros (%) in ctdb_check_directories_probe

This prevents the monitor action of 50.samba from failing
on e.g. a typical [homes] service with "path = /home/%S" .

Michael

ctdb.init: add Default-Start to init script to enable autostart.

Michael

ctdb.init: check availability of ctdb (with ping) before calling ctdb status

Michael

ctdb.init: behave correctly when calling "service ctdb stop" on stopped service

When "service ctdb stop" is called and the ctdbd is not running,
don't print the "Failed to connect to daemon" error messages.
But print a warning and exit with status success instead.

Michael

ctdb.init: fix return code of "service ctdb stop" on non-redhat systems

Michael

ctdb.init: fix status message of "service ctdb stop" on suse systems

Michael

packaging: set docdir in calls to make (to get it right on e.g. SuSE systems).

Currently docdir = /usr/share/doc is hardcoded in the Makefile.in.
Some systems use a different doc dir (SuSE uses /usr/share/doc/packages).

And not all versions of autoconf provide the --docdir parameter
(2.61 does, while 2.59 does not). So we use the quick solution
to specify "docdir=%{_docdir}" in the make calls in the spec file.

Michael

3 new tests.  24_ctdb_getdbmap.sh is only 1/2 implemented but does
something vaguely useful.  ctdb_test_exit unsets $ctdb_test_exit_hook.
Fix bug in 17_ctdb_config_delete_ip.sh.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Add a recovery to ctdb_test_exit to improve test stability.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Rename $CTDB_NUM_NODES to $CTDB_TEST_NUM_DAEMONS and only set it if
$CTDB_TEST_REAL_CLUSTER is not set.  After a ctdb restart, force a
recovery to attempt to help tests that follows.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Merge commit 'origin/master' into martins

New version 1.0.68

Improve the monitor event test for ethernet interfaces (link detection).

On some systems, the ethtool link detection is not successful when a
cable is plugged but the interface has not been brought up previously.
This improves the test by bringing the interface up (without checking
for success here) and trying the ethtool test again afterwards.

Michael

Use "grep -q" instead of "grep ... > /dev/null" in events.d/10.interfaces
This enhances readability.

Michael

Add message about restart to 18_ctdb_freeze.sh.

Signed-off-by: Martin Schwenke <martin@meltin.net>

With local daemons the sockets are now numbered starting from 0.  Fix
setup of local daemons so that it correctly assigns no public IPs to a
single node each time.  Separate out daemon_setup so that the
selection of the node with no public IPs is only done once at the
beginning of testing.  Clean up all current tests, mostly with a view
to ensuring that a node selected for testing some kind of failover
actually has public addresses assigned.  Reenabled 01_ctdb_version.sh
- it now passes if rpm doesn't do anything useful on the node.

Signed-off-by: Martin Schwenke <martin@meltin.net>

update the "ctdb recover" command.

block and wait until the clustered has completed the recovery before returning.
this  makes it easier to script since it avoids the common need for
   ctdb recover
   ... complex loop to wait for recovery to complete ...
   script continues

add a CTDB_TIMEOUT variable for the ctdb tool.
If set this specified the maximum runtime for the ctdb tool before it will terminate with status == 20
Just like the -T ...  option would.

make sure we return an errorcode when the ctdb command has hung  and is timeodout by the -T <timeout> setting

Merge commit 'origin/master' into martins

Merge commit 'origin/master' into martins

Merge commit 'origin/master' into martins

Added use of $ctdb_test_exit_hook to function ctdb_test_exit.  Removed
sleeps from ban/unban tests.  Now expect "ctdb ping" to return false
if it fails, so made relevant change to 09_ctdb_ping.sh.  New
functions install_eventscript and uninstall_eventscript.  New
setup/cleanup tests 00_ctdb_install_eventscript.sh and
99_ctdb_uninstall_eventscript.sh.  New test 21_ctdb_disablemonitor.sh,
which is incredibly complex.

Signed-off-by: Martin Schwenke <martin@meltin.net>

add a helper that waits until the clueter is no longe rin recovery mode and return the generation number.

change the ban/unban logic to wait until we are not in recovery before it bans/unbans the node.

also wait until after the cluster has recovered from the ban/unban before returning so that the cluster is in recpovery mode == normal when the command returns.  this makes it much easier to script things ...

Merge commit 'origin/master' into martins

update to the flags handling
make sure to abort the monitoring and restart if we failed to get the nodemap from a remote node

If ctdbd was started with the --socket option then we also set the CTDB_SOCKET variable so that the eventscripts can pick up the name proper

Merge commit 'origin/master' into martins

return -1 if ctdb ping failed

Merge commit 'origin/master' into martins

When running with local daemons, provided there is more than 2 of
them, randomly pick a single node that will not have any public IPs
assigned.  This will make life a bit more interesting and will
simulate what happens on real clusters with a management node.  Some
tests were disabling a node to implicitly trigger a ctdb restart - now
use an explicit restart of ctdb when it is required.
17_ctdb_config_delete_ip.sh now randomly chooses a public IP on any
node to disable - this works around a problem where the hardcoded node
might not have any public addresses.

Signed-off-by: Martin Schwenke <martin@meltin.net>

redo and update how we synchronize flags across the cluster.
this simplifies the code and should close a race condition between the local recovery daemon and a remote node when flags are changing.

some platforms are very picky about the third argument passed to bind().
and would complain if sa.family is AF_INET and the third argument is not exactly the size of a sockaddr_in.

We used to pass a union containing both a sockaddr_in and a sockaddr_in6  which would mean that on those platforms bind() would fail since the passed structure for AF_INET would be too big.

Thus we need to set and pass the appropriate size to bind. At the same time for thos eplatforms we can also set sin[6]_size to the expected size.
(bind() on those platforms were isurprisingly perfectly ok with sin_len was "too big")