new version 1.0.95

use the correct expected size for thew _cancel control

add a dispatch to the recovery transaction cancel call

Merge commit 'martins/master'

add a new control for explicitely cancelling recovery transactions, i.e. the
transactions we start across all tdb databased during the recovery.

this allows us to properly clean up and delete these tdb transactions on a
recovery failure.

Clean up ctdb_check_directories* eventscript functions.

There are 2 problems with this code:

* The loop in ctdb_check_directories_probe() breaks on filenames
  containing whitespace.

  The fix to protect them is to pass "$@" to this function and have it
  operate on "$@".

  Note that there's still a problem with whitespace in filenames in
  the 50.samba eventscript.  To fix this ctdb_check_directories_probe
  should read the filenames from stdin.  Another time...

* The check for '%' in filenames in ctdb_check_directories_probe()
  ends up involving several forks.  On a modern machine this can cost
  a couple of minutes when checking a large number of directories.

  The fix is to use a case statement.

Signed-off-by: Martin Schwenke <martin@meltin.net>

40.vsftpd: reset the fail counter in the "recovered" event.

Each recovery that involves IP reassignments results in a restart of
vsftpd in the "recovered" event.  Currently, we can have several
recoveries in quick succession and the "monitor" event following each
can fail because vsftpd isn't ready yet.  This results in cumulative
failures, so the node is marked unhealthy, even though vsftpd has
never had a proper opportunity to become ready.

This resets the fail count after each recovery.

While we're here, also move the delete of the restart flag file into
the body of the conditional.

Signed-off-by: Martin Schwenke <martin@meltin.net>

allow setting the recmode even when not completely frozen.
we sometimes have to do this when we want to trigger a recovery

initial attempt at freezing databases in priority order

uptade the freeze/thaw commands to be able to send the requested database priority to freeze/thaw to the daemon.

this is encoded in the srvid field of the request header

during recovery, update all remote nodes so they use the same priorities
for the databases as this node.

add a control to read the db priority from a database

add a control to set a database priority. Let newly created databases default to priority 1.

database priorities will be used to control in which order databases are locked during recovery in.

verify the DISABLED flag and compare with the previous flag we have registered for that node and not what the node says is the difference.

this prevents a situation where the remove node may cause spurious ip reallocations.

Fix bug spotted by Metze,

the argument to ctdb_control_event_Script_disabled() is a string not a uint32

version 1.0.94

if a node fails to become frozen during recovery, mark it up with as a culprit so it will soon get banned

version 1.0.93

update natgw eventscript to allow you to fore it to update and / or to remove the configuration at runtime

Merge commit 'origin/master'

Document CTDB_NODES_FILE environment variable used by onnode.

Signed-off-by: Martin Schwenke <martin@meltin.net>

always send the release/take ip controls to make sure all nodes are updated

add a new message to ask the recovery daemon to temporarily disable checking ip address consistency.

This is useful when we are moving addresses using moveip in the cluster since otherwise if we collide with the recovery daemons own check we could cause a recovery

update addip/moveip/delip to make it less likely to trigger an accidental recovery

change some loglevels and also pront the pnn of the ip for takeip/releaseip logging

add a new function to collect a list of all active nodes EXCEPT a certain node

allocate takeoverip state as a child of vnn and also make the takeocerip context a child of vnn

When adding a public ip to a node, make sure to push the assignment of ip addresses out to all nodes so all nodes become aware who currently holds the ip.

version 1.0.92

we should close this file on exec

Merge commit 'martins/master'

Test suite: The ctdb ping test should allow time to go backwards.

Time can actually go backwards during this test if ntpd happens to
adjust it little bit.  So we should cope...

Signed-off-by: Martin Schwenke <martin@meltin.net>

dont exit on a commit failure

Revert "Revert "allow the transaction commit to fail""

This reverts commit 74e416108df6934f45ca646d709785dd76ab3c35.

document how to use the notification script

add a new notification to trigger on when ctdb has started

Minor fixes to 01.reclock eventscript.

test -z really needs its argument to be quoted.  Simplified a status
test.

Signed-off-by: Martin Schwenke <martin@meltin.net>

40.vsftpd monitor event only fails after 2 failures to connect to port 21.

Change the monitor event in 40.vsftpd so it only fails if there are 2
successive failures connecting to port 21.  This reduces the
likelihood of unhealthy nodes due to vsftpd being restarted for
reconfiguration due to node failover or system reconfiguration.

New eventscript functions ctdb_counter_init, ctdb_counter_incr,
ctdb_counter_limit.  These are used to count arbitrary things in
eventscripts, depending on the eventscript name and a tag that is
passed, and determine if a specified limit has been hit.  They're good
for counting failures!

These functions are used in 40.vsftpd and also in 01.reclock - the
latter used to do the counting without these functions.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Merge commit 'origin/master'

New version 1.0.91

From Wolfgang Mueller-Friedt

Remove the explicit vacuum/repack commands from the 00.ctdb eventscript
and implement this in the ctdb daemon.

Combine vacuuming and repacking into one
cheap read traverse to enumerate all candidate records
and one write traverse that both repacks the database and also deletes the record locally where we are lmaster and where the records have already been deleted remotely.

this code also adds initial autotuning heuristics for the vacuum intervals and how many records to delete in each iteration.

minor stylish changes made by ronnie s

Merge commit 'origin/master'

change the reclock fail count to 19 monitor intervals before we shut down ctdbd

add a new eventscript 01.reclock

    if the reclock file has been set, then this script will test that the
    reclock file can actually be accessed.
    if the file does not exist, or if the attempts to stat the file hangs,
    the node will be marked unhealthy after the third failed monitoring event
    and after the tenth failure, ctdb itself will shutdown.

add machinereadable output for the ctdb getreclock command

Test suite: Print debug info on node status timeouts.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Merge commit 'obnox/master-rebase'

Merge root@10.1.1.27:/shared/ctdb/ctdb-git

with the new banning logic with one struct for each node we no longer "forget" the other culprits as often as we used to do, which means that things like "ctdb recover" can now actually lead to a node becomming banned if we perform too many recoveries too frequently.

change this to provide absolution to all nodes once they have participated in a recovery session.

Revert "dont check if commit failed, we do allow the commit to fail sometimes"

This reverts commit affa6f47432507e84b7e76b88a2c27fff8e6e2e4.

Transaction commit should not be allowed to fail.
This is a fatal error.

Michael

Revert "allow the transaction commit to fail"

This reverts commit 7a6134e684c9ac4763bf198ef1410867b6082c94.

Transaction commit should not be allowed to fail.
This is a fatal error.

Michael

ctdb_client: fix race in starting concurrent transactions on a single node

There are two races in concurrent transactions on a single node.
One in starting a transaction, and one with committing (replaying).

This commit closes the first race by storing the pid in the
transaction-lock record and comparing the own pid against it
as a measure to prevent starting a second transaction when
a second node has come inbetween and changed the pid in the lock
record.

Michael

Merge commit 'martins/master'

dont mark the recovery daemon as a ban culprit just because a node in the cluster was set to recvoery mode == ACTIVE.

This happens normally when someone explicitely triggers a recovery using "ctdb recover"

try restarting ststd indefinitely   not just once

Revert "try to restart statd everytime it fails, not just the first time"

This reverts commit 4f7b39a4871af28df1c4545ec37db179fa47a7da.

try to restart statd everytime it fails, not just the first time

Merge commit 'obnox/master-rebase'

Merge root@10.1.1.27:/shared/ctdb/ctdb-git

 new version  1.0.90

Test suite: Update "complex" tests for wait_until_node_has_status() change.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Test suite: wait_until_node_has_status() now uses "onnode any".

Many tests currently do this sort of thing:

  onnode 0 $CTDB_TEST_WRAPPER wait_until_node_has_status 1 disconnected

In fact, they all use exactly the same "onnode 0 $CTDB_TEST_WRAPPER"
idiom.  This is both repetitious and dangerous, since node 0 might be
shutdown during a test.  Instead, we push "onnode any
$CTDB_TEST_WRAPPER" (which selects a connected node) into
wait_until_node_has_status() and just call that function directly in
tests, like this:

  wait_until_node_has_status 1 disconnected

Signed-off-by: Martin Schwenke <martin@meltin.net>

Test suite: Rework the cluster (re)start code.

Make it possible to start on only 1 node - for tests that need to
restart a particular node.

_ctdb_hack_options() attempts to see what options are being passed to
a daemon that is being run via the initscript.  It then sets a
corresponding environment variable that the initscript knows about.
Currently only the --start-as-stopped option is supported.  This is
extremely ugly but it seems like the only way...  :-(

Signed-off-by: Martin Schwenke <martin@meltin.net>

Introduce sysconfig variable CTDB_SYSLOG=yes/no (default "no").

This allows for controlling start of ctdbd with or without the option "--syslog"
from the sysconfig/ctdb file.

Michael

ctdb_logging: fix a comment typo.

Michael

Rename the CTDB_INIT_STYLE "ubuntu" to "debian" - this is where it comes from.

Micheal

Update outdated autotools helper files.

This fixes https://bugzilla.samba.org/show_bug.cgi?id=6370
and http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=536256

Signed-off-by: Michael Adam <obnox@samba.org>

Fix bashism in nfstickle event script.

Signed-off-by: Michael Adam <obnox@samba.org>

Fix bashisms in samba event script.

Signed-off-by: Michael Adam <obnox@samba.org>

Fix bashisms in multipathd event script.

Signed-off-by: Michael Adam <obnox@samba.org>

Fix bashism in natgw eventscript.

Signed-off-by: Michael Adam <obnox@samba.org>

allow the transaction commit to fail

Merge commit 'martins/master'

Merge commit 'origin/master'

dont check if commit failed, we do allow the commit to fail sometimes

dont force an election just because the ban flag differs across the cluster.
a simple push to resync this flag is sufficient

Document onnode "onnode any".

Signed-off-by: Martin Schwenke <martin@meltin.net>

onnode: add "any" nodespec to select any node with running CTDB.

In testing and other situations (e.g. eventscripts) it is necessary to
select a node where a ctdb command can be run.  The whole idea here is
to avoid nodes where ctdbd is not running and where most ctdb commands
would fail.  This implements a standard way of doing this involving a
recursive onnode command.

There is still a small window for a race, where the selected node is
suddenly shutdown, but this is unavoidable.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Merge commit 'origin/master'

lower the loglevel for the info messages that a public ip is not hosted locally for takeip/releaseip

 new version 1.0.89

make it possible to have ctdb manage (start/stop/monitor) winbind without having samba

Merge root@10.1.1.27:/shared/ctdb/ctdb-git

new prototype banning code

overwrite the state file, dont append to it.
dont log errors is trying to delete a nonexisting state file

this eliminates some annoying log entries in the ctdb log

redirect stderr to dev null since the rule might not exist when we try to unconditionally delete it

set broadcast addresses in the takeip event.

Michael

remove a check for the reclock file we dont need

Test suite: fix minor typo in complex/32_cifs_tickle.sh

Signed-off-by: Martin Schwenke <martin@meltin.net>

Merge commit 'origin/master'

Test suite: Fix debug code for unexpectedly unhealthy cluster.

The debug code should run "ctdb status" on a cluster node, not on the
test client.

Signed-off-by: Martin Schwenke <martin@meltin.net>

skip any persistent databases ending in .bak

Merge commit 'origin/master'

new version 1.0.88

reduce the loglevel for the message that we switch to a different recmaster while waiting for ipreallocate to finish

if no timeout at all is specified to the ctdb tool, neither using -T nor by setting CGTDB_TIMEOUT, then use 120 seconds as a default timepout before the ctdb command will exit with an error.

Test suite: ctdb_persistent.c needs to use transactions.

Signed-off-by: Martin Schwenke <martin@meltin.net>

document enable/disablescript

add new controls to make it possible to enable/disable individual eventscripts

update scriptstatus output so it lists disabled scripts

Merge commit 'origin/master'