version 1.0.108-3

From Volker:

This fixes the following condition: On a cluster with many nodes a single
node
was running as the only node. Any transaction that was attempted against the
persistent databases hung. From a former run of the cluster
"__transaction_lock__" existed in the persistent databases, but with a dmaster
entry in the ctdb header that was not the local node. When the
transaction_start code tried to acquire this, ctdb queued the dmaster request
to a node that does not exist, hanging forever.

I though -- wait a second, why has nobody found this yet with non-persistent
databases? Answer: Non-persistent databases are opened with CLEAR_IF_FIRST,
which means that all records are locally deleted when ctdb attaches to it.

This wipe does not happen for persistent databases, but we have this one
__transaction_lock__ record around that is treated like a non-persistent
database. This patch treats the __transaction_lock__ for persistent db's
specially: It deletes it locally when ctdbd attaches to the db.

version 1.0.108-2

use --ping instead of --ping-dc for winbind for now

version 1.0.108

Use wbinfo --ping-dc isntead of wbingo -p sicne this is a more reliable way to determine if winbindd is in a useful state.

packaging: package tests/bin/ctdb_transaction under /usr/share/doc/tests/bin

For testing/diagnostic purposes.

Michael

client: improve two error messages in ctdb_transaction_commit().

Michael

server:trans2_commit: move the check for active recovery down.

This needs to be done after the control-dispatcher:
In the TRANS2_COMMIT control, the client->db_id needs
to be set before bailing out, since otherwise the
next TRANS2_COMMIT_RETRY will fail...

Michael

client: increase the number of commit retries 10-->100

To cope with timeouts when recoveries and transactions collide.
Maybe 100 is too high.

Michael

client: untangle checks and produce more detailed error messages

in ctdb_transaction_fetch_start

Michael

client: increase the rsn of the __transaction_lock__ when storing

So that it is correctly handled by recoveries.
Also explicitly set the dmaster field to the current node's pnn.

Michael

recovery: add special pull-logic for persistent databases

The decision mechanism which records of a persistent db
are to be pulled into the recdb during recovery is now
as follows:

* Usually a record with the higher rsn than that already
  stored is taken. (Just as for normal tdbs.)

* If a transaction is running on some node, then those
  nodes copies of all records are taken and are not
  overwritten later by other nodes' copies.

In order to keep track of whether a record's copy was obtained
from a node with a transaction running, the recovery mechanism
misuses the ctdb tdb header field 'lacount' in the recdb.
It is cleared later when pushing out the recdb database to the
other nodes.

This way, an incomplete transaction is not spoiled when
a recovery interrupts and the replay should usually succeed
(possibly after a few retries).

Michael

make ctdb_ctrl_transaction_active public.

Michael

recovery: for persistent db's don't set the dmaster to the recmaster node number

It is important to keep track of the dmaster (i.e. the node that last committed
a transaction containing changes to this node).

Michael

recovery: pass the persistent flag to recover_database()

and further down to pull_remote_database(), pull_one_remote_database(),
and push_recdb_database().

This is in preparation of special handling of persistent databases
during recoveries.

Michael

tests:ctdb_transaction: print an extra counters when a commit fails

Michael

client: in catdb, print the keyname first, and separate records by a blank line

Michael

packaging: remove the lib/popt from the tarball in debian mode

Debian CTDB packaging fails when this is included.

Michael

packaging: rework maketarball.sh to accept an arbitrary githas to pack

The githash can be specified through the environment variable "GITHASH"
that can contain a commit hash or a tag name, e.g.

The call syntax is now

[GITHASH=xyz] [USE_GITHASH=yes/no] [DEBIAN_MODE=yes/no] maketarball.sh

Michael

ctdb: add command "ctdb wipedb" to wipe the contents of an attached tdb

Michael

tests: turn printfs into DEBUG statements in the ctdb_transaction test

Michael

Merge branch 'status-test-2'

Dont store debug level DEBUG_DEBUG in the in-memory ringbuffer.

It is unlikely we will need something this verbose for normal troubleshooting.
This allows us to keep a significantly longer time interval of log messages
in the 500k slots available in the ringbuffer.

Use statically allocated ringbuffer to store the last 500k log entries
in memory instead of dynamically allocated ones so that we reduce the pressure
on malloc/free.

Document the procedure to remove/change the NATGW configuration at
runtime without restarting the ctdb service

lower the loglevel for the message that a client has attached to a persistent database

lower the loglevel for the message that a client has attached through a domian socket

Add a proper function to process a process-exist control in the daemon.

This controls is only used by samba when samba wants to check if a subrecord held by a <node-id>:<smbd-pid> is still valid or if it can be reclaimed.

If the node is banned or stopped, we kill the smbd process and return that the process does not exist to the caller. This allows us to recover subrecords from stopped/banned nodes where smbd is hung waiting for the databases to thaw.

bz58185

Add a double linked list to the ctdb_context to store a mapping between client pids and client structures.

Add the mapping to the list everytime we accept() a new client connection
and set it up to remove in the destructor when the client structure is freed.

Use the PID we pick up from the domain socket when a client connects
and store this in the client structure.

There is no need to rely on the hack that samba sends some special message
handle registrations that encodes the pid in the srvid any more.

This might not work on AIX since I recall some issues to get the pid in
this way on that platform.

version 1.0.107

ctdb_io: fix use-after-free on invalid packets

Wolfgang saw a talloc complaint about using freed memory in ctdb_tcp_read_cb.
His fix was to remove the talloc_free() in that function, which causes
loops when a socket is closed (as it does not get removed from the event
system), eg:
netcat 192.168.1.2 4379 < /dev/null

The real bug is that when we have more than one pending packet in the
queue, we loop calling the callback without any safeguards should that
callback free the queue (as it tends to do on invalid packets).  This
can be reproduced by sending more than one bogus packet at once:
# Length word at start: 4 == empty packet (assumed little endian)
/usr/bin/printf \\4\\0\\0\\0\\4\\0\\0\\0 > /tmp/pkt
netcat 192.168.1.2 4379 < /tmp/pkt

Using a destructor we can check if the callback frees us, and exit
immediately.  Elsewhere, we return after the callback anyway.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

version 1.0.106

Eventscripts: Fix syntax error in 00.ctdb.

Signed-off-by: Martin Schwenke <martin@meltin.net>

packaging:maketarball.sh: add a DEBIAN_MODE to the tarball creation

It is triggered by setting DEBIAN_MODE=yes in the environment.
This creates a tarball suitable for use in debian packages.
The differences from the standard tarball are these:

* The tar ball file is called ctdb_VERSION.orig.tar.gz
* The base directory in the tar ball is ctdb-VERSION.orig/

Michael

configure:maketarball.sh: call autogen.sh and include configure in the tarball

Michael

packaging:maketarball.sh: create the specfile from the ctdb.spec.in

Michael

Eventscripts: Remove executable bit accidently set on some scripts.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscript argument cleanups and introduction of ctdb_standard_event_handler.

The functions file no longer causes a side-effect by doing a shift.
It also doesn't set a convenience variable for $1.

All eventscripts now explicitly use "$1" in their case statement, as
does the initscript.  The absence of a shift means that the
takeip/releaseip events now explicitly reference $2-$4 rather than
$1-$3.

New function ctdb_standard_event_handler handles the status and
setstatus events, and exits for either of those events.  It is called
via a default case in each eventscript, replacing an explicit status
case where applicable.

Signed-off-by: Martin Schwenke <martin@meltin.net>

when we detect a ip-allocation mismatch, just force a new ip reassignment
instead of a full blown recovery

When starting up ctdbd, wait until all initial recoveries have finished
and until we have gone through a full re-recovery timeout without triggering
any pending recoveries before we start up the services and start monitoring
the node.

Merge commit 'martins/status-test-2'

Conflicts:

server/eventscript.c

Event scripts: functions file now intercepts status and setstatus.

Signed-off-by: Martin Schwenke <martin@meltin.net>

remove a stray )   so we compile

dont use talloc_steal() on a object that is already a child of ctdb.

Merge commit 'martins/status-test' into status-test-2

Merge commit 'martins-svart/status-test-2' into status-test

Event script infrastructure: add reload event to check_options().

Signed-off-by: Martin Schwenke <martin@meltin.net>

Merge commit 'martins/status-test' into status-test-2

Merge commit 'martins-svart/status-test-2' into status-test

Add flag to ctdb_event_script_callback indicating when called by client.

Signed-off-by: Martin Schwenke <martin@meltin.net>

resolve some conflicts from merging from martins branch

change the lock wait child handling to use a pipe isntead of a socketpair

remove a stray alarm(30) that caused databases to be unlocked after 30 seconds.

Merge commit 'martins-svart/status-test-2' into status-test

Signed-off-by: Martin Schwenke <martin@meltin.net>

Event scripts: use $script_name rather than $service name for status.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Event scripts: Respect CTDB_MANAGES_NFS and add function log_status_cat.

Signed-off-by: Martin Schwenke <martin@meltin.net>

More eventscript cleanups.  Initial smoke testing seems OK.

Apart from lots of cleanup work, this also fixes a bug where the share
checks didn't used to cope with directory names containing spaces.
The previous commit also loaded the config incorrectly.

Signed-off-by: Martin Schwenke <martin@meltin.net>

use a binary tree and sort all ipv4/v6 addresses before we assign them out on nodes.

eventscript: check that ctdb forced script events correct

Now we're doing checking, we might as well make sure the commands from
"ctdb eventscripts" are valid.

This gets rid of the "UNKNOWN" event type.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

iIt is better to plainly disallow clietnts from connecting here
if the node is BANNED.
Dont even let them attach at all
to the database

Revert "temporarily try allowing clients to attach to databases even if
the node is banned/stopped or inactive in any other way."

This reverts commit 227fe99f105bdc3a4f1000f238cbe3adeb3f22f0.

Merge commit 'origin/status-test' into status-test

eventscript: check that ctdb forced script events correct

Now we're doing checking, we might as well make sure the commands from
"ctdb eventscripts" are valid.

This gets rid of the "UNKNOWN" event type.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

eventscript: check that internal script events are being invoked correctly

This is not as good as a compile-time check, but at least we count the
number of arguments are correct.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

eventscript: check that internal script events are being invoked correctly

This is not as good as a compile-time check, but at least we count the
number of arguments are correct.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

eventscript: remove call name from state->options

Finally, we remove the call name (eg. "monitor" or "start") from the
options field of the struct: it now contains only extra options.

This is clearer, and mainly involves adding some %s to debug statements.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

eventscript: remove call name from state->options

Finally, we remove the call name (eg. "monitor" or "start") from the
options field of the struct: it now contains only extra options.

This is clearer, and mainly involves adding some %s to debug statements.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

eventscript: put call type into state struct.

This means we can get rid of more strcmp; they can simply use the
state->call value instead.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

eventscript: put call type into state struct.

This means we can get rid of more strcmp; they can simply use the
state->call value instead.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

eventscript: introduce enum for different event script calls.

Rather than doing strcmp everywhere, pass an explicit enum around.  This
also subtly documents what options are available.  The "options" arg
is now used for extra arguments only.

Unfortunately, gcc complains on empty format strings, so we make
ctdb_event_script() take no varargs, and add ctdb_event_script_args().  We
leave ctdb_event_script_callback() taking varargs, which means callers
have to do "%s", "".

For the moment, we have CTDB_EVENT_UNKNOWN for handling forced scripts
from the ctdb tool.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

eventscript: introduce enum for different event script calls.

Rather than doing strcmp everywhere, pass an explicit enum around.  This
also subtly documents what options are available.  The "options" arg
is now used for extra arguments only.

Unfortunately, gcc complains on empty format strings, so we make
ctdb_event_script() take no varargs, and add ctdb_event_script_args().  We
leave ctdb_event_script_callback() taking varargs, which means callers
have to do "%s", "".

For the moment, we have CTDB_EVENT_UNKNOWN for handling forced scripts
from the ctdb tool.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

eventscript: put timeout inside ctdb_event_script_callback_v

Everyone uses the same timeout value, so just remove it from the API.
If we ever need variable timeouts, that might as well be central too.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

eventscript: put timeout inside ctdb_event_script_callback_v

Everyone uses the same timeout value, so just remove it from the API.
If we ever need variable timeouts, that might as well be central too.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

eventscript: cleanup ctdb_event_script_v

ctdb_event_script_v doesn't take varargs.  ctdb_run_event_script is
a better name, and fix comment.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

eventscript: typo cleanups

1) ctdb_event_script_v doesn't take varargs.  ctdb_run_event_script is
   a better name, and fix comment.
2) Fix indentation on allowed_scripts.
3) Comment on run_eventscripts_callback is wrong; it's the callback
   for any ctdb forced event.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

eventscript: fix bug in timeouts on forced eventscripts.  Again.

In 15bc66ae801b0c69, Ronnie fixed a double-free race.  The problem was that
ctdb_run_eventscripts() hands a context to ctdb_event_script_callback() to
hang its data off, which gets freed in the callback.  This particularly
hurt in ctdb_event_script_timeout.

There's nothing wrong with this, but obviously we should make the callback
call last of all.  At the time, ctdb_event_script_timeout() carefully
extracted everything from the struct ctdb_event_script_state before
calling ->callback.

This was cleaned up in 64da4402c6ad485f (Ronnie again), and now state
was referred to after the callback again.  But the same change introduced
a direct use-after-free bug which caused an occasional oops.

So in our last episode (eda052101728cf92) Volker fixed this, and Michael
committed it.

But we still have the double free bug which 15bc66ae801b0c69 was supposed
to fix!  Let's try to fix this in a more permanent way, but always doing
the callback from the destructor.  This means we need to hold the status,
and don't send the KILL signal if ->child is set to 0.

Finally, add a comment about freeing ourselves in run_eventscripts_callback
and the structure definition.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

eventscript: fix bug in timeouts on forced eventscripts.  Again.

In 15bc66ae801b0c69, Ronnie fixed a double-free race.  The problem was that
ctdb_run_eventscripts() hands a context to ctdb_event_script_callback() to
hang its data off, which gets freed in the callback.  This particularly
hurt in ctdb_event_script_timeout.

There's nothing wrong with this, but obviously we should make the callback
call last of all.  At the time, ctdb_event_script_timeout() carefully
extracted everything from the struct ctdb_event_script_state before
calling ->callback.

This was cleaned up in 64da4402c6ad485f (Ronnie again), and now state
was referred to after the callback again.  But the same change introduced
a direct use-after-free bug which caused an occasional oops.

So in our last episode (eda052101728cf92) Volker fixed this, and Michael
committed it.

But we still have the double free bug which 15bc66ae801b0c69 was supposed
to fix!  Let's try to fix this in a more permanent way, but always doing
the callback from the destructor.  This means we need to hold the status,
and don't send the KILL signal if ->child is set to 0.

Finally, add a comment about freeing ourselves in run_eventscripts_callback
and the structure definition.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

eventscript: clean up forked handler event code

Write the whole int through the pipe, rather than quietly cutting it
off.  Also, use -2 as the result if the read fails; -1 comes from many
paths if the child fails before running the script.

Add a comment about why we don't need to check the write.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

rework and simplify the eventscript handling

This version has no trailing whitespace, and fixed

eventscript: clean up forked handler event code

Write the whole int through the pipe, rather than quietly cutting it
off.  Also, use -2 as the result if the read fails; -1 comes from many
paths if the child fails before running the script.

Add a comment about why we don't need to check the write.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

reduce the log level for three vacuuming related log messages

rework and simplify the eventscript handling

More eventscript cleanups.  Initial smoke testing seems OK.

Apart from lots of cleanup work, this also fixes a bug where the share
checks didn't used to cope with directory names containing spaces.
The previous commit also loaded the config incorrectly.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Now vaguely tested initscript updates.

Signed-off-by: Martin Schwenke <martin@meltin.net>

More untested eventscript factorisation.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Test suite: Make the CIFS tickle test wait until it sees the required tickle.

The test depended on the exit code of "ctdb gettickles", which always
succeeds.  This change wraps the command in a function that checks
whether the tickle we're interested in is registered.

Signed-off-by: Martin Schwenke <martin@meltin.net>

new version 1.0.105

dont reset the event script context everytime we start a new "ctdb eventscript ..."
command.
Use the existing context used for non-monitor events

Multiple concurrent uses of "ctdb eventscript ..." could otherwise lead to a SEGV

make the ringbuffer logging more efficient and marshall the data by writing to a tmpfile instead of continously talloc resizing a blob

add an in memory ringbuffer where we store the last 500000 log entries regardless of log level.

add commandt to extract this in memory buffer and to clear it

create a new event context for the syslog daemon

set up a pipe betweent he main daemon and the child we use for syslogling so that we can clean up the childprocess when we stop ctdbd

Eventscripts: Untested factorisations and introduction of status event.

This is the first stage of an experimental change to eventscripts.
Ronnie and I did a few hours of factorisation of 40.vsftpd and applied
many of the changes to 41.httpd.  Other eventscripts were also
modified.

At this stage this is completely untested.

Signed-off-by: Martin Schwenke <martin@meltin.net>

test of a change to make ctdbd use "status" event instead of the "monitor" event.

This allows running the actual monitoring asynchronously from ctdbd
and only using "status" to pick up the actual results.

Merge commit 'martins/master'

Test suite: Fix the NFS and CIFS tickle tests.

The NFS test sleeps for MonitorInterval to give CTDB time to record an
NFS tickle.  However, this isn't always long enough.  This changes the
test to wait until a monitor event has actually occurred.

The CIFS test assumes that Samba is able to register a tickle with
CTDB before it notices that netstat has registered the tickle and can
use onnode to ask CTDB about it.  That is an incorrect assumption -
sometimes we can get to the point of asking CTDB about the tickle
before Samba and CTDB have processed it.  This adds a timeout loop
that makes the CIFS test wait until the tickle has been registered or
fail after 10 seconds.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Merge commit 'origin/master'

Fix bashism in events.d/11.natgw

Signed-off-by: Michael Adam <obnox@samba.org>

version 1.0.104

sugegstion from metze,
use killtcp and kill both directions of the nfs connections.
we used to kill only one direction since the other direction was unkillble
but recent kernels allow us to kill both