vacuum: use get_vacuum_interval() in ctdb_vacuum_event()

(instead of using the tunable directly)

vacuum: change get_vacuum_interval() to simply return the VacuumDefaultInterval tunable

vacuum: remove update_tuning_db()

ctdb_ltdb_store_server: when storing a record that is not to be scheduled for deletion, remove it from the delete queue

Pair-Programmed-With: Stefan Metzmacher <metze@samba.org>

vacuum: add ctdb_local_remove_from_delete_queue()

Pair-Programmed-With: Stefan Metzmacher <metze@samba.org>

rb_tree: fix possible access-after-free-error in trbt_traversearray32_node

When the traverse callback frees the current node, the traverse of the
rbtree can fail (the next node->right fails since node is not there any more...).
This is fixed by introducing variables to store the right (and left)
pointers before the callback is called.

fix zero-initialization of header in _ctdbd_allocate_pkt to the correct size

Tests: eventscripts - add tests for CTDB_DELETE_UNEXPECTED_IPS="yes"

Signed-off-by: Martin Schwenke <martin@meltin.net>

DOC: Update the manpage to describe all relevant tunables

typo

libctdb: fix libctdb's traverse after changes in the core

In 8281bb210858ed04992eacea7f6d02261e0fc1b1, I forgot to change
this hunk back when hiding the wire changes done in commit
ddc5da3a0df7701934404192a0a0aa659a806acb behind a new control
CTDB_CONTROL_TRAVERSE_START_EXT.

Revert "Fix the build that broke in 8281bb210858ed04992eacea7f6d02261e0fc1b1"

This reverts commit 08e06176feab1ec244496e62a916fbb77817239f.

I wanted to fix this differently, not using the extended traverse_start
control...

ctdb tool - move parsing of nodestring to where it is needed

This puts the parsing and checking logic close together.  This makes
it easy to change the parsing code.  Changed parsing code can now
easily use both old client code and libctdb since both are guaranteed
to be setup.

Signed-off-by: Martin Schwenke <martin@meltin.net>

ctdb tool - replace fprintf with DEBUG

It's the only one in the file.

Signed-off-by: Martin Schwenke <martin@meltin.net>

ctdb tool - short circuit most of the logic in main for non-daemon commands

This allows all that logic to be hacked a little more easily.

Signed-off-by: Martin Schwenke <martin@meltin.net>

ctdb tool - commands that don't use the daemon can't take -n/--node

It just doesn't make sense!

Signed-off-by: Martin Schwenke <martin@meltin.net>

ctdb tool - simplify main() by taking most code out of a loop

Most of the action in main() happens inside a for loop and an if
statement.  This causes 2 levels of extra indent for the code and
makes it harder to read.

Instead, the current body of the loop is put below the loop and its
corresponding failure check.

To see how small this change really is, view with "diff -w".  ;-)

Signed-off-by: Martin Schwenke <martin@meltin.net>

Return the peer_pid properly to the caller

LibCTDB: Add support for the 'get interfaces' control and update the ctdb tool to use this interface

GNU/Hurd support

CTDB has the following limitations on GNU Hurd:

- The pid of a peer is not get from the socket [1]. As a consequence, the peer
  process is not killed when releasing IP [2].

- Gratuitous arp are not yet supported [3]

- network interfaces are always considered present [4]

[1]: ctdb_get_peer_pid() in common/system_gnu.c
[2]: release_kill_clients() in server/ctdb_takeover.c
[3]: ctdb_sys_send_arp() in common/system_gnu.c
[4]: ctdb_sys_check_iface_exists() in common/system_gnu.c

Move platform-specific code to common/system_*

This removes #ifdef AIX and ease the addition of new platforms.

Remove zero-length gnu_printf format string in ctdb_daemon.c (gcc warning)

server/ctdbd.c: In function ‘main’:
server/ctdb_daemon.c:943:7: warning: zero-length gnu_printf format string [-Wformat-zero-length]

Fix ctdb-crash-cleanup sysconfig handling

Fix the build that broke in 8281bb210858ed04992eacea7f6d02261e0fc1b1

The traverse control has changed wireformat so update also libctdb to use the correct
version of the wire structure and compile

traverse: fix traversing with empty records by adding a new (internal) control CTDB_CONTROL_TRAVERSE_START_EXT

By this, the original CTDB_CONTROL_TRAVERSE_START control that is
used by e.g. samba's smbstatus, is not changed, so that samba
continues working without code change.

The  CTDB_CONTROL_TRAVERSE_START currently just adds the "withemptyrecords"
flag to the state and processon on as CTDB_CONTROL_TRAVERSE_START_EXT.

DOC: document the check_srvids debugging command

ctdb: use libctdb version of check-srvids call

LibCTDB: add support for the check-srvids control

check_srvids: remove the <pnn> from the commandline so that we only specify the list of <srvids>

Specifying the pnn can be done via '-n <pnn>'

Add "ctdb check_srvid"

Add CTDB_CONTROL_CHECK_SRVID

DOC: describe the RecoverPDBBySeqNum tunable

Recover Persistent database DB by DB and not record by record

Add a new tunable that changes the mode how persistent databases are recovered.
RecoveryPDBBySeqNum

When set to 1, persistent databases will be recovered in whole from the node which
has the highest "__db_sequence_number__" record.
This record is managed by samba for those databases where we do persistent writes and have
inter-record relations.
For these databases we do not want the usual "blend records from all nodes based
on individual record RSN" but instead a mode where we pick one instance of the persistent database.

If no node was found with a "__db_sequence_number__" record at all, we fail back to the original "recover records independently based on record RSN".
Some persistent databases do not contain record interrelations and as such does not
contain this special record at all.

LibCTDB: add get persistent db seqnum control

DB Seqnum: must provide a ctdb_ltdb_header when calling ctdb_ltdb_fetch()

doc: commit generated ctdb.1 manpages after xml change

doc: document the "--print-recordflags" parameter to "ctdb"

ctdb: add an option --print-recordflags to trigger printing record flags in catdb and dumpdbbackup

This changes the default behaviour to not print record flags.

doc: commit generated ctdb.1 manpages after xml change

doc: document the "--print-hash" parameter to "ctdb".

ctdb: add an option --print-hash to enable printing of record hashes when dumping dbs

doc: commit generated ctdb.1 manpages after xml change

doc: document the "--print-lmaster" parameter to "ctdb"

ctdb: add an option --print-lmaster to enable printing of lmaster in "ctdb catdb"

doc: commit generated ctdb.1 manpages after xml change

doc: document the "--print-datasize" parameter to "ctdb"

ctdb: add an option --print-datasize to only print datasize instead of dumping data in db dumps

Used in catdb, cattdb and dumpdbbackup.

doc: commit generated ctdb.1 manpages after xml change

doc: document the --print-emptyrecords switch in the "ctdb" manpage.

ctdb: add an option --print-emptyrecords to enable printing of empty records in dumping databases

this option is used with the commands catdb, cattdb and dumpdbbackup.

client: add version ctdb_traverse_ext() of ctdb_traverse() that can list empty records.

traverse: add a flag to enable transferring empty records in cluster wide traverse

This will be useful for also printing information about empty/deleted
records in "ctdb catdb", e.g. for debugging vacuuming issues.

recoverd: try to become the recovery master if we have the capability, but the current master doesn't

metze
(cherry picked from commit 6ba8af28f8a8f79db65120a97d7157dcc5c7e083)

Signed-off-by: Michael Adam <obnox@samba.org>

This breaks the build since the recovery loop is different in master
compared to old 1.0 branches
This must have been mistakenly applied to master when you intended to push
for a different branch i guess.

Revert "recoverd: try to become the recovery master if we have the capability, but the current master doesn't"

This reverts commit a97d417aba85e901540147a4dff4794249442939.

recoverd: try to become the recovery master if we have the capability, but the current master doesn't

metze

recoverd: let async_getcap_callback() also update ctdb->capabilities

metze

vacuum: update (C) from vacuum rewrite

vacuum: write a big and up-to-date explaining comment for ctdb_vacuum_db()

vacuum: fix a comment typo in vacuum_traverse()

vacuum: fix horrible indentation/whitespacing for ctdb_vacuum_event()

vacuum: fix a comment typo in vacuum_traverse()

vacuum: fix an abundance of indentation white spaces in ctdb_vacuum_db()

vacuum: rename "size" to "freelist_size" for clarity

build: add target libctdb.so.0 and symlink libctdb.so

build: add socket_wrapper objects to test binaries

build: add option --enable-socket-wrapper to build binaries with socket wrapper support

add socket_wrapper from samba

libutil: Remove obsolete signal type cast.

build: add libreplace network checks to configure

update lib/replace to current upstream version (samba master)

system_linux: correctly cast sockaddr_in6 to sockaddr for sendto() in ctdb_sys_send_tcp()

system_linux: correctly cast sockaddr_in to sockaddr in ctdb_sys_send_tcp()

logging: properly cast sockaddr_in to sockaddr for sendto() in ctdb_syslog_log()

logging: some whitespace cleanup in ctdb_syslog_log()

logging: properly cast sockaddr_in to sockaddr for bind in start_syslog_daemon()

Merge remote branch 'martins/eventscripts'

Merge remote branch 'martins/scriptstatus'

Merge remote branch 'martins/ctdb_control_oom'

Merge remote branch 'martins/hashinclude'

Merge remote branch 'martins/warnings'

Eventscripts: Add special -ECANCELED status for monitor events that are cancelled

When a monitor event is canceled by a higher priority script, make sure we return
status -ECANCELED to the callback in ctdB_monitor.c
Also treat -ECANCELED as a simple "try monitor event again" and skip modifying any HEALTHY/UNHEALTHY flags when this happens

Eventscripts - add facility to 10.interface to delete unmanaged IPs

For a number of reasons (delip failure, admin stupidity, ...) an
interface that hosts public addresses can also contain spurious,
unmanaged addresses.

Add functionality to 10.interfaces, controlled by new configuration
variable CTDB_DELETE_UNEXPECTED_IPS, to delete these addresses when
encountered as part of a monitor event.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts - remove $0 from error messages in 40.fs_use

The script name is now prepended to output by ctdbd.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts: Make 40.fs_use use less processes and arguably clearer.

* $fs can be parsed using shell prefix and suffix removal.

* df output can be parsed with a single call to sed.

  Failure is indicated by empty output from sed, so we check for that
  as the error condition, changing the associated message
  appropriately.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Relax an out of memory message.

The call to ctdb_transport_allocate() can fail for 2 reasons:

* Unable to allocate memory.

* The transport is down, perhaps because CTDB is shutting down.

Either cause will be appropriately logged.

The current use of CTDB_NO_MEMORY_VOID() prints an "out of memory"
message regardless of what happened in ctdb_transport_allocate() and
this could be misleading.

Change this to print a more relaxed message.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Make some ctdb_takeover.c functions static

These were intentionally not static so they could be linked to in unit
test programs.  However, using the CCAN-style unit tests where
relevant code is just included, this is no longer necessary.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests: change ctdb_takeover_tests.c to include ctdbd code

Do this instead of linking to it.  This means that, after previous
cleanups, we can fix ctdb_takeover.c to use static functions when
appropriate and simply include all the code we need to run tests.

To make this reusable in other tests, new file ctdbd_tests.c does all
of the relevant including.  ctdb_takeover_tests.c just includes that
file.

Test objects built in this way can depend on new Makefile macro
$(CTDB_TEST_C), which contains ctdbd_tests.c and everything it
includes.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Rename ctdb_control_get_stat_history() local variable to avoid shadowing.

Local variable stat generates a warning because it shadows a global
declatation, presumably stat(2).  Rename it to s.

This is in the context of wanting to run CCAN-style tests where most
of the ctdbd code is just included in the test program.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Rename ctdb_ctrl_getscriptstatus() parameter to avoid shadowing a global

Rename parameter script_status to scripts to avoid shadowing a global
function with the same name in eventscript.c.

This is in the context of wanting to run CCAN-style tests where most
of the ctdbd code is just included in the test program.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Rename ctdb_control_destructor() to ctdb_client_control_destructor()

This avoids a name clash with a slightly different function in
ctdb_control.c.

This is in the context of wanting to run CCAN-style tests where most
of the ctdbd code is just included in the test program.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Move some common functions to common/ctdb_ltdb.c

Move identical copies of ctdb_null_func(), ctdb_fetch_func(),
ctdb_fetch_with_header_func() from ctdb_client.c and
ctdb_ltdb_server.c to somewhere common.

This is in the context of wanting to run CCAN-style tests where most
of the ctdbd code is just included in the test program.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Added some #ifndefs to stop files being included multiple times.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Clean up warnings: rpcgen output contains unused variable.

Grep it out in the Makefile.  This should be very obvious if the
output changes and the grep breaks something.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Fix lib/replace

Warnings are generated when compiling strptime.c.  Why is it being
compiled on Linux?  strptime(3) has been in glibc for 15 years!

It turns out that some of the test fragments were being looked for in
lib/replace/test/ and some in lib/replace/tests/.  In addition,
test*/strptime.c was missing.

Move the tests to lib/replace/test/ for consistency with upstream
(Samba) and copy in test/strptime.c from Samba.  Tweak repdir.m4 to
handle the directory rename.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Clean up warnings: popt sure does some strange things

popt generates 4 compiler warnings with GCC 4.6.  There are 2
different types:

* 3 instances of:

    warning: cast discards ‘__attribute__((const))’ qualifier from pointer target type [-Wcast-qual]

  One occurs in the _free() hack that is used to try and avoid a
  compiler warning.  I guess GCC got smarter?  ;-)

  The other is where an array of constant strings is passed to
  execvp(2), which arguably has the wrong type, since it has no need
  to modify the strings.

  Both of these can be worked around by casting to intptr_t before
  casting to the desired argument type.

  In poptReadConfigFile() the variable file is declared to be a
  constant string.  However, it is then passed to read(2) straight
  away and an attempt is made to cast away the "const".  However, to
  protect the value the of file is assigned to (const char *) chptr
  before it is passed to any other functions, so this protects the
  value anyway.  I'm not sure exactly what the thinking was
  here... but there seems to be no use having file be constant.

* 1 instance of:

    warning: variable ‘rc’ set but not used [-Wunused-but-set-variable]

  for the result of an execvp(2) call.  Recast the return type to
  void.  However, due to some #if-fu in the function, that can make rc
  unused in this function.  So we also need to wrap the declaration of
  rc in some corresponding #if-fu to make it disappear if not used.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Fix ctdb scriptstatus -n all

This didn't have auto_all set as true.  However, there's no special
code to handle "-n all" and it just fails.  If auto_all works for
status then it might as well work for scriptstatus.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Clean up warnings: add -Wno-format-zero-length to CFLAGS

There's an empty string passed to ctdb_event_script_callback() for
eventscript option arguments in ctdb_start_daemon() and this generates
a warning.

This type of warning seems pointless so let's switch it off.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Clean up warnings: -Wunused-but-set-variable in tevent_signal.c

Have sent this upstream to Samba.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Clean up warnings: remove unused function dump_packet()

Signed-off-by: Martin Schwenke <martin@meltin.net>

Clean up warnings: remove unused variable alen from scsi_io

Signed-off-by: Martin Schwenke <martin@meltin.net>