Merge remote branch 'amitay/tevent-sync'

Merge remote branch 'amitay/talloc-sync'

Merge remote branch 'martins/master'

tests: More unit test factoring/rationalisation and bug fixes

Move some options from eventscripts/run_tests.sh to scripts/run_tests.
Remove the former.

Move some functions from eventscripts/scripts/local.sh to
scripts/unit.sh.

Both of these are modified during move so they are no longer
eventscript-specific.

Tweak */local.sh so that the new functions in unit.sh are used.

Signed-off-by: Martin Schwenke <martin@meltin.net>

tests/eventscripts: Share directories must be absolute in eventscript tests

This fixes eventscripts/scripts/local.sh:setup_generic() so that
directories listed in $FAKE_SHARES are absolute instead of potentially
relative (and, therefore, ignored by the NFS share check).

Signed-off-by: Martin Schwenke <martin@meltin.net>

tests/eventscripts: Tweak an error message in a policy routing test

It currently has my home directory pasted into it.  That can't be
right...  ;-)

Signed-off-by: Martin Schwenke <martin@meltin.net>

tests - run_tests needs to expand directories like "." and "..".

Signed-off-by: Martin Schwenke <martin@meltin.net>

tests/eventscripts - Restructure according to new convention

Signed-off-by: Martin Schwenke <martin@meltin.net>

tests - run_tests ignores trailing '/' on directories

Signed-off-by: Martin Schwenke <martin@meltin.net>

tests/takeover - Restructure according to new convention

Signed-off-by: Martin Schwenke <martin@meltin.net>

tests/onnode - Restructure according to new convention

Signed-off-by: Martin Schwenke <martin@meltin.net>

tests/tool - Restructure according to new convention

Signed-off-by: Martin Schwenke <martin@meltin.net>

tests/tool: New nodestatus test

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

tests/tool: Fix the nodestatus test

Although not obvious, when asking each node for nodestatus, it will report
each node is the current node.

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

tests - run_tests includes common.sh, uses die()

Signed-off-by: Martin Schwenke <martin@meltin.net>

tests - run_tests can take a directory as an argument

This makes it run all tests in the specified directory.

Signed-off-by: Martin Schwenke <martin@meltin.net>

tests - add -v option to set TEST_VERBOSE=true

Signed-off-by: Martin Schwenke <martin@meltin.net>

tests - move functions only used by scripts/run_tests into that script

Along with minor logic tweaks and removal of test_exit().

Signed-off-by: Martin Schwenke <martin@meltin.net>

tests - add scripts/unit.sh

This will be sourced by all unit tests.

Signed-off-by: Martin Schwenke <martin@meltin.net>

tests - add scripts/common.sh

Signed-off-by: Martin Schwenke <martin@meltin.net>

tests - export new variable TEST_SCRIPTS_DIR

This replaces previous script-local variable ctdb_test_scripts_dir.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - IP allocation - 2 tests for NODE_FLAGS_NOIPTAKEOVER

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - IP allocation - add another LCP2 test based on a test failure

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - turn of time logging by default

We haven't seen problems related to time jumps for a long time.  Turn
this off by default.

To switch it back on set $CTDB_TEST_TIME_LOGGING to any non-null
value.

Signed-off-by: Martin Schwenke <martin@meltin.net>

lib/talloc: Sync talloc from samba git tree

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

lib/talloc: Remove the files required to build talloc as a library

Since talloc library will never be built from ctdb sources, we don't need the
build related files.

lib/tevent: Sync tevent from samba git tree

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

lib/tevent: Remove the files required to build tevent as a library

Since we are not going to build tevent library from ctdb source, remote build
related files.

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

lib/tevent: Remove local modifications to tevent

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

ctdb_test: Remove faked wrappers for tevent functions in stub testing

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

Remove explicit include of lib/tevent/tevent.h.

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

includes: Move special tevent defines from tevent.h to includes.h

This allows to build against system tevent library. Also include tevent header
along with other common headers.

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

ctdbd: Fix spurious warnings when running with --nopublicipcheck

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

recoverd: Fix spurious warnings when running with --nopublicipcheck

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

tests: Use CTDB_TEST_REAL_CLUSTER to decide if tests use local daemons

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

tests: Set the debug level = 3 when running local tests

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

tests: Check assigned IPs from ctdb output

This fixes the test ctdb_config_add_ip when running against local daemons.

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

tests: Check for assigned IP addresses only if we are on real cluster

This fixes the ctdb_ip test when running against local daemons.

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

ctdbd: Fix the error message string

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

tests: Fix the error messages in test event script

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

tests: Add regular expression parsing for hop_count_buckets

This fixes the test to check ctdb statistics output.

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

tests: Add a script to run cluster tests and make target "test_cluster"

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

tests: exportfs always outputs with options in brackets

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

tests/tool: New nodestatus test

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

tests/tool: Fix the nodestatus test

Although not obvious, when asking each node for nodestatus, it will report
each node is the current node.

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

Add test for NoIPTakeover

CTDB: add back the "rebalanceip" command

build: Substitute POPT macros once and reuse variables

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

recovery: Add prototypes for tdb internal functions

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

build: Use system tdb library if available

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

build: Use system tevent library if available

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

build: Use system talloc library if available

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

build: Display correct LIB_FLAGS while building

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

build: Remove re-definition of same variable

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

packaging: Setup directories for rpmbuild

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

build: Add rules to create ctags/etags

Signed-off-by: Amitay Isaacs <amitay@gmail.com>

Initscript - add backup of corrupt non-persistent databases

Corrupt non-persistent databases never get analysed because ctdbd
zeroes them at startup.

Modify the initscript so that corrupt non-persistent databases are
moved aside to a backup.  If the number of backups for a particular
database exceeds $CTDB_MAX_CORRUPT_DB_BACKUPS (default 10) then the
oldest excess backups are garbage collected.

Abstracts from and cleans up the code for checking persistent
databases.

Logging of related messages is done to syslog or a log file as
specified.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Add policy routing documentation to ctdbd(1).

Signed-off-by: Martin Schwenke <martin@meltin.net>

Merge remote branch 'martins/policy_routing'

Undo damage done by d8d37493478a26c5f1809a5f3df89ffd6e149281

The implementation of DisableIPFailover got intermingled with
--nopublicipcheck.  This just looks wrong - Ronnie must have been
having a bad day.  :-)

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - eventscripts - initial policy routing tests

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - eventscripts - new function simple_test_command()

Allows running arbitrary command and comparing output against
expected.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - eventscripts - change summary columns

To accommodate 13.per_ip-routing in output.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - eventscripts - rationalise CTDB fakery support

Remove functions for marking nodes as down/up.  This is now done via
ctdb disable/enable in the stub.

Also more consistent temporary directory use.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - eventscripts - improved support functions for handling public IPs

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - eventscripts - add support functions for policy routing testing

Signed-off-by: Martin Schwenke <martin@meltin.net>

Update .gitignore for eventscript testing fu.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - eventscripts - fix hardcoding error

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - eventscripts - stub ctdb command updates

* Proper IP (re)allocation using ctdbd's IP allocation algorithm.
* Therefore, "ctdb ip" works sensibly.
* Add enable, disable, moveip.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - eventscripts - more public IPs in default setup

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - eventscripts - add -A/-D options

Make it easier to spot differences between desired output and actual
output.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - eventscripts - ip stub command should print errors to stderr

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts - make 13.per_ip_routing fail gracefully if config is missing

Currently it spews out random messages about the file being missing.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts - make 13.per_ip_routing try harder to find public_addresses

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts - use set_proc() rather than accessing /proc directly

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts - 13.per_ip_routing should use dirname not basename for mkdir

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscript tests - implement ip route in stub

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscript tests - implement ip rule in stub

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscript tests - make ip command stub vaguely maintainable

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscript tests - make error message consistent with recent change

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscript support - Remove unused interface_modify.sh

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscript functions - no longer require interface_modify.sh

Make add_ip_to_iface() and delete_ip_from_iface() do their own locking
so the external script is no longer required.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscript functions - remove now-unused route/IP re-add script logic

This is no longer used by 13.per_ip_routing or anything else.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscript functions - remove functions only used by 13.per_ip_routing

The relevant functions are now in that script.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts - redesign and rewrite 13.per_ip_routing

The current version is quite difficult to read.  This one is hopefully
clearer.

Major changes:

* The configuration file has a more forgiving syntax.  Items can be
  separated by arbitrary whitespace.

* Mappings between IP addresses and table IDs are no longer stored in
  files in a state directory.  Instead they are stored in
  /etc/iproute2/rt_tables as mappings between table IDs and labels, as
  allowed by the ip command.  The current structure of the labels is
  ctdb.<source-ip>.  This means that once the labels are setup the
  routing tables can be referenced by just knowing the source IP.  As
  with the old state directory, mappings in this file owned by CTDB
  are deleted when CTDB shuts down.

* There are no release or re-add scripts.

  - Release scripts are not necessary as an optimisation because of
    the previous improvement (i.e. use of rt_tables).  No lookup is
    necessary to delete rules or flush tables.

  - Re-add scripts are no longer used.  Routes can still go missing
    when removal of a primary IP from an interfaces (or similar)
    causes removal of all other addresses (i.e. secondaries) and also
    all associated routes.  However, any missing routes are now
    re-added in the "ipreallocated" event.  This happens shortly after
    takeip/releaseip/updateip and means that the routes will only be
    re-added once.  The window for missing routes is slightly bigger
    but is not expected to be significant.

* The magic "__auto_link_local__" configuration value no longer causes
  a dynamic configuration file to be maintained in a state directory.
  The link local configuration is now generated when needed from the
  public_addresses file.  This greatly simplifies the code.  This
  approach is slightly less efficient but should not be significant.

The above changes mean that, apart from maintaining mappings in the
rt_tables file, there are no state files kept anymore.

Some utility functions only used by this script have been rewritten
and moved into this script.  They will be removed from the functions
file by a future commit.

The route re-add code will also be removed from interface_modify.sh by
a future commit.  It is currently harmless.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscript functions - add new function die()

Args:

1. Error message to be printed.

2. Option exit code (default 1)

Signed-off-by: Martin Schwenke <martin@meltin.net>

DOC: regenerate manpages

NoIPTakeover: change the tunable name for the "dont allow failing addresses over onto the node" to NoIPTakeover

NoIPFailback: Exclude nodes which have NoIPFailback as failback targets during reallocation

Make NoIPFailback a node local setting. Nodes that have NoIPFailback set to !0 can not takeover new ip addresses during failover.

Remove the old global setting for this unused tunable and add it as a new node flag. This node flag is only valid/defined within the takeover subsystem in the recovery daemon. Add async functions to collec the NoIPFailback settings for each node.

This will later e used to disqualify certain nodes from being takeover targets when we perform reallocation.

DOC  regenerate the manpage

STICKY   document the sticky record parameters

STICKY: add prototype code to make records stick to a node to "calm" down if they are found to be very hot and accessed by a lot of clients.

This can improve performance and stop clients from having to chase a rapidly migrating/bouncing record

DOC: Document the MaxLACount tunable variable

LACOUNT:  Add back lacount mechanism to defer migrating a fetched/read copy until after default of 20 consecutive requests from the same node

This can improve performance slightly on certain workloads where smbds frequently read from the same record

STATISTICS: add per-db hop count statistics

CTDB: change how the hop count buckets are displayed in ctdb statistics

DOC document the FetchCollapse tunable

FETCH COLLAPSE : Change the fetch-lock collapse to collapse ALL fetches, including fetch-locks into a single command in flight per record. Also add a tunable to enable/disable this optimization for hot records

add max hop count buckets to see how bad hopcounts are