STATD is 100027    not 1000247

LIBCTDB uninitialized inqueue element

From Michael Anderson,
initialize the inqueue element of the ctdb structure to NULL,
else it might be used uninitialized and cause a segv.

recoverd: avoid triggering a full recovery if just some ip allocation
has failed.
We dont need to rebuild the databases in this situation, we just
need to try again to sort out the ip address allocations.

Add ctdb_fork(0 which will fork a child process and drop the real-time
scheduler for the child.

Use ctdb_fork() from callers where we dont want the child to be running
at real-time privilege.

Revert scheduling back to use real-time processes

Revert this patch:
commit 482c302d46e2162d0cf552f8456bc49573ae729d

We may need to use real-time processes for the main daemon and the recovery daemon to handle the cases where systems come under very high loads.

60.nfs Check if we have rpc.statd and if not, skip checking for statd
availability at all (since we cant restart it, there is not point checking
if it is alive)

New version 1.2.16

 - 50.samba  dont run serverid wipe in the background in case it
   is so slow to start that samba manages to come up before it finishes.
 - 60.nfs  wait 10 intervals before trying to restart lockd.
   flag the node unhealthy after 15 failures.
   CQ S1021266
 - 41.httpd  httpd can sometimes be slow, wait 5 intervals before we try to
   restart it and 10 intervals before we flag the node unhealthy.

41.HTTPD

Httpd can be very slow to start on some platforms,
wait 5 monitor intervals before we try to restart it if
it has not bound to port 80 yet.
After 10 failed intervals, flag the node as unhealthy.

60.nfs

Try to restart LOCKD after 10 failures and
flag the node as unhealthy after 15 failures

Dont run net serverid wipe in the background

50.samba

Net serverid wipe can take a bit of time sometimes so background it.

Only perform auto start/stop of the managed service on the monitor event

New version 1.2.15

* Mon Dec 13 2010 : Version 1.2.15
 - Add two new debugging commands "ctdb readkey/writekey"
 - idtree overflow bugfix
 - only run "serverid wipe" when we are actually running samba
 - libctdb, add roper input queueing so we can support calling
   sync functions from an async callback
 - lvs updates
 - addip, always wait across at least one ip reallocation, making the
   command slower, but making it easier to use in scripts

Revert "server: when we migrate off a record with data, set the MIGRATED_WITH_DATA flag"

This reverts commit c63dab9763d45fd4f9be77b9c9f463bd457de808.

Revert "Add a new header flag for "migrated with data" and set this to 1"

This reverts commit d22e7e47a7f3d450bbbc2267322dadbdbf192e84.

ctdb addip:

After finishing "ctdb addip"  wait for an implicit "iptakeover" to complete
the assignment to a node.

This makes it more wasteful and timeconsuming when adding multiple ips
at once, or the same ip to multiple nodes,
but makes it easier to script the use of this command.

LVS

update lvs configuration on ipreallocated events too

When assigning the single-public-ip during startup,
flag the interface as initially being "link ok"
so that we can add it and startup.

The eventscript can later drop the flag if required

libctdb

fix a compile problem after renaming a structure field

LibCTDB

Add an input queue where we keep received pdus we have not yet processed
This allows us to perform SYNC calls from an ASYNC callback

only run "serverid wipe" if we are actually running samba.
we dont need to run this on systems where we do run winbind but not samba

idtree: fix overflow for v. large ids on allocation and removal

(Imported from SAMBA commit 09a6538969ac).

Chris Cowan tracked down a SEGV in sub_alloc: idp->level can actually
be equal to 7 (MAX_LEVEL) there, as it can be in sub_remove.

(We unfairly blamed a shift of a signed var for this crash in commit
 2db1987f5a3a).

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

Add a new header flag for "migrated with data" and set this to 1
when we migrate a non-empty record onto the node
or a non-empty record off the node

When we migrate a record back to the lmaster and yield the dmaster role,
inspect this flag if if it is still not set, we can delete the record from
the local database as soon as we have migrated it back to the lmaster.

add new command line functions
ctdb readkey <dbid> <key>
ctdb writekey <dbid> <key> <value>

these are mainly intended for debugging of databases and dmaster migration issues

add a new ctdb_ltdb function to delete a record in a normal database

server: when we migrate off a record with data, set the MIGRATED_WITH_DATA flag

new version 1.2.14

Add two new flags for the ltdb header.
One of which signals that the record has never been migrated to/from a node
while containing data.
This property "has never been migrated while non-zero" is important later
to provide heuristics on which records we might be able to purge
from the tdb files cheaply, i.e. without having to rely on the full-blown
database vacuum.

These records are belived to be very common and the pattern would look like
this :
1, no record exists at all.
2, client opens a file
3, samba requests the record for this file
4, an empty record is created on the LMASTER
5, the empty record is migrated to the DMASTER
6, samba writes a <sharemode> to the record locally and the record grows
7, client finishes working the file and closes the file
8, samba removes the sharemode and the record becomes empty again.
9, much later : vacuuming will delete the record

At stage 8, since the record has never been migrated onto a node wile being
non-zero it would be safe, and much more efficient to just delete the record
completely from the database and hand it back to the LMASTER.

The flags occupy the same uint32_t as was previously used for laccessor/lacount
in the header. For now, make sure the flags only define/use the top 16 bits
of this field so that we are sure we dont collide with bits set to one
from previous generations of the ctdb cluster database prior to this
change in semantics of this word.

This is a rework of Michaels patch :
commit 2af1a47cbe1a608496c8caf3eb0c990eb7259a0d
Author: Michael Adam <obnox@samba.org>
Date:   Tue Nov 30 17:00:54 2010 +0100

    add a DEFAULT record flag and a MIGRATED_WITH_DATA record flag.

change one of the reserved words in the ctdb ltdb header to be a flags field
for now, try avoiding using bits in the low16 bits as flags since this may
collide with laccessor/lacount values from previous versions of the cluster
databases

Remove LACOUNT and LACCESSOR and migrate the records immediately.

This concept didnt work out and it is really just as expensive as a full migration
anyway, without the benefit of caching the data for subsequence accesses.

Now, migrate the records immediately on first access.
This will be combined with a "cheap vacuum-lite" for special empty records to
prevent growth of databases.

Later extensions to mimic read-only behaviour of records will include proper shared read-only locking of database records, making the laccessor/lacount read-only access to the data obsolete anyway.

By removing this special case and handling of lacount laccessor makes the codapath where shared read-only locking will be be implemented simpler, and frees up space in the ctdb_ltdb header for use by vacuuming flags as well as read-only locking flags.

Add 60.ganesha to what gets installed by make install as well as by the RPM

add a missing part of the import of the previous ganesha patch

make changes to ctdb event scripts to support NFS-Ganesha.

make changes to ctdb event scripts to support NFS-Ganesha.

Signed-off-by: Chandra Seetharaman <sekharan@us.ibm.com>
Signed-off-by: Ronnie Sahlberg <ronniesahlberg@gmail.com>

during ip allocation, there are failure modes where a node might hold a ip address
but thinks it is still unassigned (-1).

add code to the recovery daemon to detect this case and trigger a reallocation
so that the ip gets covered

and change the takeip code to allow for this condition, taking on an ip address that is
already hosted.

cq s1021073

new version 1.2.13

dont try starting samba through the "init" event

new version 1.2.12

When we are no longer the natgw master, dont put the natgw ip on loopback.
We put the ip on loopback just to make sure we would still interoperate with
non-standard configurations on unix-KDC, that are configured to verify the optional
HostAddresses field.
This is not required for AD, since AD does not use this field, and is replaced in
unix land with other/better mechanisms than this "dodgy" check.

This makes it "easier" for applications that have bound to the natgw address
to detect a socket problem and try to reconnect/recover if the ip address
is completely missing from the system.

At the same time, use the winbind specific hook that exists to explicitely tell winbindd : this address is gone, so if you have bound to it, this is a good time to close and rebind your socket.

cq 1020333

new version 1.2.11

update autostart/stop to work for samba

add an explicit _is_managed_service to iscsi eventscript

Dont pollute the logs with a "file not found" message

CQ S1020745

60.nfs eventscript should do nothing if NFS isn't managed by CTDB.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscript functions - catch failures in ctdb_service_start().

ctdb_service_start() currently succeeds if ctdb_counter_init()
succeeds.

This changes it to fail when a service start fails.

Signed-off-by: Martin Schwenke <martin@meltin.net>

50.samba eventscript should stop/start services when they become (un)managed.

When the value of $CTDB_MANAGES_SAMBA or $CTDB_MANAGES_WINBIND (or
corresponding changes are made to $CTDB_MANAGED_VERSIONS), the
associated service should be started or stopped as necessary.

This add calls to ctdb_start_stop_service() to manage
starting/stopping samba and winbind.

An associated cleanup is made to the initial checks that one of
$CTDB_MANAGES_SAMBA or $CTDB_MANAGES_WINBIND is set, replacing them
with calls to is_ctdb_managed_service().

To handle the winbind cases ctdb_start_stop_service() and
is_ctdb_managed_service() are updated to take an optional service name
parameter.

Signed-off-by: Martin Schwenke <martin@meltin.net>

add a new support function ctdb_check_counter_equal()

update nfs to try to restart the service after 10 consecutive failures
and to flag the node unhealthy after 15

add similar function to mountd

Eventscripts: make loadconfig() function hookable by the test suite.

Rename loadconfig() to _loadconfig().  Add a new loadconfig() that
simply calls _loadconfig().

This makes it easy for the test suite to override loadconfig().

Signed-off-by: Martin Schwenke <martin@meltin.net>

Make a time comparison in 60.nfs eventscript more readable.

Signed-off-by: Martin Schwenke <martin@meltin.net>

60.nfs only fails or warns after 10 consecutive nfsd/statd failures.

These failures are sometimes the result of slow restarts so we want to
avoid dirtying the logs or marking a node unhealthy because of them,
unless they are excessive.

For these 2 cases we use the existing fail counting code but hack a
temporary service_name in a subshell to allow separate fail counts.

We also update ctdb_check_rpc() so that it captures the error output
from rpcinfo and we add a message including the service name to the
beginning.  The error is printed to stdout but is also stored in
ctdb_check_rpc_out to allow it to be conditionally used by the caller.
This function also now returns non-zero rather than exiting on
failure.

Other direct rpcinfo calls are relaced by called to ctdb_check_rpc()
for consistency.

Option handling code for service restarts is cleaned up so that fits
in 80 columns.  A more informative restart messageis now used in all
cases, printing the exact command being used to start a service.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Test suite: fix typo in ctdb ping test grep pattern.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Test suite: match changed output for ctdb ping to disconnected node.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Test suite: make statistics test cope with changes to statistics output.

Signed-off-by: Martin Schwenke <martin@meltin.net>

New version 1.2.10

* Mon Nov 15 2010 : Version 1.2.10
 - Make sure to initialize the statistics start time to current time
   instead of leaving it to point to start of epoch.
   CQ : S1020838
 - Create a new tunable DisableIPFailover that is used to tell ctdb
   to not check any ip allocation at all and never do any failover
   This can be used to stop/restart individual nodes without causing
   any ip failovers to happen.

initialize the statistics to the current time, not start of epoch
this makes "ctdb statistics" show correct "start of starts collection"

Dont exit the update ip function if the old and new interfaces are the same
since if they are the same for whatever reason this triggers the system
to go into an infinite loop and is unrobust

The scriptds have been changed instead to be able to cope with this
situation for enhanced robustness

During takeover_run and when merging all ip allocations across the cluster
try to kepe track of when and which node currently hosts an ip address
so that we avoid extra ip failovers between nodes

change the takeover script timeout to 9 seconds from 5

Dont check remote ip allocation if public ip mgmt is disabled

this stuff is just so fragile  that it will enter infinite recovery and fail loops
on any kind of tiny unexpected error

unconditionally try to remove ip addresses from both old and new interface
before trying to add it to the new interface to make it less
fragile

delete from old interface before adding to new interface
this stops the script from failing with an error if
both interfaces are specified as the same, which otherwise breaks and leads to an infinite recovery loop

delay loading the public ip address file until after we have started the transport and discovered ouw own pnn number

when we load the public address file,  at the same time check if we are already hosting the public address, if so, set ourselves up as the pnn for that address

dont check the public ip assignment or if even we are hosting them and shouldnt
when public ips have been disabled

Add a new tunable : DisableIPFailover that when set to non 0
will stopp any ip reallocations at all from happening.

change the default for how long to waqit before dropping all ips to 120 seconds

dont delete all ips from the system during the initial "init" event
leave any ips as they are and let the recovery daemon remove them as required

when creating/adding a public ip, set the initial interface to be the first interface specified

New version 1.2.9

* Tue Nov 2 2010 : Version 1.2.9
 - Drop loglevels on several items and remove spam from the messages file
 - Both nfs and nfslock can fail so restart both if there is a problem

Both nfs and nfslock scripts can fail under redhat in very rare situations.
Ctdb can also be configured to ignore checking for knfsd and if it is alive.
In that situation, no attempt will be made to restart nfs, and sicne nfs is not running,  lockd can not be restarted either.

To workaround this, everytime we try to restart the lockmanager, also try to restart nfsd

during shutdown there is a window after we have stopped TCP and disconnected from all other nodes but before we have stopped all processing.

During this window we may still hit asynchronous events that will fail because we can not send/receive packets from other nodes.

These messages are logged as ... Transport is DOWN. To help indicate that they are benign messages related to the process of shutting down.

These messages spam the syslog during normal shutdown, so this patch will drop the loglevel of these messages to DEBUG, so that they will not appear in or spam the syslog.

When shuttind down, we always unconditionally try to remove the natgw address
even if we are not currently the natgw master.
This adds extra reliability in case we have stopped previously without removing it proper,
but does add spam messages to syslog everytime we shutdowm.

Remove these spam messages from pulluting the syslog upon normal shutdown

Redirect the output from 00.ctdb pfetch to stdout.
Normally, the config.tdb database would not exist, so we do not need
to spam syslog with a "config.tdb does not exist" message every time we start ctdb

Drop the loglevel of the "reqid wrap" developer debug message to DEBUG
so that we dont spam the logs with this normal benign message.

new version 1.2.8

Add support to create TDB databases using the new jenkins hash.

SRVID for the control to attach to a database is used to pass
tdb flags from samba to ctdb when samba attached to a database.
This has been used earlier for TDB_NOSYNC flag.

Add TDB_INCOMPATIBLE_HASH as a supported tdb flag to store in the
SRVID field when attaching to a database.

This allows samba to control if ctdb should create databases using the
new jenkins hash, or using the old hash.
This only affects new databases when they are initially created.
Existing databases remain using the old hash when attached to.

New version 1.2.7

 - Dont monitor GPFS filesystems in 62.cnfs
 - If tdb_open() fails, print errno to make troubleshooting easier
 - Try restarting RPC.LOCKD if it failed to start
 - Remove a dbug message
 - Make sure the statd state directory exists before trying to touch files in

remove checking for filesystems and filesystem health from the cnfs script.
remove the gpfsmount and gpfsumount entry points

If tdb_open() fails when trying to open the vacuuming database,
print errno so we get some idea of why this failed.

try to restart NFS LOCKD if it failed to start

Remove a debug message "Timed out waiting ..."
from the ctdb command.

This is a debugging message and is normal tro tigger on a busy system.
It should not be logged as ERROR.

Make sure the statd directory exist before trying to access the
"update trigger" file.

CQ 1020344

New version 1.2.6

* Tue Oct 12 2010 : Version 1.2.6
 - Move config.tdb handling into a function in 00.ctdb
 - Latency counters min/max/avg for all latency statistics
 - Update default hash size to be 100001
 - Check all bond devices, dont exit after the first one
 - Change to useing the Jenkins hash for LMASTER selection
 - Sync with TDB from upstream samba
 - idtree fix for AIX
 - remove some log messages
 - add rolling statistics
 - libctdb updates

move extracting the config from config.tdb for public addresses
into its own function

Update latency countes to show min/max and average

Update the default hash size to be 100001 instead of 10000
This can sometimes improve performance for environments where very many
files are touched in rapid succession

dont stop checking interfaces after the first bond device
continue the loop to process all other interfaces too

Spotted by rusty.

Add a missing $
so we delete $_ip   and not _ip

change the hash function to use the much better Jenkins hash
from the tdb library

cq S1020233

pytdb: Add __version__ attribute.

pytdb: Include Python.h first to prevent warning.

pytdb: Check errors after PyObject_New() calls

The call could fail with e.g. MemoryError, and we'll dereference NULL
pointer without checking.

Signed-off-by: Kirill Smelkov <kirr@landau.phys.spbu.ru>
Signed-off-by: Jelmer Vernooij <jelmer@samba.org>

pytdb: Add support for tdb_repack()

Cc: 597386@bugs.debian.org
Signed-off-by: Kirill Smelkov <kirr@landau.phys.spbu.ru>
Signed-off-by: Jelmer Vernooij <jelmer@samba.org>

pytdb: Add TDB_INCOMPATIBLE_HASH open flag

In 2dcf76 Rusty added TDB_INCOMPATIBLE_HASH open flag which selects
Jenkins lookup3 hash for new databases.

Expose this flag to python users too.

Cc: Rusty Russell <rusty@rustcorp.com.au>
Signed-off-by: Kirill Smelkov <kirr@mns.spb.ru>
Signed-off-by: Jelmer Vernooij <jelmer@samba.org>

tdb: fix non-WAF build, commit 1.2.6 ABI file.

Sorry Jeremy.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tdb: TDB_INCOMPATIBLE_HASH, to allow safe changing of default hash.

This flag to tdb_open/tdb_open_ex effects creation of a new database:
1) Uses the Jenkins lookup3 hash instead of the old gdbm hash if none is
   specified,
2) Places a non-zero field in header->rwlocks, so older versions of TDB will
   refuse to open it.

This means that the caller (ie Samba) can set this flag to safely
change the hash function.  Versions of TDB from this one on will either
use the correct hash or refuse to open (if a different hash is specified).
Older TDB versions will see the nonzero rwlocks field and refuse to open
it under any conditions.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tdb: automatically identify Jenkins hash tdbs

If the caller to tdb_open_ex() doesn't specify a hash, and tdb_old_hash
doesn't match, try tdb_jenkins_hash.

This was Metze's idea: it makes life simpler, especially with the upcoming
TDB_INCOMPATIBLE_HASH flag.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tdb: add Bob Jenkins lookup3 hash as helper hash.

This is a better hash than the default: shipping it with tdb makes it easy
for callers to use it as the hash by passing it to tdb_open_ex().

This version taken from CCAN and modified, which took it from
http://www.burtleburtle.net/bob/c/lookup3.c.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tdb: add restore

Based on an idea by Simon McVittie, largely rewritten

lib/tdb: fix c++ build warning in tdb_header_hash().

Guenther

pytdb: Make filename argument optional.

pytdb: Add support for tdb_freelist_size()

Cc: 597386@bugs.debian.org
Signed-off-by: Kirill Smelkov <kirr@landau.phys.spbu.ru>
Signed-off-by: Jelmer Vernooij <jelmer@samba.org>

pytdb: Add support for tdb_transaction_prepare_commit()

Cc: 597386@bugs.debian.org
Signed-off-by: Kirill Smelkov <kirr@landau.phys.spbu.ru>
Signed-off-by: Jelmer Vernooij <jelmer@samba.org>