dont call ctdb_fatal() just because we are asked to restart a connection
to a remote node and ctdb->methods is NULL.

This can happen when we are in the middle of a normal shutdown of the
daemon and we have already shut down the transport layer (thus setting
ctdb->methods == NULL in the transport layer destructor)
band there is some unprocessed data related to a remote node.

This prevents an ugly race condition where ctdb might sometimes (rare)
cause a core dump during "ctdb shutdown".

inew version 1.0.64-2

Keepalive packets were only sent every KeepaliveInterval if the socket
had been completely idle during that interval.
If we had been sending other packets such as Messages, Calls or Controls
there wouldnt be any need for an explicit keepalive and thus we didnt
send one.

This does make it somewhat awkward when analyzing traces since it is
non-intuitive when keepalives are sent and when they are not sent.

Change the keepalive logic to always send a keepalive regardless of
whether the link is idle or not.

new version 1.0.64_1

fixed problem with looping ctdb recoveries

After a node failure, GPFS can get into a state where non-blocking
fcntl() locks can take a long time. This means to the ctdb set_recmode
test timing out, which leads to a recovery failure, and a new
recovery. The recovery loop can last a long time.

The fix is to consider a fcntl timeout as a success of this test. The
test is to see that we can't lock the shared reclock file, so a
timeout is fine for a success.

new version 1.0.64

add a context and a timed event so that once we have been in recovery
mode for too long we drop all public ip addresses

new version 1.0.63

dont log "running periodic cleanup" ...

null out the pointer before we reload the nodes file

when we reload the nodes file,   we may need to reload the nodes file
inside the recovery daemon as well.

make it possible to set the script log level in CTDB sysconfig

specify a "script log level" on the commandline to set under which log
level any/all output from eventscripts will be logged as

new version 1.0.62

allow multiple eventscripts using the same prefix.
this eases the pain for users that use out of tree eventscripts

new version 1.0.61

install the new multipath monitoring event script

add an eventscript to monitor that the multipath devices are healthy

we must also check the status returned from the get tickles control to
determine whether it was successful or not

lower the loglevel for the informational message that a TCP_ADD opeation
described an ip address not known to be a public address.

This could happen if someone for genuine reasons accesses a share
through a static ip address.
It can also happen if non homogenous public address configurations are
used and when a tcp description is pushed out to a different node that
does not server/know the specific ip address.

change ip route add to route add -net  since this works more reliably

update the makefile and rpm to install 99.routing

new version 1.0.60

verify that the nodes we try to ban/unban are operational and print an
error to the user othervise.

Revert "from Mathieu Parent <math.parent@gmail.com>"

This reverts commit dc9cd4779db4a89697731e4cf415be51067a07c1.

Conflicts:

update the client side of getnodemap and getpublicips controls to
fallback to the old-style ipv4-only controls if the new-style ipv4/ipv6
control fails.

this allows a 1.0.59+ (ipv4/ipv6) ctdb daemon being recmaster  to be
compatible with
pre-1.0.59  versions of ctdb that are ipv4 only.

update TAKEIP/RELEASEIP/GETPUBLICIP/GETNODEMAP controls so we retain an
older ipv4-only version of these controls.

We need this so that we are backwardcompatible with old versions of ctdb
and so that we can interoperate with a ipv4-only recmaster during a
rolling upgrade.

from Mathieu Parent <math.parent@gmail.com>
Hi,

I have attached a patch necessary as debian log dir (/var/log) is not
a subdir of VARDIR (/var/lib on rpm systems, /var/lib/ctdb on debian).
As I don't know much about autotools and friends, this patch may be
hacky.

This is part of the process to minimize diff between distributions.

From Mathieu Parent
patch to make debian systems log the package versions in
ctdb_diagnostics

skip empty lines in the public addresses file,   not skip all non-empty
lines

from Michael Adams : allow #-style comments in the nodes and public
addresses file

new version   1.0.59

remove an unused variable

When we reload the nodes file
instead of shutting down/restarting the entire tcp layer
just bounce all outgoing connections and reconnect

add a new eventscript : 99.routing that is used to add static routes to
interfaces when they are activated (an ip address is added during
takeip)

merged a bugfix for the idtree code from the Linux kernel. This
matches commit 7aae6dd80e265aa9402ed507caaff4a5dba55069 in the kernel.

Many thanks to Jim Houston for pointing out this fix to us

Check that a database exists first before we dump its content (and
implicitely also create it) using 'ctdb catdb'

expanded ctdb_diagnostics based on recent experience

use the correct tunable   failcount not timeout

The ctdb daemon keeps track of whether the recovery process is running
correctly by measuring how long it was since the last successful
communication with the recovery daemon was recorded.

After a certain timeout the ctdb daemon would deem the recovery daemon
as inoperable and shut down.

If the system clock is suddenly changed forward by many (60 or more)
seconds this could cause the timeout to trigger prematurely/immediately
where ctdb would incorrectly think that more than 60 seconds had passed
since last successful communications and thus abort.

Instead of cehcking for one timeout occuring, only deem the recovery
daemon to be "down" and trigger a shutdown if communications have
timedout for three intervals in a row.

fix a slow memory leak in the recovery daemon in the error paths for the
memdump function

fix some slow memory leaks in the vacuuming handler in the recovery
daemon

From Volker L
Fix a slow memory leak in the recovery daemon if there is a recoery
triggered during the public ip reassignment process

updates to the precompiled documentation

Document the new descriptive node specifications.

Signed-off-by: Martin Schwenke <martin@meltin.net>

onnode changes.  "ok" is an alias for "healthy", "con" is an alias for
"connected".  Allow "rm" or "recmaster" to be a nodespec for the
recovery master. Better error handling for interaction with ctdb
client.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Merge commit 'origin/master' into for-ronnie

i add a new ctdb command "ctdb recmaster"
this shows the node id of hte current recmaster

Changes to onnode.  Add "healthy" and "connected" as possible
nodespecs.  Since we're now explicitly using bash, use local variables
when sensible.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Merge commit 'origin/master' into for-ronnie

Minor documentation fixes.

Signed-off-by: Martin Schwenke <martin@meltin.net>

lower the debuglevel when logging unknown idr in responses

lower the debug level for when printing that the nodeflags have changed

additional monitoring between the two daemons.

we currently only monitor that the dameons are running by kill(0, pid)
and verifying the the domain socket between them is ok.

this is not sufficient since we can have a situation where the recovery
daemon is hung.

this new code monitors that the recovery daemon is operating.
if the recovery hangs, we log this and shut down the main daemon

From C Cowan.
Patch to make AIX compile with the new ipv6 additions.

zero out the address structure to keep valgrind happy

new version 1.0.58

rename ctdb_tcp_client back to the original name ctdb_control_tcp

From Abhijith Das <adas@redhat.com>:

Fixup the initscript sdo it passes rpm-lint

Add a "reload" option to the initscript.

add a link to my webpage

version 1.0.57   : initial ipv6 support

Do not fail the takeip event if the "ip addr add ..." command failed.
Let the event complete successfully.   the local recovery daemon will check that we have the address and reissue takip othervise.

There are several reasons why "ip addr add "  can fail, one is a misconfiguration
anothe ris that for ipv6 the stack is a lot more picky than for ipv4.     for examplke this WILL fail in ipv6 if there is a duplicate ip address on the network.

thus  this check could cause rolling-recoveries  which is why it has to go

when we collect all ip addresses and sort them for the "ctdb ip -n all" output we must look at more than just the first 4 bytes of the sockaddr address or ipv6 wont work

When we harvest all tcp connections to kill off after a takeip/releaseip event we must also harvest the ipv4 connections which may be presented in ::ff:xxxx:xxxx form by netstat

we must canonicalize the sockaddr structures in killtcp so that we do the necessary downgrade if required

make the function to canonicalize a sockaddr structure public

when we compare ip addresses in ctdb_same_ip we must first canonicalize the addresses  so that we realize that 127.0.0.1:22 is really the same thing as ::ffff:127.0.0.1:22

Downgrade all AF_INET6 ::ffff:xxxx:xxxx sockaddresses into AF_INET ones

update the socketkiller in the eventscripts to be able to handle ipv6

fix a bug in the tcp socketkiller for ipv6

fix the ipv6 checksum calculation for pseudoheader so that it actually works

add support to send ipv6 "gratious arp" aka neighbor solicitation packets from ctdb

Signed-off-by: Ronnie Sahlberg <ronniesahlberg@gmail.com>

remove a file we dont need

Signed-off-by: Ronnie Sahlberg <ronniesahlberg@gmail.com>

initial ipv6 patch

Signed-off-by: Ronnie Sahlberg <ronniesahlberg@gmail.com>

use a local tdb_traverse instead of a ctdb_pulldb to lessen the impact of the system while performing a database backup

only freeze the local node when doing a backup and not the entire cluster

store the database name, not the backup filename in the database header

Encode a file version number in the database backup header
Encode the database name in the header so we dont need to provide the database
name when doing a restore
Encode a timestamp in the header telling us when the backup was created

Add two new ctdb commands :

ctdb backupdb : which will copy a database out from ctdb and write it to a file
ctdb restoredb : which will read a database backup from a file and write it into ctdb

fixed merge

up release version

 new version 1.0.56

Merge commit 'ronnie/master'

fixed a memory leak in the recovery daemon

thanks to vl for spotting this

fix the date soe rpmbuild works

new version 1.0.55

fixed send of release IP message

Merge git://git.samba.org/tridge/ctdb

added retry handling in client

added a new control CTDB_CONTROL_TRANS2_COMMIT_RETRY so we can tell
the difference between a initial commit attempt and a retry, which
allows us to get the persistent updates counter right for retries

imported failure handling from dbwrap_ctdb.c

Merge git://git.samba.org/tridge/ctdb

save writing the same data twice

new version 1.0.54

up release number

return a more detailed error code from a trans2 commit error

Merge commit 'ronnie/1.0.53'

fixed a looping error bug with the new transactions code

new version 1.0.53

this adds completely new transaction code for persistent databases

Merge git://git.samba.org/tridge/ctdb

cover some corner cases where the persistent database could become
inconsistent

remove the reclock file we store pnn counts in.
This file creates additional locking stress on the backend filesystem and we may not need it anyway.