New version 1.0.82-20

* Wed Mar 11 2010 : Version 1.0.82-20
 - From Christian Ambach : reduce loglevel for vacuuming message

adjust a vacuum log level

made the severity of the decreasing interval log level the same as for the increasing,
they are both just info logs because they don't report errors

version 1.0.82-19

reduce vacuuming lognoise

syslog.h says:

LOG_NOTICE      5    normal but significant condition
LOG_INFO        6    informational

several vacuuming related logs logged at NOTICE level although I don't see
any real significance, these are just informational messages for me

Signed-off-by: Christian Ambach <christian.ambach@de.ibm.com>

reduce the log level for three vacuuming related log messages (cherry picked from commit fbc453733d53359b9eba34a7ca9123237a7ecca5)

Signed-off-by: Christian Ambach <christian.ambach@de.ibm.com>

dont use the pointer after it has been talloc_free()d. (cherry picked from commit 1cbf06a126621b3e932925cdad2ef9c009f93d4e)

Signed-off-by: Christian Ambach <christian.ambach@de.ibm.com>

lower the log level of a debug message (cherry picked from commit 496dc2e80b714811c6e69dc928deaad61cf603b1)

Signed-off-by: Christian Ambach <christian.ambach@de.ibm.com>

From Wolfgang Mueller

make sure to always create the vactun database and get rid of some annoying log messages
(cherry picked from commit 54f9c314a0354f1039208fe6ac7dc159b6db8750)

Signed-off-by: Christian Ambach <christian.ambach@de.ibm.com>

version 1.0.82-18

ctdb_io: fix use-after-free on invalid packets

Wolfgang saw a talloc complaint about using freed memory in ctdb_tcp_read_cb.
His fix was to remove the talloc_free() in that function, which causes
loops when a socket is closed (as it does not get removed from the event
system), eg:
netcat 192.168.1.2 4379 < /dev/null

The real bug is that when we have more than one pending packet in the
queue, we loop calling the callback without any safeguards should that
callback free the queue (as it tends to do on invalid packets).  This
can be reproduced by sending more than one bogus packet at once:
# Length word at start: 4 == empty packet (assumed little endian)
/usr/bin/printf \\4\\0\\0\\0\\4\\0\\0\\0 > /tmp/pkt
netcat 192.168.1.2 4379 < /tmp/pkt

Using a destructor we can check if the callback frees us, and exit
immediately.  Elsewhere, we return after the callback anyway.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

Revert "prevent doubly freeing memory on invalid packet"

This reverts commit 1975b53b5ea608d60b8b3e527a435a7c817a97ea.

version 1.0.82-16

From Wolfgang Mueller

Backport a patch from head for updating nodes flags

also make sure that when a node repotrs incinsistent node flags, we mark it as a culprit so that if it insists in retaining an opinion not accepted in the cluster groupthink we ban it quickly.

prevent doubly freeing memory on invalid packet

version 1.0.82-15

1.0.82 does nto have the getreclock command, so just use the variable from the sysconfig file

From Wolfgang M

Add stronger tests for valid filenames when opening all persistent databases

vacuuming needed additional check before getting rid of the record; there is a gap between selecting the records and deleting them, therefore we have to check if the records still can be deleted when we actually are about to delete them

Revert "From Wolfgang Mueller,"

This reverts commit b74ba9a75db431a59b0e68a4b57c48d8c28221d5.

New version 1.0.82-3

From Wolfgang Mueller,
when we detect a dmaster migration error, create a recovery to replair the databases instead of calling ctdb_fatal()

version 1.0.82-12

From Volker L

A less intrusive deadlock prevention workaround

Revert "add a control to set a database priority. Let newly created databases default to priority 1."

This reverts commit 808b4a6ed9f6122a958146ef6ac6665f0e75fe32.

Revert "add a control to read the db priority from a database"

This reverts commit 17516689570e352d5df1b5a6bae3d7c7e4bb5662.

Revert "during recovery, update all remote nodes so they use the same priorities"

This reverts commit 9bbce3e37e213080e974afea551e9147a43a44af.

Revert "uptade the freeze/thaw commands to be able to send the requested database priority to freeze/thaw to the daemon."

This reverts commit a92210bc9572851df327862b325376d56470823c.

Revert "initial attempt at freezing databases in priority order"

This reverts commit 499e781b065f5195e021f33d428503b59b2189b8.

Revert "allow setting the recmode even when not completely frozen."

This reverts commit 575210997f7e9aebc721d584b00bf7def15ab600.

Revert "new version 1.0.82-11"

This reverts commit 5b470e788f9c40f5b510e62fbfd1b990779f2c57.

new version 1.0.82-11

allow setting the recmode even when not completely frozen.
we sometimes have to do this when we want to trigger a recovery

initial attempt at freezing databases in priority order

uptade the freeze/thaw commands to be able to send the requested database priority to freeze/thaw to the daemon.

this is encoded in the srvid field of the request header

during recovery, update all remote nodes so they use the same priorities
for the databases as this node.

add a control to read the db priority from a database

add a control to set a database priority. Let newly created databases default to priority 1.

database priorities will be used to control in which order databases are locked during recovery in.

version 1.0.82-10

if a node fails to become frozen during recovery, mark it up with as a culprit so it will soon get banned

new version 1.0.82-9

we should close this file on exec

new version 1.0.82-8

From Wolfgang Mueller-Friedt

Remove the explicit vacuum/repack commands from the 00.ctdb eventscript
and implement this in the ctdb daemon.

Combine vacuuming and repacking into one
cheap read traverse to enumerate all candidate records
and one write traverse that both repacks the database and also deletes the record locally where we are lmaster and where the records have already been deleted remotely.

this code also adds initial autotuning heuristics for the vacuum intervals and how many records to delete in each iteration.

minor stylish changes made by ronnie s

change the defaults for repacking to repack once every 120 seconds and letting it work for 30 second before timing out.

repack limit tunable

Signed-off-by: Wolfgang Mueller-Friedt <wolfmuel@de.ibm.com>

remove repack from eventscript

Signed-off-by: Wolfgang Mueller-Friedt <wolfmuel@de.ibm.com>

added event repacking

Signed-off-by: Wolfgang Mueller-Friedt <wolfmuel@de.ibm.com>

vacuum event framework

Signed-off-by: Ronnie Sahlberg <ronniesahlberg@gmail.com>
Signed-off-by: Wolfgang Mueller-Friedt <wolfmuel@de.ibm.com>

initial part of new vacuuming patch.

create some new fields for ctdb_db and tunables

Minor fixes to 01.reclock eventscript.

test -z really needs its argument to be quoted.  Simplified a status
test.

Signed-off-by: Martin Schwenke <martin@meltin.net>

change the reclock fail count to 19 monitor intervals before we shut down ctdbd

add a new eventscript 01.reclock

    if the reclock file has been set, then this script will test that the
    reclock file can actually be accessed.
    if the file does not exist, or if the attempts to stat the file hangs,
    the node will be marked unhealthy after the third failed monitoring event
    and after the tenth failure, ctdb itself will shutdown.

new version 1.0.82-7

dont try sending a keepalive if the transport is down

Dont even try allocating and sending a CALL packet if the transport is down

failing a dmaster send due to the transport being down is fatal

if we fail a dmaster migration due to the transport being down, then that is a fatal condition.

dont try to send error packets if the transport is down

dont even try to send a message from the main daemon if the transport is down

Dont try to allocate and send packets if the transport is down

dont even try to allocate a packet if the transport is down since it will fail

rename 99.routing to 11.routing so that it executed before the service scripts

new version 1.0.82-6

Change the loglevel of "registered tcp client for ..." to INFO
instead of ERR

new version 1.0.82-5

When we ban a node, only drop the IPs on the node being banned, not on every node

new version 1.0.82-4

dont remove the socket when the dameon stops. This can race if the
service is immediately restarted

Conflicts:

server/ctdb_daemon.c

new version 1.0.82-3

make ctdb statistics machinereadable

 new version 1.0.82-2

Add -Y machinereadable output to ctdb listvars and ctdb getvar

Track how long it takes to take out the recovery lock from both the main dameon and also from the recovery daemon.
Log this in "ctdb statistics".

Also add a varaible "RecLockLatencyMs" that will log an error everytime it takes longer than this to access the reclock file.

new version 1.0.82

use scope host when adding the interface to loopback so we dont respond to ARPs for this ip

change the prefix NATGW_ to CTDB_NATGW_

ping pong: fix logic for mmap reads vs. preads

Michael

maketarball.sh: add GPL license header

Michael

makerpms.sh: add GPL license header

Michael

Remove generated binary files.

Noted by Mathieu Parent <math.parent@gmail.com>

Michael

remove NATGW_PRIVATE_IFACE from the documentation since we do not need
it any more.

assign the natgw address to loopback and not the private network so that natgw will still work even when public and private networks are one and the same

add extra debug statements to the log to make it easier to see when a recovery dameon has hung due to the underlying filesystem hanging.

check that a node is banned before trying to unban it.

In 51_ctdb_bench.sh now allows a 2% difference between positive and
negative.  ctdb_bench.c checks to ensure the timer has advanced from 0
before dividing.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Avoid floating point divide by 0 in ctdb_fetch.c's bench_fetch().

Signed-off-by: Martin Schwenke <martin@meltin.net>

Bug fixes for tests: simple/12_ctdb_getdebug.sh and scripts/test_wrap.

simple/12_ctdb_getdebug.sh now recognises output with multi-digit node
numbers.

Sharing the ctdb directory via NFS and testing on a real cluster by
setting CTDB_TEST_REAL_CLUSTER didn't work by default.  The fix is to
hack scripts/test_wrap so that it tries to find a valid bin directory
next to the directory containing it is in.

Signed-off-by: Martin Schwenke <martin@meltin.net>

From: Sumit Bose <sbose@redhat.com>

 fix handling of AC_INIT

Fix lvsmaster and natgwlist nodespecs.

They both need to use a -Y option to ctdb and for natgwlist we only
want the 1st line.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Updated onnode docs to reflect recent changes.

Signed-off-by: Martin Schwenke <martin@meltin.net>

New lvs/lvsmaster and natgw/natgwlist nodespecs for onnode.

Some code re-factoring to implement this and to make it easy to
implement new ones.  New simpler implementation of echo_nth() no
longer uses deleted get_nth() function.

Signed-off-by: Martin Schwenke <martin@meltin.net>

New option "-o <prefix>" saves stdout from each node to file <prefix>.<ip>.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Use ctdb_fetch_lock rather than ctdb_call.

Signed-off-by: Martin Schwenke <martin@meltin.net>

41.httpd event script workaround for RHEL5-ism.

RHEL5 can SIGKILL httpd when stopping it, causing it to leak
semaphores.  This means that eventually a node runs out of semaphores
and httpd can't be started.  So, before we attempt to start httpd we
clean up any semaphores owned by apache.  We also try to restart httpd
in the monitor event if httpd has gone away.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Add a -Y machinereadable flag to "lvsmaster"

in the "lvsmaster" command, return -1 if there is no lvsmaster

 new version 1.0.81

From: Sumit Bose <sbose@redhat.com>

fix handling of AC_INIT and read version from ctdb.spec

ping_pong: add GPL comment header with Tridge's copyright

Michael

ping_pong: get pread/pwrite prototypes from unistd.h

by defining _XOPEN_SOURCE to be 500 before including headers

Michael