Merge tridge's tree

Add a test to read back the message

Volker

use event_loop_wait instead of while(1)

use lib/replace for signal.h

merge from volker

merge from ronnie

merge

Handle a client that exited correctly: We need to ignore SIGPIPE and when the
read returns 0 bytes this means the client has exited. Close the connection
then.

Fix uninitialized variable warnings

add an example on how to send a message to the daemon
(send a message to ourself)

this unfortunately terminates the ctdb daemon when running   but im too tired right now to debug it.
checkin so that nothing gets lost overnight.

add call/reply parsing of the cluster connect-wait call to the test daemon.

add a vnn field to the ctdb_reply_connect_wait pdu so that we can tell
non-ctdb-linked clients what the vnn of the local cluster daemon is

create a standalone ctdb daemon and a script ./direct/ctdbd.sh to start two such daemons in a 2 node cluster.

create a small test application that connects to the ctdb daemon at /tmp/ctdb.socket.127.0.0.1 and do some commands to the daemon.
currently this test tool only opens the socket and registers its pid with the daemon
(the daemon needs to know the pid so that it can forward messages to the correct client)

the test will be extended with additional ctdb commands

merge from tridge

added --num-clients option to ctdb_messaging test

use the new connect_wait code in the ctdb_messaging test

add proper support for ctdb_connect_wait in daemon mode

fixed sending messages to ourselves in non-daemon mode

merge from ronnie, plus complete the client side of inter-node messaging

add a test that sends messages between clients connected to the same ctdb

add code to actually pass the messages between clients and ctdb

partially completed work towards full messaging system which will work in both daemon and standalone mode. Does not compile\! committing so ronnie can continue while I'm out

merge from ronnie

merge from tridge

forgot to add ctdb_client.c

 - add --daemon flag to ctdb_fetch test code
 - split client specific routines out of ctdb_daemon.c
 - use ctdb_queue code in message send from client to daemon
 - use clearer names in client/daemon functions
 - use talloc autofree context to avoid global for unlink of socket on
   exit
 - start on API change for message handler, to allow ctdb messaging to
   handle daemon mode with multiple clients

rename client.id to client.messenger_id to make the purpose of the field more obvious

add a call to register the pid for a messengin service

store this pid inside the client structure in the ctdb daemon

fix the queueing for partially connected tcp sockets

updates from tridges tree

make some functions static, and remove an unused structure

merge from ronnie

made all sockets handle partial IO
abstract IO via ctdb_queue_*() functions

remove old ifdef that remained from when this was a header file

merge tcp changes from ronnie

added daemon mode to ctdb_bench

change the tcp code to call ctdb_read_pdu() instead of doing the partial read thing explicitely

merge from ronnie

fix a possible free after use

fix configure for new test location

move the checking of the CONNECT_WAIT flag into the start method for tcp

restore the test script that was updated by mistake in the previous checkin

add a CONNECT_WAIT flag to replace the call ctdb_connect_wait() since
we can no longer use this function from the application if we are in daemon mode.

add a horrible "sleep()" to ctdb_test.c   to prevent the daemon from dissapearing (parent process died) when the application exits which may happen before the other nodes in the test have finished talking to our daemon

add a atexit() call to remove the domain socket when the daemon exits

change ctdb_client_read() to use the ctdb_read_pdu() helper

make normal/deamon mode controllable by a ctdb flag so that the api looks the same in both modes to a client.

send the correct structure back to a client

assorted other cleanups

(tests/test1.sh now works in daemon mode)

dispatcher daemon   first try.

does not yet work

merge from tridge

another memory leak

remove talloc debug code

fixed a bunch of memory leaks

put test code in tests/ directory

added a magic header for wireshark and packet version info

merge from ronnie

When we create a tcp connection to a remote ctdb node  do an explicit bind() to set our source side to the same ip address as we use to listen to ctdb traffic.

We need this since there is no guarantee that INADDR_ANY (which would be defaulted to if we dont bind) would be routable from the remote host.
This is entirely possible to happen since CTDB traffic is likely to be isolated to a private non-routable network.

merge from ronnies branch

merge fetch code from ronnie, and add a simple fetch test

first test of forced migration of records.  compiles but not tested.

tridge

merge back some changes from Samba4

merge multi-database support from ronnie

Split CTDB into sub contexts to handle multiple concurrent databases within the same context.

merged changes from peter

ib: added external send queue to workaround downtime
Workaround is because I couldn't find a correct way in ib to reconnect cleanly (with queue kept) when destination is unreachable.
When connection is broken, all internal queue contents are being destroyed and reconnects automatically.
An "external" send queue is kept until the connection is up again for a dest node.

merged tridge's code

added --num-msgs option
added TCP_NODELAY on tcp sockets

added rest of tdb (missed in earlier commit)

ignored some files

added a benchmark script that launches via ssh

support hostnames for node names

workaround proposal for the initialization-problem

merged tridge's fix

fixed incr initialisation

merged peters IB work

1st working ib integrated ctdb
TODO: bugfix of ctdb_bench (wants to sent via uninitialised connection - see bench_ring/dest)

ib: a trivial approach of integration
TODO: bugfix (not yet complete, something happens differently than expected
at tcpip when connection is refused in the beginning)

Some minor changes before integrating ib...

Merged tridge's code.
(I had error 206 at direct bzr merge, so 1st I did a "bzr branch" and merged that one.)

ib: adjustment of a test scenario

added a simple benchmark script

changed ctdb_bench.c to use messages instead of calls

merged ib work from peter

ignore config.h*

merged ctdb messaging code from samba4

merged tridge's code

ib: fragment sent buf + many bugfixes
It came to light I have to fragment the send buffer in case destination's to fit receiver's buffers.
Additionally fixed many bugs.
Still testing.
+ TODO: clean code.

merged from samba4 ctdb

Added variable msg size scenario.
Detected 1 bug, fixing...

2 bugfixes
- ibw_stop handling
- ibw_send: < instead of <=

merging tridge's code...

Added overload test scenario + fixed 1 send queue bug.
TODO: externize debug level

merge status code changes from samba4 ctdb

fix a bug in new structure handling

Adjusted debug level and test scenario.

Adjusted ib test tool #1.
Now fixed number of pingpong messages can be sent and then exit.

Fixed a side effect of previous revert.

Merged tridge's branch.
Reverted ib join (will do later).

1st "working" ib version.
TODO: stress test, variable size messages, flood

simplified ctdb_call() interface, and made it easier to expand with more parameters later

use ctdb_call_info, so struct ctdb_call can be used for top level call

merge db wrap code from samba4