v3-4-ctdb: bump the ctdb vendor patch level to 16

Michael

s3:dbwrap_ctdb: fix two "may be used uninitialized" warnings

Michael

s3:dbwrap_ctdb: fix db_ctdb_fetch_db_seqnum_from_db() when NT_STATUS_NOT_FOUND.

Don't treat this as an error but return seqnum 0 instead.

Michael

s3:dbwrap: If "-n" is given to dbwrap_torture, open db with CLEAR_IF_FIRST

s3:build: remove checks for deprecated ctdb controls.

Michael

s3:dbwrap_ctdb: maintain a database sequence number that bumps in transactions

For persistent databases, 64bit integer is kept in a special record
__db_sequence_number__. This record is incremented with each completed
transaction.

The retry mechanism for failing TRANS3_COMMIT controls inside the
db_ctdb_transaction_commit() function now relies one a modified
behaviour of ctdbd's treatment of persistent databases in recoveries.
Recently, a special treatment for persistent databases had been
introduced in ctdb (1.0.108) to work around the problems with the
orinal design of persistent transactions.
Now with the rewrite we need to revert to the old behaviour that
ctdb always takes the newest copies of all records.

This change also paves the way for a next step, which will make
recovery use the db seqnum to tell which node has the newest copy
of a persistent db and use that node's copy. This will greatly
reduce the amount of data transferred with each recovery.

Michael

s3:dbwrap_ctdb: change db_ctdb_transaction_store() to return NTSTATUS.

The return values calculated by the callers were wrong anyways since
the new marshalling code does not set the local tdbs tdb error code.

Michael

s3:dbwrap_ctdb: update (C)

Michael

build: Add a configure check for CTDB_CONTROL_TRANS3_COMMIT.

This is the new implementation of ctdb transactions using the
global lock feature. It is needed by the current dbwrap_ctdb code.

Michael

s3:torture: add a test LOCAL-DBTRANS to torture dbwrap with transactions.

s3:dbwrap_ctdb: start rewrite of transactions using the global lock (g_lock)

This simplifies the transaction code a lot:

* transaction_start essentially consists of acquiring a global lock.

* No write operations at all are performed on the local database
  until the transaction is committed: Every store operation is just
  going into the marshall buffer.

* The commit operation calls a new simplified TRANS3_COMMIT control
  in ctdb which rolls out thae changes to all nodes including the
  node that is performing the transaction.

Michael

s3: setup debug for smbtorture

s3: Add ctdb_conn_msg_ctx()

s3: Implement global locks in a g_lock tdb

This is the basis to implement global locks in ctdb without depending on a
shared file system. The initial goal is to make ctdb persistent transactions
deterministic without too many timeouts.

s3: Add tdb_data_equal

v3-4-ctdb: Bump the vendor patch level to 15

s3: Correctly handle timeouts for the ping-dc operation

When a DC is too slow responding to the logonCtrl operation, we have to
invalidate the connection. Right now we can not recover from that condition
very well.

s3: Add "net registry getvaluesraw"

streamline some log levels for invalid servicenames

I don't think we need to log the fact that a user gave a wrong sharename in Explorer with the highest log level.
The level of this was not very consistent:
service.c: DEBUG(3,("find_service() failed to find service %s\n", service));
service.c: DEBUG(0,("%s (%s) couldn't find service %s\n",
smb2_tcon.c: DEBUG(1,("smbd_smb2_tree_connect: couldn't find service %s\n",

This changes the last two to 3 as the first one.

Signed-off-by: Christian Ambach <christian.ambach@de.ibm.com>

v3-4-ctdb: Bump the vendor patch level to 14.

Michael

packaging(RHEL-CTDB): clean some commented out lines from the files sections

Michael

packaging(RHEL-CTDB): explicitly list library versions in samba-winbind-32bit

Michael

packaging(RHEL-CTDB): explicitly list library versions in samba-common

Michael

packaging(RHEL-CTDB): explicitly list all packaged idmap/nss-info/charset modules

in the samba-common package.
This is to  better be able to catch regressions or
build problems.

Michael

packaging(RHEL-CTDB): explicitly list all the vfs modules in the main package

Instead of the wildcard list, to better control regressions or
build problems.

Michael

packaging(RHEL-CTDB): add some checks to test the built smbd

Test whether some required features have been built into smbd.
Can be extended...

Michael

packaging(RHEL-CTDB): make everything instead of all in the build stage

Michael

s3:build: fix detection of CTDB headers on systems without system-libtalloc

Michael

packaging(RHEL-CTDB): package dbwrap_tool and dbwrap_torture in the common pkg

Michael

s3:dbwrap_ctdb: increase the number of commit retries 5-->100

This is to cope with timeouts when recoveries and transactions collide.
Maybe 100 is too hight, but 10 or even 20 have been too low in a
very busy environment.

Michael

s3:dbwrap_ctdb: increase the rsn of the __transaction_lock__ when storing

so that it is correctly handled by recoveries.
Also set the dmaster explicitly.

Michael

s3: Fix the code to immediately disconnect from a non-working ctdbd

Add a low-cost alternative to wbinfo -t: winfo --ping-dc

Fix bug #6898 - Samba duplicates file content on appending. Move posix case semantics out from under the VFS. Jeremy.

v3-4-ctdb: bump ctdb vendor patch level to 13

Michael

s3: Do not connect to ctdb if it is blocked for some reason

s3: Fix the winbind piece of 58045: Correctly time out client smb requests

s3:dbwrap_torture: use timeval_current/timeval_elapsed instead of start_timer/end_timer

metze

s3:fix the merged build of bin/smbtorture4

Michael

s3: Always try SamLogonEx

Required for cluster systems working in a Samba domain. With NT4 this won't
work, but real NT4 DCs should not be around in environments that pay big bucks
for a cluster... And if they are, they can always install a Samba DC trusting
that NT4 domain.

s3: add dbwrap_torture - a tool to stress test tdb transactions through dbwrap

This can be used to also test tdb transactions on clustered installations
throught ctdb. The test is modeled after the ctdb_transaction.c test program
from the ctdb source code. It runs transactions in a tight loop on a test
database called "transactions.tdb" (by default), increasing a counter in each
iteration. In a clustered environment, a counter is maintained for each node.

Michael

s3:torture: move the torture-specific headers to new torture/torture.h

Michael

gpfs: fix logic when gpfs:winattr is false (the default!)

On my autocluster setup, it's not set.  Maybe it should be?  Otherwise
smbclient and some Windows client programs will get errors like:

        # smbclient //localhost/data -Uadministrator%XXX
        Domain=[VSOFS1] OS=[Unix] Server=[Samba 3.4.2-ctdb-10]
        smb: \> put /etc/resolv.conf resolv.conf
        NT_STATUS_ACCESS_DENIED closing remote file \resolv.conf
        smb: \>

Caused by attempting to update the time on close.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>
Signed-off-by: Michael Adam <obnox@samba.org>

s3: Avoid races to change the machine password in winbind

The machine password handler has code to deal with every node in the cluster
trying to change the machine password at the same time. However, it is not very
nice to the DC if everyone tries this simultaneously. This adds a random 0-255
second offset to our timed event. When this fires a bit later than strictly
calculated, someone else might have stepped in and have already changed it. The
timed event handler will handle this gracefully, it won't even try to do it
again.

Signed-off-by: Michael Adam <obnox@samba.org>

s3: Protect against flooding the DC with pwchange requests

When there is a temporary problem changing passwords we flooded the DC with
pwchange requests. This gives the DC a 60-second break to recover.

Signed-off-by: Michael Adam <obnox@samba.org>

s3: Deal with races for password changes

When two winbinds (in a cluster) change the password at the same time, the
later one gets an NT_STATUS_ACCESS_DENIED. The netlogon session works fine, but
the next time we retry the pwchange, we again get NT_STATUS_ACCESS_DENIED. This
code deals with this race by dropping just the NETLOGON pipe. The next caller
will re-open it automatically with the changed machine credentials.

With this race in place, we also have to recalculate the timeout for the next
pwchange event.

Signed-off-by: Michael Adam <obnox@samba.org>

s3: Re-check the timeout in machine_password_change_handler()

Someone else might have come in between and changed the password since we
created that timed request

Signed-off-by: Michael Adam <obnox@samba.org>

s3: Add some debugs to the winbind machine pwchange machinery

Signed-off-by: Michael Adam <obnox@samba.org>

s3: Factor timeval_string out of current_timestring()

Signed-off-by: Michael Adam <obnox@samba.org>

s3-netlogon: setup NETLOGON credential chain in rpccli_netlogon_set_trust_password() only when needed.

Guenther

Signed-off-by: Michael Adam <obnox@samba.org>

v3-4-ctdb: Bumb vendor version number to 12

s3: Fix shadow copies after the change for in-path @GMT-

s3: Fix check_reduced_name for access to the share root itself

s3: Fix debug messages in check_reduced_name

v3-4-ctdb: Bumb vendor version number to 11

s3:vfs_fs_capabilities: fix a debug message

Michael

s3: Try to avoid dns searches with an empty site

s3: Fix in-path shadowcopy2 module

add e2fsprogs-devel as build dependency this is needed for AD because it contains libcom/libcom_err files and headers

Signed-off-by: Christian Ambach <christian.ambach@de.ibm.com>
Signed-off-by: Michael Adam <obnox@samba.org>

s3: Fix a crash in notify_remove_onelevel when "change notify = no"

s3: Add parameter "ctdb timeout"

When something in the cluster blocks, it can happen that we wait indefinitely
long for ctdb, just adding to the blocking condition. In theory, nothing should
block, but as someone said "In practice the difference between theory and
practice is larger than in theory". This adds a timeout parameter in seconds,
after which we stop waiting for ctdb and panic.

Signed-off-by: Michael Adam <obnox@samba.org>

packaging(RHEL-CTDB): add the current githash to the rpm release number by default

Disable this (to build a release-rpm) by calling

USE_GITHASH=no makerpms.sh

Michael

s3:registry: add an extra check for dsize==0 to regdb_fetch_keys_internal()

Don't only rely on dptr == NULL.
I stumbled over this one when rewriting some of the dbwrap_ctdb code.

Michael

s3:registry: add safety check for return value of tdb_unpack to regdb_fetch_keys_internal()

Prevents segfaults in some situations.

(For a non existent or empty record, we sometimes rely on the fetch operation
 to return dsize==0 and sometimes we rely on dptr==NULL.)

Michael

s3:dbwrap_ctdb: add debug message to transaction_fetch_start()

for the case that another local process has started a transaction
bewteen releasing the transaction_lock record and starting the
transaction.

Michael

s3:dbwrap_ctdb: split combined check in two and add descriptive debug

in db_ctdb_transaction_fetch_start() for error conditions when re-fetching
the transaction_lock record inside the transaction

Michael

s3:dbwrap_ctdb: fix race condition with concurrent transactions on the same node.

In ctdb_transaction_commit(), when the trans2_commit control fails, there
is a race condition in the 1 second sleep between the local transaction_cancel
and the call to ctdb_replay_transaction(): The database is not locked, and
neither is the transaction_lock record. So another client can start and possibly
complete a new transaction in this gap, but only on the same node: The locking
of the transaction_lock record on a different node which involves migration of
the record to the other node has been disabled by introduction of the
transaction_active flag on the db which closes precisely this gap from the start
of the commit until the call to TRANS2_FINISH or TRANS2_ERROR.
But this mechanism does not cover the case where a process on the same node
tries to start a transaction: There is no obstacle to locking the transaction_lock
record because the record does not need to be migrated.

This commit closes this race condition in ctdb_transaction_fetch_start()
by using the new ctdb_ctrl_transaction_active() call to ask the local
ctdb daemon whether it has a transaction running on the database.
If so, the check is repeated until the running transaction is done.

This does introduce an additional call to the local ctdbd when starting
transactions, but it does close the (hopefully) last race condition.

Michael

s3:configure: add a check for the new CTDB_CONTROL_TRANS2_ACTIVE

Michael

s3:dbwrap_ctdb: add new db_ctdb_transaction_active() that calls CTDB_CONTROL_TRANS2_COMMIT

Michael

s3:dbwrap_ctdb: fix a race in starting concurrent transactions on a single node

There are two races in concurrent transactions on a single node.
One in starting a transaction and one with replay during commit.

This commit closes the first race by storing the client pid in the
transaction-lock record and comparing the stored pid against its own
pid after releasing the lock and refetching the record inside the
transaction.

Michael

s3:dbwrap_ctdb: use db_ctdb_ltdb_fetch() inside db_ctdb_transaction_fetch_start

Michael

s3:dbwrap_ctdb: use db_ctdb_ltdb_fetch() inside db_ctdb_transaction_fetch()

Michael

s3:dbwrap_ctdb: add a function db_ctdb_ltdb_fetch()

This fetches a record from the db and splits out the ctdb header.

Michael

s3:dbrwap_ctdb: add a function db_ctdb_ltdb_store()

and use it in db_ctdb_store() and db_ctdb_transaction_store().

Michael

s3:dbwrap_ctdb: reformat a comment slightly to enhance clearness.

Michael

s3:dbwrap_ctdb: fix some function header comments

Michael
(cherry picked from commit f5a5c6a5dcf6be2486c53138e24f8d76b64f882e)

Signed-off-by: Michael Adam <obnox@samba.org>

s3: Fix a 100% CPU loop when ctdbd dies during a traverse

Signed-off-by: Michael Adam <obnox@samba.org>

dbwrap_ctdb: revert code accidentially committed in the vendor patch bump 8->9

Michael

v3-4-ctdb: Bump the ctdb verdor patch level to 10 (for the NEXT release =)

Michael

v3-4-ctdb: Bump the ctdb verdor patch level to 9.

cluster_fatal() exit code should not indicate success.

cluster_fatal() logs a fatal event and then exits with 0.  This seems
wrong.  Sometimes command like "net" use this code and return
incorrect empty output but then exit with 0.

This simply changes the exit code to 1.

Signed-off-by: Martin Schwenke <martin@meltin.net>

v3-4-ctdb: Bump the ctdb vendor patch level to 8.

s3: Attempt to fix a deadlock between smbd and ctdbd

In Samba we access the notify databases under the locking.tdb lock when closing a file. This leads to a deadlock with ctdb when doing a recovery.

This is a bad hack, and ctdb will need to get fixed for this. But for now, it
seems necessary.

s3: Fix shadow copy display on Windows 7

Windows 7 is a bit more picky on our NT_STATUS_BUFFER_TOO_SMALL. Announce the
right buffer size, the same amount we later check for.

v3-4-ctdb: Bump the ctdb verdor patch level to 7.

s3:winbind: Only ever handle one event after a select call

While handling an fd event, the situation with other fds can change. I've just
seen a winbind stuck in the accept() call on the privileged pipe. I can only
imagine this happen because under high load we first handled other requests and
meanwhile the client on the privileged pipe went away.

To set file create/birth time Signed-off-by: Abhidnya Chirmule <achirmul@in.ibm.com>

s3: Add access_mask to the flock VFS call

s3:samr: Fix an uninitialized variable

s3-idmap: fix two uninitialized variable warnings in idmap_tdb2.

Guenther

v3-4-ctdb: Bump the ctdb verdor patch level to 6

changed debuglevel for two messages in the GPFS module from 0 to 10 they spammed the logs on a test machine and they are just debug messages, so let's move them to the level of the other debug messages in the file

Signed-off-by: Christian Ambach <christian.ambach@de.ibm.com>

s3:gpfs: Add support for the gpfs_ftruncate call

s3:gencache: Make gencache_del() return success for expired entries

This fixes nasty error messages from "net cache flush"

s3:gencache: Remove some over-paranoid locking

s3:gencache: Add a "was_expired" argument to gencache_get_data_blob

This is set to true if the routine returns failure due to an existing but
expired entry.

s3: Fix vfs_shadow_copy2 to allow in-path @GMT-xxx

Add a "connectpath" operation to the shadow_copy2 module

Add SMB_VFS_CONNECTPATH operation

This is required for the shadow_copy2 module and "wide links = no". The file
system snapshots by nature are typically outside of share directory. So the
REALPATH result fails the wide links = no test.

Remove a variable used just once