s3:dbwrap_torture: use timeval_current/timeval_elapsed instead of start_timer/end_timer

metze

s3:fix the merged build of bin/smbtorture4

Michael

s3: Always try SamLogonEx

Required for cluster systems working in a Samba domain. With NT4 this won't
work, but real NT4 DCs should not be around in environments that pay big bucks
for a cluster... And if they are, they can always install a Samba DC trusting
that NT4 domain.

s3: add dbwrap_torture - a tool to stress test tdb transactions through dbwrap

This can be used to also test tdb transactions on clustered installations
throught ctdb. The test is modeled after the ctdb_transaction.c test program
from the ctdb source code. It runs transactions in a tight loop on a test
database called "transactions.tdb" (by default), increasing a counter in each
iteration. In a clustered environment, a counter is maintained for each node.

Michael

s3:torture: move the torture-specific headers to new torture/torture.h

Michael

gpfs: fix logic when gpfs:winattr is false (the default!)

On my autocluster setup, it's not set.  Maybe it should be?  Otherwise
smbclient and some Windows client programs will get errors like:

        # smbclient //localhost/data -Uadministrator%XXX
        Domain=[VSOFS1] OS=[Unix] Server=[Samba 3.4.2-ctdb-10]
        smb: \> put /etc/resolv.conf resolv.conf
        NT_STATUS_ACCESS_DENIED closing remote file \resolv.conf
        smb: \>

Caused by attempting to update the time on close.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>
Signed-off-by: Michael Adam <obnox@samba.org>

s3: Avoid races to change the machine password in winbind

The machine password handler has code to deal with every node in the cluster
trying to change the machine password at the same time. However, it is not very
nice to the DC if everyone tries this simultaneously. This adds a random 0-255
second offset to our timed event. When this fires a bit later than strictly
calculated, someone else might have stepped in and have already changed it. The
timed event handler will handle this gracefully, it won't even try to do it
again.

Signed-off-by: Michael Adam <obnox@samba.org>

s3: Protect against flooding the DC with pwchange requests

When there is a temporary problem changing passwords we flooded the DC with
pwchange requests. This gives the DC a 60-second break to recover.

Signed-off-by: Michael Adam <obnox@samba.org>

s3: Deal with races for password changes

When two winbinds (in a cluster) change the password at the same time, the
later one gets an NT_STATUS_ACCESS_DENIED. The netlogon session works fine, but
the next time we retry the pwchange, we again get NT_STATUS_ACCESS_DENIED. This
code deals with this race by dropping just the NETLOGON pipe. The next caller
will re-open it automatically with the changed machine credentials.

With this race in place, we also have to recalculate the timeout for the next
pwchange event.

Signed-off-by: Michael Adam <obnox@samba.org>

s3: Re-check the timeout in machine_password_change_handler()

Someone else might have come in between and changed the password since we
created that timed request

Signed-off-by: Michael Adam <obnox@samba.org>

s3: Add some debugs to the winbind machine pwchange machinery

Signed-off-by: Michael Adam <obnox@samba.org>

s3: Factor timeval_string out of current_timestring()

Signed-off-by: Michael Adam <obnox@samba.org>

s3-netlogon: setup NETLOGON credential chain in rpccli_netlogon_set_trust_password() only when needed.

Guenther

Signed-off-by: Michael Adam <obnox@samba.org>

s3: Fix shadow copies after the change for in-path @GMT-

s3: Fix check_reduced_name for access to the share root itself

s3: Fix debug messages in check_reduced_name

s3:vfs_fs_capabilities: fix a debug message

Michael

s3: Try to avoid dns searches with an empty site

s3: Fix in-path shadowcopy2 module

add e2fsprogs-devel as build dependency this is needed for AD because it contains libcom/libcom_err files and headers

Signed-off-by: Christian Ambach <christian.ambach@de.ibm.com>
Signed-off-by: Michael Adam <obnox@samba.org>

s3: Fix a crash in notify_remove_onelevel when "change notify = no"

s3: Add parameter "ctdb timeout"

When something in the cluster blocks, it can happen that we wait indefinitely
long for ctdb, just adding to the blocking condition. In theory, nothing should
block, but as someone said "In practice the difference between theory and
practice is larger than in theory". This adds a timeout parameter in seconds,
after which we stop waiting for ctdb and panic.

Signed-off-by: Michael Adam <obnox@samba.org>

packaging(RHEL-CTDB): add the current githash to the rpm release number by default

Disable this (to build a release-rpm) by calling

USE_GITHASH=no makerpms.sh

Michael

s3:registry: add an extra check for dsize==0 to regdb_fetch_keys_internal()

Don't only rely on dptr == NULL.
I stumbled over this one when rewriting some of the dbwrap_ctdb code.

Michael

s3:registry: add safety check for return value of tdb_unpack to regdb_fetch_keys_internal()

Prevents segfaults in some situations.

(For a non existent or empty record, we sometimes rely on the fetch operation
 to return dsize==0 and sometimes we rely on dptr==NULL.)

Michael

s3:dbwrap_ctdb: add debug message to transaction_fetch_start()

for the case that another local process has started a transaction
bewteen releasing the transaction_lock record and starting the
transaction.

Michael

s3:dbwrap_ctdb: split combined check in two and add descriptive debug

in db_ctdb_transaction_fetch_start() for error conditions when re-fetching
the transaction_lock record inside the transaction

Michael

s3:dbwrap_ctdb: fix race condition with concurrent transactions on the same node.

In ctdb_transaction_commit(), when the trans2_commit control fails, there
is a race condition in the 1 second sleep between the local transaction_cancel
and the call to ctdb_replay_transaction(): The database is not locked, and
neither is the transaction_lock record. So another client can start and possibly
complete a new transaction in this gap, but only on the same node: The locking
of the transaction_lock record on a different node which involves migration of
the record to the other node has been disabled by introduction of the
transaction_active flag on the db which closes precisely this gap from the start
of the commit until the call to TRANS2_FINISH or TRANS2_ERROR.
But this mechanism does not cover the case where a process on the same node
tries to start a transaction: There is no obstacle to locking the transaction_lock
record because the record does not need to be migrated.

This commit closes this race condition in ctdb_transaction_fetch_start()
by using the new ctdb_ctrl_transaction_active() call to ask the local
ctdb daemon whether it has a transaction running on the database.
If so, the check is repeated until the running transaction is done.

This does introduce an additional call to the local ctdbd when starting
transactions, but it does close the (hopefully) last race condition.

Michael

s3:configure: add a check for the new CTDB_CONTROL_TRANS2_ACTIVE

Michael

s3:dbwrap_ctdb: add new db_ctdb_transaction_active() that calls CTDB_CONTROL_TRANS2_COMMIT

Michael

s3:dbwrap_ctdb: fix a race in starting concurrent transactions on a single node

There are two races in concurrent transactions on a single node.
One in starting a transaction and one with replay during commit.

This commit closes the first race by storing the client pid in the
transaction-lock record and comparing the stored pid against its own
pid after releasing the lock and refetching the record inside the
transaction.

Michael

s3:dbwrap_ctdb: use db_ctdb_ltdb_fetch() inside db_ctdb_transaction_fetch_start

Michael

s3:dbwrap_ctdb: use db_ctdb_ltdb_fetch() inside db_ctdb_transaction_fetch()

Michael

s3:dbwrap_ctdb: add a function db_ctdb_ltdb_fetch()

This fetches a record from the db and splits out the ctdb header.

Michael

s3:dbrwap_ctdb: add a function db_ctdb_ltdb_store()

and use it in db_ctdb_store() and db_ctdb_transaction_store().

Michael

s3:dbwrap_ctdb: reformat a comment slightly to enhance clearness.

Michael

s3:dbwrap_ctdb: fix some function header comments

Michael
(cherry picked from commit f5a5c6a5dcf6be2486c53138e24f8d76b64f882e)

Signed-off-by: Michael Adam <obnox@samba.org>

s3: Fix a 100% CPU loop when ctdbd dies during a traverse

Signed-off-by: Michael Adam <obnox@samba.org>

cluster_fatal() exit code should not indicate success.

cluster_fatal() logs a fatal event and then exits with 0.  This seems
wrong.  Sometimes command like "net" use this code and return
incorrect empty output but then exit with 0.

This simply changes the exit code to 1.

Signed-off-by: Martin Schwenke <martin@meltin.net>

s3: Attempt to fix a deadlock between smbd and ctdbd

In Samba we access the notify databases under the locking.tdb lock when closing a file. This leads to a deadlock with ctdb when doing a recovery.

This is a bad hack, and ctdb will need to get fixed for this. But for now, it
seems necessary.

To set file create/birth time Signed-off-by: Abhidnya Chirmule <achirmul@in.ibm.com>

s3: Add access_mask to the flock VFS call

s3:samr: Fix an uninitialized variable

s3-idmap: fix two uninitialized variable warnings in idmap_tdb2.

Guenther

changed debuglevel for two messages in the GPFS module from 0 to 10 they spammed the logs on a test machine and they are just debug messages, so let's move them to the level of the other debug messages in the file

Signed-off-by: Christian Ambach <christian.ambach@de.ibm.com>

s3:gpfs: Add support for the gpfs_ftruncate call

s3:gencache: Make gencache_del() return success for expired entries

This fixes nasty error messages from "net cache flush"

s3:gencache: Remove some over-paranoid locking

s3:gencache: Add a "was_expired" argument to gencache_get_data_blob

This is set to true if the routine returns failure due to an existing but
expired entry.

s3: Fix vfs_shadow_copy2 to allow in-path @GMT-xxx

Add a "connectpath" operation to the shadow_copy2 module

Add SMB_VFS_CONNECTPATH operation

This is required for the shadow_copy2 module and "wide links = no". The file
system snapshots by nature are typically outside of share directory. So the
REALPATH result fails the wide links = no test.

Remove a variable used just once

s3:dbwrap_ctdb: set dmaster in ctdb_transaction_store() also when updating an existing record

not only when creating a record.

This matches commit e9194a130327d6b05a8ab90bd976475b0e93b06d from ctdb-master.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

Add a parameter to disable the automatic creation of krb5.conf files

This is necessary because MIT 1.5 can't deal with certain types (Tree Root) of
transitive AD trusts. The workaround is to add a [capaths] directive to
/etc/krb5.conf, which we don't automatically put into the krb5.conf winbind
creates.

The alternative would have been something like a "krb5 conf include", but I
think if someone has to mess with /etc/krb5.conf at this level, it should be
easy to add the site-local KDCs as well.

Next alternative is to correctly figure out the [capaths] parameter for all
trusted domains, but for that I don't have the time right now. Sorry :-)

packaging(RHEL-CTDB): enable parallel build

Michael

packaging(RHEL-CTDB): fix packaging of pam_winbind.mo file

Michael

s3:dsgetdcname: Fix a crash in dsgetdcname

When returning NT_STATUS_OK we can't leave *info == NULL, this crashes
in is_closest_site called from dsgetdcname().

s3:dsgetdcname: Inline dsgetdcname_cache_refresh

Make refusal of SEC_DESC_DACL_PROTECTED configurable

This adds a parameter "gpfs:refuse_dacl_protected" that defaults to false.

GPFS has no place to store the SEC_DESC_DACL_PROTECTED ACL bit. With this
parameter we give customers an option to either ignore this bit or refuse
setting an ACL with it.

Use defined names rather than numeric constants to make code clearer. Jeremy.

gpfs.so: map the file_inherit and dir_inherit flags away for files

GPFS sets inherits dir_inhert and file_inherit flags
to files, too, which confuses windows, and seems to
be wrong anyways.

So when mapping a nfs4 acl to a windows acl, we map these
flags away for files.

Michael

Add a \n to a debug message in smbacl4_nfs42win

Fix a size_t/int warning

packaging(RHEL-CTDB): move the idmap and nss_info modules to the common package

In this layout, this is the package that contains winbindd related stuff.

Michael

packaging(RHEL-CTDB): package the winbind_krb5_locator.so plugin

Michael

packaging(RHEL-CTDB): package the manpage of the winbind_krb5_locator plugin

Michael

packaging(RHEL-CTDB): package the manpage of "ldbrename"

Michael

packaging(RHEL-CTDB): package the manpage of "sharesec"

Michael

packaging(RHEL-CTDB): pam_winbindd man page has moved from section 7 to 8

This due to updating the docs tarball to the 3.4 docs.

Michael

s3:passdb: use transaction_wrapped write in tdbsam_new_rid()

Now all tdb writes in passdb use transactions.

Michael

s3:secrets: use transaction wrapped store in get rand seed.

Now secrets.tdb is only writen with transactions.

Michael

s3:dbwrap: add dbwrap_trans_change_int32_atomic()

A transaction wrapper for dbwrap_change_int32_atomic().

Michael

s3:dbwrap: export logic of dbwrap_change_int32_atomic into an action function

to prepare for adding a transaction wrapper to dbwrap_change_int32_atomic()

Michael

s3:dbwrap: change dbwrap_change_int32_atomic() to take int32_t, not int32

Michael

s3:winbind: use transaction store in idmap_tdb_set_hwm() to store new hwm.

Btw, the previous code must have failed to warn when exceeding the high_hwm,
because it overwrote hwm with the return value of the dbwrap_store_uint32(),
which does not return the hwm but 0 or -1, depending on success.

Michael

s3:winbind: fix typo in debug message in idmap_tdb.

Michael

s3:winbind: fix typo in debugmessage of idmap_tdb

Michael

s3:winbind: use transaction in idmap_tdb2_allocate_id_action().

This uses the new dbwrap_trans_change_uint32_atomic()
instead of dbwrap_change_uint32_atomic().

Now all db write operations in idmap_tdb2.c are using
transactions.

Michael

s3:dbwrap: add dbwrap_trans_change_uint32_atomic()

A transaction wrapper for dbwrap_change_uint32_atomic().

Michael

s3:dbwrap: export logic of dbwrap_change_uint32_atomic into an action function

to prepare for adding a transaction wrapper to dbwrap_change_uint32_atomic()

Michael

s3:dbwrap: untangle assignment and check in dbwrap_change_int32_atomic()

Michael

s3:dbwrap: untangle assignemend and check in dbwrap_change_uint32_atomic()

Michael

s3:dbwrap: don't leak in dbwrap_change_int32_atomic().

Michael

s3:dbwrap: don't leak in dbwrap_change_uint32_atomic()

Michael

s3:dbwrap: change dbwrap_change_int32_atomic() to return NTSTATUS not int32.

Michael

s3:dbwrap: change dbwrap_change_uint32_atomic() to return NTSTATUS not uint32_t.

Michael

s3:winbind: in idmap_tdb2_sid_to_id(), use transaction wrapped stores.

When a mapping is not found, then the idmap script is called (if defined).
When this gives a reply for the desired sid, this reply is stored in the db.

This patch wraps theses two store operations into a transaction by re-using
the idmap_tdb2_set_mapping_action() function previously defined
for idmap_tdb2_set_mapping().

Michael

s3:winbind: in idmap_tdb2_id_to_sid(), use transaction wrapped stores.

When a mapping is not found, then the idmap script is called (if defined).
When this gives a reply for the desired id, this reply is stored in the db.

This patch wraps theses two store operations into a transaction by re-using
the idmap_tdb2_set_mapping_action() function previously defined
for idmap_tdb2_set_mapping().

Michael

s3:winbind: use transaction wrapper in idmap_tdb2_allocate_id()

Michael

s3:winbind: use transaction wrapper in idmap_tdb2_set_mapping()

Michael

s3:dbwrap: use the transaction wrapper in dbwrap_trans_store().

Now dbwrap_util.c contains only one call to each of
transaction_start, transaction_commit and transaction_cancel.

Michael

s3:dbwrap: use the transaction wrapper in dbwrap_trans_delete().

Michael

s3:dbwrap: fix embarrassing typo :-)

Michael

s3:registry: db backend: add my C

Michael

s3:registry: flush the provided subkey_ctr in regdb_fetch_keys_internal()

This way, we always return what has really been read from the db,
and not more. The callers assume exactly this, but one could hand
in an already pre-filled subkey container...

Michael

s3:registry: add function regsubkey_ctr_reinit()

This reinitializes an already allocated regsubkey_ctr structure,
emptying out the subkey array and hash table.

Michael

s3:registry: turn regdb_fetch_keys_internal() from int to WERROR return type

This way, more error information is propagated to the callers.

Michael

s3:registry: use transaction wrapper in create_sorted_subkeys()

Michael

s3:registry: restructure logic of create_sorted_subkes() slightly

This makes it clearer to me, and it also makes it easier to
use the transaction retry wrapper in the next step.

Michael