s3: Fix bugs in the detection of the GNU ld version (Bug #6147)

This bug results in a failure to use linker scripts to limit the set of symbols
exported by our shared libraries.

Signed-off-by: Michael Adam <obnox@samba.org>
(cherry picked from commit c6b570ce30b5cc3631c0ed780826d5450f681800)

s3:registry: tighten the subkey loop in reg_deletekey_recursive()

and loop from the end to the beginning so that we don't need
to rehash the subkeys...

This gets "net conf drop" with 2000 shares down to 14 seconds
on my box.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: use delete_reg_subkey() in reg_deletekey()

This further speeds up net conf drop.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: implement delete_subkey in the smbconf backend

delegating the call to the db backend

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: implement delete_subkey in the db backend

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: add a delete_subkey method to the backend ops.

This is to provide a more atomic means of deleting a subkey of a key.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: refactor deletion of various subkey lists out of regdb_store_keys()

Micheal

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: streamline and cleanup regdb_set_secdesc() somewhat.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: refactor deletion of value/secdesc/subkey list tdb records out

of regdb_store_values().

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: streamline reg_deletekey() somewhat.

use W_ERROR_... macros and separate assignments from checks

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: use create_reg_subkey() in reg_createkey().

Instead of calling store_reg_keys()

On my box, importing 2000 shares into an empty smbconf key
now takes some 32 seconds.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: implement create_subkey for the smbconf backend

by delegating to the db backend

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: implement create_subkey for the db backend.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: add a create_subkey method to the backend ops.

This is to provide a more atomic means of adding a subkey of a key.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

source/include/nt_status.h: add macro W_ERROR_NOT_OK_GOTO(x, y)

a goto destination can be specified as a second parameter.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3: move definition of W_ERROR_NOT_OK_GOTO_DONE down to nt_status.h

where all the other W_ERROR_xyz macros are found as well.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:net rpc registry: use regsubkey_ctr_init() instead of using talloc directly.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: hash the list of subkeys in the regsubkey_ctr

This removes many loops over all the arrays
(from regsubkey_ctr_key_exists) and thus
reduces "net conf drop" from 1m55 to 48seconds
and "net conf import" from 1m55 to 58 seconds
for 2000 shares on my box.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: remove definition of regsubkey_ctr from the surface.

All access is now through accessor functions in reg_objects.c
This allows for performance tuning under the hood in the next step.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:profiles: use regsubkey_ctr_init() instead of using talloc directly.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: use regsubkey_ctr_init() in reg_eventlog.c

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:services_db: use regsubkey_ctr_init() instead of using talloc directly

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: use regsubkey_ctr_get_seqnum() in reg_backend_db.c

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: use regsubkey_ctr_set_seqnum() in reg_backend_db.c

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: use regsubkey_ctr_init() in reg_backend_db.c

instead of using talloc directly.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: use regsubkey_ctr_init() in reg_api.c

instead of using talloc on struct regsubkey_ctr.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: add regsubkey_ctr_get_seqnum() to hide implementation

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: add regsubkey_ctr_set_seqnum to hide implementation from caller.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: add a regsubkey_ctr_init function for allocating a regsubkey_ctr

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: fix a comment

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: don't directly access key->subkeys->subkeys[] in reg_backend_db.c

Use the reg_objects accessor regsubkey_ctr_specific_key() instead.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: don't directly access key->subkeys->subkeys[] in reg_api.c

Use the reg_objects accessor regsubkey_ctr_specific_key() instead.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: don't directly access key->subkeys->num_subkeys in reg_backend_db.

Use the reg_objects api instead.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: don't directly access key->subkeys->num_subkeys in reg_api.c

Use the reg_objects api instead.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: replace typedef "REGSUBKEY_CTR" by "struct regsubkey_ctr"

This paves the way for hiding the typedef and the implementation from the
surface.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

Revert "Fix a O(n^2) algorithm in regdb_fetch_keys()"

This reverts commit a13f065bad0f4d21a67e68b743f17f45bf0a4691.

This fix is reverted, because the speedup is going to move
further down into reg_objects.c. The unsorted list of subkey names
is going to be indexed: This O(n^2) search bites us in more places.
This re-establishes the abstraction of reg_objects.c.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:net conf: reduce memory usage of "net conf import".

"net conf import" was wrapped in one big transaction.
This lead to MAX_TALLOC_SIZE being exceeded at roughly
1500 shares. This patch resolves that problem by
limiting the top level transactions in "net conf import"
to 100 shares.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:net: wrap net conf import into one big transaction

This speeds up "net conf import" of a file with 2000 shares
from 11 minutest to 1m50s on my box.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:libsmbconf: add transactions to the libsmbconf api

This is useful for wrapping higher level aggregate operations
in transactions. The text backend implementations just return
WERR_OK, the registry backend implementatoins use the
regdb_transaction_start|commit|cancel routines just added.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: wrap deletekey_recursive in one big transaction.

This speeds up "net conf drop" with 2000 shares on my box from
4m40s to 1m50s, leaving virtually only cpu load.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: provide transaction_start|commit|cancel fns for the registry tdb

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

Wrap creating the sorted subkey cache in a transaction

Signed-off-by: Michael Adam <obnox@samba.org>

Add a comment describing the sorted subkeys

Signed-off-by: Michael Adam <obnox@samba.org>

Add sorted subkey cache

On my box this gets net conf list for 1000 records down to .1 seconds

Signed-off-by: Michael Adam <obnox@samba.org>

Add db_tdb_parse

Signed-off-by: Michael Adam <obnox@samba.org>

Add dbwrap->parse_record

Signed-off-by: Michael Adam <obnox@samba.org>

s3:dbwrap_ctdb_marshall_add: don't leak the ctdb_rec_data to the outside

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:smbconf: move smbconf_share_exists checks into backend

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

Speed up "net conf list"

For 1000 shares this speeds up net conf list from .6 to .25 seconds on my box

Signed-off-by: Michael Adam <obnox@samba.org>

Speed up "net conf list"

With 1000 shares in the registry, this changed the time of "net conf list" from
1.1 seconds to .6 seconds.

Signed-off-by: Michael Adam <obnox@samba.org>

Make use of gpfs_get_real_filename optional

Signed-off-by: Michael Adam <obnox@samba.org>

s3: Fix a memleak in dbwrap_rbt.

The SMB_MALLOC'ed rbt node data was not free'd on talloc free of
the db context. This is a quick fix using talloc instead of malloc
for allocation of the node data.

Since malloc was originally used for performance reasons, one
might want to reverse to malloc and create a talloc destructor
that walks the tree and frees all the node data if this talloc
approach proves to be too slow..

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:smbconftort: don't use reserved words ('test:', 'failure:', 'success:')

Temporary results printfs should not contain reserved subunit words.

metze

Signed-off-by: Michael Adam <obnox@samba.org>

s3:libsmbconf: include smbconf headers with lib/smbconf prefix

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:libsmbconf: use talloc_free instead of TALLOC_FREE in txt backend

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:libsmbconf: use talloc_free instead of TALLOC_FREE in smbconf_init

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:libsmbconf: use talloc_free instead of TALLOC_FREE in testsuite

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:libsmbconf: use talloc_free instead of TALLOC_FREE in smbconf_util.c

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:libsmbconf: use talloc_free instead of TALLOC_FREE in smbconf.c

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:libsmbconf: remove the init headers from smbconf.h

give the smbconf_init() dispatcher and the backends
(smbconf_reg and smbconf_txt) a header of their own each.

This allows to use the basic infrastructure and
single backends individually.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

libsmbconf: create text config in smbconftort

Michael

libsmbconf: return WERR_BADFILE when no path to text backend is provided.

Michael

libsmbconf: fall back to file backend when no valid backend was found

Interpret the source string as a file name when it contains
a ':' sign but the initial part is not a known backend.
This might occur even implicitly when "%T" is used in an
include file name (even though this is not realistic..).

Michael

libsmbconf: fix comment typo.

Michael

libsmbconf: remove unused define.

Michael

s3:libsmbconf: use talloc_free instead of TALLOC_FREE in reg backend

Michael

libsmbconf: add method is_writeable() and wrapper smbconf_is_writeable()

This allows for per-config-source checking of write support.

Michael

libsmbconf: add backend_requires_messaging() method to libsmbconf.

In a clustered environment, the registry backend needs messaging
to be set up since ctdb requires this.

Michael

Allow DFS client paths to work when POSIX pathnames have been
selected (we need to path in pathname /that/look/like/this).
Jeremy.

Fix bug #6196 - Unable to serve files with colons to Linux CIFS/VFS client
Looks like the pathname parsing for POSIX paths got
broken when the code for doing Windows streams parsing got added.
Jeremy.

Fix bug #6195 - Migrating from 3.0.x to 3.3.x can fail to update passdb.tdb correctly.
This is a really nasty one to fix as in order to successfully update the
passdb.tdb we must do the equivalent of a tdbbackup to move to the new hash
values before we do the upgrade.
Jeremy.

Missing break in conversion function prevents tdb password database update.

Fix #6130: Don't crash in winbindd_rpc lookup_groupmem() on unmapped members

Thanks to François Legal <devel@thom.fr.eu.org> for reporting this bug

Fix a valgrind error

Found in "make test" -- if we can't connect at all, "cli" is uninitialized

Fix a malloc/talloc mismatch when cli_initialise() fails

Fix #3954

s3 torture: Fix unitialized variable to avoid closing a random fnum

Add simple POSIX open, mkdir and rmdir test.
Jeremy.

Fix bug #6186 - map readonly does not work
Jeremy.

Revert "Fix a valgrind error / segfault in dns_register_smbd()"

This reverts commit e47d2091136c4d870bb91b8a84eb9f6fd78eb971.

No idea why, but this causes timeouts in the build farm all over the place

packaging(RHEL-CTDB): makerpms.sh: build winbind-32bit libs in the 64bit build

Michael

packaging(RHEL-CTDB): Build winbind-32bit package in the 64bit build

Michael

packaging(RHEL-CTDB): extend makespec.sh to extract VENDOR_PATCH from version.h

Michael

packaging(RHEL-CTDB): The former release number has basically moved into VERSION

Michael

add generated packaging/RHEL-CTDB/samba.spec to .gitignore

Michael

VERSION: Set version to 3.3.2-ctdb-1

Michael

WHATSNEW: Update WHATSNEW.

Karolin
(cherry picked from commit b41c0e965232a6f3c1cc2768ef39b6cf97d68634)

Fix #6167: winbindd -n should disable the winbind idmap cache
(cherry picked from commit 1bdd91cfab96a478de39bd44c8c3362eedef7f36)

Make opt_nocache static to winbindd.c
(cherry picked from commit 9ad5e570625acc76fad7f5cb8134461662ba857a)

VERSION: Raise version number up to 3.3.2.

Karolin
(cherry picked from commit 9ba89785982bc5cadbd9aa723271157114745595)

WHATSNEW: Update changes.

Karolin
(cherry picked from commit eeaf0cb1572fff27df732714ddc192db2c8f9aff)

s3:signing: the seqnum should only be decremented by 1 for ntcancel requests

[MS-SMB] 3.3.5.1 Receiving Any Message says that the seqnum
is incremented by only for ntcancel requests for any other
request it's by incremented by 2, even if it doesn't expect
a response.

metze
(cherry picked from commit 0999366b6b36f3084870af0375d686b0cbaae698)

Add a vfs_preopen module to hide fs latencies
(cherry picked from commit c5e1900879411cf240ddb4c1dcb11e645cbcb03e)

Don't log NDR_PRINT_DEBUG at level 0, this always ends up in syslog

I think we eventually need to pass down the debuglevel here.
(cherry picked from commit 20086d0f4ac318f245bb48fc45999c9104ddccef)

Fix a valgrind error / segfault in dns_register_smbd()
(cherry picked from commit 4624451b7b78695b3f84e7fff91018ee9df0e589)

WHATSNEW: Update changes.

Karolin
(cherry picked from commit 1067eae0ae6e7cef7419cc373b96aa0c2de9bb55)

fixed a bug in message handling for code the change notify code

The change notify code registered a separate message handler for each
tree connect. This registration uses the global messaging context.

The messaging code would consider a 2nd registration for the same
messaging type as being an 'update' of the handler, rather than a new
handler. It also would only call the first handler in the linked list
for a given message type when dispatching messages.

This patch changes the messaging code to allow for multiple
registrations of the same message type, and allow for multiple calls
to different messaging handler for one incoming message.

This fixes the problem with the test_notify_tcon() test that I
recently committed to the S4 smbtorture
(cherry picked from commit 89e340e09fbdc375c0aa85506add525b8ba5dcd0)

WHATSNEW: Update changes since 3.3.1.

Karolin
(cherry picked from commit 391a391a8bc57f59af627f676d2a507d46bd0832)

s3/packaging: Fix typo in comment.

Karolin
(cherry picked from commit c666aef471174ca5d95afcc48924325e7caded14)
(cherry picked from commit 6dc12c482044597af41fb476624642d17e415858)

s3/packaging: Package new files properly.

That is part of the fix for bug #6144.
Thanks to Diego Remolina dijuremo [at] gatech [dot] edu for reporting!

Karolin
(cherry picked from commit a60aaf214cd94cbd793018a59da3b0ac5263e5bb)
(cherry picked from commit 2e8c941edc21a00f8dbeb7d7782cbb536ab97b98)