packaging(RHEL-CTDB): also pack libwbcient in winbind-32bit package

Michael

Revert "Fix bug #6195 - Migrating from 3.0.x to 3.3.x can fail to update passdb.tdb correctly."

This reverts commit 5213d02fbb248a961891ce561dd0b95ac30949ee.

This makes samba (and tools) panic when running with "clustering = yes"
since the rename() of the tdb files fails: ctdb puts the databases
elsewhere...

Revert the change for the v3-3-ctdb branch until we have a fix
that works with ctdb.

Michael

packaging(RHEL-CTDB): add new pam_winbind.mo to the common package

Michael

packaging(RHEL-CTDB): add new binary sharesec to the client package.

Michael

packaging(RHEL-CTDB): add new binary ldbrename to the common rpm

Michael

packaging(RHEL-CTDB): fix creation of version number in makespec.sh

Michael

vfs_gpfs_prefetch: correctly return -1 on error condition in smbd_gpfs_fcntl()

Michael

don't build gpfs_prefetch.so by default

This is meant as a first measure for GPL-compliance:
Don't ship the gpfs_prefetch module in the binary RPMs.

Michael

Add a gpfs_prefetch module

apply patch from v3-0-ctdb to special case root in libnss_winbind

This is needed to ensure the administrator can login to a node even
when ctdbd and winbindd are stuck

version: fix handling of SAMBA_VERSION_VENDOR_PATCH.

We need a string version of this, or else version.c does not compile.

Michael

s3:libsmb: fix smb signing for fragmented trans/trans2/nttrans requests

Before we send the secondary requests we need to remove the
old mid=>seqnum mapping and reset cli->mid and make the new
mid=>seqnum mapping "persistent".

The bug we had in cli_send_trans was this:
The first cli_send_smb() incremented cli->mid
and the secondary requests used the incremented mid,
but as cli->outbuf still had the correct mid,
we send the correct mid to the server. The real problem
was that the cli_send_smb() function stored the seqnum
under the wrong mid.

cli_send_nttrans() was totally broken and now follows the
same logic as cli_send_trans().

The good thing is that in practice the problem is unlikely to happen,
because max_xmit is large enough to avoid secondary requests.

metze
(cherry picked from commit 880fbc4e8cd67de73c4bcda94489eb1e1422a04b)
(cherry picked from commit 70466990b4b7c68ae95dbbcf741cd3f41f2dd0b3)

fix build on old Heimdal based systems

Signed-off-by: Günther Deschner <gd@samba.org>
(cherry picked from commit 011ad7245d53a716c4c766f5ef8d317bb3a53d0f)

s3-spoolss: fix notify_printer_status_byname.

This took me almost a week to find, so here a little longer explanation:

When a windows client registers printer *status* change notifies using
spoolss_RemoteFindFirstChangeNotify, it registers them to a print server handle,
not a printer handle. We were then correctly monitoring the printer status
changes but were sending out the spoolss_RouterReplyPrinterEx via the back-channel
connection with job_id set to 0 (which we only may do for monitored printer
change status notifies on printer handlers, not print server handles). Windows
was then showing a new empty dummy printer icon in the explorer as it cannot
route the notify event to the approriate local handle. It also discarded the
content of the notify event message of course. With this, printer change notify for
pausing, resuming and purging printers nicely works again here.

Jerry, Tim and all other printing gurus, please check.

Guenther

build: fix detection of netinet/ip.h on FreeBSD

Signed-off-by: Michael Adam <obnox@samba.org>
(cherry picked from commit a3d04991ef409591a7c8b9fbb01e024bd5aaa041)

build: format the header check for netinet/ip.h more nicely

Signed-off-by: Michael Adam <obnox@samba.org>
(cherry picked from commit e8aa7169a6672bd32af6c5580f6e8ec7e99511bc)

s3: Fix bugs in the detection of the GNU ld version (Bug #6147)

This bug results in a failure to use linker scripts to limit the set of symbols
exported by our shared libraries.

Signed-off-by: Michael Adam <obnox@samba.org>
(cherry picked from commit c6b570ce30b5cc3631c0ed780826d5450f681800)

s3:registry: tighten the subkey loop in reg_deletekey_recursive()

and loop from the end to the beginning so that we don't need
to rehash the subkeys...

This gets "net conf drop" with 2000 shares down to 14 seconds
on my box.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: use delete_reg_subkey() in reg_deletekey()

This further speeds up net conf drop.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: implement delete_subkey in the smbconf backend

delegating the call to the db backend

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: implement delete_subkey in the db backend

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: add a delete_subkey method to the backend ops.

This is to provide a more atomic means of deleting a subkey of a key.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: refactor deletion of various subkey lists out of regdb_store_keys()

Micheal

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: streamline and cleanup regdb_set_secdesc() somewhat.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: refactor deletion of value/secdesc/subkey list tdb records out

of regdb_store_values().

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: streamline reg_deletekey() somewhat.

use W_ERROR_... macros and separate assignments from checks

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: use create_reg_subkey() in reg_createkey().

Instead of calling store_reg_keys()

On my box, importing 2000 shares into an empty smbconf key
now takes some 32 seconds.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: implement create_subkey for the smbconf backend

by delegating to the db backend

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: implement create_subkey for the db backend.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: add a create_subkey method to the backend ops.

This is to provide a more atomic means of adding a subkey of a key.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

source/include/nt_status.h: add macro W_ERROR_NOT_OK_GOTO(x, y)

a goto destination can be specified as a second parameter.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3: move definition of W_ERROR_NOT_OK_GOTO_DONE down to nt_status.h

where all the other W_ERROR_xyz macros are found as well.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:net rpc registry: use regsubkey_ctr_init() instead of using talloc directly.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: hash the list of subkeys in the regsubkey_ctr

This removes many loops over all the arrays
(from regsubkey_ctr_key_exists) and thus
reduces "net conf drop" from 1m55 to 48seconds
and "net conf import" from 1m55 to 58 seconds
for 2000 shares on my box.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: remove definition of regsubkey_ctr from the surface.

All access is now through accessor functions in reg_objects.c
This allows for performance tuning under the hood in the next step.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:profiles: use regsubkey_ctr_init() instead of using talloc directly.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: use regsubkey_ctr_init() in reg_eventlog.c

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:services_db: use regsubkey_ctr_init() instead of using talloc directly

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: use regsubkey_ctr_get_seqnum() in reg_backend_db.c

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: use regsubkey_ctr_set_seqnum() in reg_backend_db.c

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: use regsubkey_ctr_init() in reg_backend_db.c

instead of using talloc directly.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: use regsubkey_ctr_init() in reg_api.c

instead of using talloc on struct regsubkey_ctr.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: add regsubkey_ctr_get_seqnum() to hide implementation

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: add regsubkey_ctr_set_seqnum to hide implementation from caller.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: add a regsubkey_ctr_init function for allocating a regsubkey_ctr

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: fix a comment

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: don't directly access key->subkeys->subkeys[] in reg_backend_db.c

Use the reg_objects accessor regsubkey_ctr_specific_key() instead.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: don't directly access key->subkeys->subkeys[] in reg_api.c

Use the reg_objects accessor regsubkey_ctr_specific_key() instead.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: don't directly access key->subkeys->num_subkeys in reg_backend_db.

Use the reg_objects api instead.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: don't directly access key->subkeys->num_subkeys in reg_api.c

Use the reg_objects api instead.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: replace typedef "REGSUBKEY_CTR" by "struct regsubkey_ctr"

This paves the way for hiding the typedef and the implementation from the
surface.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

Revert "Fix a O(n^2) algorithm in regdb_fetch_keys()"

This reverts commit a13f065bad0f4d21a67e68b743f17f45bf0a4691.

This fix is reverted, because the speedup is going to move
further down into reg_objects.c. The unsorted list of subkey names
is going to be indexed: This O(n^2) search bites us in more places.
This re-establishes the abstraction of reg_objects.c.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:net conf: reduce memory usage of "net conf import".

"net conf import" was wrapped in one big transaction.
This lead to MAX_TALLOC_SIZE being exceeded at roughly
1500 shares. This patch resolves that problem by
limiting the top level transactions in "net conf import"
to 100 shares.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:net: wrap net conf import into one big transaction

This speeds up "net conf import" of a file with 2000 shares
from 11 minutest to 1m50s on my box.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:libsmbconf: add transactions to the libsmbconf api

This is useful for wrapping higher level aggregate operations
in transactions. The text backend implementations just return
WERR_OK, the registry backend implementatoins use the
regdb_transaction_start|commit|cancel routines just added.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: wrap deletekey_recursive in one big transaction.

This speeds up "net conf drop" with 2000 shares on my box from
4m40s to 1m50s, leaving virtually only cpu load.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: provide transaction_start|commit|cancel fns for the registry tdb

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

Wrap creating the sorted subkey cache in a transaction

Signed-off-by: Michael Adam <obnox@samba.org>

Add a comment describing the sorted subkeys

Signed-off-by: Michael Adam <obnox@samba.org>

Add sorted subkey cache

On my box this gets net conf list for 1000 records down to .1 seconds

Signed-off-by: Michael Adam <obnox@samba.org>

Add db_tdb_parse

Signed-off-by: Michael Adam <obnox@samba.org>

Add dbwrap->parse_record

Signed-off-by: Michael Adam <obnox@samba.org>

s3:dbwrap_ctdb_marshall_add: don't leak the ctdb_rec_data to the outside

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:smbconf: move smbconf_share_exists checks into backend

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

Speed up "net conf list"

For 1000 shares this speeds up net conf list from .6 to .25 seconds on my box

Signed-off-by: Michael Adam <obnox@samba.org>

Speed up "net conf list"

With 1000 shares in the registry, this changed the time of "net conf list" from
1.1 seconds to .6 seconds.

Signed-off-by: Michael Adam <obnox@samba.org>

Make use of gpfs_get_real_filename optional

Signed-off-by: Michael Adam <obnox@samba.org>

s3: Fix a memleak in dbwrap_rbt.

The SMB_MALLOC'ed rbt node data was not free'd on talloc free of
the db context. This is a quick fix using talloc instead of malloc
for allocation of the node data.

Since malloc was originally used for performance reasons, one
might want to reverse to malloc and create a talloc destructor
that walks the tree and frees all the node data if this talloc
approach proves to be too slow..

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:smbconftort: don't use reserved words ('test:', 'failure:', 'success:')

Temporary results printfs should not contain reserved subunit words.

metze

Signed-off-by: Michael Adam <obnox@samba.org>

s3:libsmbconf: include smbconf headers with lib/smbconf prefix

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:libsmbconf: use talloc_free instead of TALLOC_FREE in txt backend

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:libsmbconf: use talloc_free instead of TALLOC_FREE in smbconf_init

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:libsmbconf: use talloc_free instead of TALLOC_FREE in testsuite

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:libsmbconf: use talloc_free instead of TALLOC_FREE in smbconf_util.c

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:libsmbconf: use talloc_free instead of TALLOC_FREE in smbconf.c

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:libsmbconf: remove the init headers from smbconf.h

give the smbconf_init() dispatcher and the backends
(smbconf_reg and smbconf_txt) a header of their own each.

This allows to use the basic infrastructure and
single backends individually.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

libsmbconf: create text config in smbconftort

Michael

libsmbconf: return WERR_BADFILE when no path to text backend is provided.

Michael

libsmbconf: fall back to file backend when no valid backend was found

Interpret the source string as a file name when it contains
a ':' sign but the initial part is not a known backend.
This might occur even implicitly when "%T" is used in an
include file name (even though this is not realistic..).

Michael

libsmbconf: fix comment typo.

Michael

libsmbconf: remove unused define.

Michael

s3:libsmbconf: use talloc_free instead of TALLOC_FREE in reg backend

Michael

libsmbconf: add method is_writeable() and wrapper smbconf_is_writeable()

This allows for per-config-source checking of write support.

Michael

libsmbconf: add backend_requires_messaging() method to libsmbconf.

In a clustered environment, the registry backend needs messaging
to be set up since ctdb requires this.

Michael

Allow DFS client paths to work when POSIX pathnames have been
selected (we need to path in pathname /that/look/like/this).
Jeremy.

Fix bug #6196 - Unable to serve files with colons to Linux CIFS/VFS client
Looks like the pathname parsing for POSIX paths got
broken when the code for doing Windows streams parsing got added.
Jeremy.

Fix bug #6195 - Migrating from 3.0.x to 3.3.x can fail to update passdb.tdb correctly.
This is a really nasty one to fix as in order to successfully update the
passdb.tdb we must do the equivalent of a tdbbackup to move to the new hash
values before we do the upgrade.
Jeremy.

Missing break in conversion function prevents tdb password database update.

Fix #6130: Don't crash in winbindd_rpc lookup_groupmem() on unmapped members

Thanks to François Legal <devel@thom.fr.eu.org> for reporting this bug

Fix a valgrind error

Found in "make test" -- if we can't connect at all, "cli" is uninitialized

Fix a malloc/talloc mismatch when cli_initialise() fails

Fix #3954

s3 torture: Fix unitialized variable to avoid closing a random fnum

Add simple POSIX open, mkdir and rmdir test.
Jeremy.

Fix bug #6186 - map readonly does not work
Jeremy.

Revert "Fix a valgrind error / segfault in dns_register_smbd()"

This reverts commit e47d2091136c4d870bb91b8a84eb9f6fd78eb971.

No idea why, but this causes timeouts in the build farm all over the place

packaging(RHEL-CTDB): makerpms.sh: build winbind-32bit libs in the 64bit build

Michael

packaging(RHEL-CTDB): Build winbind-32bit package in the 64bit build

Michael

packaging(RHEL-CTDB): extend makespec.sh to extract VENDOR_PATCH from version.h

Michael

packaging(RHEL-CTDB): The former release number has basically moved into VERSION

Michael