s3:registry: add regsubkey_ctr_get_seqnum() to hide implementation

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: add regsubkey_ctr_set_seqnum to hide implementation from caller.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: add a regsubkey_ctr_init function for allocating a regsubkey_ctr

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: fix a comment

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: don't directly access key->subkeys->subkeys[] in reg_backend_db.c

Use the reg_objects accessor regsubkey_ctr_specific_key() instead.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: don't directly access key->subkeys->subkeys[] in reg_api.c

Use the reg_objects accessor regsubkey_ctr_specific_key() instead.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: don't directly access key->subkeys->num_subkeys in reg_backend_db.

Use the reg_objects api instead.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: don't directly access key->subkeys->num_subkeys in reg_api.c

Use the reg_objects api instead.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: replace typedef "REGSUBKEY_CTR" by "struct regsubkey_ctr"

This paves the way for hiding the typedef and the implementation from the
surface.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

Revert "Fix a O(n^2) algorithm in regdb_fetch_keys()"

This reverts commit a13f065bad0f4d21a67e68b743f17f45bf0a4691.

This fix is reverted, because the speedup is going to move
further down into reg_objects.c. The unsorted list of subkey names
is going to be indexed: This O(n^2) search bites us in more places.
This re-establishes the abstraction of reg_objects.c.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:net conf: reduce memory usage of "net conf import".

"net conf import" was wrapped in one big transaction.
This lead to MAX_TALLOC_SIZE being exceeded at roughly
1500 shares. This patch resolves that problem by
limiting the top level transactions in "net conf import"
to 100 shares.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:net: wrap net conf import into one big transaction

This speeds up "net conf import" of a file with 2000 shares
from 11 minutest to 1m50s on my box.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:libsmbconf: add transactions to the libsmbconf api

This is useful for wrapping higher level aggregate operations
in transactions. The text backend implementations just return
WERR_OK, the registry backend implementatoins use the
regdb_transaction_start|commit|cancel routines just added.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: wrap deletekey_recursive in one big transaction.

This speeds up "net conf drop" with 2000 shares on my box from
4m40s to 1m50s, leaving virtually only cpu load.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: provide transaction_start|commit|cancel fns for the registry tdb

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

Wrap creating the sorted subkey cache in a transaction

Signed-off-by: Michael Adam <obnox@samba.org>

Add a comment describing the sorted subkeys

Signed-off-by: Michael Adam <obnox@samba.org>

Add sorted subkey cache

On my box this gets net conf list for 1000 records down to .1 seconds

Signed-off-by: Michael Adam <obnox@samba.org>

Add db_tdb_parse

Signed-off-by: Michael Adam <obnox@samba.org>

Add dbwrap->parse_record

Signed-off-by: Michael Adam <obnox@samba.org>

s3:dbwrap_ctdb_marshall_add: don't leak the ctdb_rec_data to the outside

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:smbconf: move smbconf_share_exists checks into backend

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

Speed up "net conf list"

For 1000 shares this speeds up net conf list from .6 to .25 seconds on my box

Signed-off-by: Michael Adam <obnox@samba.org>

Speed up "net conf list"

With 1000 shares in the registry, this changed the time of "net conf list" from
1.1 seconds to .6 seconds.

Signed-off-by: Michael Adam <obnox@samba.org>

Make use of gpfs_get_real_filename optional

Signed-off-by: Michael Adam <obnox@samba.org>

s3: Fix a memleak in dbwrap_rbt.

The SMB_MALLOC'ed rbt node data was not free'd on talloc free of
the db context. This is a quick fix using talloc instead of malloc
for allocation of the node data.

Since malloc was originally used for performance reasons, one
might want to reverse to malloc and create a talloc destructor
that walks the tree and frees all the node data if this talloc
approach proves to be too slow..

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:smbconftort: don't use reserved words ('test:', 'failure:', 'success:')

Temporary results printfs should not contain reserved subunit words.

metze

Signed-off-by: Michael Adam <obnox@samba.org>

s3:libsmbconf: include smbconf headers with lib/smbconf prefix

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:libsmbconf: use talloc_free instead of TALLOC_FREE in txt backend

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:libsmbconf: use talloc_free instead of TALLOC_FREE in smbconf_init

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:libsmbconf: use talloc_free instead of TALLOC_FREE in testsuite

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:libsmbconf: use talloc_free instead of TALLOC_FREE in smbconf_util.c

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:libsmbconf: use talloc_free instead of TALLOC_FREE in smbconf.c

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:libsmbconf: remove the init headers from smbconf.h

give the smbconf_init() dispatcher and the backends
(smbconf_reg and smbconf_txt) a header of their own each.

This allows to use the basic infrastructure and
single backends individually.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

libsmbconf: create text config in smbconftort

Michael

libsmbconf: return WERR_BADFILE when no path to text backend is provided.

Michael

libsmbconf: fall back to file backend when no valid backend was found

Interpret the source string as a file name when it contains
a ':' sign but the initial part is not a known backend.
This might occur even implicitly when "%T" is used in an
include file name (even though this is not realistic..).

Michael

libsmbconf: fix comment typo.

Michael

libsmbconf: remove unused define.

Michael

s3:libsmbconf: use talloc_free instead of TALLOC_FREE in reg backend

Michael

libsmbconf: add method is_writeable() and wrapper smbconf_is_writeable()

This allows for per-config-source checking of write support.

Michael

libsmbconf: add backend_requires_messaging() method to libsmbconf.

In a clustered environment, the registry backend needs messaging
to be set up since ctdb requires this.

Michael

Allow DFS client paths to work when POSIX pathnames have been
selected (we need to path in pathname /that/look/like/this).
Jeremy.

Fix bug #6196 - Unable to serve files with colons to Linux CIFS/VFS client
Looks like the pathname parsing for POSIX paths got
broken when the code for doing Windows streams parsing got added.
Jeremy.

Fix bug #6195 - Migrating from 3.0.x to 3.3.x can fail to update passdb.tdb correctly.
This is a really nasty one to fix as in order to successfully update the
passdb.tdb we must do the equivalent of a tdbbackup to move to the new hash
values before we do the upgrade.
Jeremy.

Missing break in conversion function prevents tdb password database update.

Fix #6130: Don't crash in winbindd_rpc lookup_groupmem() on unmapped members

Thanks to François Legal <devel@thom.fr.eu.org> for reporting this bug

Fix a valgrind error

Found in "make test" -- if we can't connect at all, "cli" is uninitialized

Fix a malloc/talloc mismatch when cli_initialise() fails

Fix #3954

s3 torture: Fix unitialized variable to avoid closing a random fnum

Add simple POSIX open, mkdir and rmdir test.
Jeremy.

Fix bug #6186 - map readonly does not work
Jeremy.

Revert "Fix a valgrind error / segfault in dns_register_smbd()"

This reverts commit e47d2091136c4d870bb91b8a84eb9f6fd78eb971.

No idea why, but this causes timeouts in the build farm all over the place

packaging(RHEL-CTDB): makerpms.sh: build winbind-32bit libs in the 64bit build

Michael

packaging(RHEL-CTDB): Build winbind-32bit package in the 64bit build

Michael

packaging(RHEL-CTDB): extend makespec.sh to extract VENDOR_PATCH from version.h

Michael

packaging(RHEL-CTDB): The former release number has basically moved into VERSION

Michael

add generated packaging/RHEL-CTDB/samba.spec to .gitignore

Michael

VERSION: Set version to 3.3.2-ctdb-1

Michael

WHATSNEW: Update WHATSNEW.

Karolin
(cherry picked from commit b41c0e965232a6f3c1cc2768ef39b6cf97d68634)

Fix #6167: winbindd -n should disable the winbind idmap cache
(cherry picked from commit 1bdd91cfab96a478de39bd44c8c3362eedef7f36)

Make opt_nocache static to winbindd.c
(cherry picked from commit 9ad5e570625acc76fad7f5cb8134461662ba857a)

VERSION: Raise version number up to 3.3.2.

Karolin
(cherry picked from commit 9ba89785982bc5cadbd9aa723271157114745595)

WHATSNEW: Update changes.

Karolin
(cherry picked from commit eeaf0cb1572fff27df732714ddc192db2c8f9aff)

s3:signing: the seqnum should only be decremented by 1 for ntcancel requests

[MS-SMB] 3.3.5.1 Receiving Any Message says that the seqnum
is incremented by only for ntcancel requests for any other
request it's by incremented by 2, even if it doesn't expect
a response.

metze
(cherry picked from commit 0999366b6b36f3084870af0375d686b0cbaae698)

Add a vfs_preopen module to hide fs latencies
(cherry picked from commit c5e1900879411cf240ddb4c1dcb11e645cbcb03e)

Don't log NDR_PRINT_DEBUG at level 0, this always ends up in syslog

I think we eventually need to pass down the debuglevel here.
(cherry picked from commit 20086d0f4ac318f245bb48fc45999c9104ddccef)

Fix a valgrind error / segfault in dns_register_smbd()
(cherry picked from commit 4624451b7b78695b3f84e7fff91018ee9df0e589)

WHATSNEW: Update changes.

Karolin
(cherry picked from commit 1067eae0ae6e7cef7419cc373b96aa0c2de9bb55)

fixed a bug in message handling for code the change notify code

The change notify code registered a separate message handler for each
tree connect. This registration uses the global messaging context.

The messaging code would consider a 2nd registration for the same
messaging type as being an 'update' of the handler, rather than a new
handler. It also would only call the first handler in the linked list
for a given message type when dispatching messages.

This patch changes the messaging code to allow for multiple
registrations of the same message type, and allow for multiple calls
to different messaging handler for one incoming message.

This fixes the problem with the test_notify_tcon() test that I
recently committed to the S4 smbtorture
(cherry picked from commit 89e340e09fbdc375c0aa85506add525b8ba5dcd0)

WHATSNEW: Update changes since 3.3.1.

Karolin
(cherry picked from commit 391a391a8bc57f59af627f676d2a507d46bd0832)

s3/packaging: Fix typo in comment.

Karolin
(cherry picked from commit c666aef471174ca5d95afcc48924325e7caded14)
(cherry picked from commit 6dc12c482044597af41fb476624642d17e415858)

s3/packaging: Package new files properly.

That is part of the fix for bug #6144.
Thanks to Diego Remolina dijuremo [at] gatech [dot] edu for reporting!

Karolin
(cherry picked from commit a60aaf214cd94cbd793018a59da3b0ac5263e5bb)
(cherry picked from commit 2e8c941edc21a00f8dbeb7d7782cbb536ab97b98)

s3:lib: interfaces.c isn't used in the configure tests anymore

libreplace always provides the getifaddr() function.

This fixes the build on sles8.

metze
(cherry picked from commit 1410490fe769bc79f98b4ab364685c7aed253e09)
(cherry picked from commit bac96af2053996f28894458fce87e84c5c2356ff)

s3/WHATSNEW: Update changes since 3.3.0.

Karolin
(cherry picked from commit ca623a7aa45b93c76e4c03ef041fb518c330ca3f)

Get the sense of the integer wrap test the right way around. Sorry.
Jeremy.
(cherry picked from commit bbf72022b64a2ae207936f0208d3db2373a6d32b)

Now we're allowing a lower bound for auth_len, ensure we
also check for an upper one (integer wrap).
Jeremy.
(cherry picked from commit acf2223f803c14c64a38f5218d823b8f8171e47f)

Fix bug #6161 - smbclient corrupts source path in tar mode
This was my fault. I broke the smbclient tar argument processing
in creating the string for chdir when removing pstrings.
Jeremy.
(cherry picked from commit a9e6c91cd18b8b7b805f4b69f3867ea4bd6bc3ba)

Last part of fix for #6154 - zfs does not honor admin users.
Jeremy.
(cherry picked from commit ddaa1bae7567c81fb8e478c439bb970edab2f9c3)

Complete the fix for bug 6100

According to [MS-RPCE].pdf, section 2.2.2.11:

----
A client or a server that (during composing of a PDU) has allocated more space
for the authentication token than the security provider fills in SHOULD fill in
the rest of the allocated space with zero octets. These zero octets are still
considered to belong to the authentication token part of the PDU.<36>
----

RPC implementations are allowed to send padding bytes at the end of an auth
footer. Windows 7 makes use of this.

Thanks to Nick Meier <nmeier@microsoft.com>

Volker
(cherry picked from commit 224364d6c9eaa4d07b57cdef04ac17acb416e413)

Fix bug #6160 - Office 2007 fails saving files to a Samba mapped drive.
Confirmed by reporters.
Jeremy.
(cherry picked from commit 2cc696192fbc66b10fa6377d84cdebd23a045284)

Second part of fix for #6154, ensure we return max access
if admin user.
Jeremy.
(cherry picked from commit 30d2017c7bb01adb5e9ce4bf84df845d676665de)

Fix bug #6154 - zfs does not honor admin users.
Jeremy.
(cherry picked from commit a7efcb3666fe4df778df95449e98970a77369b79)

Fix crashes when running RAW-ACLs against system with tdb ACL modules
(caused by the POSIX pathname fixes).
Jeremy.
(cherry picked from commit 9809849d976597a0b1ed098ac5f9f353a98ca651)

s3 passdb: Add back some useful debug statements

Originally removed in be1dfff02d562e42a7847bd02fed8538630d3f41
(cherry picked from commit 784a9ae6fed4169b2e21608a1963a2b9af8c47fc)

Fix bug #6155 - "force group" is no longer working as expected.
We need to store the "force group" uid separately from the
conn->server_info token as we need to apply it separately also.
Volker PLEASE CHECK !
Jeremy.
(cherry picked from commit da340c674d52d79cd4c45ab961a8fd7a204f7a67)

It appears that the first time we see a uid/gid that winbind can't map,
we end up returning the null sid instead of falling back to the legacy
code.  Next time through the code we'll hit the negative cache and do
the right thing, but we still fail the first time.

If we fail the winbind id to sid mapping, call the legacy version.  This
catches the case where we don't have a negative cache entry for the mapping.
This is better than returning the NULL sid to the caller.
(cherry picked from commit c4d05e8e1fc776dd9c528513346256cf35c9f226)

More fix to initialize idmap statuses
(cherry picked from commit 3480224cef289ef0915787d735cd79adad4815fe)

s3/docs: Add missing full stop.

Karolin
(cherry picked from commit 2ab9d365cfceb28c1280566b6fe8ec3767e18149)
(cherry picked from commit aff67e24f3675ace3c69c210aa387bc008f1cbbc)

Fix bug #6082 - smbd_gpfs_getacl failed: Windows client can´t rename or
delete file (directory fix).
Jeremy.
(cherry picked from commit fc5765f843fbbe0a8c9ae6be6dc7658033d539d3)

Initialize the id_map status in idmap_ldap to avoid surprise
(cherry picked from commit 13a13122f40221edd76aeaaff47c8964a692301a)

s3: fix guest auth when winbindd is running

This fix is very subtle.  If a server is configured with "security = share"
and "guest ok = yes" and winbindd is running authorization will fail during
tree connect.

This is due to our inability to map the guest sid S-1-5-21-X-501 to a uid
through sid_to_uid().  Winbindd is unaware of the hard coded mapping
between this sid and whatever uid the name in lp_guestaccount() is assigned.
So sid_to_uid() fails and we exit create_token_from_username() without
ever calling pdb_getsampwsid() which IS aware of the hard coded mapping.

This patch just reorganizes the code, moving sid_to_uid() down to the
block of code in which it is needed, avoiding this early failure.
(cherry picked from commit fbf615dee95d13026fb9d092be8cf956c64eda75)

Make us pass the RAW-RENAME torture test I just added.

Inside a directory, keep a file open and then renaming
the directory should fail with ACCESS_DENIED.

Jeremy.
(cherry picked from commit eb02b1e7fe98f826606d0129b1ba172b8645207a)

Fix more POSIX path lstat calls. Fix bug where close can return
failure if we have a pending modtime and the containing directory
of the file has been renamed (there is no POSIX "update time by
fd" call). This can't happen on Windows as the rename will fail
if there are open files beneath it. Will add a torture test
for this.
Jeremy.
(cherry picked from commit 032f052c9ccfb32f822352155e5f3c17a34f896a)

Use fsp->posix_open in preference if we have it.
Jeremy.
(cherry picked from commit 2b5b5bed41320f1890c69c714c7596e1a7a1b964)

Ensure ACL modules work with POSIX paths.
Jeremy.
(cherry picked from commit 6d5bf226e91eaa7405103f2c32b5d5a310fa35eb)

Fix use of streams modules with CIFSFS client.
Jeremy.
(cherry picked from commit 0c8b8f2f3483a585d974ce803357f1d9f39e3c9f)

Make test for open modes more robust against other bits.
Jeremy.
(cherry picked from commit 8d178837f259757340a09a688ed194e3e4a92c36)

Fix bug in processing of open modes in POSIX open.
Was missing case of "If file exists open. If file doesn't exist error."
Damn damn damn. CIFSFS client will have to have fallback cases
for this error for a long time.
Jeremy.
(cherry picked from commit b652082648c49b525d2b2ce619b575ee75bc242e)