s3: Optimize g_lock_lock for a heavily contended case

Only check the existence of the lock owner in g_lock_parse, check the rest of
the records only when we got the lock successfully. This reduces the load on
process_exists which can involve a network roundtrip in the clustered case.
(cherry picked from commit 07978bd175395e0dc770f68fff5b8bd8b0fdeb51)

s3: Fix handling of processes that died in g_lock

g_lock_parse might have thrown away entries from the locks array because the
processes were not around anymore. Don't store the orphaned entries.
(cherry picked from commit f3bdb163f461175c50b4930fa3464beaee30f4a8)

s3: Fix a typo (cherry picked from commit bac235dd302570850bb25194ff4bd39b6d653f0d)

Fix warning messages on compile in g_lock.c Volker & Michael please check.

Jeremy.
(cherry picked from commit 10e54fb422d9f1ae6d33e5fabbf8c651b0e57a8c)

s3:g_lock: remove a nested event loop, replacing the inner loop by select

This made smbd crash in g_lock_lock() when trying to start a
transaction on a db with an already started transaction,
e.g. in a tcon_and_X where the share_info.tdb was not yet
initialized but share_info.tdb was already locked by another
process or writing acces to the winreg rpc pipe where the
registry tdb was already locked by another process.

What we really _want_ to do here by design is to react to
MSG_DBWRAP_G_LOCK_RETRY messages that are either sent
by a client doing g_lock_unlock or by ourselves when
we receive a CTDB_SRVID_SAMBA_NOTIFY or
CTDB_SRVID_RECONFIGURE message from ctdbd, i.e. when
either a client holding a lock or a complete node
has died.

Doing this properly involves calling tevent_loop_once(),
but doing this here with the main ctdbd messaging context
creates a nested event loop when g_lock_lock() is called
from the main event loop.

So as a quick fix, we act a little corasely here: we do
a select on the ctdb connection fd and when it is readable
or we get EINTR, then we retry without actually parsing
any ctdb packages or dispatching messages. This means that
we retry more often than necessary and intended by design,
but this does not harm and it is unobtrusive. When we have
finished, the main loop will pick up all the messages and
ctdb packets. The only extra twist is that we cannot use
timed events here but have to handcode a timeout for select.

Michael
(cherry picked from commit 83fffbeb44441a87569e543054af21d975eb20ae)

s3:ctdb_conn: add ctdbd_conn_get_fd() to get the fd out of the ctdb connection

Michael
(cherry picked from commit e4af0bc5af2c3ee025ca7fac251c3672ba2c8dd5)

s3:g_lock: remove an unreached code path.

Michael
(cherry picked from commit 8e306b51b79d3dacd68be9f13aa8455e2eb4c03f)

s3:dbwrap_ctdb: fix reading/storing of special key __db_sequence_number__

The key for reading and writing was inconsistent due to a
off by one data length.

Michael
(cherry picked from commit 1933214108d1a71bc6473a696ce35020a427d8f4)

s3:dbwrap_ctdb: exit early when nothing has been written in transaction_commit.

This skips update of the __db_sequence_number__ record when nothing else has
been written. There are transactions that are just openend and then nothing
is written until transaction_commit is called. This is for instance the case
with registry initialization routines: They start a transaction and only
write somthing when the registry has not been initialized yet.
So this change will skip many db_seqnum bumps and TRANS3_COMMIT roundtrips.

Michael
(cherry picked from commit c311697aded87ce624d40cbf14e05d6e6377c257)

s3:dbwrap_ctdb: fix brown paperbag bug in ctdb_transaction_commit.

I carefully prepared the return value only to "return 0;" at the bottom. :-(
This may well have hit us for instance in the nested cancel case
and produced random errors.

Michael
(cherry picked from commit 1d594bd734a2f7146ed52872456a16c5e41816f1)

s3:dbwrap_ctdb: fix logic error in pull_newest_from_marshall_buffer().

The logic bug was that if a record was found in the marshall buffer,
then always the ctdb header of tha last record in the marshall buffer
was returned, and not the ctdb header of the last occurrence of the
requested record.

This is fixed by introducing an additional temporary variable.

Michael
(cherry picked from commit 524072b56bf659002410a817749bf86fe6f51e83)

s3:dbwrap_ctdb: fix an uninitialized variable.

Michael
(cherry picked from commit 1505b69dea6044a13a59f672e22f5833256cb981)

s3:dbwrap_ctdb: fix two "may be used uninitialized" warnings

Michael
(cherry picked from commit fb981cdb8282d3b9b46d9ca515a5685add232a72)

s3:dbwrap_ctdb: fix db_ctdb_fetch_db_seqnum_from_db() when NT_STATUS_NOT_FOUND.

Don't treat this as an error but return seqnum 0 instead.

Michael
(cherry picked from commit 10a44ee6930bb51b4b20ce42f35bc455ac1b7293)

s3:build: remove checks for deprecated ctdb controls.

Michael
(cherry picked from commit 9113ce82b59c718ac709eb01b125e9e6746a96b7)

s3:dbwrap_ctdb: maintain a database sequence number that bumps in transactions

For persistent databases, 64bit integer is kept in a special record
__db_sequence_number__. This record is incremented with each completed
transaction.

The retry mechanism for failing TRANS3_COMMIT controls inside the
db_ctdb_transaction_commit() function now relies one a modified
behaviour of ctdbd's treatment of persistent databases in recoveries.
Recently, a special treatment for persistent databases had been
introduced in ctdb (1.0.108) to work around the problems with the
orinal design of persistent transactions.
Now with the rewrite we need to revert to the old behaviour that
ctdb always takes the newest copies of all records.

This change also paves the way for a next step, which will make
recovery use the db seqnum to tell which node has the newest copy
of a persistent db and use that node's copy. This will greatly
reduce the amount of data transferred with each recovery.

Michael
(cherry picked from commit 3fe7ce141d6afe3825b06c5feb90558911e4df1e)

s3:dbwrap_ctdb: change db_ctdb_transaction_store() to return NTSTATUS.

The return values calculated by the callers were wrong anyways since
the new marshalling code does not set the local tdbs tdb error code.

Michael
(cherry picked from commit 26225d3e798892b39b3c238b0bee465bffac6550)

s3:dbwrap_ctdb: update (C)

Michael
(cherry picked from commit 5a0c42770b349877928a2b3fd8316903dd62e5b7)

build: Add a configure check for CTDB_CONTROL_TRANS3_COMMIT.

This is the new implementation of ctdb transactions using the
global lock feature. It is needed by the current dbwrap_ctdb code.

Michael
(cherry picked from commit d4c0afa841ecdae1cab955cc73360deae23f5873)

s3:dbwrap_ctdb: start rewrite of transactions using the global lock (g_lock)

This simplifies the transaction code a lot:

* transaction_start essentially consists of acquiring a global lock.

* No write operations at all are performed on the local database
  until the transaction is committed: Every store operation is just
  going into the marshall buffer.

* The commit operation calls a new simplified TRANS3_COMMIT control
  in ctdb which rolls out thae changes to all nodes including the
  node that is performing the transaction.

Michael
(cherry picked from commit 16bc6ba2268e3660d026076264de8666356e00bf)

s3: Add tdb_data_equal (cherry picked from commit ebc08b9938a4d266be16ca7e06d27813952cd00f)

s3:torture: add a test LOCAL-DBTRANS to torture dbwrap with transactions.

s3: setup debug for smbtorture (cherry picked from commit b13dd17840a598ae3441e48b130a2b2a2b940572)

s3: Add ctdb_conn_msg_ctx() (cherry picked from commit 12abab711b58237ddccfa1d9bb526f8c7dbb6e9f)

s3: Implement global locks in a g_lock tdb

This is the basis to implement global locks in ctdb without depending on a
shared file system. The initial goal is to make ctdb persistent transactions
deterministic without too many timeouts.
(cherry picked from commit 4c1c3f2549f32fd069e0e7bf3aec299213f1e85b)

s3-smbd: add a rate limited cleanup of brl, connections and locking db

On unclean shutdown we can end up with stale entries in the brlock,
connections and locking db. Previously we would do the cleanup on
every unclean exit, but that can cause smbd to be completely
unavailable for several minutes when a large number of child smbd
processes exit.

This adds a rate limited cleanup of the databases, with the default
that cleanup happens at most every 20s
(cherry picked from commit dd498d2eecf124a03b6117ddab892a1112f9e9db)

The last 4 patches address bug #7312 (Many disconnecting clients renders
clustered samba unusuable for some time).

s3-brlock: we don't need these MSG_SMB_UNLOCK calls now

These have been replaced with the min timeout in blocking.c
(cherry picked from commit 74267d652485cdcb711f734f0d80da0fb1495867)

s3-brlock: add a minimim retry time for pending blocking locks

When we are waiting on a pending byte range lock, another smbd might
exit uncleanly, and therefore not notify us of the removal of the
lock, and thus not trigger the lock to be retried.

We coped with this up to now by adding a message_send_all() in the
SIGCHLD and cluster reconfigure handlers to send a MSG_SMB_UNLOCK to
all smbd processes. That would generate O(N^2) work when a large
number of clients disconnected at once (such as on a network outage),
which could leave the whole system unusable for a very long time (many
minutes, or even longer).

By adding a minimum re-check time for pending byte range locks we
avoid this problem by ensuring that pending locks are retried at a
more regular interval.
(cherry picked from commit 5b398edbee672392f2cea260ab17445ecca927d7)

s3-events: make the old timed events compatible with tevent

tevent ensures that a timed event is only called once. The old events
code relied on the called handler removing the event itself. If the
handler removed the event after calling a function which invoked the
event loop then the timed event could loop forever.

This change makes the two timed event systems more compatible, by
allowing the handler to free the te if it wants to, but ensuring it is
off the linked list of events before the handler is called, and
ensuring it is freed even if the handler doesn't free it.
(cherry picked from commit 5dbf175c75bd6139f3238f36665000641f7f7f79)

Fix bug 7307 - man net usershare mistake

Fix bad usage message, reported by headset001@yahoo.com.

Jeremy.
(cherry picked from commit e14a6fbf8c9e4d16b2727e48c708ceccfd157e59)

Fix bug #7283 - vfs_acl_tdb does not work as expected.

both vfs_acl_common.c and vfs_acl_tdb.c were using the connection
handle, thus conflicted. Fix this.

Jeremy.

s3:winbindd: correctly retry if the netlogon pipe gets disconnected during a logon call

This fixes hopefully the last part of bug #7295.

metze
(cherry picked from commit 4c6cde99c0751a073120d8bc36d40922d8027344)

s3:rpc_client: remove more unused code

metze
(cherry picked from commit cac9981b1a88a37c703a76a951b0691fa4ba7b4b)

s3:rpc_client: remove unused code, we handle transport failures in the transport layer now

metze
(cherry picked from commit 13cf592bb8478453dccd4d78bdb4dabec7aeddc2)

s3:winbindd_reconnect: don't only reconnect on NT_STATUS_UNSUCCESSFUL

metze
(cherry picked from commit 6bd5a2a3739938f95fce23ab2da652c9b5a48111)

s3:winbindd_cm: invalidate connection if cm_connect_netlogon() fails

metze
(cherry picked from commit 94a4bcd2f0c0464e192556679c6636639cb307ea)

s3:winbindd: consistently use TALLOC_FREE(conn->foo_pipe) is we create a new connection

metze
(cherry picked from commit 4f391fedac7111683d13f2d79fee7c0dbc27f86e)

s3:winbindd_cm: use rpccli_is_connected() helper function

metze
(cherry picked from commit d980c06a994d032a833adc8d56d2f2c037f8fdaf)

s3:winbindd_cm: use cli_state_is_connected() helper function

metze
(cherry picked from commit 408a3eb35a0e61b5d66a3b48ebbd1a6796672d0f)

s3:rpc_client: return at least 10 sec as old timeout in rpccli_set_timeout() instead of 0

metze
(cherry picked from commit 3e70da3f470eeb122f95477fb48d89939f501b3e)

s3:rpc_client: add set_timeout hook to rpc_cli_transport

metze
(cherry picked from commit 99664ad15460530b6fb44957b6c57823f09884bf)

s3:rpc_client: add rpccli_is_connected()

metze
(cherry picked from commit 4f41b53487ac9bc96c7960e8edab464558656373)

s3:rpc_client: don't mix layers and keep a reference to cli_state in the caller

We should not rely on the backend to have a reference to the cli_state.
This will make it possible for the backend to set its cli_state reference
to NULL, when the transport is dead.

metze
(cherry picked from commit dc09b12681ea0e6d4c2b0f1c99dfeb1f23019c65)

s3:rpc_transport_np: add comment about bad usage in a destructor

metze
(cherry picked from commit 5f8fc63515a02aaf55719cb8d3be8ce695178fe9)

s3:rpc_transport_np: use cli_state_is_connected() helper

metze
(cherry picked from commit b862351da8624df893ec77e020a456c1d23c58ed)

s3:libsmb: add cli_state_is_connected() function

metze
(cherry picked from commit d7bf30ef92031ffddcde3680b38e602510bcae24)

s3:libsmb: don't let cli_shutdown() segfault with a NULL cli_state

metze
(similar to commit 47e10ab9a85960c78af807b66b99bcd139713644)

s3:rpc_transport_np: handle trans rdata like the output of a normal read

Inspired by bug #7159.

metze
(cherry picked from commit 911287285cc4c8485b75edfad3c1ece901a69b0b)

s3: Fix bug 7212, "getent group does not return group members"

Fix bug 7297 - smbd crashes with CUPS printers and no [printers] share defined.

Ensure we don't dereference an array with an index of -1.

Jeremy.

s3 ntlm_auth: Don't malloc data that will be talloc_free()d

This fixes bug #7290
Thanks to Mohan <mohann@silver-peak.com> for the bug report.

Fix bug #7269 - Job management commands don't work for CUPS queues.

Samba needs to retrieve pjob->sysjob from the CUPS response (as
is done in the iprint backend).

Fix bug 7075 - bug in vfs_scannedonly rmdir implementation.

Check for NULL on opendir, correctly call next rmdir.

Jeremy.

s3: Fix a bad memleak in winbind
(cherry picked from commit 13400a6589a20452097bc338fa742d834bbd6a34)

Fix bug #7278 (winbind has a bad memleak).

s3: Fix bug 7202 for multi-threaded applications

Thanks to Sergey Tereschenko <serg.partizan@gmail.com> for providing good
feedback!

Volker

s3: Fix bug 7202

Make sure _nss_wins_gethostbyname_r has a talloc stackframe available

Thanks to Sergey Tereschenko <serg.partizan@gmail.com> for reporting the bug!

Volker

s3-winreg: Fix _winreg_QueryValue crash bugs and implement windows behavior.

Found by RPC-WINREG smbtorture test.

Guenther
(cherry picked from commit cddc542ba5f30316ff4ee8fa591a54808b7be4c8)

The last 4 patches address bug #7258 (NULL pointer derref crash in
_winreg_QueryValue).

s3-winreg: add some debug statements to _winreg_QueryValue().

Guenther
(cherry picked from commit c5ba525748fdab6b182e35673983719b7c235127)

s3: re-run make samba3-idl.

Guenther

winreg: fix winreg_QueryValue IDL.

Note that before this change pidl generated code that just dereferenced size_is
and length_is values from unique pointers without checking whether these
pointers were actually NULL.

With this change, pidl now throws a warning like:

warning: Got pointer for `data_size', expected fully derefenced variable

which is not correct, probably because pidl does not evaluate the C expression.

Guenther
(cherry picked from commit f258e98e177f0f75bab99654b9f32b10bb7ce37f)

s3-printing: Fix "printer admin" functionality.

Fix bug #7255 ("printer admin" parameter does not work as expected).
(cherry picked from commit 0d6d068bc4f76c2816f969fcce6013e1945794d4)

s3-spoolss: Fix value-needed calculation in_spoolss_EnumPrinterData().

Guenther

Fix bug #7256 (incorrect value-needed calculation in
_spoolss_EnumPrinterData()).

s3: Fix an uninitialized variable read

Found by Laurent Gaffie <laurent.gaffie@gmail.com>

Thanks for that,

Volker

Fix bug #7254 (An uninitialized variable read could cause an smbd crash).

s3:smbd: make sure we always have a valid talloc stackframe

metze
(cherry picked from commit 386f15c62bb4d3517de719c750252e06cf3b1fb1)

Last 3 patches address bug #7251 (Segfault in DEBUG(2,("waiting for
connections...)

talloc_stack: reset stackframe pointers to NULL

This makes it easier to debug the code in future.

metze
(cherry picked from commit d23581b4d7a4936002c1d2d748836aead9215120)

talloc_stack: make sure we never let talloc_tos() return ts->talloc_stack[-1]

In smbd there's a small gab between TALLOC_FREE(frame); before
we call smbd_parent_loop() where we don't have a valid talloc stackframe.

smbd_parent_loop() calls talloc_stackframe() only within the while(1) loop.
As DEBUG(2,("waiting for connections")) uses talloc_tos() to construct
the time header for the debug message we crash on some systems.

metze
(cherry picked from commit 10ed809a1a31be50ce09142eb99b3a243ae8b940)

s3-netlogon: Fix bug #7237: _netr_SamLogon segfaults for clients sending NULL domain.

Thanks to Marc Muehlfeld <muehlfeld@medizinische-genetik.de>.

Guenther

s3:release-scripts: fix create-tarball to treat vendor patch level correctly
(cherry picked from commit b845025daf2da85eb1af6cbfa7878cf59a32f2a6)

s4-smbtorture: add --option=torture:spoolss_check_size=yes.

This disables the size calculation comparison by default.

Guenther
(cherry picked from commit f2ecec3dcdafd63cd72d13019a998bf99539a9ba)

The last 18 patches address bug #6727 (Printer issues on 3.4.x).

s4-smbtorture: fix smbtorture after GetPrinterData{Ex} after IDL changes.

Guenther

s4-smbtorture: fix RPC-SPOOLSS-WIN after PrinterData IDL changes.

Guenther
(cherry picked from commit 58c9070746a3e0725f5d3a3ce6deda8fad0c5974)

s4-spoolss: fix dcesrv_spoolss_GetPrinterData build.

really not my day today...

Guenther
(cherry picked from commit 91ff11d50458a951ab0adc9b37bcb0ef4ee09e15)

s4-spoolss: fix spoolss_GetPrinterData implementation after IDL change.

Guenther

s3: re-run make samba3-idl.

Guenther

s3-libads: fix get_remote_printer_publishing_data after spoolss_EnumPrinterDataEx IDL change.

Guenther
(cherry picked from commit 8e6dd25391d77b69859a3b622a1b116fa8000a40)

s3-spoolss: fix _spoolss_EnumPrinterDataEx after idl

Guenther
(cherry picked from commit 55326549852a3ab1114a8cb1536578ae02183eb8)

s3-rpcclient: fix rpcclient after spoolss_EnumPrinterDataEx IDL change.

Guenther
(cherry picked from commit becbb624eb90b84ff20b128de1aee5f5acfc3dbc)

s3-net: fix net after spoolss_EnumPrinterDataEx IDL change.

Guenther
(cherry picked from commit a99ac4f236d9a93d4ca8bd874cbab89b155c644a)

spoolss: fix spoolss_EnumPrinterDataEx IDL.

Guenther
(cherry picked from commit 4df1047e8398a9af4df94c7e245d993d1f60ef5f)

s3-rpcclient: fix rpcclient after spoolss_GetPrinterData{Ex} IDL change.

Guenther
(cherry picked from commit 7643afa70e879efc059c75b8309bf89dbb3c459b)

s3-spoolss: fix _spoolss_GetPrinterDataEx after IDL change.

Guenther
(cherry picked from commit fbb6d00eed6bca960aa53a5967a2dea426cacfe2)

spoolss: rollback GetPrinterData[Ex] IDL.

Guenther
(cherry picked from commit 0e779b573bf5c27bf08ceefa09a7e2b07691f948)

s3-rpcclient: fix rpcclient after spoolss_SetPrinterData{Ex} IDL change.

Guenther
(cherry picked from commit 4956650369156dfff96ccc827e55697ec642240d)

s3-net: fix net after spoolss_SetPrinterData{Ex} IDL change.

Guenther
(cherry picked from commit 37ca9288d2631b48a8eb50c01d6c0cc462d8ee31)

s3-spoolss: fix _spoolss_SetPrinterData{Ex} after IDL change.

Guenther
(cherry picked from commit 9a934832797c3e72859770719e05d19a5eefa14d)

spoolss: rollback SetPrinterData{Ex} IDL.

Guenther
(cherry picked from commit 0528515be44c40603827bb153ff0e2bac7b0f041)

Fix bug #7234 - Symlink delete fails but incorrectly reports success to client.

Typo called LSTAT instead of STAT in the unlink by pathname path.

Jeremy.
(cherry picked from commit 367ddc3d1b525525a9dae077335e33dc0017b58e)

s3:build: Fix automatic building of vfs_tsmsm if gpfs and dmapi are present.

Michael
(cherry picked from commit 9113e14b291c10c824d2d8ea5cb28ffc0adcb63b)

Fix bug #7231 (vfs_tsmsm not built automatically).

s3: Fix a NULL pointer dereference

Found by Laurent Gaffie <laurent.gaffie@gmail.com>.

Thanks!

Volker
(cherry picked from commit 25452a2268ac7013da28125f3df22085139af12d)

Fix bug #7229 (NULL pointer dereference).

s3:winbindd: add DEBUG(10,...) for the end of each top level

That will hopefully make debugging a bit easier (at least for me).

metze
(cherry picked from commit 31293c64a323eb59fd8e81cd44bb33768a43e0c0)

Fix bug #7225 (Make winbindd logs more verbose for troubleshooting).

vfs_netatalk: Segfault if hide files or veto files has no ".AppleDouble"

Fix bug #1206 (netatalk vfs causes segfaults in samba).

WHATSNEW: Start release notes for Samba 3.5.2.

Karolin

VERSION: Raise version number up to 3.5.2.

Karolin

Revert "Fix bug #7067 - Linux asynchronous IO (aio) can cause smbd to fail to respond to a read or write."

This reverts commit a6ae7a552f851a399991262377cc0e062e40ac20.

This fixes bug #7222 (All users have full rigths on all shares) (CVE-2010-0728).
(cherry picked from commit 1c9494c76cc9686c61e0966f38528d3318f3176f)

WHATSNEW: Prepare release notes for Samba 3.5.1.

Karolin
(cherry picked from commit cd499eaf0418fa0a3034c5ba4709278a302ea980)

s3: Fix the build of net_afs.c with --fake-kaserver=yes, bug 7216

Thanks to Geza Gemes <geza@kzsdabas.hu> for filing this bug
(cherry picked from commit 5a3633faf12cdec41dc18064d5364a3fd067a22d)

mount.cifs: don't allow it to be run as setuid root program

mount.cifs has been the subject of several "security" fire drills due to
distributions installing it as a setuid root program. This program has
not been properly audited for security and the Samba team highly
recommends that it not be installed as a setuid root program at this
time.

To make that abundantly clear, this patch forcibly disables the ability
for mount.cifs to run as a setuid root program. People are welcome to
trivially patch this out, but they do so at their own peril.

A security audit and redesign of this program is in progress and we hope
that we'll be able to remove this in the near future.

Signed-off-by: Jeff Layton <jlayton@redhat.com>
The last 3 patches address bug #6853 (mount.cifs race that allows user to
replace mountpoint with a symlink).

mount.cifs: check for invalid characters in device name and mountpoint

It's apparently possible to corrupt the mtab if you pass embedded
newlines to addmntent. Apparently tabs are also a problem with certain
earlier glibc versions. Backslashes are also a minor issue apparently,
but we can't reasonably filter those.

Make sure that neither the devname or mountpoint contain any problematic
characters before allowing the mount to proceed.

Signed-off-by: Jeff Layton <jlayton@redhat.com>

mount.cifs: take extra care that mountpoint isn't changed during mount

It's possible to trick mount.cifs into mounting onto the wrong directory
by replacing the mountpoint with a symlink to a directory. mount.cifs
attempts to check the validity of the mountpoint, but there's still a
possible race between those checks and the mount(2) syscall.

To guard against this, chdir to the mountpoint very early, and only deal
with it as "." from then on out.

Signed-off-by: Jeff Layton <jlayton@redhat.com>

s3: net_share.c: fix argc handling

The "net share" command was no longer possible because it enters
the net_share function with argc == 0.

Fix bug #7203 (net share doesn't work anymore).