s3: Add wbinfo --dc-info

s3:vfs aio_fork children do not go away

on RHEL 5.5, recvmsg() does not return when it is reading
from the socket and the process on the other side closes
its connection. This left aio children around that should
have gone already and were just wasting system resources.

This patch makes the child go away by writing invalid
data to it so that the child exits.

Pair-Programmed-With: Volker Lendecke <vl@samba.org>

s3:vfs fix children cleanup in aio_fork

the cleanup loop in aio_fork always stopped operation
on the first inactive child it found. In case lots of
children need to be reaped, it will take multiple runs
before all children are gone

v3-4-ctdb: Bump ctdb vendor patch level to 17

s3: Use smbsock_any_connect in winbind

s3: Retry *SMBSERVER in nb_connect

s3: Add smbsock_any_connect

s3: Add an async smbsock_connect

This connects to 445 and after 5 milliseconds also to 139. It treats a netbios
session setup failure as equivalent as a TCP connect failure. So if 139 is
faster but fails the nb session setup, the 445 still has the chance to succeed.

v3-4-test: Pull in tevent_req_poll_ntstatus from master

s3: Add async cli_session_request

This does not do the redirects, but I think that might be obsolete anyway

v3-4-test: Pull in read_smb_send from master

s3: Add some const to name_mangle()

s3: Fix shadow-copy module for drag&drop from a snapshot

We have to return NT_STATUS_NOT_SAME_DEVICE to trigger the Windows client to
start a copy itself. Unbeknownst to us via the ACLs snapshots are read-only, so
a rename would trigger a EACCES. Unfortunately the MacOS/X finder does not do
the smart NOT_SAME_DEVICE fallback that Windows does.

v3-4-ctdb: Bump ctdb vendor patch level to 16

s3: Reply correctly to FSCTL_IS_VOLUME_DIRTY

s3: Add shadow copy info to smbclient allinfo

Autobuild-User: Volker Lendecke <vlendec@samba.org>
Autobuild-Date: Tue Nov 30 12:23:50 CET 2010 on sn-devel-104

s3: Add cli_shadow_copy_data

s3:registry correct a debug level

this is not a level 0 message, move it to 10

s3: Fix serverid_exists

In the cluster case it can happen that a node just died and we did not yet have
the time to clean up serverid.tdb. If the corresponding serverid.tdb record
that represented a process was migrated away from the dead record, it
represents existence of a process where it is already dead.

v3-4-ctdb: Fix debuginfo builds

s3:winbind correct a copy&paste error

negative results of sid->gid lookups should be stored with
idmap_cache_set_sid2gid instead of idmap_cache_set_sid2uid

This seems to be a copy&paste error when similar logic from the
sid2uid path was copied here in 84b88f4b.

v3-4-test: Protect against invalid winbindd_cache entries

v3-4-test: Correctly calculate the wbinfo -s result

v3-4-ctdb: Bump ctdb vendor patch level to 15

s3:winbind killed winbind child logs back trace

change the signal that the winbind parent sends to a children
that timed out answering a request from SIGTERM to SIGXCPU

By adding this differentation, it is possible to dump
a backtrace of the child only in this case, not when winbind
is shutting down
The backtrace is meant as a debug aid to determine what
a child was waiting for when it timed out

s3:util add log_stack_trace_with_level

add a new function log_stack_trace_with_level to specify
the debug level with which backtraces will be written to the log

s3: Make winbind recover from a signing error

When winbind sees a signing error on the smb connection to a DC (for whatever
reason, our bug, network glitch, etc) it should recover properly. The "old"
code in clientgen.c just closed the socket in this case. This is the right
thing to do, this connection is spoiled anyway. The new, async code did not do
this so far, which led to the code in winbindd_cm.c not detect that we need to
reconnect.

v3-4-ctdb: Bump ctdb vendor patch level to 14

v3-4-ctdb: Bump ctdb vendor patch level to 13

s3: Pass tdb_flags to ctdbd when attaching to a db

This is required to make ctdb create databases with INCOMPATIBLE_HASH

s3: use TDB_INCOMPATIBLE_HASH (the jenkins hash) on all TDB_CLEAR_IF_FIRST tdb's.

In the backport we only use TDB_INCOMPATIBLE_HASH if CLEAR_IF_FIRST
was also set, that should make downgrades easier to handle.

(similar to commit f98d217514433cd06887f8c0217a7835392f0375)

metze

tdb: TDB_INCOMPATIBLE_HASH, to allow safe changing of default hash.

This flag to tdb_open/tdb_open_ex effects creation of a new database:
1) Uses the Jenkins lookup3 hash instead of the old gdbm hash if none is
   specified,
2) Places a non-zero field in header->rwlocks, so older versions of TDB will
   refuse to open it.

This means that the caller (ie Samba) can set this flag to safely
change the hash function.  Versions of TDB from this one on will either
use the correct hash or refuse to open (if a different hash is specified).
Older TDB versions will see the nonzero rwlocks field and refuse to open
it under any conditions.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>
(cherry picked (modified) from commit 2dcf76c9247ff02a1779000dbbecdc418473ca41)

Signed-off-by: Stefan Metzmacher <metze@samba.org>

tdb: automatically identify Jenkins hash tdbs

If the caller to tdb_open_ex() doesn't specify a hash, and tdb_old_hash
doesn't match, try tdb_jenkins_hash.

This was Metze's idea: it makes life simpler, especially with the upcoming
TDB_INCOMPATIBLE_HASH flag.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>
(cherry picked from commit ccac258d14dda7d8a994a7b80474ce6d85478a6d)

Signed-off-by: Stefan Metzmacher <metze@samba.org>

s3:configure: build common/hash.o from lib/tdb

metze

tdb: fix non-WAF build, commit 1.2.6 ABI file.

Sorry Jeremy.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>
(cherry picked (modified) from commit b7cd6af5b45840a3588ad0cd50b4414f32f8b792)

Signed-off-by: Stefan Metzmacher <metze@samba.org>

tdb: add Bob Jenkins lookup3 hash as helper hash.

This is a better hash than the default: shipping it with tdb makes it easy
for callers to use it as the hash by passing it to tdb_open_ex().

This version taken from CCAN and modified, which took it from
http://www.burtleburtle.net/bob/c/lookup3.c.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>
(cherry picked (modified) from commit 3258cf3f11bf7c68a2e69e1808c4551cc899725a)

Signed-off-by: Stefan Metzmacher <metze@samba.org>

lib/tdb: fix c++ build warning in tdb_header_hash().

Guenther
(cherry picked from commit 1585c4df68a66569524a41def95488666dd827dd)

Signed-off-by: Stefan Metzmacher <metze@samba.org>

tdb: put example hashes into header, so we notice incorrect hash_fn.

This is Stefan Metzmacher <metze@samba.org>'s patch with minor changes:
1) Use the TDB_MAGIC constant so both hashes aren't of strings.
2) Check the hash in tdb_check (paranoia, really).
3) Additional check in the (unlikely!) case where both examples hash to 0.
4) Cosmetic changes to var names and complaint message.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>
(cherry picked (modified for v3-4) from commit 786b7263000dedcb97e7369402e2e9dc967e36c4)

Signed-off-by: Stefan Metzmacher <metze@samba.org>

s3: Add some DEBUG

s3: Cope with EINTR in smbd_[un]lock_socket

v3-4-ctdb: Bump ctdb vendor patch level to 12

s3: Fix the async echo responder for netbios keepalives

This fixes a crash in the echo responder when the client started to send the
NetBIOS-Level 0x85-style keepalive packets. We did not correctly check the
packet length, so the code writing the signing seqnum overwrote memory after
the malloc'ed area for the 4 byte keepalive packet.

s3: Stop using the write cache after an oplock break

This fixes samba-bug 7715: If "write cache size" is set (a typical tuning knob
that might be applied in critical customer situations by performance experts),
smbd can corrupt data. This fixes it.

s3: Make the write end of the echo responder pipe non-blocking

Without this, we can get a writable pipe end, but the writev call on the pipe
will block.

s3:tests: fix misplaced '...' for grep pattern in test_net_registry.sh

Revert "v3-4-ctdb: Do not do any logrotation"

This reverts commit 0ce0f33c9bfdb9d0a5364e3902926fcc3a6d8ae1.

s3: Add "smbcontrol winbindd ip-dropped <local-ip>"

This is supposed to improve the winbind reconnect time after an ip address
has been moved away from a box. Any kind of HA scenario will benefit from
this, because winbindd does not have to wait for the TCP timeout to kick in
when a local IP address has been dropped and DC replies are not received
anymore.

s3: Fix a deadlock between notify_onelevel.tdb and notify.tdb

notify_add() locks notify_onlevel.tdb while having notify.tdb locked.
file_free() calls notify_remove_onelevel(), and due to this talloc hierarchy
problem the tdb record is not unlocked again timely. Thus notify.tdb will be
locked while notify_onelevel still has a lock.

Sorry, Ronnie, for causing you some grey hair and thanks for the stacktraces.

Volker

libsmbconf: parse an empty share as empty share, not as NULL.

This fixes a segfault in net conf import:
Importing a text file with an empty share resulted in a segfault.
Now this creates an empty share in registry config, just as it
should.

Thanks to Gregor Beck <gbeck@sernet.de> for reporting.
(cherry picked from commit 84127dd50420a7d0e8f389d4af15d52fca6cd809)

s3-net: add roundtrip tests for registry import/export

s3-net: test: make MALLOC_CHECK verbose on failure

s3-net: add command rpc registry export

s3-net: add command rpc registry import

s3-net: add command registry convert

s3-net: add command registry export

s3-net: add command registry import

s3-registry: add support for registration entries (.reg) files

s3-lib: add srprs, primitives to build simple recursive parsers

s3-lib: add cbuf, a talloced character buffer

s3-util: use pull_reg_multi_sz in reg_pull_multi_sz.

Guenther

Really enable core dumps in Linux

commit e1f1ce68e1f685400a8c68bcec14018e3d1fc29d
Author: Rusty Russell <rusty@rustcorp.com.au>
Date:   Mon Sep 20 13:33:30 2010 +0930

    source3: dump core on Linux, even after seteuid/etc.

    The "dumpable" flag is reset on every call to set*uid, so we need to
    reset it to 1 in the signal handler itself.

    This code dates back to commit ac01fda2b97b 6 years ago :(

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>
Signed-off-by: Jeremy Allison <jra@samba.org>
Signed-off-by: Michael Adam <obnox@samba.org>

Fix bug #7669.

Fix bug #7669 (buffer overflow in sid_parse() in Samba3 and dom_sid_parse in
Samba4).

CVE-2010-3069:

===========
Description
===========

All current released versions of Samba are vulnerable to
a buffer overrun vulnerability. The sid_parse() function
(and related dom_sid_parse() function in the source4 code)
do not correctly check their input lengths when reading a
binary representation of a Windows SID (Security ID). This
allows a malicious client to send a sid that can overflow
the stack variable that is being used to store the SID in the
Samba smbd server.

A connection to a file share is needed to exploit this
vulnerability, either authenticated or unauthenticated
(guest connection).
(cherry picked from commit df20a300758bc12286820e31fcf573bdfc2147bc)

no need any more to manually create catalog file in build-manpages-nogit

no need any more to create catalog file manually in build-manpages-git

docs: use abs_top_builddir instead of BUILDDIR to let configure create correct catalog file

The use of the catalog file is still controlled by exporting the
XML_CATALOG_FILES variable as described in build/README

packaging(RHEL-CTDB): add a comment, why we need precompiled manpages as fallback

Particularly the version of the docbook XSL style sheets shipped with
RHEL5 have are missing some definitions needed for building the manpages.

packaging/RHEL-CTDB: do not use an external docs tarball

try to build the manpages instead and use a checked in manpage-only tarball
if it does not work

packaging/RHEL-CTDB: add a manpages tarball for use if manpage build does not work

add script to build only the manpages (not the complete docs) - no-git version

this version uses make clean to clean the source tree before building

add script to build only the manual pages (not all the docs) - git version

the git version uses git clean to clean the docs source tree.

packaging/RHEL-CTDB: untangle the various %doc entries to single lines

docs:vfs_gpfs: improve the CAVEAT section on run and build time dependencies

docs-xml/vfs_gpfs: document 'gpfs:refuse_dacl_protected'

metze
(cherry picked from commit fc79f358eb6a1dd7ed2e5f5b1e31fb664a182595)

docs-xml/vfs_gpfs: document 'gpfs:merge_writeappend'

metze
(cherry picked from commit 4d76c18f78742ba92b4772037ac306b567351ca1)

docs-xml/vfs_gpfs: document 'gpfs:winattr'

metze
(cherry picked from commit 6cf66a04ad690e78311411e2195b3a1710953262)

docs-xml/vfs_gpfs: document 'gpfs:getrealfilename'

metze
(cherry picked from commit a8a704001e5da10fae5df5fc2856d06250739248)

docs-xml/vfs_gpfs: document 'gpfs:leases'

metze
(cherry picked from commit 196699a6a1412687f7d5fe24c506577002dd769e)

docs-xml/vfs_gpfs: document 'gpfs:sharemodes'

metze
(cherry picked from commit d35d846db14a4bb28a97a7bab6dbfdbe7a62b593)

s3: Print the IP of the server that stopped responding

v3-4-ctdb: fix typo in README

Attempt to fix the build on AIX, that system seems to have a #define for s_type

s3: Attempt to fix the build on AIX, shm_ptr seems to be a macro there

v3-4-ctdb: Attempt to fix a segfault in notify_onelevel

s3: Reduce the load on the echo handler

If the parent is fast enough, the echo handler should not step in. When the
socket becomes readable, the echo handler goes to sleep for a second. If within
that second, the parent has picked up the SMB request from the net, the echo
handler will just go back to select().

v3-4-ctdb: Bump ctdb vendor patch level to 11

v3-4-ctdb: fail db_open_ctdb if ctdb is not around

Further refine the time_audit warning message

s3: Modify the warning time_audit warning message

Now we have

System call "disk_free" took unexpectedly long (0.01 seconds) -- check your file system and disks!

s3: Log the correct core path on Linux if core_pattern is set

Contributions from Bill Hymas, IBM

v3-4-ctdb: Bump up the vendor patch level to 10

v3-4-ctdb: Re-arrange winbindd_ads.c:query_user

We can't access the LDAP message after nss_get_info_cached has potentially
destroyed the ads_struct

s3: Fix a winbind crash

nss_get_info_cached might deep inside sequence_number() invalidate the
ads_struct without telling its callers.

s3: Fix a winbind crash

nss_get_info_cached might have invalidated "ads" deep inside.

 v3-4-ctdb: Bump up the vendor patch level to 9

s3:net rpc registry: make getsd succeed when key sd only gives access to SD not key contents

You don't need the REG_KEY_READ permissions to access the SD of a key.
And for instance, the key HKLM\security ususally has no specific bits
set for builtin\administrators, but the READ_CONTROL_ACCESS.
I.e. builtin\administrators can get the sd but not enumerate the key.

s3:idmap_ldap: use idmap_rw_new_mapping in idmap_ldap_new_mapping

s3:idmap_ldap: add idmap_rw_ops to idmap_ldap_context and init in db_init()

s3:idmap_tdb: use idmap_rw_new_mapping in idmap_tdb_new_mapping

s3:idmap_tdb: add idmap_rw_ops to idmap_tdb_context and initialize them in init_db

s3:idmap_tdb2: use idmap_rw_new_mapping in idmap_tdb2_new_mapping