patch smb2-server-no-pool-stealing.patch

libcli/auth/spnego_parse.c: don't allocate blob from pool.

spnego_parse() allocates off the stackframe, but the result gets
stolen onto the request by gensec_spnego_update_out() at
auth/gensec/spnego.c:1260:

talloc_steal(out_mem_ctx, _out->data);

pointer we're stealing:
  0x941e4a0 (DATA_BLOB: ../libcli/auth/spnego_parse.c:341) (in pool 0x9420858 ../source3/smbd/process.c:3590)
  0x941dfa8 (struct spnego_state) (in pool 0x9420858 ../source3/smbd/process.c:3590)
  0x941de70 (struct gensec_security) (in pool 0x9420858 ../source3/smbd/process.c:3590)
  0x9420858 (../source3/smbd/process.c:3590) (POOL)
  0x93f76e8 (TALLOC_CTX *)
  0x93e3058 (null_context)

context we're stealing onto:
  0x93ff860 (struct smb_request)
  0x9420430 (struct smbd_server_connection)
  0x93fc5e0 (struct smbXsrv_connection)
  0x93e6678 (struct tevent_context)
  0x93e3058 (null_context)

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

source3/locking/brlock.c: don't steal from talloc_tos()

brl_get_locks_readonly() allocates of talloc_tos(), then steals onto
fsp.  That prevents us from freeing up talloc_tos(), and it's completely
gratuitous.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

source3/lib/username: don't allocate talloc_tos() for memcache

source3/lib/memcache.c:340:
p = talloc_move(cache, ptr);

We can't use mem_ctx, either, because in some paths that's also a
stackframe.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

dbwrap: don't steal off talloc_stackframe().

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

msg_channel: don't allocate state->channel off stackframe

We steal this later.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

source3/librpc/rpc/dcerpc_ep.c: don't steal off stackframe.

There's only one allocation anyway, so just allocate it and clean up
if we fail.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

smbd: can't use talloc_tos() for request, data.

We talloc_steal the request onto a NULL-parented conn in api_dcerpc_cmd:

tevent_req_set_callback(subreq, api_dcerpc_cmd_write_done,
talloc_move(conn, &req));

This means we're leaking a whole frame until that callback is called.
And since we can't allocate the request on talloc_tos(), we can't
allocate the input buffer there either:

req->inbuf  = (uint8_t *)talloc_move(req, &inbuf);

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

auth: don't allocate session_info from pool.

source3/smbd/password.c: (register_existing_vuid)
/* Use this to keep tabs on all our info from the authentication */
vuser->session_info = talloc_move(vuser, &session_info);

This is flawed, since session_info is inside the talloc pool allocated
at source3/smbd/process.c:3529.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

talloc: panic if we log in developer mode.

Otherwise we could be logging all kinds of problems, and the autobuilder
and make test will still be happy.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

(throwaway) Extra debug stuff for finding what's stolen.

talloc: allow stealing onto a child of the old pool.

This might have to be ifdef DEVELOPER, since it's an expensive check.

talloc: warn if we steal outside a pool.

This is almost certainly a bug, so warn about it.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

talloc: keep reference to pool even if we overflow it.

If you talloc off a pool, and it doesn't fit, we fallback to a non-pool
talloc.  Unfortunately, all children of that allocation are also unaware
of the pool, even if they would fit.

Instead, save the pool pointer even if we overflow: that way we can
correctly allocate children if they fit.  It also permits better
debugging in the next patch.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

loadparm: make the source3/ lp_ functions take an explicit TALLOC_CTX *.

They use talloc_tos() internally: hoist that up to the callers, some
of whom don't want to us talloc_tos().

A simple patch, but hits a lot of files.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

patch talloc_stack-looser-checking.patch

source3/utils/net_conf.c: fix stackframe leak

net_conf_wrap_function() doesn't free its stackframe.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

source3/winbindd/winbindd_pam.c: fix stackframe leak

check_info3_in_group() doesn't always free its stackframe.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

source3/lib/smbconf/testsuite.c: fix stackframe leak

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

source3/registry/reg_backend_db.c: fix stackframe leak

regdb_store_values_internal() doesn't always free its stackframe.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

source3/winbindd/idmap_tdb_common.c: fix stackframe leak

idmap_tdb_common_sid_to_unixid() doesn't always free its stackframe.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

source3/rpc_server/svcctl/srv_svcctl_reg.c: fix stackframe leak

svcctl_init_winreg() doesn't free its stackframe.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

source3/modules/vfs_xattr_tdb.c: fix stackframe leak

xattr_tdb_getxattr() doesn't free its stackframe.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

lib/util/modules.c: fix stackframe leak.

do_smb_load_module() doesn't free its stackframe on success.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

source3/winbindd/winbindd_util.c: fix stackframe leak

winbindd_can_contact_domain() doesn't always free its stackframe.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

nt_printing_tdb_migrate(): fix stackframe leak.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

source3/client/client.c: fix stackframe leak.

do_message_op() doesn't free its stackframe in various paths.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

smbpasswd: always free frame.

The fascist test in --check-talloc-stack complains.  We're about to exit,
so it doesn't really matter, but might as well unify the paths.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

talloc_stack: add --check-talloc-stack

This allows us (with sufficient compiler support) to enforce usage
restrictions on talloc_stackframe().  It's slow, so requires explicit
action to turn it on.

1) panic if we don't free a stackframe in the same function they created it.
2) panic if we call talloc_tos() with no stackframe.

This would be much more efficient if I could add the -finstrument-functions only
to compilation units which depend on talloc_stack, but I couldn't figure out
how to do that.  So I add it everywhere, and suppress it manually inside
talloc_stack.c.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

Before:
Stacksize for 566162 stacks: 144-3971728 (avg 95614): 1.74526e+07 succeeded 922716 failed: 94.9785%

After:
Stacksize for 565503 stacks: 144-324624 (avg 12725.5): 1.36168e+07 succeeded 1.38407e+06 failed: 90.7734%

talloc_stack: use talloc_pool_stats() to autosize.

The talloc_stackframe_pool() provides us a static structure where we can
store persistent information about this stackframe.

On destruction, we gather the stats.  When we create the pool, we
enlarge it if it's less than 95% successful in servicing allocations
from the pool, and shrink it if it was 100% successful.  The heuristic
is fairly simple, but seems stable here.

To see our overall success and failures, try this:
$ grep 'success rate' st/s3dc/smbd_test.log  | awk 'BEGIN { MIN=1000000 } { gsub(/%/,"",$8); SUCCPERC=int($8); NUMALLOCS=int($10); SUCC += SUCCPERC * NUMALLOCS / 100; FAIL += NUMALLOCS - (SUCCPERC * NUMALLOCS / 100); gsub(/,/,"",$4); STSIZE=int($4); SIZE += STSIZE; if (STSIZE > MAX) { MAX=STSIZE; } if (STSIZE < MIN) { MIN=STSIZE; } NUM++; } END { print "Stacksize for " NUM " stacks: " MIN "-" MAX " (avg " SIZE/NUM "): " SUCC " succeeded " FAIL " failed: " SUCC*100/(SUCC + FAIL) "%" }'

Two partial runs of make test:

On my 32-bit machine:
$ Stacksize for 430256 stacks: 64-2240192 (avg 67822.6): 1.2023e+07 succeeded 690528 failed: 94.5686%

On sn-devel (64-bit machine):
$ Stacksize for 430256 stacks: 144-5591568 (avg 137879): 1.58109e+07 succeeded 682280 failed: 95.8633%

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

talloc_stack: always include the location when creating a talloc_stackframe().

Much better for debugging.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

talloc: keep stats for pools, add talloc_pool_stats().

This allows us to determine how much (if any) overflow has happened to
a pool.  We compress the stats into two u16s, so it doesn't add 16
bytes on 32-bit platforms.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

talloc_stack: handle more than one talloc_stackframe_pool()

The only reason we make one stackframe parent of the next is so we use
our parent's pool.  That doesn't make sense if we're a new pool, and
wouldn't work anyway.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

talloc: don't allow a talloc_pool inside a talloc_pool.

We explicitly call free() on a pool which falls to zero, assuming it's
not inside another pool (we crash).  Check on creation and explicitly
document this case.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

talloc: use a struct for pool headers.

This neatens the code a bit (we should do a similar thing for all the
TALLOC_CHUNK macros).

Two subtler changes:
(1) As a result of the struct, we actually pack object_count into the
    talloc header on 32-bit platforms (since the header is 40 bytes, but
    needs to be 16-byte aligned).
(2) I avoid VALGRIND_MAKE_MEM_UNDEFINED on memmove when we resize the
    only entry in a pool; that's done later anyway.

With -O2 on my 11.04 Ubuntu 32-bit x86 laptop, the talloc_pool speed as
measured by testsuite.c actually increases 10%.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

ccan: we're subsystems, not a library.

Don't expose a libccan.so; it would produce clashes if someone else
does the same thing.  Unfortunately, if we just change it from a
SAMBA_LIBRARY to a SAMBA_SUBSYSTEM, it doesn't create a static library
as we'd like, but links all the object files in.  This means we get
many duplicates (eg. everyone gets a copy of tally, even though only
ntdb wants it).

So, the solution is twofold:
1) Make the ccan modules separate.
2) Make the ccan modules SAMBA_SUBSYSTEMs not SAMBA_LIBRARYs so we don't
   build shared libraries which we can't share.
3) Make the places which uses ccan explicit.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>
Autobuild-User(master): Rusty Russell <rusty@rustcorp.com.au>
Autobuild-Date(master): Fri Jun 29 06:22:44 CEST 2012 on sn-devel-104

Move back to using per-thread credentials on Linux. Fixes the glibc native AIO lost wakeup problem.

See this post:

https://lists.samba.org/archive/samba-technical/2012-June/085101.html

for details.

Autobuild-User(master): Jeremy Allison <jra@samba.org>
Autobuild-Date(master): Fri Jun 29 03:57:45 CEST 2012 on sn-devel-104

Replace all uses of setXX[ug]id() and setgroups with samba_setXX[ug]id() calls.

Will allow thread-specific credentials to be added by modifying
the central definitions. Deliberately left the setXX[ug]id()
call in popt as this is not used in Samba.

Add missing setresgid() wrapper.

docs-xml: document "server max protocol" "SMB2" selects PROTOCOL_SMB2_10

metze

Autobuild-User(master): Stefan Metzmacher <metze@samba.org>
Autobuild-Date(master): Fri Jun 29 02:07:17 CEST 2012 on sn-devel-104

s3:param: change "server max protocol" to "SMB2" (SMB2_10)

metze

lib/param: let "SMB2" select PROTOCOL_SMB2_10

metze

s3:smb2_server: make the logic in smbd_smb2_request_verify_creditcharge() simpler

We just need a max_charge variable to make the algorithm independent
of multi_credit support.

metze

s3:smb2_server: simplify smbd_smb2_request_verify_creditcharge() a bit.

A credit charge of 0 is really not a special case, it just means the same
as 1.

metze

s3:smb2_negprot: support SMB2_CAP_LARGE_MTU on everything but port 139

In future we'll have other transports like RDMA.
This makes NBT (tcp port 139) special instead of port 445.

metze

s3:smb2_server: grant extra credits for multi-credit requests

metze

s3:smb2_server: implement credit granting similar to windows

This makes it much easier to compare traces.

metze

s3:smb2_server: make sure sequence numbers don't wrap at UINT64_MAX

metze

s3:smb2_server: make sure we don't grant more credits than we allow

If the client hasn't consumed the lowest seqnum, but the distance
between lowest and highest seqnum has reached max credits.

In that case we should stop granting credits.

metze

s3:smb2_server: check the credit_charge against the already granted credits

metze

s3:smb2_server: split out a smb2_validate_sequence_number() function

metze

s3:smb2_server: clear sequence window if we got the lowest sequence id

Otherwise we'll never consume sequence id '0'.

metze

s3:smb2_server: fix calculation of the next bitmap_offset

metze

s3:smb2_server: remove unused and confusing DEFAULT_SMB2_MAX_CREDIT_BITMAP_FACTOR

metze

s3:smb2_server: call smbd_smb2_request_validate() also in smbd_smb2_first_negprot()

We need to consume message_id 0, for SMB1 negprot starts.

metze

s3:smb2_server: start the connection with one credit granted to the client

metze

s3: fine tune and clean up statvfs tests

This should also fix the build on Tru64. Tru64 has a POSIX compliant statvfs()
function while most *BSD systems ignore POSIX.

Autobuild-User(master): Björn Jacke <bj@sernet.de>
Autobuild-Date(master): Thu Jun 28 23:07:23 CEST 2012 on sn-devel-104

docs-xml: fix typos and format in smb.conf server max protocol man

packaging(RHEL-CTDB): fix build dependencies

Building manual pages needs rsync for copying built mans.
source3/script/installmo.sh calls msgfmt, thats part of gettext.

selftest: run pdbtest against s3dc as well

This validates the password expiry, account disable in the s3 auth code
and the save/restore of values in tdbsam.

It also provides the first test of some net sam set subcommands.

Andrew Bartlett

Autobuild-User(master): Andrew Bartlett <abartlet@samba.org>
Autobuild-Date(master): Thu Jun 28 20:39:38 CEST 2012 on sn-devel-104

selftest: use a loop rather than declare tests for both dc and s3dc

librpc/ndr: Initilaise the remainder of struct dom_sid after a pull

This copes with the fact that r->sub_auths is a fixed-size array, not
an allocated pointer, and so will still have some bytes no filled in
if the sid did not have a MAX_SUB_AUTHS sub-authorities.

Andrew Bartlett

s4-torture: fix typo in samlogon test.

Guenther

Autobuild-User(master): Günther Deschner <gd@samba.org>
Autobuild-Date(master): Thu Jun 28 18:43:46 CEST 2012 on sn-devel-104

s4-torture: use torture context for printing debug output.

Guenther

s3: Fix compilation of pthreadpool_sync.c on platforms without pthread.h

Signed-off-by: Bjoern Jacke <bj@sernet.de>
Autobuild-User(master): Björn Jacke <bj@sernet.de>
Autobuild-Date(master): Thu Jun 28 16:43:13 CEST 2012 on sn-devel-104

s3:smbd: change nt_open_pipe() to uint16_t pnum/fnum

This is SMB1 code...

metze

Autobuild-User(master): Stefan Metzmacher <metze@samba.org>
Autobuild-Date(master): Thu Jun 28 14:47:45 CEST 2012 on sn-devel-104

s3:smb2_create: add usefull DEBUG() message

All calls which take an file handle have the same,
so we should also log it, when we create a handle.

metze

Autobuild-User(master): Stefan Metzmacher <metze@samba.org>
Autobuild-Date(master): Thu Jun 28 12:41:49 CEST 2012 on sn-devel-104

s3:smbd/files: fsp->fnum is uint64_t not int!

metze

s3:brlock: s/int/uint64_t for fnum

fsp->fnum and lock->fnum are uint64_t already and we should not truncate the value here.

Currently this doesn't matter as we only use 16-bit.

But as 'int' is int32_t and we later compare fnum with lock->fnum == fnum,
the cast from int32_t to uint64_t goes via int64_t instead of uint32_t.

This means even if fsp->fnum just uses 32-bit of the uint64_t
we'll get the wrong result, as the implicit cast from a negative int32_t
value to uint64_t adds 0xFFFFFFFF00000000.

metze

s3:brlock: add some const to print_lock_struct()

metze

s3:wscript: use LOCKING subsystem for smbtorture3

metze

source4/smbd/pidfile: don't panic if pid file is corrupt.

In particular, on a virtual machine after a forced reboot, it
contained "Ille" instead of a valid PID.  Given it was the right
length, I'm assuming it was filesystem corruption.

process_exists_by_pid() then panics, when given a pid < 1.

Reported-by: lostogre on #samba-technical
Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>
Autobuild-User(master): Rusty Russell <rusty@rustcorp.com.au>
Autobuild-Date(master): Thu Jun 28 05:19:24 CEST 2012 on sn-devel-104

replace: define INT64_MAX when not defined

Tru64 doesn't have any stdint.h

Autobuild-User(master): Björn Jacke <bj@sernet.de>
Autobuild-Date(master): Thu Jun 28 00:45:58 CEST 2012 on sn-devel-104

s3-param: Rename loadparm_s3_context -> loadparm_s3_helpers

This helps clarify the role of this structure and wrapper function.

The purpose here is to provide helper functions to the lib/param
loadparm_context that point back at the s3 lp_ functions.  This allows
a struct loadparm_context to be passed to any point in the code, and
always refer to the correct loadparm system.  If this has not been
set, the variables loaded in the lib/param code will be returned.

As requested by Michael Adam.

Andrew Bartlett

Autobuild-User(master): Andrew Bartlett <abartlet@samba.org>
Autobuild-Date(master): Wed Jun 27 17:11:16 CEST 2012 on sn-devel-104

s3-pdb_samba4: Remove dupliate profilePath handling

Autobuild-User(master): Andrew Bartlett <abartlet@samba.org>
Autobuild-Date(master): Wed Jun 27 13:16:26 CEST 2012 on sn-devel-104

s4-selftest: expand passdb testing

This tests pdb_samba4 in the first instance

s3-pdbtest: Initialise more elements for testing

If these were left as defaults, they cause issues when the backend (pdb_samba4)
returns the internal defaults from the directory, not the defaults from samu_new()

Andrew Bartlett

s3-pdb_samba4: Add support for lastLogon and lastLogoff

s3-pdb_samba4: Fix time handling, use nt_time_to_unix()

This matches 478d74fe1447c4588b14ef7040c8c13339d54026 which I failed to
merge from pdb_ads.

Andrew Bartlett

lib/ldb: Print trace messages for modify correctly

s4-selftest: Test login with a password expired user

This uses rkpty to test changing an expired password.

Andrew Bartlett

s4-dsdb when setting DSDB_CONTROL_PASSWORD_BYPASS_LAST_SET_OID make it non-critical

s4-dsdb: Remove hooks for non-directory password handling

This was an interesting hack, and the local_password module still exists, but
until it has a use case and a test case, remove the bypass of password_hash.

Andrew Bartlett

selftest: allow NSS_WRAPPER_* vars to be exported to the environment

selftest: Add extra users to nss_wrapper

These will be used for a test using pdbtest and to run the client
test environment under nss_wrapper.

Andrew Bartlett

s3-pdbtest: show mis-matching times

s3:registry: change reg_import.c according to coding guidelines.

Autobuild-User(master): Michael Adam <obnox@samba.org>
Autobuild-Date(master): Wed Jun 27 10:07:54 CEST 2012 on sn-devel-104

s3:registry: use TALLOC_CTX * instead of const void * in reg_import_adapter()

s3: add a tool "cclean" to cleanup orphaned entries from connections.tdb

Signed-off-by: Michael Adam <obnox@samba.org>

s3:conn_tdb: add a function connections_fetch_entry_ext() that also takes the cnum

and have connections_fetch_entry() call connections_fetch_entry_ext().

Signed-off-by: Michael Adam <obnox@samba.org>

s3:lib:dbwrap: fix return value of db_ctdb_traverse[_read] for non-persistent dbs

to return the number of traversed records upon successful traverse.

Signed-off-by: Michael Adam <obnox@samba.org>

s3-printing: fix broken print_job_get_name() return

Autobuild-User(master): David Disseldorp <ddiss@samba.org>
Autobuild-Date(master): Wed Jun 27 04:04:56 CEST 2012 on sn-devel-104

s3:test_net_registry_check.sh: grep -E isn't portable, use egrep

grep -E doesn't work on Solaris /usr/bin/grep e.g.

Autobuild-User(master): Björn Jacke <bj@sernet.de>
Autobuild-Date(master): Wed Jun 27 02:18:07 CEST 2012 on sn-devel-104

tests: make test_ldb portable, eliminate "local" keyword

this is BASH only, don't use it.

s3:net registry import: implement dry-run with "--test"

Pair-Programmed-With: Gregor Beck <gbeck@sernet.de>

Autobuild-User(master): Michael Adam <obnox@samba.org>
Autobuild-Date(master): Tue Jun 26 21:43:49 CEST 2012 on sn-devel-104

s3:net registry import: add an assert

Pair-Programmed-With: Gergor Beck <gbeck@sernet.de>

s3:net registry import: reduce indentation

Pair-Programmed-With: Gregor Beck <gbeck@sernet.de>

s3:net registry import: fix the return code when transaction commit fails

Pair-Programmed-With: Gregor Beck <gbeck@sernet.de>

s3:net registry import: improve regdb_open/close layering

Pair-Programmed-With: Gregor Beck <gbeck@sernet.de>