ntdb: make sure file is always a multiple of PAGESIZE (now NTDB_PGSIZE)

ntdb uses tdb's transaction code, and it has an undocumented but implicit
assumption: that the transaction recovery area is always aligned to the
transaction pagesize.  This means that no block will overlap the recovery
area.

This is maintained by rounding the size of the database up, so do the same
for ntdb.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

ntdb: fix recovery data write.

We were missing the last few bytes.  Found by 100 runs of ntdbtorture
-t -k.

The transaction test code didn't catch this, because usually those
last few bytes are irrelevant to the actual contents of the database.
We fix the test.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

ntdb: enhance external-helper test code.

Our external test helper is a bit primitive when it comes to doing STORE or
FETCH commands: let us specify the data we expect, instead of assuming it's
the same as the key.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

ntdb: use NTDB_LOG_WARNING level for failed open() without O_CREAT.

This is a fairly common pattern in Samba, and if we log an error on
every open it spams the logs.  On the other hand, other errors are
potentially more serious, so we still use NTDB_LOG_ERROR on them.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

ccan: remove bogus debug print.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

ntdb: make fork test more thorough.

We document that the child of a fork() can do a brunlock() if the parent
does a brlock: we should not log an error when they do this.

Also, test the case where we fork() and return inside a parse function
(which is allowed).

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

ntdb: print \n at end of log messages in tests.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

ntdb: reduce race between creating file and getting open lock.

In tdb, we grab the open lock immediately after we open the file.  In
ntdb, we usually did some work first.  tdbtorture managed to get in
before the creator grabbed the lock:

testing with 3 processes, 5000 loops, seed=1338246020
ntdb:torture.ntdb:IO Error:ntdb_open: torture.ntdb is not a ntdb file
29023:torture.ntdb:db open failed

At cost of a little duplicated code, we can reduce the race.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

ntdb: catch any valgrind errors in test

Make --valgrind and --valgrind-log options work!

Amitay figured this out!

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

ntdb: catch any valgrind errors in test

We need --error-exitcode=, otherwise valgrind errors don't cause the
test to fail.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

ntdb: remove ntdb_error()

It was a hack to make compatibility easier.  Since we're not doing that,
it can go away: all callers must use the return value now.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

TDB2: Goodbye TDB2, Hello NTDB.

This renames everything from tdb2 to ntdb: importantly, we no longer
use the tdb_ namespace, so you can link against both ntdb and tdb if
you want to.

This also enables building of standalone ntdb by the autobuild script.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tdb2: Fix typo in TDB1_porting.txt

Judging by code it's tdb1, where you needed to free old key's dptr
manually.

Signed-off-by: Kirill Smelkov <kirr@mns.spb.ru>
Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

TDB2: more internal cleanups after TDB1 compatibility removal.

This eliminates the separate tdb2 substructure, and makes some
tdb1-required functions static.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

TDB2: remove TDB1 compatibility.

This rips out all the TDB1 compatibility from tdb2.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

TDB2: make SAMBA use tdb1 again for the moment.

Otherwise the following surgery will break the SAMBA build and testsuite.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

ccan: check for err.h ourselves

Heimdal does this, but that doesn't help the autoconf build or the standalone
libntdb build.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

WHATSNEW: Fix typo.

"dcerpc endpoint services" -> "dcerpc endpoint servers"

Autobuild-User(master): Jelmer Vernooij <jelmer@samba.org>
Autobuild-Date(master): Tue Jun 19 04:40:12 CEST 2012 on sn-devel-104

tdb/wscript: Remove unecessary semicolons.

wafsamba/irixcc: add '-c99' option to cc

Lets see if this fixes the build on IRIX.

metze

Autobuild-User(master): Stefan Metzmacher <metze@samba.org>
Autobuild-Date(master): Tue Jun 19 02:42:21 CEST 2012 on sn-devel-104

Revert "s3: temporary hack to make the waf build work withouth autotools being required"

This reverts commit f1becfa27b6b4e35541e6df0cafdec0ad47d2e3f. The hack was
actually only required due to a configuration issue in our buildfarm scripts.

Autobuild-User(master): Björn Jacke <bj@sernet.de>
Autobuild-Date(master): Mon Jun 18 20:07:08 CEST 2012 on sn-devel-104

selftest/flapping: samba4.nss.test is also flakey for s3member

[1426/1518 in 1h24m58s] samba4.nss.test using winbind(s3member)
UNEXPECTED(failure): samba4.nss.test using winbind(s3member).run nsstest(s3member)
REASON: _StringException: _StringException: ERROR setpwent: NSS_STATUS=-1  1 (nss_errno=0)
ERROR getpwent: NSS_STATUS=-1  1 (nss_errno=0)
ERROR endpwent: NSS_STATUS=-1  1 (nss_errno=0)
ERROR setgrent: NSS_STATUS=-1  1 (nss_errno=0)
ERROR getgrent: NSS_STATUS=-1  1 (nss_errno=0)
ERROR endgrent: NSS_STATUS=-1  1 (nss_errno=0)
ERROR Non existent user gave error -1
ERROR Non existent uid gave error -1
ERROR Non existent group gave error -1
ERROR Non existent gid gave error -1
total_errors=10

metze

Autobuild-User(master): Stefan Metzmacher <metze@samba.org>
Autobuild-Date(master): Mon Jun 18 17:59:25 CEST 2012 on sn-devel-104

s3:autoconf: add -Iautoconf -Iautoconf/source3 at configure stage

There're some configure tests which require this.

metze

s3:Makefile.in: remove pidl generated files with 'make realdistclean'

metze

s3:Makefile.in: fix 'make realdistclean' after moving generated files to autoconf/

metze

s3:Makefile.in: fix 'make clean' after moving generated files to autoconf/

metze

s3:autogen.sh: fix autoconf/lib/param/param_proto.h location

metze

lib/param: add missing prototype of lpcfg_parm_long()

metze

s3:autoconf-build: build the idmap backends tdb2, rid, and hash by default (shared)

Autobuild-User(master): Michael Adam <obnox@samba.org>
Autobuild-Date(master): Mon Jun 18 13:38:50 CEST 2012 on sn-devel-104

s3:waf-build: build the idmap backends tdb2, rid, and hash by default (shared)

s3:idmap_tdb: fix miss in rename of dbwrap_trans_store_uint32() to dbwrap_trans_store_uint32_bystring()

dbwrap: Rename dbwrap_fetch_uint32->dbwrap_fetch_uint32_bystring

Signed-off-by: Michael Adam <obnox@samba.org>

s3:configure: check for SPLICE_F_MOVE at configure stage

This should fix the waf build on AIX, which has a splice symbol.

metze

Autobuild-User(master): Stefan Metzmacher <metze@samba.org>
Autobuild-Date(master): Mon Jun 18 11:43:01 CEST 2012 on sn-devel-104

heimdal:lib/wind: include <stdlib.h> at the end

This makes sure config.h gets includes first.

This should fix the build on AIX.

metze

Autobuild-User(master): Stefan Metzmacher <metze@samba.org>
Autobuild-Date(master): Sun Jun 17 16:16:24 CEST 2012 on sn-devel-104

heimdal:lib/wind: make sure errorlist_table.c includes config.h as first header

This should fix the build on AIX.

metze

Autobuild-User(master): Stefan Metzmacher <metze@samba.org>
Autobuild-Date(master): Sat Jun 16 23:59:07 CEST 2012 on sn-devel-104

attr: Look for attr/attributes.h too.

Fixes finding of ATTR_ROOT on GNU/kFreeBSD.

Autobuild-User(master): Jelmer Vernooij <jelmer@samba.org>
Autobuild-Date(master): Sat Jun 16 18:54:27 CEST 2012 on sn-devel-104

heimdal:lib/krb5: don't name a struct 'token'

This is a static const struct and the name is never used,
so just make it an anonymous struct.

This hopefully fixes the build on AIX:

"../source4/heimdal/lib/roken/roken-common.h", line 276.9: 1506-236 (W) Macro name __attribute__ has been redefined.
"../source4/heimdal/lib/roken/roken-common.h", line 276.9: 1506-358 (I) "__attribute__" is defined on line 45 of ../source4/heimdal/lib/com_err/com_err.h.
"../source4/heimdal/lib/krb5/expand_path.c", line 331.21: 1506-334 (S) Identifier token has already been defined on line 98 of "/usr/include/net/if_arp.h".
"../source4/heimdal/lib/krb5/expand_path.c", line 390.43: 1506-019 (S) Expecting an array or a pointer to object type.
"../source4/heimdal/lib/krb5/expand_path.c", line 391.31: 1506-019 (S) Expecting an array or a pointer to object type.
"../source4/heimdal/lib/krb5/expand_path.c", line 392.20: 1506-019 (S) Expecting an array or a pointer to object type.
"../source4/heimdal/lib/krb5/expand_path.c", line 392.48: 1506-019 (S) Expecting an array or a pointer to object type.
"../source4/heimdal/lib/krb5/expand_path.c", line 393.39: 1506-019 (S) Expecting an array or a pointer to object type.
Waf: Leaving directory `/opt/home/build/build_farm/samba_4_0_test/bin'
Build failed:  -> task failed (err #1):
{task: cc expand_path.c -> expand_path_52.o}
gmake: *** [all] Error 1

metze

Autobuild-User(master): Stefan Metzmacher <metze@samba.org>
Autobuild-Date(master): Sat Jun 16 15:20:59 CEST 2012 on sn-devel-104

s3-auth: Remove auth_netlogond

auth_netlogond was an important module in the development of the
combined Samba 4.0, and was the first module to link smbd with the AD
authentication store, showing that it was possible for NTLM
authentication to be offloaded to the AD server components.

We now have auth_samba4, which provides the full GENSEC stack to smbd,
which also matches exactly the group membership and privileges
assignment and which is supported and tested as part of the official
Samba 4.0 release configuration.

Andrew Bartlett

Autobuild-User(master): Andrew Bartlett <abartlet@samba.org>
Autobuild-Date(master): Sat Jun 16 10:13:20 CEST 2012 on sn-devel-104

s3-passdb: Remove pdb_ads

pdb_ads was an important module in the development of the combined Samba 4.0, and
was the first module to show that standard samba3 tools such as smbpasswd can be
made to operate on the sam.ldb.

We now have pdb_samba4, which operates directly on the sam.ldb, rather than via
ldapi://, which uses transactions and which is supported and tested as part
of the official Samba 4.0 release configuration.

This module is not as complete (for example, it does not honour the idmap
configuration) and requires that the samba binary be running to operate.

Andrew Bartlett

s4-classicupgrade: Also ask testparm for 'smb passwd file'

WHATSNEW: Bump the version and announce the s3fs default

s4-classicupgrade: Use "samba classic" description for samba3 NT4-like domains in samba3upgrade

s4-lib/param: FLAG DAY for the default FILE SERVER

This commit changes the default file server to be s3fs.  Existing
installs wishing to keep the ntvfs file server need to set this in
their smb.conf:

server services = +smb -s3fs
dcerpc endpoint services = +winreg +srvsvc

Andrew Bartlett

s4-s3upgrade: Assert that administrator has a SID of -500, and only skip root if it is -500

Many upgraded installations have root as -1000, and so that account needs to be kept.

Andrew Bartlett

s4-s3upgrade: Add my wins.dat and fix the parsing error

The issue was that the numbers at the end of the lines are space
padded.

Andrew Bartlett

s4-s3upgrade: improve idmap import to use posixAccount and posixGroup entries

s4-idmap: Add mapping using uidNumber and gidNumber like idmap_ad

This is a solution for users who are upgrading from Samba 3.x in
particuar, or have clients that will be using idmap_ad.  This avoids
needing to have duplicate values in idmap.ldb and in the directory.

No check for conflicts is made with the idmap.ldb - the AD store always wins.

Andrew Bartlett

Same fix as bug 8989 - Samba 3.5.x (and probably all other versions of Samba) does not send correct responses to NT Transact Secondary when no data and no params

for the Trans2 calls. See MS-CIFS 2.2.4.47.2 for details.

Autobuild-User(master): Jeremy Allison <jra@samba.org>
Autobuild-Date(master): Sat Jun 16 07:59:19 CEST 2012 on sn-devel-104

Fix Bug 8989 - Samba 3.5.x (and probably all other versions of Samba) does not send correct responses to NT Transact Secondary when no data and no params

Found by Richard Sharpe <realrichardsharpe@gmail.com>. The correct
command code in a reply to NT Transact Secondary (0xa1) is
NT Transact (0xa0).

s3: Slightly simplify grant_fsp_oplock_type

The "else" is not necessary, we did a return in the if-branch

Signed-off-by: Jeremy Allison <jra@samba.org>

s4-selftest: Add tests for dbcheck on an old database that needs repair

We changed a lot since alpha13, so there are lots of legitimate errors to fix.

Andrew Bartlett

Autobuild-User(master): Andrew Bartlett <abartlet@samba.org>
Autobuild-Date(master): Sat Jun 16 05:44:15 CEST 2012 on sn-devel-104

s4-dbcheck: Always specify the dhcheck control

This will then allow us to make schema modifications, overriding the default ban.

Andrew Bartlett

selftest: Add targetdir and tdbrestore parameters to undump.sh

build: Remove support for non-64bit sendfile()

Some early Linux 2.6 platforms can not handle sendfile and _FILE_OFFSET_BITS == 64

This disables sendfile() on these platforms.

Andrew Bartlett

Autobuild-User(master): Andrew Bartlett <abartlet@samba.org>
Autobuild-Date(master): Sat Jun 16 02:21:28 CEST 2012 on sn-devel-104

selftest/flapping: mark samba4.nss.test using winbind(s3dc) as flakey

I saw this at least 10 times in the last weeks.

[1425/1517 in 1h12m22s] samba4.nss.test using winbind(s3dc)
UNEXPECTED(failure): samba4.nss.test using winbind(s3dc).run nsstest(s3dc)
REASON: _StringException: _StringException: ERROR setpwent: NSS_STATUS=-1  1 (nss_errno=0)
ERROR getpwent: NSS_STATUS=-1  1 (nss_errno=0)
ERROR endpwent: NSS_STATUS=-1  1 (nss_errno=0)
ERROR setgrent: NSS_STATUS=-1  1 (nss_errno=0)
ERROR getgrent: NSS_STATUS=-1  1 (nss_errno=0)
ERROR endgrent: NSS_STATUS=-1  1 (nss_errno=0)
ERROR Non existent user gave error -1
ERROR Non existent uid gave error -1
ERROR Non existent group gave error -1
ERROR Non existent gid gave error -1
total_errors=10

FAILED (1 failures, 0 errors and 0 unexpected successes in 0 testsuites)

metze

Autobuild-User(master): Stefan Metzmacher <metze@samba.org>
Autobuild-Date(master): Fri Jun 15 20:24:11 CEST 2012 on sn-devel-104

docs-xml: vfs_gpfs: add comment "per share option"

Signed-off-by: Stefan Metzmacher <metze@samba.org>

docs-xml: vfs_gpfs: fix typo

Signed-off-by: Stefan Metzmacher <metze@samba.org>

docs-xml: add gpfs:acl option to vfs_gpfs man page

Signed-off-by: Stefan Metzmacher <metze@samba.org>

s3:vfs_gpfs: add "gpfs:acl" option

With "gpfs:acl=no" you can pass the acl calls to the next SMB_VFS module.

Based on a patch from Hans-Dieter Schuster <hans-dieter.schuster@ts.fujitsu.com>

Pair-Programmed-With: Stefan Metzmacher <metze@samba.org>

dbwrap: Remove an unnecessary ZERO_STRUCT

We assign the only struct member one line down

Signed-off-by: Stefan Metzmacher <metze@samba.org>

s3-winbindd: fix the build of idmap_ad modules.

Guenther

Autobuild-User(master): Günther Deschner <gd@samba.org>
Autobuild-Date(master): Fri Jun 15 18:16:11 CEST 2012 on sn-devel-104

s3-lib: Fix conversion of lib/events.c to modern tevent names

This corrects an error in 8e31d97c8b62d34aff5d52bfe46dbcc5805dae03.

Andrew Bartlett

Autobuild-User(master): Andrew Bartlett <abartlet@samba.org>
Autobuild-Date(master): Fri Jun 15 16:25:20 CEST 2012 on sn-devel-104

dbwrap: dbwrap_trans_store_uint32->dbwrap_trans_store_uint32_bystring

Signed-off-by: Michael Adam <obnox@samba.org>
Autobuild-User(master): Michael Adam <obnox@samba.org>
Autobuild-Date(master): Fri Jun 15 14:20:04 CEST 2012 on sn-devel-104

dbwrap: dbwrap_trans_store_int32->dbwrap_trans_store_int32_bystring

Signed-off-by: Michael Adam <obnox@samba.org>

dbwrap: dbwrap_trans_change_int32_atomic->dbwrap_trans_change_int32_atomic_bystring

Signed-off-by: Michael Adam <obnox@samba.org>

dbwrap: dbwrap_change_int32_atomic->dbwrap_change_int32_atomic_bystring

Signed-off-by: Michael Adam <obnox@samba.org>

dbwrap: dbwrap_trans_change_uint32_atomic->dbwrap_trans_change_uint32_atomic_bystring

Signed-off-by: Michael Adam <obnox@samba.org>

dbwrap: dbwrap_change_uint32_atomic->dbwrap_change_uint32_atomic_bystring

Signed-off-by: Michael Adam <obnox@samba.org>

dbwrap: dbwrap_store_uint32->dbwrap_store_uint32_bystring

Signed-off-by: Michael Adam <obnox@samba.org>

dbwrap: dbwrap_fetch_uint32->dbwrap_fetch_uint32_bystring

Signed-off-by: Michael Adam <obnox@samba.org>

dbwrap: dbwrap_store_int32->dbwrap_store_int32_bystring

Signed-off-by: Michael Adam <obnox@samba.org>

dbwrap: dbwrap_fetch_int32->dbwrap_fetch_int32_bystring

Signed-off-by: Michael Adam <obnox@samba.org>

s3-build: Do not write loadparm generated files into the build tree

We need to keep these files away from where waf might see them.

Andrew Bartlett

Autobuild-User(master): Andrew Bartlett <abartlet@samba.org>
Autobuild-Date(master): Fri Jun 15 11:10:14 CEST 2012 on sn-devel-104

s3-lib: Convert lib/events.c to modern tevent names

docs: document new server role values

s3-auth: rework default auth methods around the lp_server_role() parameter

To cover all the enum values, ROLE_ACTIVE_DIRECTORY_DOMAIN_CONTROLLER
is mapped to the samba4 auth module, and this is no longer required to
be specified in fileserver.conf.

Andrew Bartlett

lib/param: Use server role = 'standalone server' to be consistant with member server

standalne is left as an alias.

Andrew Bartlett

lib/param: make security=domain and security=ads conflict with being a DC

This simplifies our supported configurations down to those that we test and expect
to work.  security=domain and domain logons = yes has never made much sense, and
security=ads and domain logons = yes was only ever used in early experiments for
our AD support using smbd.

The correct way to be an AD DC is to set "server role = active directory domain controller"

Andrew Bartlett

lib/param: Create a seperate server role for "active directory domain controller"

This will allow us to detect from the smb.conf if this is a Samba4 AD
DC which will allow smarter handling of (for example) accidentially
starting smbd rather than samba.

To cope with upgrades from existing Samba4 installs, 'domain
controller' is a synonym of 'active directory domain controller' and
new parameters 'classic primary domain controller' and 'classic backup
domain controller' are added.

Andrew Bartlett

s3-auth: Merge SEC_DOMAIN and SEC_ADS cases in creating the default auth module list

s3-auth: Fix system info3 return to be just SID_NT_SYSTEM

The SID for the SYSTEM token should be a fixed value, and not the
administrator.  Note however that it will be replaced by the SID of
sec_initial_uid() by the create_local_token() code.  Fixing this
requires fixes the other parts of the code that cannot cope with a
token of just SID_NT_SYSTEM.

Andrew Bartlett

s3-auth: Fix system token generation not to dereference pointer as an integer

This continues on from commit caaebb455cf955f66c2f662c53998c480cb2d6c9
which is marked as being part of bug #8944, ldapsam:trusted and ipasam
and an additional fix for bug #8567
(0528cb5f3a15b72dcb34ece21a3ffb3e7b8d6eb9).

The problem here was that the primary_gid was simply the pointer result
of dom_sid_parse_talloc() cast to a uint32_t (found by the IRIX cc on
the build farm).

Andrew Bartlett

s3-auth: Give the SYSTEM token all privileges

s3:smb2_server: remember the request_time on an incoming request

metze

Autobuild-User(master): Stefan Metzmacher <metze@samba.org>
Autobuild-Date(master): Fri Jun 15 09:17:33 CEST 2012 on sn-devel-104

s3:smbd: remember the request_time on an incoming request

metze

heimdal:lib/hdb: <config.h> needs to be the first header

This should fix build problems on AIX.

metze

auth.idl: mark confidential attributes as [noprint]

We should allow NDR_PRINT_DEBUG() to log them.

TODO: we could add some more magic which logs it at level 100.

metze

s3:vfs: change files_struct.fnum from int to uint64_t

Signed-off-by: Stefan Metzmacher <metze@samba.org>
Autobuild-User(master): Stefan Metzmacher <metze@samba.org>
Autobuild-Date(master): Fri Jun 15 05:22:41 CEST 2012 on sn-devel-104

s3:smbd: change trans2.c to use fsp_fnum_dbg() for fsp->fnum logging.

Signed-off-by: Stefan Metzmacher <metze@samba.org>

s3:smbd: change smb2_write.c to use fsp_fnum_dbg() for fsp->fnum logging.

Signed-off-by: Stefan Metzmacher <metze@samba.org>

s3:smbd: change smb2_setinfo.c to use fsp_fnum_dbg() for fsp->fnum logging.

Signed-off-by: Stefan Metzmacher <metze@samba.org>

s3:smbd: change smb2_read.c to use fsp_fnum_dbg() for fsp->fnum logging.

Signed-off-by: Stefan Metzmacher <metze@samba.org>

s3:smbd: change smb2_notify.c to use fsp_fnum_dbg() for fsp->fnum logging.

Signed-off-by: Stefan Metzmacher <metze@samba.org>

s3:smbd: change smb2_lock.c to use fsp_fnum_dbg() for fsp->fnum logging.

Signed-off-by: Stefan Metzmacher <metze@samba.org>

s3:smbd: change smb2_ioctl.c to use fsp_fnum_dbg() for fsp->fnum logging.

Signed-off-by: Stefan Metzmacher <metze@samba.org>

s3:smbd: change smb2_getinfo.c to use fsp_fnum_dbg() for fsp->fnum logging.

Signed-off-by: Stefan Metzmacher <metze@samba.org>

s3:smbd: change smb2_flush.c to use fsp_fnum_dbg() for fsp->fnum logging.

Signed-off-by: Stefan Metzmacher <metze@samba.org>

s3:smbd: change smb2_find.c to use fsp_fnum_dbg() for fsp->fnum logging.

Signed-off-by: Stefan Metzmacher <metze@samba.org>

s3:smbd: change smb2_close.c to use fsp_fnum_dbg() for fsp->fnum logging.

Signed-off-by: Stefan Metzmacher <metze@samba.org>

s3:smbd: change smb2_break.c to use fsp_fnum_dbg() for fsp->fnum logging.

Signed-off-by: Stefan Metzmacher <metze@samba.org>