s3:registry: implement values_need_update and subkeys_need_update in the smbconf backend

It simply calls to the regdb functions.
This fixes a caching issue uncovered by recent changes.

s3:registry: return error when Key does not exist in regdb_fetch_values_internal()

s3:smbd: comment the lp_load call in reload_services()

SQUASH s3:registry: improve and fix race in the regtorture tool

s3:waf-build: add the regtorture tool to the build

Pair-Programmed-With: Gregor Beck <gbeck@sernet.de>

s3:registry: make reg_delete_path() delete the path recursively.

Pair-Programmed-With: Gregor Beck <gbeck@sernet.de>

regtorture: fix exit code

regtorture: flush partial lines only if num_procs==1

regtorture: cleanup logging

regtorture: use DEBUG/DEBUGADD to log progress

regtorture: remove old key Case2

regtorture: remove unused function

regtorture: time creation of key

regtorture: feature

regtorture: fork

regtorture: case2 values within different keys

regtorture: case1 values within the same key

regtorture: WIP

regtorture: add to Makefile

TODO: start adding a s3 registry torture/benchmark program.

s3:registry: add functions to conveniently create registry_values

s3:registry: silence net_deletekey_recursive

WERR_BADFILE may not be an error for the caller because the result is the same.

s3:registry: compile reg_create_path() & reg_delete_path()

TMP: add a script to test concurrent net registry setvalue commands

TMP: add a script for testing concurrent "net registry createkey" commands

TMP: s3:selftest: don't fork spoolss daemon and so on

selftest: Don't log stdout for smbd/nmbd/winbindd.

This reverts commit ea95e0967b33d75acc960b5308a667e956ba4f29.

The intent of that change was to prevent error messages from
logfile creation before smb.conf was read. The deamons log to
stdout initially by default anyways. They call setup_logging
to change that to the real logging destination. Originally,
these were called too early. With the previous changes, the
daemons only setup logging after the config has been read
completely, so the final log destination is determined.

The logging to standard out has more disadvantages in selftest:
* All the log going to stdout makes it difficult to see the
  important messages from test.
* The log files become much less readable without the debug headers.
* Running make test with high daemon debug level
  (e.g. SMBD_OPTIONS=-d10) creates unbearable load on the
  subunit formatter. log level 10 is actually not useable.

s3:smbd: move startup log message down to directly after setup_logging

So the startup log message goes to the log file (again), as the first message.

s3:smbd: move setup_logging() down to after config has been loaded completely

The initial logging goes to standard out. If the log file is changed by the
config, but the compiled-in log-directory is not accessible (or does not exist),
this patch prevents the error messages due to access denied to the log files.

s3:winbindd: move setup_logging() and startup message down to after config has been loaded completely

The initial logging goes to standard out. If the log file is changed by the
config, but the compiled-in log-directory is not accessible (or does not exist),
this patch prevents the error messages due to access denied to the log files.

s3:nmbd: move setup_logging and startup message down after the config has been read completely

The initial logging goes to standard out. If the log file is changed by the
config, but the compiled-in log-directory is not accessible (or does not exist),
this patch prevents the error messages due to access denied to the log files.

selftest: make the knownfail patterns for the driver_info_winreg more specific

Autobuild-User: Michael Adam <obnox@samba.org>
Autobuild-Date: Wed May  2 11:23:26 CEST 2012 on sn-devel-104

s4-provision: Fix up --use-s3fs to create the directory for xattr.tdb

Autobuild-User: Andrew Bartlett <abartlet@samba.org>
Autobuild-Date: Wed May  2 04:45:05 CEST 2012 on sn-devel-104

s4-wintest: --use-s3fs in wintest

s4-provision: Fix --use-s3fs to parse correctly

testsuite/libsmbclient: Remove unused and expensive-to-link testsuite

This testsuite never got off the ground, and unlike the other
libsmbclient tests, it is not integrated into make test, has no driver
script we could integrate.

As it has been in this state for 10 years, and adding it to the compile
did not find any link-time issues (particularly in comparison to the
link-time cost for so many individual binaries), I am now removing them.

The libsmbclient examples are seperate to this, and remain in
examples/libsmbclient.

Andrew Bartlett

selftest: 'store dos attributes = yes' is now set in fileserver.conf

As such, there is no need to set it or the permissions-based mappings here as well.

Andrew Bartlett

s4-provision: set 'dcerpc endpoint servers' but not 'vfs objects'

The VFS objects are now set in the fileserver.conf, but this is only read by smbd, so
the provision-time smb.conf needs to turn off the extra Samba4 DCE/RPC services.

Andrew Bartlett

file_server: set 'store dos attributes = yes'

This means we do not need the old permissions-based mappings.

Andrew Bartlett

selftest: run more raw.samba3 against secshare simple file server

This allows these tests to run in an environment where they can pass,
as they fail when ACL support is turned on in smbd.

Andrew Bartlett

Autobuild-User: Andrew Bartlett <abartlet@samba.org>
Autobuild-Date: Wed May  2 02:51:27 CEST 2012 on sn-devel-104

selftest: Run smbtorture tests being run against s3dc against plugin_s4_dc as well

selftest: Do not start samba4 srvsvc in plugin_s4_dc mode

selftest: add hooks required for printing to Samba4.pm

selftest: mark samba3.raw.samba3checkfsp as flapping on plugin_s4_dc

This fails on my Fedora 16 workstation, but passes on sn-devel.

Andrew Bartlett

selftest: mark samba3.raw.acls.inheritance(plugin_s4_dc) as flapping

This seems to succeed on sn-devel, but fails in a local make test on
my workstation.

Andrew Bartlett

selftest: add knownfail entries for plugin_s4_dc tests

selftest: change knownfail to cope with running plugin_s4_dc as well

file_server: use embedded srvsvc

file_server: Use the embedded winreg server

file_server: use embedded ntsvcs server

file_server: use embedded eventlog server

file_server: forward dssetup, but use embedded svcctl for s3fs

selftest: Use same pattern for path to share as Samba3.pm

This helps as we declare tests that were previously targetted at Samba3 only.

Andrew Bartlett

selftest: Add hideunread share to plugin_s4_dc

selftest: run plugin_s4_dc with 'acl_xattr xattr_tdb streams_depot' VFS modules

selftest: prepare to run smbtorture tests against plugin_s4_dc

selftest: attempt to test samba3hide in a different environment

This should ensure that the samba3hide test is still run and passes,
in a non-ACLed environment.

Andrew Bartlett

selftest: Enable ACL testing against the s3dc environment

Previously, ACL tests were skipped and the correct modules for ACL
testing were not loaded.

The addition of a knownfail entry for raw.samba3* tests is due to an
inconsitancy between the behaviour with and without ACL modules loaded
- posix chown calls appear to be ignored in this mode.

Andrew Bartlett

s3-smbd: Use security_session_user_level() rather than nt_token_check_sid()

This allows the unix.whoami test to pass when configured as part of the AD DC.

The struct auth_session_info is slightly different in the AD DC configuration
when using auth_samba4.  In particular, there is a distinction between Guest
and Anonymous logins.

Andrew Bartlett

s3:torture fix flakey testcase

don't put database into /tmp, use lp_private_dir() to put
it into the selftest prefix

Autobuild-User: Christian Ambach <ambi@samba.org>
Autobuild-Date: Wed May  2 00:57:05 CEST 2012 on sn-devel-104

s3:selftest run LOCAL-IDMAP-TDB-COMMON in make test

Autobuild-User: Christian Ambach <ambi@samba.org>
Autobuild-Date: Tue May  1 11:07:08 CEST 2012 on sn-devel-104

s3:torture: add idmap_tdb_common test code

s3:winbindd/idmap_tdb: use idmap_tdb_common code

s3:winbindd/idmap_tdb2: fix logic error in set_mapping_action

fix an endless loop

s3:winbindd/idmap_tdb2: use idmap_tdb_common code

s3:winbindd/autorid use idmap_tdb_common code in autorid

- use common logic for the allocation pool
- add a idmap_tdb style 1on1 mapping for non-domain SIDs
  like Everyone (S-1-1-0)

s3:winbindd add idmap_tdb_common file to store common code of TDB idmap backends

s3:util add sid_check_is_wellknown_builtin()

move VERSION to alpha21

Autobuild-User: Andrew Bartlett <abartlet@samba.org>
Autobuild-Date: Tue May  1 08:16:38 CEST 2012 on sn-devel-104

prepare WHATSNEW for alpha20 and mark as release

s4-upgradedns: Update serverdn with only the attributes that have changed

This fixes the issue of ldb 'Operations Error' when trying to modify
hasPartialReplicaNCs attribute.

Autobuild-User: Amitay Isaacs <amitay@samba.org>
Autobuild-Date: Tue May  1 05:28:04 CEST 2012 on sn-devel-104

Fix bug #8873 - self granting privileges in security=ads.

Autobuild-User: Stefan Metzmacher <metze@samba.org>
Autobuild-Date: Tue May  1 01:04:46 CEST 2012 on sn-devel-104

Fix the loop unrolling inside resolve_ads(). If we don't get
an IP list don't use interpret_string_addr(), as this only
returns one address, use interpret_string_addr_internal()
instead.

Autobuild-User: Jeremy Allison <jra@samba.org>
Autobuild-Date: Mon Apr 30 23:21:16 CEST 2012 on sn-devel-104

Protect all of the name resolution methods from returning null addrs. Ensure all returns go through remove_duplicate_addrs2().

Fix convert_ss2service() to filter out zero addresses.

Fix remove_duplicate_addrs2 to do exactly what it says. Previously it could leave zero addresses in the list.

s4:samldb LDB module - homogenize LDB search attributes arrays

First they do not need to be "static" any longer since we have abandoned
asynchronous result handling (where global variables have been important).
In addition add some "const" in order to protect us from unwanted writes.

Reviewed-by: Andrew Bartlett
Autobuild-User: Matthias Dieter Wallnöfer <mdw@samba.org>
Autobuild-Date: Mon Apr 30 16:46:20 CEST 2012 on sn-devel-104

s4-libnet: Add mem_ctx to libnet_rpc_groupdel calls (bug #8889)

Autobuild-User: Andrew Bartlett <abartlet@samba.org>
Autobuild-Date: Mon Apr 30 14:41:36 CEST 2012 on sn-devel-104

s4-libnet: Add mem_ctx to libnet_rpc_groupadd calls (bug #8889)

s4-libnet: Add mem_ctx to libnet_rpc_usermod calls (bug #8889)

s4-libnet: Add mem_ctx to libnet_rpc_userdel calls (bug #8889)

s4-libnet: Add mem_ctx to libnet_rpc_useradd calls (bug #8889)

s4-libnet: Add mem_ctx to libnet_rpc_groupinfo calls (bug #8889)

s4-libnet: Add mem_ctx to libnet_DomainClose calls (bug #8889)

s4-libnet: Add mem_ctx to libnet_DomainOpen calls (bug #8889)

s4-libnet: Add mem_ctx to libnet_Lookup calls (bug #8889)

net: Let get*sid return error from passdb init

When initialize_password_db returns an error this means that the SID
stored in the backend cannot be read. Return this error directly
instead of creating a random SID through get_global_sam_sid.

Autobuild-User: Volker Lendecke <vl@samba.org>
Autobuild-Date: Mon Apr 30 13:07:20 CEST 2012 on sn-devel-104

passdb: Do not panic in initialize_password_db

A call to initialize_password_db leads to smb_panic in case the backend
returns an error. All callers to initialize_password_db check the return
value, so this code path should return the status instead of calling
smb_panic.

Move the call to smb_panic from pdb_get_methods_reload pdb_get_methods
to get it out of the initialize code path.  This allows printing the
proper error message for 'net getlocalsid' which is much nicer than
printing the panic stack trace.

s3-auth_samba4: use new_server_id_task() to allocate server id values

This is rather than just picking a random number out of the air.

Andrew Bartlett

Autobuild-User: Andrew Bartlett <abartlet@samba.org>
Autobuild-Date: Mon Apr 30 11:29:34 CEST 2012 on sn-devel-104

s3-lib Add a way to allocate the task_id value in server_id

This safely allocates the task_id so that when we have multiple event
contexts, they can each have their own messaging context, particularly
for the imessaging subsystem under source4.

Andrew Bartlett

s4-messaging: Fill in the whole server_id in all use cases

This started per https://bugzilla.samba.org/show_bug.cgi?id=8872#c4
and avoids any possible collision with a different process.

We also need to ensure that across a Samba installation on a single
node that id.vnn is the same.  Samba4 previously used 0, while Samba3
used NONCLUSTER_VNN.  When a message is sent between these 'different'
nodes, the error NT_STATUS_INVALID_DEVICE_REQUEST is raised.

Andrew Bartlett

s4-torture: convert samba3misc tests to use torture_failure and torture_assert

This helps us when these tests fail, as subunit-formatted failures can
be declared as knownfail entries, and show up correctly in the make
test output.

Andrew Bartlett

Autobuild-User: Andrew Bartlett <abartlet@samba.org>
Autobuild-Date: Mon Apr 30 08:34:52 CEST 2012 on sn-devel-104

s4-torture: move samba3 tests to use torture helper functions

s4-torture: Move various samba3 tests to the torture_suite_add_1smb_test wrapper

s4:samldb LDB module - implement "fSMORoleOwner" attribute protection

This is a very essential attribute since it references to various domain
master roles (PDC emulator, schema...) depending on which entry it has
been set. Incautious modifications can cause severe problems.

Autobuild-User: Andrew Bartlett <abartlet@samba.org>
Autobuild-Date: Mon Apr 30 02:04:24 CEST 2012 on sn-devel-104

s4:dsdb/common/util.c - samdb_is_pdc() - fail if the "fSMORoleOwner" attribute has not been set

Add some debug for FOOBAR return case as they are hard to diagnose

Autobuild-User: Matthieu Patou <mat@samba.org>
Autobuild-Date: Sun Apr 29 09:08:15 CEST 2012 on sn-devel-104

dsdb: more RELAX to DBCHECK control shift so that only dbcheck can do uncontrolled changes

dsdb: change control from relax to dbcheck

Comment indicate that this is needed by dbcheck only and it permits
other projects to push broken schema and remain undetected

dns server: move very verbose debug to higher level 2 -> 8