s4 upgradeprovision: add an option to force the rebuilding of FS ACLs on sysvols share

Signed-off-by: Jelmer Vernooij <jelmer@samba.org>

s4 unittests: add unit tests for upgradehelpers

The functions tested are:
* construct_existor_expr
* search_constructed_attrs_stored

Signed-off-by: Jelmer Vernooij <jelmer@samba.org>

s4 upgradeprovision: Add function for searching stored constructed attributes

Signed-off-by: Jelmer Vernooij <jelmer@samba.org>

s4: Using control bypassoperational allow the logic of this module to be bypassed for some given attributes

Signed-off-by: Jelmer Vernooij <jelmer@samba.org>

ldb: add a new control bypassioperationnal

Signed-off-by: Jelmer Vernooij <jelmer@samba.org>

s4 upgradeprovision: additional restyling

Signed-off-by: Jelmer Vernooij <jelmer@samba.org>

s4 upgradeprovision: Restyle imports

Signed-off-by: Jelmer Vernooij <jelmer@samba.org>

s4 upgradeprovision: Move functions to helpers and improve code

Among code improvement the most significant part is that we now
compare DN object instead of their string representation. It allow
 to better react to case an white space difference.
Some new move objects have been added (ie. System into well known
security principals).

This will allow more unittesting

Signed-off-by: Jelmer Vernooij <jelmer@samba.org>

s4 python: Update unit tests related to create secrets

Signed-off-by: Jelmer Vernooij <jelmer@samba.org>

s4: Add comments about setup_secrets

Comments are to inform people that this function should not handle
transaction within the function as it is mainly used in provision and
that we want to commit secrets only if all the action on secrets have
worked.

Signed-off-by: Jelmer Vernooij <jelmer@samba.org>

s4 upgradeprovision: Add documentation on the update process

Signed-off-by: Jelmer Vernooij <jelmer@samba.org>

s4 python: Add unit tests for upgradeprovision related stuff

Signed-off-by: Jelmer Vernooij <jelmer@samba.org>

s4 upgradeprovision: move some functions to upgradehelpers for unit tests

Signed-off-by: Jelmer Vernooij <jelmer@samba.org>

s4 upgradeprovision: Fix style

  reformat *_update_samdb functions
  fix_partition_sd
  rebuild_sd
  update_samdb
  update_privilege
  update_machine_account_password
  update_gpo

Signed-off-by: Jelmer Vernooij <jelmer@samba.org>

s4 upgradeprovision: Use replPropertyMetaData for better guess

Rework upgradeprovision in order to get more precise updates when doing upgrade provision.
This is done through the use of replPropertyMetaData information and raw information revealed by the
"reveal" control.
The code has been changed also to avoid double free error when changing the schema (for old provision).
Checking of SD is done a bit more cleverly as we compare the different parts for an ACL separately.
Fix logic when upgrading provision without replPropertyMetaData infos
Also for old provision (pre alpha9) do not copy the usn range because data here will be wrong

Signed-off-by: Jelmer Vernooij <jelmer@samba.org>

s4 upgradeprovision: Reformat attributes lists and reformat parser

Signed-off-by: Jelmer Vernooij <jelmer@samba.org>

s4 upgradeprovision: Inform about new dns dynamic update if the provision didn't have it

Signed-off-by: Jelmer Vernooij <jelmer@samba.org>

s4 upgradeprovision: fix style

  add_deletedobj_containers
  add missing objects
  clean add-mising
  handle special add + dump denied

Signed-off-by: Jelmer Vernooij <jelmer@samba.org>

s4 upgrade provision: Refactor code to do all the modification within 1 transaction

Signed-off-by: Jelmer Vernooij <jelmer@samba.org>

s4 upgrade provision: Fix style in gen_dn_index

Signed-off-by: Jelmer Vernooij <jelmer@samba.org>

s4 Add functions related to ldb manipulation when doing upgrade

Signed-off-by: Jelmer Vernooij <jelmer@samba.org>

s4 provision: Add information about provisioned usn range in sam.ldb

Signed-off-by: Jelmer Vernooij <jelmer@samba.org>

python: Use samba.tests.TestCase, make sure base class tearDown and
setUp methods are called, fix formatting.

acl: Clean up formatting, use samba.tests.TestCase.

pyrpc: Fix reference counting when using secondary connections.

samba.tests.samba3: Clean up imports, use new TestCase class.

ntacls: Raise TestSkipped rather than writing to stdout.

python/passwords: Clean up imports.

samba.tests: Provide TestCase and TestSkipped classes (from testtools) for convenience.

pytdb: Cleanup formatting.

dsdb_schema_info: Clean up imports, avoid using rpc test case for
non-RPC tests.

python: Remove unnecessary Ldb.set_invocation_id - use SamDB.set_invocation_id instead.

pyglue: Trim dependencies.

pyglue: Remove unused code.

pydsdb: Move write_prefixes_from_schema_to_ldb to pydsdb from pyglue.

pydsdb: Move dsdb_set_schema_from_ldb to pydsdb.

pydsdb: Move set_schema_from_ldif function to pydsdb from pyglue.

libcli: Fixed a segfault in security_acl_dup when the acl is NULL.

This can happen when duplicating a security descriptor that is missing either sacls or dacls.

Signed-off-by: Matthias Dieter Wallnöfer <mdw@samba.org>

s4:provision: don't use hardcoded 'Default-First-Site-Name'

metze

Signed-off-by: Matthias Dieter Wallnöfer <mdw@samba.org>

s4:instancetype LDB module - "instanceType" is single-valued - MS-ADTS 3.1.1.5.2.2

s4:torture/ldap/basic.c - add more error code/messages tests

And now we do match at least the LDAP error code (the WERROR one does still
differ from Windows - we will see how to change that).

s4:ldap_backend.c - more customisations to match Windows Server error behaviour on renames

ldb:ldb_dn.c - don't support "ldb_dn_add_child" on a "" parent DN

It's meaningless and could end in DNs as "cn=child,".

s4:python/samba/__init__.py - now specify the "relax" control for the delete operation before the provision

ldb:api.py - add a small test for the enhanced "py_ldb_delete" syntax

ldb:python bindings - some small cleanup & improvements in "py_ldb_add"

Also to make it similar to "py_ldb_delete".

ldb:python bindings - let also "py_ldb_delete" support controls

s4:objectclass LDB module - disable delete operations when "SYSTEM_FLAG_DISALLOW_DELETE" is specified

s4:rootdse LDB module - strip trailing whitespaces

s4:rootdse LDB module - protect add and delete operations on the rootdse entry

s4:rootdse LDB module - Return "UNWILLING_TO_PERFORM" when no attribute fits on a change

s4:rootdse LDB module - refactor error messages

Fix indentations, use "set_errstring" when no "asprintf" functionality required.

s4:objectclass LDB module - use the old DN when displaying error messages

s4:objectclass LDB module - add a better message when the parent DN is invalid

s4:objectclass LDB module - add an error message when someone tries to add entries without objectclasses

s4:objectclass LDB module - handle the case when there is a retry to add the root basedn

This isn't quitted with a normal "NO_SUCH_OBJECT" (parent not found) but with a
very special referral: one with the DN itself and the hostname is the last
component value of the DN.

wafsamba: Use octal modes directly rather than constants.

heimdal/waf: Initial work on making it possible to use the system
heimdal again.

Still missing are the detection of the right Heimdal version and
linking (unresolved symbols at the moment).

dsdb: Fix includes when building against system ldb.

wafsamba: Allow manually specifying cflags/ldflags for system libraries.

wafsamba: Use convenience function to find out if bundling is necessary.

dsdb: Use Samba includes so _PUBLIC_ is defined.

wafsamba: Factor out functions to determine if a bundled library should not or
must be used.

dsdb: Make module ops struct for each module public.

s4-python: Use sys.prefix rather than guessing prefix from current
file path.

wafsamba: Fix typo: noextenion -> noextension.

waf: Add missing dependency (so header paths are inherited) on talloc to internal python lib.

samba4: Build libreplace as builtin library by default so it doesn't end
up in $prefix/lib.

replace: Avoid hiding symbols when libreplace is builtin, as this
appears to cause unresolved symbols at the moment.

ldb: Remove dependency on self.

wafsamba: Use BUILTIN_LIBRARY() rather than relying on side-effects.

ldbsamba: Build as subsystem to prevent infinite recursion issues.

s4: Don't build a $prefix/lib/libpython.so, as such a library often already exists :-)

s4-waf: Don't include pytalloc when embedding python.

s4: Build more python convenience files as subsystems rather than as python modules.

ldb: Don't build pyldb_util as python module but rather as subsystem, so as to not delute /usr/lib.

ldb-samba: Don't build pyldbsamba as python module but rather as subsystem, so as to not delute /usr/lib.

web_server: Don't build wsgi support as python module but rather as
subsystem so we don't install it into /usr/lib.

s4:cldap_server/rootdse.c - simplify the code a bit

Remove "NULL"-content variables and use "NULL"s directly as arguments. Add some
linewraps where needed.

s4:cldap_server.c - here the counter variable should be "signed"

Second part of fix converting prs_XX struct and functions to talloc. Remove unneeded prs_mem_free calls.

Jeremy.

Signed-off-by: Simo Sorce <idra@samba.org>

Convert the prs_XXX struct and functions to use talloc instead of malloc. Passes valgrind and make tests for client and server. Second version of this patch after splitting up at Simo's request. Patch to follow will delete extraneous prs_mem_free() calls.

Jeremy.

Signed-off-by: Simo Sorce <idra@samba.org>

unittest: Change the name of the base ldb test so that it can be easily called separatly

s4:ldap_backend.c - fix crash bugs when we got in error situations with "res" still set to "NULL"

s4:ldap_backend.c - fix a small error (use "ModifyResponse" rather than "AddResponse")

s4:objectclass LDB module - move "mem_ctx" initialisation lower

Saves us some "talloc_free"s on error cases

s4:dcesrv_netr_DsRAddressToSitenamesExW - fix the detection of the address family in a better way

Obviously the last attempt wasn't enough. Now we do really only read the first
byte in the address buffer which on little endian transmission does always
contain the address family (MS-NRPC 2.2.1.2.4.1).
This should now be working platform-independently.

s4:torture/rpc/netlogon.c - make sure that the address family is set in little endian in the "AddressToSitenames" tests

s4:torture/rpc/netlogon.c - activate "AddressToSitenames" tests which do run against s4

Use #defined constant instead of "false" to be clearer about intent.

s3-selftest: fix locktest9 in make selftest.

Guenther

s3:configure: use cc for linking on IRIX and fix shlib usage

s4:torture/rpc/remote_pac: use dcerpc_netr_LogonSamLogon_r() instead of dcerpc_netr_LogonSamLogon()

metze

selftest/Samba4: make the naming of passwords more consistent

metze

selftest/Samba4: let localfl2000dc use 127.0.0.5

Now we have 127.0.0.6-10 available for more servers.

metze

selftest/Samba4: let localvampiredc use 127.0.0.2

metze

selftest: use 127.0.0.11-16 for the client

This gives more room for servers.

Note: socket_wrapper currently only supports 127.0.0.1-16
      see MAX_WRAPPED_INTERFACES.

metze

selftest/Samba3: remove unused create_clientconf() function

metze

pidl/wscript: build manpages in build group 'final'

So that waf --target=smbtorture doesn't build them

metze

pidl/wscript: only try to build pidl manpages if pod2man is available

metze