s3:winbind add timeouts to winbind cache

This adds a timeout value to cache entries and the NDR records
in the winbind cache.

The previous approach of just comparing the sequence number has some issues,
e.g. when retrying a wbinfo -n operation for a user in a not yet trusted
domain was always failing even after the trusted domain was added.

The new approach compares sequence number and timeout value to
determine if a cache entry is still valid or not.

I increased the cache version number so an old cache will be wiped
automatically after upgrade.

s4:passwords.py - test empty password attributes behaviour

Autobuild-User: Matthias Dieter Wallnöfer <mdw@samba.org>
Autobuild-Date: Mon Nov  8 12:09:56 UTC 2010 on sn-devel-104

s4:password_hash LDB module - deleting password attributes is a little more complicated

s4:samdb_msg_find_old_and_new_ldb_val - rework

- don't crash when no values where specified
- return ERR_CONSTRAINT_VIOLATION on malformed messages
- only check for flags when we are involved in a LDB modify operation

s4:password_hash LDB module - clear the fact that a delete of password attributes isn't possible

s4:acl LDB module - define the delete passwords special case a bit better

s4:passwords.py - add another two failure cases

ldb:pyldb.c - "py_ldb_msg_element_get" - here we can safely use "unsigned int" for the element reference

We don't make use of "Py_List*" calls

Autobuild-User: Matthias Dieter Wallnöfer <mdw@samba.org>
Autobuild-Date: Mon Nov  8 11:21:27 UTC 2010 on sn-devel-104

ldb:pyldb.c - "py_ldb_contains" - return only "0" not found, "1" found, "-1" error

ldb:pyldb.c - most of the times "time_t" is defined as "long int"

Therefore use a signed long int for conversions.

http://stackoverflow.com/questions/471248/what-is-ultimately-a-time-t-typedef-to

ldb:pyldb.c - fix some "Py_ssize_t" output warnings

ldb:pyldb.c - use "Py_ssize_t" for counting list entries

This seems to be the most appopriate type

ldb:pyldb.c - fix indentation

s4:pydsdb.c - use "Py_ssize_t" for Python list counters

Seems to be the most appropriate type

s4:pydsdb.c - introduce Python 2.4 compatibility defines

s4:objectguid/repl_meta_data LDB module - deny "objectGUID" updates

Autobuild-User: Matthias Dieter Wallnöfer <mdw@samba.org>
Autobuild-Date: Mon Nov  8 10:36:50 UTC 2010 on sn-devel-104

s4:objectclass LDB module - no idea why we'd need the "objectGUID" here

s4:objectguid LDB module - make use of "dsdb_next_callback"

s4:drsuapi RPC server - writespn.c - fix indentations

s4-drs: allow bypass of writespn checking for some SPNs

this allows accounts (and in particular RODCs) to make SPN updates on
their own account if they take the form SERVICE/hostname

we may be able to remove this in the future after some changes in our
ACL checking for userPrincipalName

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

Autobuild-User: Andrew Tridgell <tridge@samba.org>
Autobuild-Date: Mon Nov  8 08:45:16 UTC 2010 on sn-devel-104

heimdal Add clock-skew handling to DCE-style GSSAPI

The clock skew handling was previously only on properly wrapped
GSSAPI, and was skipped for DCE-style.  This allows the ASN.1 errors
from the krb5_rd_req to suggest parsing as a kerberos error packet.

Andrew Bartlett

Autobuild-User: Andrew Tridgell <tridge@samba.org>
Autobuild-Date: Mon Nov  8 07:58:09 UTC 2010 on sn-devel-104

s4-auth Supply more useful error messages on Kerberos failure

The practice of returning only NT_STATUS_INVALID_PARAMETER hasn't
helped our users to debug problems effectivly, and so we now return
more errors and try and give a more useful debug message when then
happen.

Andrew Bartlett

s4-auth Fix typos in samba4 auth code

s4-dsdb Explain why we may not use the GC name in some situations.

This delicate balance caused us a bit of a puzzle when we could not work
out why an DC join failed with the new python scripts.

Andrew Bartlett

s4-selftest fix indentation

s4-repl: fixed replication notifications to RODCs

We need a separate source dsa list for RODCs, as they are not in the
repsFrom for our partitions, but are in the repsTo. This adds a new
'notifies' list, which contains all the source dsas for the DCs that
we should send notifies to, but which we don't replicate from

Autobuild-User: Andrew Tridgell <tridge@samba.org>
Autobuild-Date: Mon Nov  8 06:57:43 UTC 2010 on sn-devel-104

fix

s4-debug: lowered the debug level of some unimportant messages

s4-ldb: don't give an error if a module is already registered

this can happen when both the build and install paths are used to load
ldb modules

Autobuild-User: Andrew Tridgell <tridge@samba.org>
Autobuild-Date: Mon Nov  8 05:28:14 UTC 2010 on sn-devel-104

waf: go back to the previous method of handling .inst. rules

the change broke the library linkages for some library, as spotted by
Brad

waf: fixed the names of the installed libraries after the last change

Autobuild-User: Andrew Tridgell <tridge@samba.org>
Autobuild-Date: Mon Nov  8 02:31:18 UTC 2010 on sn-devel-104

s4-dns: ensure we get the right case on the grant rule for administrator

it may be 'Administrator' in the database, and bind match rules are
case sensitive

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

Autobuild-User: Andrew Tridgell <tridge@samba.org>
Autobuild-Date: Mon Nov  8 01:41:43 UTC 2010 on sn-devel-104

waf: fixed tabs/spaces for python3.0

Autobuild-User: Andrew Tridgell <tridge@samba.org>
Autobuild-Date: Mon Nov  8 00:55:13 UTC 2010 on sn-devel-104

waf: prevent us from modifying non-install libs during make install

we need to ensure that 'make install' does not change any of our build
libraries, and only changes the .inst.so libraries, otherwise doing a
make test in the build directory directly after a make install could
use the installed libraries, which would mean using the wrong
LDB_MODULES_PATH

this could cause the "unknown error" loading ldb modules when running
some commands directly after a make install

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-ldb: better error message when we try to register a module twice

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-pydrs: validate the DsGetNCChanges response

check that object_count matches up with first_object

s4-join: modify join behaviour according to domain level

Autobuild-User: Andrew Tridgell <tridge@samba.org>
Autobuild-Date: Sun Nov  7 23:32:16 UTC 2010 on sn-devel-104

s4-drs: allow override of the replica_flags

s4-dsdb: give the DN on a shema attribute failure

s4:ldap.py - add more "objectGUID" related tests

Autobuild-User: Matthias Dieter Wallnöfer <mdw@samba.org>
Autobuild-Date: Sun Nov  7 21:12:03 UTC 2010 on sn-devel-104

s4:objectguid LDB module - fix typo in output message

s4:objectguid LDB module - objectGUIDs cannot be specified on add operations

s4:upgradeprovision - remove some "recalculate_sd" uses

We need "recalculate_sd" only when no external "nTSecurityDescriptor" change
is performed. Otherwise the recalculation is performed automatically.

Autobuild-User: Matthias Dieter Wallnöfer <mdw@samba.org>
Autobuild-Date: Sun Nov  7 18:52:42 UTC 2010 on sn-devel-104

s4:descriptor LDB module - make the "nTSecurityDescriptor" attribute fully behave as in AD

- fix crash when provided "nTSecurityDescriptor" attribute is empty
- print out the correct error codes if it's provided multi-valued
- simplify the "recalculate_sd" control handling

s4:ldb_modules/util.c - "dsdb_get_single_valued_attr" - support the attribute fetch also on LDB add operations

We've to completely ignore the flags in that case.

Autobuild-User: Matthias Dieter Wallnöfer <mdw@samba.org>
Autobuild-Date: Sun Nov  7 11:10:23 UTC 2010 on sn-devel-104

ldb:ldb_pack.c - the "dn" attribute isn't allowed in the message part, only the "distinguishedName" one

Autobuild-User: Matthias Dieter Wallnöfer <mdw@samba.org>
Autobuild-Date: Sun Nov  7 10:11:02 UTC 2010 on sn-devel-104

s4:torture/dssync.c - remove unused variable

s4:descriptor LDB module - save a pointer to the request message on the temporary "ac" context

This prevents two calls of "ldb_msg_copy_shallow".

s4:descriptor LDB module - by "dsdb_next_callback" we don't need anymore the default operation callback implementations

Only customised ones still need to remain.

s4:descriptor LDB module - remove a bit pointless memory context

For only one operation we do not need an additional "mem_ctx". "ac" should be
enough (see for example the samldb LDB module).

s4:descriptor LDB module - remove a "ldb_msg_sanity_check" call

This check (the structural objectclass) is performed in the objectclass LDB
module.

s4:descriptor LDB module - don't ignore referrals if we are executing an ordinary external search operation

Referrals are valid results.

credentials: Lowercase library name,

Autobuild-User: Jelmer Vernooij <jelmer@samba.org>
Autobuild-Date: Sun Nov  7 01:48:44 UTC 2010 on sn-devel-104

ldbsamba: Lowercase library name.

samdb: Lowercase library name.

samdb: Make private (at least for the moment).

pytalloc: Make some arguments optional.

ldb:ldb_parse.c - "ldb_parse_hex2char" - always initialise "c"

Autobuild-User: Matthias Dieter Wallnöfer <mdw@samba.org>
Autobuild-Date: Sat Nov  6 21:04:58 UTC 2010 on sn-devel-104

s4:ldap.py - enhance the "distinguishedName" tests

The "dn" shortcut isn't supported by AD.

s4:update_keytab LDB module - we don't need to search for the "distinguishedName" attribute

Autobuild-User: Matthias Dieter Wallnöfer <mdw@samba.org>
Autobuild-Date: Sat Nov  6 20:08:28 UTC 2010 on sn-devel-104

s4:operational LDB module - "canonicalName" doesn't make use of the "distinguishedName" attribute

It uses the DN from the returned message

ldb:ldb_tdb.c - ltdb_check_special_dn - fix indentation

ldb:ldb_tdb.c - make "ltdb_add" more similar to "ltdb_modify"

And remove in "ltdb_add_internal" a cache loading call which has been present
twice.

s4:samr RPC server - "dcesrv_samr_RemoveMemberFromForeignDomain"

- Remove TODO comment: MS-SAMR 3.1.5.8.7 explicitly states:
  "The SamrRemoveMemberFromForeignDomain method removes a member from all
  aliases."

- Remove the search attributes since they aren't strictly needed.

Autobuild-User: Matthias Dieter Wallnöfer <mdw@samba.org>
Autobuild-Date: Sat Nov  6 18:07:57 UTC 2010 on sn-devel-104

s4:DRS-RPC-DSSYNC: don't try to decrypt secret attributes twice

dsdb_extended_replicated_objects_convert() already decrypts the
attributes in place.

This fixes the usage of --option="dssync:print_pwd_blobs=yes".

metze

Autobuild-User: Stefan Metzmacher <metze@samba.org>
Autobuild-Date: Sat Nov  6 13:30:16 UTC 2010 on sn-devel-104

s4-cldap: fixed debug message to match content

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

Autobuild-User: Andrew Tridgell <tridge@samba.org>
Autobuild-Date: Sat Nov  6 04:26:45 UTC 2010 on sn-devel-104

s4-join: fixed SPNs, invocationId and dnshostname and python join

- we need the GN/ SPN for replication.
- fixed the string form of the invocationId
- lowercase the dnshostname

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-join: switch over to the new DC join in make test

samba-tool: deprecate samba-tool vampire command

s3: Make proper use of sid_check_is_in_xx routines

Autobuild-User: Volker Lendecke <vlendec@samba.org>
Autobuild-Date: Fri Nov  5 15:35:59 UTC 2010 on sn-devel-104

s3: Fix a typo

s3: Remove some duplicate prototypes

socket_wrapper: fill in sa.sa_len if the system supports it

metze

Autobuild-User: Stefan Metzmacher <metze@samba.org>
Autobuild-Date: Fri Nov  5 14:40:00 UTC 2010 on sn-devel-104

s4-join: fixed secure_channel_type

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

Autobuild-User: Andrew Tridgell <tridge@samba.org>
Autobuild-Date: Fri Nov  5 13:24:32 UTC 2010 on sn-devel-104

s4-join: don't print all the NDR packets by default

s4-cldap: print all the DNS servers found

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-ldb: much more memory efficient msg filtering

this ensures we don't leave unnecessary attributes in returned ldb
objects

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-drs: reduce the memory usage of the getncchanges server

we now keep just a list of GUIDs around between getncchanges calls,
instead of an entire db search. This makes the overhead of having a
pending getncchanges call much smaller.

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-kerberos Mention the remote address we fail to contact the KDC on

s4-ldb: show the reason for module initialization failure

s4: net -> samba-tool

s4-join: added DC join to the python join code

this will replace the old vampire code

s4-pydrs: added rodc option to python drs replication

s4-pydsdb: added DsReplicaAttribute()

this allows us to form a DsReplicaAttribute structure from python

pidl: use a union assignment instead of memmove

this means we don't lose type checking

Pair-Programmed-With: Jelmer Vernooij <jelmer@samba.org>

s4:password_hash LDB module - fix indentation

Autobuild-User: Matthias Dieter Wallnöfer <mdw@samba.org>
Autobuild-Date: Fri Nov  5 12:31:28 UTC 2010 on sn-devel-104

s3: Allow disabling of mdns registrations

Autobuild-User: Volker Lendecke <vlendec@samba.org>
Autobuild-Date: Fri Nov  5 11:24:41 UTC 2010 on sn-devel-104

fix in_screen so that it works on os that don't chdir to $PWD

That's the case on freebsd 7.2

Signed-off-by: Stefan Metzmacher <metze@samba.org>
Autobuild-User: Stefan Metzmacher <metze@samba.org>
Autobuild-Date: Fri Nov  5 09:27:19 UTC 2010 on sn-devel-104

tsocket: fill in sa.sa_len if the system supports it

metze

ldb:ldb.h - reorder extended operations list

We always define the controls and operations with a comment block. The data
structure definitions lie a bit below.

Autobuild-User: Matthias Dieter Wallnöfer <mdw@samba.org>
Autobuild-Date: Fri Nov  5 08:44:14 UTC 2010 on sn-devel-104

s4:dsdb/drepl_notify: reuse dreplsrv_notify_operation structures

Otherwise we'll requeue the same notify events on and on.

(gdb) p *((struct dreplsrv_service *) 0x1b52190)->ops.notifies
$8 = {prev = 0xe4cb30, next = 0x1a25440, service = 0x1b52190, uSN = 123905,
source_dsa = 0x164c100, is_urgent = false, replica_flags = 29}
(gdb) p *((struct dreplsrv_service *) 0x1b52190)->ops.notifies->next
$9 = {prev = 0x80e000, next = 0x1b7bf70, service = 0x1b52190, uSN = 123589,
source_dsa = 0x1a2d930, is_urgent = false, replica_flags = 29}
(gdb) p *((struct dreplsrv_service *) 0x1b52190)->ops.notifies->next->next
$10 = {prev = 0x1a25440, next = 0x1d0c310, service = 0x1b52190, uSN = 1587,
source_dsa = 0x13d3210, is_urgent = false, replica_flags = 29}
(gdb) p *((struct dreplsrv_service *) 0x1b52190)->ops.notifies->next->next->next
$11 = {prev = 0x1b7bf70, next = 0x1ba1420, service = 0x1b52190, uSN = 123905,
source_dsa = 0x164c100, is_urgent = false, replica_flags = 29}
(gdb) p *((struct dreplsrv_service *)
0x1b52190)->ops.notifies->next->next->next->next
$12 = {prev = 0x1d0c310, next = 0x1c43510, service = 0x1b52190, uSN = 123589,
source_dsa = 0x1a2d930, is_urgent = false, replica_flags = 29}
(gdb) p *((struct dreplsrv_service *)
0x1b52190)->ops.notifies->next->next->next->next->next
$13 = {prev = 0x1ba1420, next = 0xed97b0, service = 0x1b52190, uSN = 1587,
source_dsa = 0x13d3210, is_urgent = false, replica_flags = 29}
(gdb) p *((struct dreplsrv_service *)
0x1b52190)->ops.notifies->next->next->next->next->next->next
$14 = {prev = 0x1c43510, next = 0xe4ce80, service = 0x1b52190, uSN = 123905,
source_dsa = 0x164c100, is_urgent = false, replica_flags = 29}

We can reuse this operations, while they're not yet started.

metze

Autobuild-User: Stefan Metzmacher <metze@samba.org>
Autobuild-Date: Fri Nov  5 07:15:04 UTC 2010 on sn-devel-104

s4/auth: Add logon_parameters to authenticate_username_pw

We need to be able to set the logon parameters in the same way as in the
ntlm server so we can handle openldap simple authentication call correctly.

Autobuild-User: Anatoliy Atanasov <anatoliy@samba.org>
Autobuild-Date: Fri Nov  5 06:32:43 UTC 2010 on sn-devel-104

s4/test: Added test for simple bind with machine account

Samba4 returns error on simple bind, when we do it using openldap
simple_bind_s api.

talloc: Add python talloc module, move convenience functions to it.

Autobuild-User: Jelmer Vernooij <jelmer@samba.org>
Autobuild-Date: Fri Nov  5 02:48:21 UTC 2010 on sn-devel-104

talloc: rename pytalloc.c to pytalloc_util.c

waf: Put private libraries in a separate directory when building.

Thanks to Tridge for pointing out what exactly I had to change. :-)

wafsamba: Use project name variable rather than hardcoding 'samba4'.

Suggested-By: Andrew Tridgell <tridge@samba.org>

wafsamba: Drop private library prefix when installing private libraries
to a custom path.

wafsamba: Support expanding variables in LIBDIR/PRIVATELIBDIR variables.

Add --disable-rpath-private-install flag.