s4-join: fixed SPNs, invocationId and dnshostname and python join

- we need the GN/ SPN for replication.
- fixed the string form of the invocationId
- lowercase the dnshostname

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-join: switch over to the new DC join in make test

samba-tool: deprecate samba-tool vampire command

s3: Make proper use of sid_check_is_in_xx routines

Autobuild-User: Volker Lendecke <vlendec@samba.org>
Autobuild-Date: Fri Nov  5 15:35:59 UTC 2010 on sn-devel-104

s3: Fix a typo

s3: Remove some duplicate prototypes

socket_wrapper: fill in sa.sa_len if the system supports it

metze

Autobuild-User: Stefan Metzmacher <metze@samba.org>
Autobuild-Date: Fri Nov  5 14:40:00 UTC 2010 on sn-devel-104

s4-join: fixed secure_channel_type

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

Autobuild-User: Andrew Tridgell <tridge@samba.org>
Autobuild-Date: Fri Nov  5 13:24:32 UTC 2010 on sn-devel-104

s4-join: don't print all the NDR packets by default

s4-cldap: print all the DNS servers found

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-ldb: much more memory efficient msg filtering

this ensures we don't leave unnecessary attributes in returned ldb
objects

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-drs: reduce the memory usage of the getncchanges server

we now keep just a list of GUIDs around between getncchanges calls,
instead of an entire db search. This makes the overhead of having a
pending getncchanges call much smaller.

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-kerberos Mention the remote address we fail to contact the KDC on

s4-ldb: show the reason for module initialization failure

s4: net -> samba-tool

s4-join: added DC join to the python join code

this will replace the old vampire code

s4-pydrs: added rodc option to python drs replication

s4-pydsdb: added DsReplicaAttribute()

this allows us to form a DsReplicaAttribute structure from python

pidl: use a union assignment instead of memmove

this means we don't lose type checking

Pair-Programmed-With: Jelmer Vernooij <jelmer@samba.org>

s4:password_hash LDB module - fix indentation

Autobuild-User: Matthias Dieter Wallnöfer <mdw@samba.org>
Autobuild-Date: Fri Nov  5 12:31:28 UTC 2010 on sn-devel-104

s3: Allow disabling of mdns registrations

Autobuild-User: Volker Lendecke <vlendec@samba.org>
Autobuild-Date: Fri Nov  5 11:24:41 UTC 2010 on sn-devel-104

fix in_screen so that it works on os that don't chdir to $PWD

That's the case on freebsd 7.2

Signed-off-by: Stefan Metzmacher <metze@samba.org>
Autobuild-User: Stefan Metzmacher <metze@samba.org>
Autobuild-Date: Fri Nov  5 09:27:19 UTC 2010 on sn-devel-104

tsocket: fill in sa.sa_len if the system supports it

metze

ldb:ldb.h - reorder extended operations list

We always define the controls and operations with a comment block. The data
structure definitions lie a bit below.

Autobuild-User: Matthias Dieter Wallnöfer <mdw@samba.org>
Autobuild-Date: Fri Nov  5 08:44:14 UTC 2010 on sn-devel-104

s4:dsdb/drepl_notify: reuse dreplsrv_notify_operation structures

Otherwise we'll requeue the same notify events on and on.

(gdb) p *((struct dreplsrv_service *) 0x1b52190)->ops.notifies
$8 = {prev = 0xe4cb30, next = 0x1a25440, service = 0x1b52190, uSN = 123905,
source_dsa = 0x164c100, is_urgent = false, replica_flags = 29}
(gdb) p *((struct dreplsrv_service *) 0x1b52190)->ops.notifies->next
$9 = {prev = 0x80e000, next = 0x1b7bf70, service = 0x1b52190, uSN = 123589,
source_dsa = 0x1a2d930, is_urgent = false, replica_flags = 29}
(gdb) p *((struct dreplsrv_service *) 0x1b52190)->ops.notifies->next->next
$10 = {prev = 0x1a25440, next = 0x1d0c310, service = 0x1b52190, uSN = 1587,
source_dsa = 0x13d3210, is_urgent = false, replica_flags = 29}
(gdb) p *((struct dreplsrv_service *) 0x1b52190)->ops.notifies->next->next->next
$11 = {prev = 0x1b7bf70, next = 0x1ba1420, service = 0x1b52190, uSN = 123905,
source_dsa = 0x164c100, is_urgent = false, replica_flags = 29}
(gdb) p *((struct dreplsrv_service *)
0x1b52190)->ops.notifies->next->next->next->next
$12 = {prev = 0x1d0c310, next = 0x1c43510, service = 0x1b52190, uSN = 123589,
source_dsa = 0x1a2d930, is_urgent = false, replica_flags = 29}
(gdb) p *((struct dreplsrv_service *)
0x1b52190)->ops.notifies->next->next->next->next->next
$13 = {prev = 0x1ba1420, next = 0xed97b0, service = 0x1b52190, uSN = 1587,
source_dsa = 0x13d3210, is_urgent = false, replica_flags = 29}
(gdb) p *((struct dreplsrv_service *)
0x1b52190)->ops.notifies->next->next->next->next->next->next
$14 = {prev = 0x1c43510, next = 0xe4ce80, service = 0x1b52190, uSN = 123905,
source_dsa = 0x164c100, is_urgent = false, replica_flags = 29}

We can reuse this operations, while they're not yet started.

metze

Autobuild-User: Stefan Metzmacher <metze@samba.org>
Autobuild-Date: Fri Nov  5 07:15:04 UTC 2010 on sn-devel-104

s4/auth: Add logon_parameters to authenticate_username_pw

We need to be able to set the logon parameters in the same way as in the
ntlm server so we can handle openldap simple authentication call correctly.

Autobuild-User: Anatoliy Atanasov <anatoliy@samba.org>
Autobuild-Date: Fri Nov  5 06:32:43 UTC 2010 on sn-devel-104

s4/test: Added test for simple bind with machine account

Samba4 returns error on simple bind, when we do it using openldap
simple_bind_s api.

talloc: Add python talloc module, move convenience functions to it.

Autobuild-User: Jelmer Vernooij <jelmer@samba.org>
Autobuild-Date: Fri Nov  5 02:48:21 UTC 2010 on sn-devel-104

talloc: rename pytalloc.c to pytalloc_util.c

waf: Put private libraries in a separate directory when building.

Thanks to Tridge for pointing out what exactly I had to change. :-)

wafsamba: Use project name variable rather than hardcoding 'samba4'.

Suggested-By: Andrew Tridgell <tridge@samba.org>

wafsamba: Drop private library prefix when installing private libraries
to a custom path.

wafsamba: Support expanding variables in LIBDIR/PRIVATELIBDIR variables.

Add --disable-rpath-private-install flag.

Add --with-privatelibdir build option.

samba_utils: Use LIBDIR rather than assuming it is set to $prefix/lib.

selftest: Allow some tests to output empty subunit data.

s4-ldap_server Don't DEBUG() at level 2 every time a caller disconnects

Autobuild-User: Andrew Bartlett <abartlet@samba.org>
Autobuild-Date: Fri Nov  5 00:12:37 UTC 2010 on sn-devel-104

s4: don't run etags over .inst files

Autobuild-User: Andrew Tridgell <tridge@samba.org>
Autobuild-Date: Thu Nov  4 22:51:06 UTC 2010 on sn-devel-104

compression: added a simple lzxpress test

compression: fixed an uninitialised data but in lzxpress

s3: Remove the use of cli_send_trans from cli_get_fs_full_size_info

Autobuild-User: Volker Lendecke <vlendec@samba.org>
Autobuild-Date: Thu Nov  4 22:08:53 UTC 2010 on sn-devel-104

s4:ldap.py/passwords.py - just use objectclass "user" for users

Autobuild-User: Matthias Dieter Wallnöfer <mdw@samba.org>
Autobuild-Date: Thu Nov  4 21:09:00 UTC 2010 on sn-devel-104

s3: Remove an unused prototype

Autobuild-User: Volker Lendecke <vlendec@samba.org>
Autobuild-Date: Thu Nov  4 17:44:09 UTC 2010 on sn-devel-104

s4:dsdb/objectclass_attrs: not all objects have delete protected attributes as must contain

Before we got the following error, while starting samba after a
'samba-tool vampire':

Failed to store repsFrom - objectclass_attrs: delete protected attribute
'objectSid' on entry 'DC=ForestDnsZones,DC=alpha,DC=sz,DC=salzgitter-ag,DC=lab'
missing!

metze

Autobuild-User: Stefan Metzmacher <metze@samba.org>
Autobuild-Date: Thu Nov  4 17:01:59 UTC 2010 on sn-devel-104

s4:dsdb/samdb: optimize samldb_prim_group_change()

We should only do searches when we have to.

metze

s4:dsdb/common: fix memory leak in samdb_ntds_settings_dn()

fetch and set should use the same name!

metze

s4:dsdb/kcc: fix memory leak in kcctpl_copy_output_edges()

metze

s3-waf: add check for httpConnect and httpConnectEncrypt.

Guenther

Autobuild-User: Günther Deschner <gd@samba.org>
Autobuild-Date: Thu Nov  4 14:10:40 UTC 2010 on sn-devel-104

s4-ldb_module.h: use LDB error code for ldb_error() macro rather than LDB_DEBUG_FATAL

We end up calling ldb_error_at() which expects an LDB error,
but LDB_DEBUG_FATAL is not such code. It is actually equal to LDB_SUCCESS.

Thus the effect is that we report a *fatal* error, but return
LDB_SUCCESS in many places.

Autobuild-User: Kamen Mazdrashki <kamenim@samba.org>
Autobuild-Date: Thu Nov  4 12:57:33 UTC 2010 on sn-devel-104

s4-devel: Verify prefixMap is saved correctly in LDB on disk

urgent_replication: forbid empty subunit output.

Autobuild-User: Jelmer Vernooij <jelmer@samba.org>
Autobuild-Date: Thu Nov  4 12:13:47 UTC 2010 on sn-devel-104

selftest: Allow some tests to output empty subunit data.

s4-dsdb Fix urgent_replication test not to set an invalid userAccountControl

A userAccountControl value of 0 or 1 is invalid, you must include one of
the account types.

Andrew Bartlett

urgent_replication: Fix syntax error.

s4-dsdb: use LDB_FLAG_MOD_REPLACE for isDeleted

isDeleted could have been set to FALSE previously

Autobuild-User: Andrew Tridgell <tridge@samba.org>
Autobuild-Date: Thu Nov  4 10:18:10 UTC 2010 on sn-devel-104

s4-dsdb: use LDB_FLAG_INTERNAL_DISABLE_SINGLE_VALUE_CHECK in dsdb

when we are creating linked attributes with multiple values (some
deleted), use LDB_FLAG_INTERNAL_DISABLE_SINGLE_VALUE_CHECK to disable
that checking.

s4-ldb: implement LDB_FLAG_INTERNAL_DISABLE_SINGLE_VALUE_CHECK

this disables the single value checking for one attribute. It is much
more specific than a general RELAX control, and also more efficient. I
think we should try to have more precise overrides like this, rather
than using RELAX as a general purpose override

s4-ldb: don't load modules from the same directory twice

this prevents samba dying if you do a 'make install' while it is
running. Otherwise the make install changes the inode numbers of the
modules in the modules directory, causing them to reload, which causes
multiple modules of the same name to try and load

s4-ldb: honor controls on search in ldbedit

Move the checking of single valued attributes back into the tdb backend.

The backend is the only place that can do this properly. It makes no
sense to do it anywhere else. As a result of it moving out of the
backend we ended up with some bugs causing multiple values in single
valued attributes (eg. isDeleted), which can really damage the
inregrity of the database.

For the override of single valued values needed for deleted linked
attributes we should use attribute flags.

This reverts commit 1949864417f3d10fb8996df7db259649eb777271.

s4-test: fixed quoting in deletetest.py

s4-auth: unconditionally set previous_ev

we need the caller to know when the previous_ev was NULL

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

debug: fixed default debug settings

this fixes -d in our command line tools (eg. samba-tool)

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

Autobuild-User: Andrew Tridgell <tridge@samba.org>
Autobuild-Date: Thu Nov  4 01:48:15 UTC 2010 on sn-devel-104

Speed test with user objects

This is a modest speed test that aims to show performance difference
between Samba4 vs MS Active Directory. It should be used with Samba-style
credentials and no arguments like every other python unittest.

Signed-off-by: Anatoliy Atanasov <anatoliy.atanasov@postpath.com>
Autobuild-User: Anatoliy Atanasov <anatoliy@samba.org>
Autobuild-Date: Thu Nov  4 00:11:20 UTC 2010 on sn-devel-104

librpc/ndr: use new strlen_m_ext_term() in ndr_charset_length(): fix bug #7594

This fixes the calculation of needed space for destination unicode charset.

Autobuild-User: Michael Adam <obnox@samba.org>
Autobuild-Date: Wed Nov  3 23:28:07 UTC 2010 on sn-devel-104

lib/util/charset/charconv: clarify comments in next_codepoint_convenience_ext()

Give the unicod U+<hexnumber> notation of the codepoints
referred to in the comments. Also reformat the comments some.

lib/util/charset/util_unistr: clarify the comment header for strlen_m().

lib/util/charset/util_unistr: add strlen_m_ext_term() - variant of strlen_m_ext() counting terminator

lib/util/charset/util_unistr: add strlen_m_ext that takes input and output charset

The function calculates the number of units (8 or 16-bit, depending
on the destination charset), that would be needed to convert the
input string which is expected to be in in src_charset encoding
to the dst_charset (which should be a unicode charset).

lib/charcnv/util_unistr: add next_codepoint_ext() that accepts input charset.

next_codepoint() takes as string in CH_UNIX encoding and returns the
unicode codepoint of the next (possibly multibyte) character of the
input string.

The new next_codepoint_ext() function adds the encoding of the input
string as a parameter. next_codepoint() now only calls next_codepoint_ext()
with CH_UNIX als src_charset argument.

lib/charset/charcnv: rename a parameter of next_codepoint_convenience_ext() for clarity

lib/charset/charcnv: add next_codepoint_convenience_ext() that accepts input charset.

next_codepoint_convenience() takes as string in CH_UNIX encoding and returns the
unicode codepoint of the next (possibly multibyte) character of the
input string.

The new next_codepoint_convenience_ext() function adds the encoding of the input
string as a parameter. next_codepoint_convenience() now only calls
next_codepoint_convenience_ext() with CH_UNIX als src_charset argument.

s3:util_str: add strlen_m_ext_term() - variant of strlen_m_ext() counting terminator

s3:lib/util_str: add strlen_m_ext() that takes input and output charset

The function calculates the number of units (8 or 16-bit, depending
on the destination charset), that would be needed to convert the
input string which is expected to be in in src_charset encoding
to the dst_charset (which should be a unicode charset).

s3:lib/util_str: clarify the comment header for strlen_m().

s3:lib/charcnv: clarify comments in next_codepoint_ext()

(giving the unicod U+<hexnumber> notation of the codepoints
 referred to in the comments)

s3:lib/charcnv: rename a parameter for clarity in next_codepoint_ext()

s3:lib/charcnv: reformat comments in next_codepoint_ext()

s3:lib/charcnv: add next_codepoint_ext() that accepts input charset.

next_codepoint() takes as string in CH_UNIX encoding and returns the
unicode codepoint of the next (possibly multibyte) character of the
input string.

The new next_codepoint_ext() function adds the encoding of the input
string as a parameter. next_codepoint() now only calls next_codepoint_ext()
with CH_UNIX als src_charset argument.

util/charset: remove a duplicate comment.

This seems to have been copied twice from source3/ code.

build: a more portable way of finding waf in makefiles

this avoids using the non-portable shell command in makefiles

Autobuild-User: Andrew Tridgell <tridge@samba.org>
Autobuild-Date: Wed Nov  3 22:44:59 UTC 2010 on sn-devel-104

selftest/tests.py: Fix typos.

Autobuild-User: Jelmer Vernooij <jelmer@samba.org>
Autobuild-Date: Wed Nov  3 19:55:55 UTC 2010 on sn-devel-104

provision: Look for in source setup data first, in case an older version
of samba 4 is installed in the system.

samba: Make in_source_tree() public.

urgent_replication: Fix formatting

possibleinferiors: Report subunit.

possibleinferiors: Fix formatting.

replace/wscript: add size checks for stdint.h types

metze

Autobuild-User: Stefan Metzmacher <metze@samba.org>
Autobuild-Date: Wed Nov  3 19:12:39 UTC 2010 on sn-devel-104

replace/wscript: do the size checks directly after the type checks

metze

replace/wscript: define bool to int instead of off_t

metze

replace/wscript: check for uint8_t

metze

s4:dsdb/samldb: avoid nested unindexed searches in samldb_member_check()

With 20000 objects in the database it's no fun to add members...

metze

s4:dsdb/tests/python/sam.py: test with member: <SID=...>

metze

s4:descriptor LDB module - a bit cleanup

- add more OOM checks where needed
- remove message of an error which cannot happen anymore (since now the
  structural objectclass is always checked by the objectclass LDB module)

Autobuild-User: Matthias Dieter Wallnöfer <mdw@samba.org>
Autobuild-Date: Wed Nov  3 18:30:52 UTC 2010 on sn-devel-104

s4:sam.py - assign valid values when performing the special-attributes constraint checks

The problem is that s4 per construction does the checks in a different order. It
first checks for validity (pre-operation trigger in samldb LDB module) and then
for the schema (post-operation trigger in objectclass_attrs LDB module).
constraints (post-operation trigger

s4:samldb LDB module - improve the "get_single_valued_attr" call and move it into "ldb_modules/util.c"

It will be used by other LDB modules as well.

s4:objectclass_attrs LDB module - introduce the hardcoded delete-protected attributes list

This is a hardcoded list in AD of attributes, which can never be deleted.

pydsdb: Import testtools before subunit for those that don't have
testtools installed.

Also, cleanup some imports.

Autobuild-User: Jelmer Vernooij <jelmer@samba.org>
Autobuild-Date: Wed Nov  3 17:47:55 UTC 2010 on sn-devel-104

filter-subunit: Add --fail-on-empty argument.