r21496: A number of ldb control and LDAP changes, surrounding the
'phantom_root' flag in the search_options control

- Add in support for LDB controls to the js layer
- Test the behaviour
- Implement support for the 'phantom_root' flag in the partitions module
- Make the LDAP server set the 'phantom_root' flag in the search_options control
  - This replaces the global_catalog flag passed down as an opaque pointer
- Rework the string-format control parsing function into
  ldb_parse_control_strings(), returning errors by ldb_errorstring()
  method, rather than with printf to stderr
- Rework some of the ldb_control handling logic

Andrew Bartlett
(This used to be commit 2b3df7f38d7790358dbb4de1b8609bf794a351fb)

r21495: Pass the VM .vmx file path to wintest_2k3_dc.sh on the command line.
(This used to be commit 06bf94781e688c57f625161722e0a25af5a8d2e3)

r21494: Fix 'make wintest' to support command-line changes to 'vm-get-ip.pl' and the revertsnapshot() shell function.
Restructure existing tests to work with the recent build farm changes.
Added windows DC testing to 'make wintest'.
Some improvements and generalization to the way errors are handled.
(This used to be commit de9687404e802d7e7629c9d03f496d3c5bd30397)

r21493: Patch from Ronnie Sahlberg. From his email:

This patch changes the function name and signature that pidl generate
a call for when dissecting a policy handle to a new, more
PIDL-friendly function.

It also stores the procedure name in a new pinfo-> field so that
helpers that want to know the procedure name can finbd out easily.

The new PIDL helper function for policy handles use this new field and will show
   OpenHKU(<...>)
       opened in frame X
   closed in frame Y
for the policy handle.
(This used to be commit 0c4fb484f0e515eb4055c58cd73ca798a8c46d69)

r21492: Finish work on nested type support in EJS.
(This used to be commit e88055b76a3d81fcc40773d880f76a1c3f53fbf0)

r21491: Verify that the DNS domain name is filled in on GUID searches in the
RPC-CRACKNAMES test.

Andrew Bartlett
(This used to be commit 7773f23e89340c459a0028a4c36b869d95ed8eb1)

r21490: Add some tests for the EJS code
More work on supporting nested types in EJS.
(This used to be commit cb7faeab88952b59add1c814e1881ee9bb88b7ec)

r21489: Remove accidently committed test idl.
(This used to be commit 268915961d0b2766eb9a4e106fdf5cfdf68de07e)

r21488: Ignore autogenerated file.
(This used to be commit 12d45cede3eec1db0b5bf9a24498944ff1412835)

r21487: Fix warning when using anonymous types, initial work on nested type support in ejs.
(This used to be commit a396c5de12cd958fe0457fa5372e539132ad7ed9)

r21486: Remove spurious semicolons.
(This used to be commit d2307f3f7e364a2d17f48301a921a532ae313986)

r21485: Remove obsolete smb_interfaces code (discussed with tpot).
(This used to be commit 92acdb380a02cae59b563e70ae0c18ab537cdb4c)

r21484: Fix Needed* for nested datastructures.
(This used to be commit ec3c9ebfd0de287411ce399967409f902653d5c6)

r21477: Remove unnecessary properties.
(This used to be commit 17d1da19474de3c501b532aec74b1fb93ed3ae3f)

r21476: Add another test for EnumValue.
(This used to be commit 8370b19ebbd4a7d2296fc50b267c8720b5a0a50b)

r21475: Updated vm_get_ip.pl to read the name of the environment variable containing the VM path from the command line.

wintest_2k3_dc.sh is a new script which will run a group of tests against a Windows 2003 DC.
The group of tests to run should be passed in on the command line.
These tests were taken from the source/script/tests/test_win2k3.sh script.

tests_win2k3_dc.sh is a new script intended to be called by 'make wintest_dc' (patch to source/main.mk forthcoming).
This is intended to provide the basis for Windows 2003 DC testing in the build farm.

In order to use these tests, you should have a DC setup as a VM in VMware server.

This process is not automated yet, but can be done by following a few steps:

1. Prepare a Windows 2003 VM in VMware Server by downloading and extracting:
svn://svn.samba.org/home/svn/samba/branches/SOC/bnh/vm_setup.tar.gz
and following the instructions in the README file.

2. Copying the following file onto the filesystem of the VM configured in step 1:
svn://svn.samba.org/home/svn/samba/branches/SOC/bnh/dcpromo_2k3dc_newdomain.answerfile.txt
and use it to promote the VM.
For example: "dcpromo /answer:<path to answerfile>"

3. On the system you are testing from, set the environment variable WINTESTCONF, and SRCDIR.
WINTESTCONF should point to the path of a test_win.conf file modified for your environment.
There's a default copy in source/script/tests/win/test_win.conf.
SRCDIR should point to the base of your Samba 4 source tree.

At that point, you should be able to run wintest_2k3_dc.sh by passing a group of tests at the command line.
For example: source/script/tests/win/wintest_2k3_dc.sh RPC-DRSUAPI

Sorry for the long-winded commit message!
(This used to be commit a0d1c690de2e58eddf5517eb974e09c2bba23605)

r21473: Added new parameters to test_win.conf that apply only to the DC tests.

Made the restore_snapshot() routine in wintest_functions.sh more robust.
This change would have broken the existing windows tests, if they weren't already broken.

Will fix those once the windows DC tests are committed and working in the build farm.
(This used to be commit 76c6c5b8de58618ac013f5b26a6aafc98e15f57c)

r21470: generate Primary:WDigest blob with precalculated digest-md5 hashes:

see http://technet2.microsoft.com/WindowsServer/en/library/717b450c-f4a0-4cc9-86f4-cc0633aae5f91033.mspx?mfr=true
for how the hashes are supposed to be (but w2k3 doesn't to some correctly...)

this is a verify nice tool to test the hash genaration, but
you need to add support for "" realm strings...
http://fresh.t-systems-sfr.com/unix/src/www/httpauth-0.6.tar.gz:a/httpauth-0.6/tools/mkha1.c

metze
(This used to be commit 26d51741b6aa54c47ee039ac14390f1f0ee51e30)

r21466: run the LDAP-UPTODATEVECTOR test in make test

metze
(This used to be commit 74ded55787d6dee55e87bd55a4f152fa2e8dbeab)

r21465: the LDAP-UPTODATEVECTOR test shows that the replUpToDateVector
doesn't contain an entry for the local invocation_id

metze
(This used to be commit 4bd0ddeb80b0a6695a457434594c0240c8880d9f)

r21464: add parsing code for the Primary:WDigest blob

the hashes are

MD5("user:realm:password") which a lot of user and realm combinations

see:
http://fresh.t-systems-sfr.com/unix/src/www/httpauth-0.6.tar.gz:a/httpauth-0.6/tools/mkha1.c

metze
(This used to be commit f764941af6a13b59ea604b4b5c275da802b3e061)

r21463: add a LDAP-UPTODATEVECTOR test, it shows that the "replUpToDateVector"
isn't updated by originating changes, and that there's no entry for the local
dsa invocation_id

metze
(This used to be commit a9b757dddc496b705d04ee73f52b7f4f16e972e9)

r21459: Remove name argument, more refactoring.
(This used to be commit fad03f6c51b40bca2b60036835b998056fec0faa)

r21458: Prepare for generating separate primitives/deferred code.
(This used to be commit efaf476337e536740068334ee9af01eb6ce97c4f)

r21457: Cope with anonymous nested types in the NDR layer. This doesn't handled
named nested types yet, as these have to be registered.
(This used to be commit 9b0416b5d06286c81c73477a24cb591fd4b23d18)

r21456: Allow anonymous and non-anonymous nested structures/unions/enums/bitmaps to be
used in the Samba 4 NDR parser.

This doesn't actually work yet as Parse::Pidl::NDR doesn't handle nested
data structures yet, but it's a first step.
(This used to be commit 8aac1fc98b812a0668bc0d803d1e2831396b455e)

r21455: Fix a bug in our handling of conformant arrays. The conformant array was
always pushed, even if just the buffers part of a struct had to be pushed.

Pull was not affected.
(This used to be commit ffe387920473fb365f740942098085eb40299c84)

r21451: if kerberos is requested ( -k yes ), we should use authentificated connections

metze
(This used to be commit 426238eb45f0cc41d99961ac554c2528fd8e96f5)

r21448: return the same error codes as a windows KDC

metze
(This used to be commit e4d69b83dcee2f50e95690d84f95d9e69acf858e)

r21447: make handling of replying e_data more generic

love: please merge this

metze
(This used to be commit 3e4ff2de9c57170d275adf54ffa00ac81253a714)

r21445: Apply tdb_parse_record Tridges error return, merge to 3_0_25 and 4_0
(This used to be commit afe7d7855841066b88859976ac748cbf438a9a9f)

r21443: Refactor some of the NDR code in preparation of nested data structure support.
(This used to be commit 1afedaad44d5d375ebd277017ec61bf9b5741d8a)

r21442: Allow more flexible data structure names.
(This used to be commit 5b091c5d75f8580f10bc6a61a0e2203abec98784)

r21441: create a union for the PrimaryKerberosBlob content
so that ndr_pull will fail if version isn't 3 and we notice
if the format changes...

metze
(This used to be commit 91f7a094cfd04405c224b9579146d814cba507b3)

r21440: Support different variables in environments.
(This used to be commit 1702a663ba4ce6f5803e265a969f2be564fce1e3)

r21439: fix compiler warnings

metze
(This used to be commit ac347d7aa588574f6a18229083569608327874d8)

r21438: create the PAC element in the same order as w2k3,
maybe there's some broken code in windows which relies
on this...

love: can you merge this to heimdal?

metze
(This used to be commit b64abf9113a939308dc9e92ff7ddaad7be6ab551)

r21437: Cherrypick typelib tests.
(This used to be commit 9ba814d033412150d383d3687f02775d4efc618e)

r21436: Choose the TGT session key enctype also by checking what enctypes
the krbtgt hdb entry provides.

We need to make sure other KDC's with the same hdb backend data
can accept the TGT. (w2k and w2k3 don't support aes256-cts-hmac-sha1-96 (18)
session keys.)

Love: I'm not sure if this is the correct way of doing it...

metze
(This used to be commit 5840f50d8954e95a7071a90a1c4dcce9ae05d77c)

r21435: ntPwdHash,lmPwdHash,sambaNTPwdHistory,sambaLMPwdHistory and krb5Key
are not used anymore

metze
(This used to be commit 9e91bd64492c45ee333f5e797d4d492378600356)

r21434: - get rid of "krb5Key"
- use "sambaPassword" only as virtual attribute for passing
  the cleartext password (in unix charset) into the ldb layer
- store des-cbc-crc, des-cbc-md5 keys in the Primary:Kerberos
  blob to match w2k and w2k3
- aes key support is disabled by default, as we don't know
  exacly how longhorn stores them. use password_hash:create_aes_key=yes
  to force creation of them.
- store the cleartext password in the Primary:CLEARTEXT blob
  if configured

TODO:
 - find out how longhorn stores aes keys
 - find out how the Primary:WDigest blob needs to be constructed
   (not supported by w2k)

metze
(This used to be commit e20b53f6feaaca2cc81ee7d296ca3ff757ee3953)

r21433: Get rid of the COM support code - it's not used and unmaintained. We can
always bring it back if we need to. This code was getting in the way while
refactoring.

Add some tests for TDR.

Get rid of typedef in lib/registry/tdr_regf.idl and fix the
TDR code to be able to deal with it.
(This used to be commit 1ad0f99a439f0d52a735b391bf9900d50171aca5)

r21432: Handle properties on tagged types in TDR.
(This used to be commit 0d739c7e9807682cd5bc433c3e4f2d4bbe4f1b69)

r21431: More tests, work on support in wireshark for tagged types.
(This used to be commit a91e624af22aae5b460ccf94d2540b8780f90070)

r21430: Support tagged types without typedef. This means:

struct foo {
 ...
};

in IDL will now work. This is the first step towards nested types and
using typedefs for partial types (such as "typedef int *bar;"), a requirement
for complex uses of represent_as().
(This used to be commit a716aa70f0c90898e6fcf57d63a2cf4c40e7d4df)

r21429: Fix the build.
(This used to be commit 88fbf9af24a346d3d99af32b8574507b0590846a)

r21428: Handle representation types in Needed().
(This used to be commit 34517c69e67d7eafa00e6fe0072bd04f074cdbde)

r21427: Add tests for Needed*(), in preparation of refactoring.
(This used to be commit a21e7b22ac99c66e2b23d0fa694a8a2ea6e7994e)

r21426: Add more spoolss tests.
(This used to be commit 8b31fba826e5e76031979755f9682a8da5c59148)

r21425: Add ReplyClosePrinter.
(This used to be commit 745d0eae1a0f681f6a08a7cc259834ddbb5fa023)

r21424: Add FindClosePrinterNotify.
(This used to be commit 0ed195f45fed12905278ba60eabe02a11b59eb90)

r21423: Extend testsuite, check that all bytes have been consumed. DsBind fails that test, so disabling it for now.
(This used to be commit d6026c2046a26f42ca0cd6ebf1f45488fbfb22e1)

r21422: Add IDL for EnumPrinterKey and RemoteFindNextPrinterChangeNotifyEx.
(This used to be commit 883df28d6ebb1993add95174fe2694154995354b)

r21421: Fix a memleak. This made tdb look considerably worse than necessary.

Volker
(This used to be commit 573ba38722e338fb4158dfda181308a1a736c5c0)

r21419: Give some more clue about what's going on
(This used to be commit 76b377d5ad5c115e5fbb24a10d543883f04283a6)

r21418: Return the ratio as well
(This used to be commit 56ed4499d69adf57a41632ba12cbfef383a35ab2)

r21416: add missing file
(This used to be commit 5d4dd136ed29c6418377eae1227cae53fc510356)

r21415: Add tests for spoolss and drsuapi. Still need to add validators.
(This used to be commit 61cb52b65b9be2fd09a5c5a02536600c0ac500f7)

r21414: Fill in IDL for ReplyOpenPrinter.
(This used to be commit 9e6d43c45cec24a391d8134a9c177461aabb3e6c)

r21413: fix pushing of supplementalCredentials

metze
(This used to be commit 18a5bf850bad9643e09e111d8c2c4e2c2efce989)

r21412: The last patch also incremented the seqnum when tdb_store failed. Not as bad
as not doing it at all, but needs fixing. Also simplify the logic, I had
missed the "goto out" at the end of the function.

Volker
(This used to be commit ed30a0ff602d0a1d4409bee4faf12b6979b5f4b8)

r21411: Add some simple tests for the wireshark NDR generator.
(This used to be commit 361977448210dfd889abca19b520cd259b9d0855)

r21410: We have to increment the sequence number also when tdb_update_hash()
succeeded. Found while testing the brlock seqnum patch.

Tridge, please check!

Volker
(This used to be commit e518c68fc5446304611d096ac2e3cab744734fc3)

r21408: Remove test that uses empty array.
(This used to be commit 33142f7646265a05892f69b52f04fac9a50af914)

r21407: auto set the len values

metze
(This used to be commit 307aabe0257559a9211f4f627cb38150a24dc40f)

r21406: add idl for parsing the 'Packages' and 'Primary:CLEARTEXT' elements
of supplementalCredentials

metze
(This used to be commit b708d0729e03a78868f18fd37c9a01d7c75c900e)

r21405: add support for [flag(STR_NOTERM|NDR_REMAINING)] string_array foo;

this is handles the content of the 'Packages' element in the supplementalCredetials

metze
(This used to be commit 07fe22f82ebe66464ef73274a109d1e21a0d7f0f)

r21404: packages just contain utf16 strings not guids:-)

metze
(This used to be commit 925f1f40cf8318d0a72fe3da958db52ccbf14b39)

r21403: Add netlogon tests.
(This used to be commit a620dc359476de9440f3b84dc8b45f569d103270)

r21395: fix comments

metze
(This used to be commit 97fc985bd062b6ad5a58dd6ce883a637043283a1)

r21392: - decode the salt utf16 string into a unix string
- fix parsing of Primary:Kerberos blob

metze
(This used to be commit c6fa95ef2263774901c8871396b4eec5b7409c5e)

r21391: add supporting for

uint16 size;
[relative,subcontext(0),subcontext_size(size),flag(STR_NOTERM|NDR_REMAINING)] string *string;

as

uint16 size;
[relative,charset(UTF16)] uint8 *string[size];

isn't supported by pidl yet...

metze
(This used to be commit 9fcfa658430f04658c692eb26db9280fda6e4e25)

r21390: move fetching the key version number into the function
which contrusts the keys...

later we need to get the key version number from the
"replPropertyMetaData" attribute entry to the (I assume)
the "unicodePwd" attribute.

msDs-KeyVersionNumber is a constructed attribute,
and is "1" when no "supplementalCredentials" is present.

we need to make some tests with a password change function
which don't give a cleartext to the server...

metze
(This used to be commit 9e4324221764c1413be34d5b14915a86740acc04)

r21389: give a better error when our parser hasn't consumed all data

metze
(This used to be commit 03b06398a405e491ce4e2bc91513a57e0d59466f)

r21386: Run all NDR tests in the buildfarm, import some functions from Samba3's IDL.
(This used to be commit 15a4b81ba0b5eeb25126a0b1a7bea7d3bf921ab2)

r21384: Change warning to pidl warning, fix uppercasing.
(This used to be commit a45a677084ba1bc63a8f74892c12ca6f0d9b5071)

r21381: dfs tests.
(This used to be commit 3ef8a6834df63a0bfa68996daea6432e98243d40)

r21380: add idl for parsing the Primary:Kerberos blobs
inside the supplementalCredentials attribute

w2k uses keys1 and keys2 where both seem identical
w2k3 only uses keys1 and num_keys2 = 0

the Salt is only stored once for all keys

the following keys are stored:
ENTYPE_DES_CBC_MD5 = 3
ENTYPE_DES_CBC_CRC = 1

metze
(This used to be commit 03d7d05e4fa607271f84878bc238e7cf0560bc67)

r21378: Add simple NDR epmap test.
(This used to be commit b29170c8eaafa3a573b0e26efecd6cacd68250b6)

r21377: More tests.
(This used to be commit f3680ba118d4de4c535ceabda69e3b9f00424cd6)

r21376: More tests.
(This used to be commit 2e2b15e3d258b66c3a150b97748ff6b4eed69a9a)

r21375: More lsa tests.
(This used to be commit 88fa90778a0e1f5efca08e5e6ba1b165399de30c)

r21374: lsa tests
(This used to be commit bfc2a1c50596ac3aee871de63fdd99362a65d7d8)

r21373: More tests.
(This used to be commit 83a47e30b59f5289cdcb68ba54aa236795bc42b2)

r21372: Tests, more tests! Some are still commented out, because the code they test is broken at the moment.
(This used to be commit 8f039a25cd75e4acdaec0afce3cc159b0abe99ec)

r21371: Ehmm I was reseting the wrong dataModel...
(This used to be commit 37484924bcf7a5a0cacafeefa060a56038000ef8)

r21368: Adapy Json to the new ldb functions return object, this
allow us to return meaningful erors back to swat
(This used to be commit 5fe63e1e87d225e2f142f9b58f4ba1debfc8767c)

r21367: Clear out the table with a deleted object contents after the record is deleted.
Could be confusing otherwise.
(This used to be commit 115a8658c647df1fdc8a38e555412e559065b890)

r21366: Until we have a schema enforcing module (which will make it
impossible to add object without an objectclass), we need to
use the default ldb search filter (an empty one), to retrieve
all objects, and all record contents.
(This used to be commit fab315bb8cf00d2df6276c4dece05e1644a210bf)

r21364: cosmetic change: it's nicer to use the KEYTYPE_ macro
for the keytype field...

metze
(This used to be commit e96aa8980097712d7666a85f17c7214486d99618)

r21363: fallback to fetch the KEYTYPE_ARCFOUR out of the "unicodePwd" attribute
when no krb5key attribute is present or it doesn't contain the KEYTYPE_ARCFOUR
key.

metze
(This used to be commit b4af29da700a71fe021c5f31cad31a494d884e07)

r21362: rename:

"ntPwdHash" => "unicodePwd"
"lmPwdHash" => "dBCSPwd"
"sambaLMPwdHistory" => "lmPwdHistory"
"sambaNTPwdHistory" => "ntPwdHistory"

Note: you need to reprovision after this change!

metze
(This used to be commit dc4242c09c0402cbfdba912f82892df3153456ad)

r21361: let samba3sam.js pass when we'll use unicodePwd for storing the nt hash

jelmer: what should this test really test?

metze
(This used to be commit c8d903b606afb5dd11b8f1048a36943db02370e0)

r21360: - put in the correct machine account password into test_secrets.ldb
- don't overwrite the passwords with 'test' as we now understand the windows
  format for the password hashes

metze
(This used to be commit 252a4d67020da19de44893349bd476ec88d5b746)

r21359: remove the rid encryption before storing the password hashes

We decided to store them plain in our ldb

metze
(This used to be commit ff13b21102641a308bd48a8efa6b94a98f567e15)

r21356: we have a function to get the sites dn
also it's not always under the domain dn

metze
(This used to be commit b8c940f1e2bbd65ed5d2f4279434dd526456ad8b)

r21355: work in child domains, CN=Configuration isn't always under the domain dn

metze
(This used to be commit cdfd4ee8e5202a3df1da2d82b592d8814a3209ba)

r21354: fix comment

metze
(This used to be commit 545f769c2fb29323f2fa06e076af894c0be678d0)

r21351: Change ldb ejs bindings return codes.
We were returning just true/false and discarding error number and string.

This checking probably breaks swat, will fix it in next round as swat
is what made me look into this as I had no way to get back error messages
to show to the users.

Simo.
(This used to be commit 35886b4ae68be475b0fc8b2689ca04d766661261)

r21350: Add more tests for the NDR layer of winreg. I actually discovered a pidl bug,
so there are still two tests commented out.
(This used to be commit b7f6ec5c1cf6f782991b0f4f05283d6da2c2dfe8)