s4: fix SD update and password change in upgrade script

- reserve a new Samba OID for recalculate SD control
- fix the update SD function
- fix handling of kvno in the update_machine_account_password function
- fix handling of handles in RPC winreg server

Signed-off-by: Andrew Tridgell <tridge@samba.org>

s4:WINREG RPC server - add another "talloc_unlink" in "DeleteKey"

Also here we waste memory - therefore free the pointless handle after the delete.

s4:WINREG RPC server - Reintroduce the free operation on "CloseKey"

Better use "talloc_unlink" here Since we could have more than one reference.

s4-smbtorture: more and stricter tests for printer and data keys in RPC-SPOOLSS.

Guenther

s4:provision.py - remove hardcoded SIDs and RIDs

After rework of the SDDL modules this is possible. In future: Never hardcode
them anymore! Always use the abbreviations.

s4:security/sddl - rework of the security descriptor abbreviations

- Reoder them
- Add some new ones (needed for the security descriptor in the provision script)

security.idl - Add some more wellknown SIDs/RIDs

s4:registry/util - Don't include the trailing '\0' in the internal data format but add it on the back-conversion to a string

As far as I know the registry library saves all data (including) strings without
the null termination. So do it also here in a similar way.

s4:net utility - add a notice for the "help" operation and format it's output of the command list better

s3-kerberos: fix the build on Mac OS X 10.6.2.

Guenther

s4:samba3.py - deactivate also the assertion on line 599

s3-kerberos: add a missing reference to authdata headers.

Guenther

s3-kerberos: do not include authdata headers before including krb5 headers.

Guenther

s3-spoolss: simplify _spoolss_EnumPrinterKey a little more.

Guenther

s4:winbind - Fix it another time up

The first fix attempt did break some configurations (incl. "make test").
This now is the right fix with the right comment.

s4:provision.py - cosmetic

s4:samba3.py (and test) - deactivate the tests until those parameters are fixed

s4:upgrade.py - Umlaut problem

s4:tests.sh - Make also here the change from "upgrade" to "upgrade_from_s3"

s3-kerberos: only use krb5 headers where required.

This seems to be the only way to deal with mixed heimdal/MIT setups during
merged build.

Guenther

misc: mark winreg_Data little-endian except for a REG_DWORD_BIG_ENDIAN.

Guenther

pidl: fix handling of output arguments in s3 client stubs.

a20e095 used (uint8_t) instead of (uint8_t *).

Guenther

s4:upgrade.py - rework to make the upgrade s3 -> s4 possible again

Able to read basic settings "workgroup", "realm", "netbios name" and the
function mode from the s3 "smb.conf" and use them for the provision of s4.

s4:upgrade_from_s3 - Fix message outputs

The quiet parameter was interpreted in the reverse manner.

s4:upgrade.py - the import of WINS databases don't seem to work always

Disable it for now until the cause has been found

s4:samba3.py - ignore comments in "smb.conf" files

s4:samba3.py - don't read those informations out from the TDB

At the moment those three calls are broken

s4:samba3.py - support the TDB version 3

s4:provision - Fix up the provision of "standalone" and "member" mode

Both modes weren't possible anymore since 1.) the secrets entry wasn't created,
2.) a lookup in winbindd was done using "lp_workgroup()" rather than
"lp_sam_name()" (since on the mentioned two configurations we use the netbios
name as domainname - and not the workgroup).

s4:provision.py - cosmetic output correction

s4:setup/provision - make the interactive mode work again

s4:WHATSNEW4.txt - Add also here a comment about the "upgrade_from_s3" script

s4:howto.txt - add a notice about the upgrade possibilities and fix line spaces

s4:upgrade script - rename it to "upgrade_from_s3" and do some rework

- Give a better name to the script
- Move it to the location where also "upgradeprovision" resides
- Fix up trailing whitespaces and tabs

s3-nsstest: drastically shrink size and dependencies of nsstest binary.

The size went down from 6.4M to 104K on my box.

Guenther

s4-install: old systems don't have sed -i

surprisingly, this failure came from SLES8. I didn't realise that the
-i option was so new!

s4-selftest: s4 passes all the SMB2-LOCK tests now

s4-torture: fixed error code for s4 in SMB2-LOCK test

s4 returns NETWORK_NAME_DELETED if you attempt to use an invalid tree connection
for a lock. This test (correctly I think) happens before we validate the file handle.
That implies that when you pass both a closed handle and a invalid tree you
should get NT_STATUS_NETWORK_NAME_DELETED.

s4-ntvfs: win7 does not check for the NONE smb2 lock flag on unlock

s4-selftest: s4 passes this test now

s4-torture: mark s4 as doing valid lock range tests on SMB

s4-ntvfs: move valid lock range test from smb2 layer to generic code

win7 also fails invalid lock ranges on SMB

s4:smb_server/smb2: don't reset highest_smb2_seqnum on SMB2 Cancel

metze

s4-torture: fixed expected error codes for s4 in SMB2-LOCK

I think the error/success codes returned by windows for these tests
are quite bogus. The ones s4 gives are much more reasonable. The
locking ones returning NT_STATUS_SUCCESS could lead to data loss, as
an application thinks it has a file locked correctly when it fact it
doesn't, so it could do an unsafe modify.

s4-drstest: don't use getenv("LDB_URL") in test suites

I was stumped for a while as to why the drs test suite was failing for
me. It turned out that it looked for LDB_URL in the environment, and
used it if set. I had it set in my terminal, and it was happily
munching on my sam.ldb while testing. Quite a cute bug really :-)

s4-pvfs: fixed access check failure in SFILEINFO test

matching windows behaviour is not always the right thing to do!

s4-ldb: improve detection of whether the server has a GC port

We were trying to open $SERVER:3268 regardless, which could result in
creating a file called "localdc1:3268", which led to subsequent test
failures

s4-ldb: better to test for valid arguments in ldb library than commandline

We were testing for valid DNs in ldbrename in the command line
tool. This hid a bug in the ldb library where we caught a bad DN in
the objectclass module rather than in the main ldb code. It is better
to do validation of the DNs passed on the command line in the library
code, as this gives us more consistent error handling between the
programming APIs for ldb and the command line.

s4-smb2: SMB2 uses NT_STATUS_CANCELLED for cancelled locks

s4-smb2: sequence numbers are not checked in SMB2_OP_CANCEL

torture: fixed SMB2-LOCK valgrind error

s4-smb2: check for invalid SMB2 lock ranges

s4-smb2: check for an invalid lock flags combination

UNLOCK with FAIL_IMMEDIATELY is not allowed

s4-install: fixed install path for python scripts

when we install python scripts we need to fix the internal path used
to find modules. We also need to install the scripts in the right
place. Most of them should go in $SBINDIR not share/setup/

s4:upgradeprovision Rework update_machine_account_password() tranactions

This balances the transaction_begin() and transactin_prepare_commit() calls

Andrew Bartlett

s4:dsdb Don't segfault with ldb_transaction_prepare_commit() without begin()

It is up to other modules to complain if
ldb_transaction_prepare_commit() is called before
ldb_transaction_begin_transaction()

Andrew Bartlett

s4:upgradeprovision add 'exit $failed' to blackbox test

s4:upgradeprovision Use mkdtemp to create unique tempoary directory names

s4:selftest Add tests for upgradeprovision

s4:upgradeprovision Rework script, and reset machine account pw

The rework corrects some duplication and errors in the original
script, found when preparing an automated test of the script.

The code to reset the machine account password avoids issues with AES
keys and salting, which may not otherwise be solved by the upgrade.

Andrew Bartlett

s4:ldb Provide bindings for ldb_transaction_prepare_commit()

s4:provision Make setting the domain SID in the self join optional

Fix path to upgradeprovision

s4: Improve updateprovision

* Define a simple upgrade process mode (module storage change, file name change, copy of new file)
  * Move the schema, configuration and current object upgrade into full upgrade mode
  * Added the --full switch to select the full upgrade mode, and made simple upgrade mode the default
  * Make updateprovision works without any switch (update the provision in the default location)
  * Cleanup the messages
  * Create the reference provision in a subdirectory of the updated provision

s4: update What's new and explain how to upgrade a samba4 provision

s4: Rename the script

s3-kerberos: Fix Bug #6929: build with recent heimdal.

Heimdal changed the KRB5_DEPRECATED define (which now may not take an identifier
for activation) in new releases (like 1.3.1).

Guenther

s3-spoolss: use macros to fillup driver levels.

Guenther

s3-smbd: no drsuapi server stubs yet in s3. Fixes the build, sorry.

Guenther

s3-rpc: running minimal_includes.pl on rpc_client and rpc_server.

Guenther

s3-rpc: Avoid including every pipe's client and server stubs everywhere in samba.

Guenther

s3-passdb: move some defines out of rpc headers (they really belong to passdb).

Guenther

s3-winbind: properly include netlogon.idl in wbint.idl.

Guenther

s3-spoolss: pre cosmetics: reorder levels in construct_printer_info levels.

Guenther

tevent: Fix a comment

librpc: rerun "make idl"

metze

pidl:Samba3/ClientNDR: $size can be 'foo / 2' so we need to add '(' and ')'

foo / 5 * sizeof(bar)' isn't the same as
'(foo / 2) * sizeof(bar)'.

metze

pidl:NDR/Parser: $size can be 'foo / 2' so we need to add '(' and ')'

foo / 5 * sizeof(bar)' isn't the same as
'(foo / 2) * sizeof(bar)'.

metze

create-tarball: Make it more comfortable to use the --copy-docs option.

Now you can directly specify the 'make release' output dir without any
modifications.

Karolin

s4:ldap.py - add a test for the enhanced operational attributes check

(Deny creation of entries with operational attributes specified)

s4:objectclass LDB module - Prevent write operations on constructed attributes

s4:operational LDB module - Don't do the write checks here

Let this perform the schema in the "objectclass" module.

s3-kerberos: next step to resolve Bug #6929: build with recent heimdal.

Based on patch from Allan <allan@archlinux.org>.

Also should fix the FreeBSD build on the buildfarm.

Guenther

s4-smbtorture: refactor RPC-SAMR-LARGE-DC test a little more.

Guenther

s4-smbtorture: add torture_samr_context to carry some RPC-SAMR-X specifics.

Guenther

Fix warnings with talloc_asprintf.
Jeremy.

Make us pass RAW-CHKPATH with a case sensitive share.
I know Volker will look at this closely so here's the explaination :-).
Originally on a case-sensitive share we simply did a stat (or lstat)
call and returned success of fail based on the result. However this
failed to take account of incoming paths with a wildcard (which must
always fail, and with different error messages depending on whether
the wildcard is the last component or in the path). Also it failed
to take account of a stat fail with ENOENT due to a missing component
of the path as the last component (which is ok as it could be a new
file)  or if the ENOENT was due to the missing component within
the path (not the last component) - which must return the correct
error. What this means is that with "case sensitive = yes" we do
one more talloc call (to get the parent directory) and one more
stat call (on the parent directory) in the case where the stat
call fails. I think this is an acceptable overhead to enable
case sensitive shares to return the correct error messages for
applications. Volker please examine carefully :-).
Jeremy.

Add RAW-CHKPATH test with case-sensitive share.
Jeremy.

s3-build: try to fix QNX build ("delay" is defined in lib headers).

Guenther

s4/torture: port SMBv1 RAW-LOCK tests to SMBv2

RAW-LOCK ported as:

RAW-LOCK-LOCK, RAW-LOCK-LOCKX -> SMB2-LOCK-LOCK
RAW-PIDHIGH -> removed, no longer relevant
RAW-ASYNC -> SMB2-LOCK-ASYNC, SMB2-LOCK-CANCEL, SMB2-LOCK-CANCEL-TDIS, SMB2-LOCK-CANCEL-LOGOFF
RAW-ERRORCODE -> SMB2-LOCK-ERRORCODE
RAW-CHANGETYPE -> removed, no longer relevant
RAW-ZEROBYTELOCKS -> SMB2-LOCK->ZEROBYTELENGTH
RAW-UNLOCK -> SMB2-LOCK-UNLOCK
RAW-MULTIPLE_UNLOCK -> SMB2-LOCK-MULTIPLE-UNLOCK
RAW-STACKING -> SMB2-LOCK-STACKING

BASE-LOCK ported as:

BASE-LOCK-LOCK1 -> SMB2-LOCK-ERRORCODE, timeout is no longer relevant
BASE-LOCK-LOCK2 -> SMB2-LOCK-CONTEND, SMB2-LOCK-LOCK, SMB2-LOCK-CONTEXT
BASE-LOCK-LOCK3 -> SMB2-LOCK-RANGE
BASE-LOCK-LOCK4 -> SMB2-LOCK-OVERLAP
BASE-LOCK-LOCK5 -> SMB2-LOCK-STACKING
BASE-LOCK-LOCK6 -> SMB2-LOCK-CANCEL, change_locktype no longer relevant
BASE-LOCK-LOCK7 -> SMB2-LOCK-RW-SHARED, SMB2-LOCK-RW-EXCLUSIVE

s4/libcli: rename previously reserved field in SMB2 LOCK struct

The lock.in.reserved field has been renamed lock_sequence in the
SMB 2.1 dialect.  See MS-SMB 2.2.26.

s4/libcli: Initialize client PID for SMB2 connections

Set the SMB pid to the Unix pid of the client process.

s3-registry: fix REG_MULTI_SZ handling in registry_push_value.

Catched by smbconftort test on the buildfarm.

Guenther

s3-kerberos: add check for prerequisite krb5/krb5.h header while checking for krb5/locate_plugin.h.

(Needed for new Heimdal versions).

Guenther

Fix bug 6892 - When a chown operation is issued via Windows Explorer, all ACLS are wiped out.
Merges existing DACLs when a ACL set operation comes in with only owner or group values set.
Jeremy.

Fix crash due to uninitialized pointer (not a problem in 3.4.x or below).
Jeremy.

nsswitch: fix compile of winbind_krb5_locator with recent Heimdal versions.

Guenther

cifs.upcall: 2nd part of fix for Bug #6868: support building with Heimdal we well as with MIT.

Guenther

s3 selftest: Add RAW-SFILEINFO-END-OF-FILE to selftest

s3 setfileinfo: Open with FILE_WRITE_DATA when setting the file size

This matches what is outlined here:
http://msdn.microsoft.com/en-us/library/ms804363.aspx

This is also inline with how winXP/win7 handle this.  See
RAW-SFILEINFO-END-OF-FILE* in smbtorture4.