Re-fix bug 5202 - cannot change ACLs on writable file with "dos filemode=yes"

This bug re-occurred for 3.3.x and above.

The reason is that to change a NT ACL we now have to open the file requesting
WRITE_DAC and WRITE_OWNER access. The mapping from POSIX "w" to NT permissions
in posix_acls doesn't add these bits when "dos filemode = yes", so even though
the permission or owner change would be allowed by the POSIX ACL code, the
NTCreateX call fails with ACCESS_DENIED now we always check NT permissions
first.

Added in the mapping from "w" to WRITE_DAC and WRITE_OWNER access.

Jeremy.

s4:provision_self_join.ldif - Adapt comment after implementation of distributed RIDs

s4-kdc: Migrate tcp connections to tsocket.

Signed-off-by: Stefan Metzmacher <metze@samba.org>

s4:kdc: use LIBSAMBA_TSOCKET

metze

s4:kdc: the ->process function returns "bool"

metze

libcli/util: add tstream_read_pdu_blob_send/recv

This will take the some full_request callback function
as the Samba4 packet code.

metze

s3-time: fix build warnings after we moved to shared time functions.

Bjoern, please check.

Guenther

s3-docs: mention -K option in pdbedit manpage.

Guenther

s4-drs: added two more SPNs in addentry

w2k8r2 wants these after a DCPROMO

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-schema: fixes for W2K8-R2 schema

The schema from WSPP had a number of typos that prevented it from
working. These changes allow it to work with Samba, and allow w2k8r2
to run DCPROMO against Samba successfully

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-schema: added msDS-NcType to schema container

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-schema: fixed attributes of aggregate schema

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-schema: switch to W2K8-R2 schema

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-schema: added adminDisplayName and adminDescription

These are missing from the WSPP schemas

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-schema: added some debug for bad attributes

s4-provision: added W2K8-R2 schema as provided by WSPP

s4-samba3samtest: we need to force netbios name as well

needed for when run in CLIENT context

s4-samba3sid: fixed error returns when res->count != 1 and oom

s4-samba3samtest: force workgroup so the domain is right

the samba3sid backend looks at lp_sam_name() which is based on the
workgroup

s4-samba3sid: the sambaNextRid attribute is actually the previous RID

Not well named .... though same mistake that MS made with rIDNextRid

s4-samba3sam: use samba3sid module

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-dsdb: added a samba3sid module

This module allocates SIDs using the Samba3 algorithm, for use with
the samba3sam module.

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-acl: fixed acl.py test to use correct ldif

same problem as sec_descriptor.py

s4-secdesc: fixed the sec_descriptor.py test

The test was using a "changetype: add" to try and add a member to a
group, where it should use a "changetype: modify" with a "add: member"

Also fixed the recovery when the test fails part way through (delete
the test users at the start as well as the end)

Nadya, please check!

s4-samba3samtest: use system credentials for creating users

s4-dsdb: fixed const misuse in acl module

s4-dsdb: use dsdb_module_am_system() in acl module

s4-dsdb: allow specification of a SID if we are system

needed for samba3sam test

s4-dsdb: added dsdb_module_am_system()

better than each module inventing their own

s4-dsdb: squash some unknown structure warnings

s4-partition: fixed selection of partitions on exact match

When a search is on the root of a partition on the global catalog,
don't search partitions above that one.

s4-scripting: we need to use a base search for the NTDS GUID

now we have nTDSConnections structures we can get more than 1 reply

s4:dsdb/repl: convert dreplsrv_op_pull_source_send/recv to tevent_req

metze

Signed-off-by: Andrew Tridgell <tridge@samba.org>

s4-smbd: setup the default event contexts for other process models

s4-drs: we need to wrap extended operations in transactions

s4-dsdb: poke the RID Manager when completely out of RIDs too

s4-dsdb: ensure we will in all the attributes for RID Set

We need to go to the top of the module stack so that all the extra
attributes get filled in

s4-dsdb: added DSDB_FLAG_TOP_MODULE

This is used when you want the dsdb_module_*() functions to go to the
top of the stack.

s4-dsdb: no longer need special invocationID handling for standalone servers

They now work the same way as a DC

s4-provision: do a self join for all server types

We need a machine account so the RID allocation code can work. It
seems better to use the same code paths for a domain controller and
standalone server to avoid testing headaches with little used code.

s4-schema: added generic attributeID conversion functions

When we get one we haven't seen before, we can work out the right type
automatically in most cases.

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-schema: added dsdb_attribute_by_lDAPDisplayName_ldb_val

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-schema: make ldb_val to string comparison safer with nul termination

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-idl: regenerate DRS IDL

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-idl: added some more wellknown attributeIDs

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4/dsdb_schema: Load msDS-IntId value separately when loading from LDB

This way we have consistent behavior when loading from DRSUAPI
and from LDB.

Revert "s4-schema: Set ATTID in schema cache from "msDS-IntId""

This reverts commit 4e8ad284f5813413fdec8426f11e24570d22549b.

s4/schema: Do not assign msDS-IntId value if LDB_CONTROL_RELAX_OID is passed

This way msDS-IntId should not be assigned during provisioning,
which is how Windows works

s4-libnet: better error messages in libnet_vampire.c

s4/dsdb_schema: use msDS-IntId value for attribute look-up

s4/dsdb_schema: fetch msDS-IntId value during SCHEMA replication

s4/dsdb_schema: GET_UINT32_DS() macro to use supplied default value instead of 0

s4-partition: don't ignore errors from other modules

if we get an error code from a lower module, we don't want to ignore
it just because something also succeeded

s4-devel: a useful script to setup bin/ and st/ as tmpfs filesystems

this makes building and testing s4 as a developer much faster, if you
have enough memory!

s4-provision: re-open sam.ldb after creating the schema

This enables the full schema during the rest of the provision, which
means indexing is enabled (along with index error checking, such as
duplicate SIDs)

s4-provision: RID 1000 is consumed by the machine account

s4-ldb: improve error handling in indexing code

When we get an indexing failure we want a clear error message

s4-dsdb: improve error messages in schema and pdc_fsmo modules

We want to incorporate the error messages from the modules further
down the stack.

s4-drs: added some debug messages

It is nice to see when a RID Alloc is successful

s4-event: added s4_event_context_set_default()

we're still not weaned off event_context_find()

s4-dsdb: added support for DRSUAPI_EXOP_FSMO_RID_ALLOC

This allocates a RID pool for the client DC when we are the RID Manager

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-dsdb: added an extended operation for allocating a new RID pool

This will be called by getncchanges when a client asks for a
DRSUAPI_EXOP_FSMO_RID_ALLOC operation

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-repl: implement MSG_DREPL_ALLOCATE_RID

When the repl server gets MSG_DREPL_ALLOCATE_RID it contacts the RID
Manager to ask for another RID pool. We use a callback on completion
of the operation to make sure that we don't have two RID allocation
requests in flight at once

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-repl: allow for callbacks when a repl operation completes

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-dsdb: the dsdb ldb modules now need messagiing

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-dsdb: send a message to the drepl task when we need another RID pool

We send the message when the current pool is half gone. We don't wait
for a reply.

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-messaging: added a new msg type MSG_DREPL_ALLOCATE_RID

This will be used to ask the drepl task for a new RID pool

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-repl: added request for RID allocation in drepl task

The drepl task now checks to see if our rIDAllocationPool is
exhausted, and if it is then we queue a extended operation
DsGetNCChanges call to ask the RID Manager to give us a new allocation
pool.

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-dsdb: added dsdb_find_guid_attr_by_dn()

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-ridalloc: copy with missing rIDNextRid and rIDAllocationPool

The attributes rIDNextRid and rIDAllocationPool are not replicated, so
their initial value when we first get a RID Set from the RID Manager
is blank.

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-dsdb: added dsdb_module_set_integer()

This will be used by ridalloc.c

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-dsdb: clarify who is responsible for each attribute

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-dsdb: fixed usage of rIDAllocationPool and rIDPreviousAllocationPool

These are very badly named attributes! See the comments in ridalloc.c
for a explanation of what they really seem to mean

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-dsdb: implement refresh of RID Set pool for a local RID Manager

when we run out of RIDs in our RID Set pool then grab a new one from
the RID Manager object

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-provision: don't hard wire the creation of the RID Set object

We now create it automatically in the samldb module when the first
user is created.

The creation of the dns user also had to move to the _modify.ldif as
it now relies on the fSMO role being setup for the RID Manager

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-dsdb: implement creation of the RID Set object

when we are the RID Manager we can create our own RID Set object when
the first user is created

s4-dsdb: use dsdb_next_callback()

We can't just use the callers callback directly otherwise the
ldb_module_done() is never called on the parent request, as the child
request is passed to the callback.

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-dsdb: added dsdb_next_callback()

This should be used when you create a sub request and just want the
parent requests callback to be called when done.

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-dsdb: added dsdb_module_constrainted_update_integer()

This provides a convenient way to update a integer attribute with a
constrained delete/add

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-dsdb: added dsdb_module_reference_dn()

This adds a module callable version of samdb_reference_dn(), which
finds a DN via a reference link

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-dsdb: added dsdb_module_add()

added a ldb add function for modules

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-provision: allow provision modifies to add records

we need to recognise a changetype of 'add'

s4-dsdb: move the RID allocation logic into ridalloc.c

This will end up having the RID Manager logic as well, so all the RID
pool allocation logic is in one spot

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-samldb: use RID Set to allocate user/group RIDs

This is the first step towards DRS-friendly RID allocation. We now get
the next rid from the RID Set object

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-provision: the DC object itself needs a fixed objectSID

We can't allocate a objectSID until we have rIDSetReferences, but that
is in the DC object, so we have to force the objectSID of the DC

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-dsdb: added samdb_rid_set_dn()

This returns the DN of our RID Set object

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-provision: added an initial RID Set

We will allocate RIDs from this set

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-ldb: added nice ldif display of 64 bit ranges for RIDs

s4-dsdb: added samdb_reference_dn()

This returns a 'reference' DN, which is a link to a DN, from the
specified object. It is then used by samdb_server_reference_dn() which
returns the serverReference DN, and samdb_rid_manager_dn() which
returns the rIDManagerReference DN.

linked_attributes: Fix missing dependency on util.

testprogs: add support for "print" option in win32 spoolss torture test.

Guenther

testprogs: pass down architecture in spoolss test.

Guenther

testprogs: add win32 spoolss testsuite.

Guenther

s4 torture: Add RAW-OPEN-NTCREATEDIR to test error checking for open directories as files

s3 torture: Prevent smbcli segfault when running smbtorture3 against an smbd with security=share

s3:auth: don't update the bad pw count if pw is among last 2 history entries

This conforms to the behaviour of Windows 2003:
http://www.microsoft.com/technet/prodtechnol/windowsserver2003/technologies/security/bpactlck.mspx

This is supposed to fixes Bug #4347 .

Michael

s3:auth:check_sam_security: introduce a bool var to control pad_pw_count incrementation

This is a preparatory patch for the last part in fixing bug #4347 .

Michael

s3:passdb: store the plain nt passwords hashes in history, not salted md5

This is in order to be able to do challenge response with the history,
so that this can be checked when an invalid password was entered:
If the given password is wrong but in the history, then the bad password
count should not be updated...

The "lucky" bit here is that the md5 has and the nt hash (md4) both are
16 bytes long.

This is part of the fix for bug #4347 .

Michael

s3:smbd:password_in_history: treat entry with 0 salt as 0 + plain nt hash

This is to introduce a new format of the password history, maintaining backwards
compatibility: The old format was 16 byte hash + 16 byte md5(salt + nt hash).
The new format is 16 zero bytes and 16 bytes nt hash.

This will allow us to respect the last X entries of the nt password history
when deciding whether to increment the bad password count.

This is part of the fix for bug #4347 .

Michael

s3: Remove some code that has become unnecessary

The code I just removed was checked in with e5466fffc286a99f as a bug fix for
https://bugzilla.samba.org/show_bug.cgi?id=3319. With the changes to
is_visible_file made with 9e8b8f8c16612 these lines have become unnecessary,
even with "hide unreadable = yes" dead msdfs symlinks show. This is because we
can not stat(2) them and default to showing them.

Why this change? I have a user who wants to use "hide unreadable" on msdfs
links. Because you can't edit acls on symlinks themselves, the user created the
targets as bogus, empty files that just exist as acl placeholders. With the
code in place that this patch removes, we never allow this to work.

Jeremy, please check! :-)

Thanks,

Volker