fixed up add_foreign again

my last patch was not even close ...

I'll leave abartlet to work out how to fix the test case

more fixups from provision changes

Andrew, can you please check this? The idmap.setup_name_mapping tests
look totally out of place here. I'm also not sure I captured your
intention with the other changes

s3:smbd: add support for canceling SMB2 Notify calls.

metze

s3:smbd: add smbd_notify_cancel_by_smbreq()

This function will be used by the SMB2 notify code.

metze

s3:smbd: implement SMB2 Cancel correctly.

metze

s4:build: require tevent 0.9.7 with tevent_req_cancel()

metze

tevent: change version to 0.9.7 after adding tevent_req_cancel infrastructure

metze

tevent: add tevent_req_cancel() infrastructure

This offers a generic way for callers to cancel an
async request.

metze

skip the autoidl test

The autoidl test is not needed now that we have IDL source
available. It also generates a lot of errors in the logs.

fixed up some provision errors from the recent changes

s4:provision Add comments to the provision script

Hopefully this will explain a bit more whey things are done the way
that they are done.

Andrew Bartlett

s4:provision Avoid one more call to ltdb_reindex

The Samba4 schema code (called via
samdb.set_schema_from_ldb(schema.ldb)) manages the @ATTRIBUTES and
@INDEXLIST records, so don't wipe them early.  The chances are that we
will not change them anyway.

Andrew Bartlett

s4:ldb Remove obsolete comment about ldb_tdb's sequence num

make sure we update the current schema->prefixes when we add a new prefix

This triggered a failure in the updateNow schema test, as the current
global schema was not being updated when a new schema element was
added

fixed the updateNow schema test to use a canonical OID

The expression time.strftime("%s", time.gmtime())[3:] leads to a
string with a leading 0. When added then read back from the prefix map
this leads to a different string, so it is never found.

Use the simpler str(random.randint(a,b)) expression instead

s4:selftest Remove the 'subunit filter' from make testenv etc

The extra filter is no use for 'testenv', as we are not running tests,
but an xterm.  The filter also breaks running 'GDB_PROVISION=yes make
test', but at least if we can run 'GDB_PROVISION=yes make testenv'
then we can debug provision.

Andrew Bartlett

s4:libcli/ldap Explain why we set a hostname for ldapi:// connections

It is a pretty odd thing to do, and it's only because of the
restrictions of DIGEST-MD5 in Cyrus SASL that we do it.

Andrew Bartlett

s4:provision Fix existing ldapi:// backend detection exception

Found by Oliver Liebel <oliver@itc.li>

Andrew Bartlett

s4:install Remove provision-backend script from 'make install'

Spotted by MICHAEL BROWN <mbrown@mesainc.com>

Andrew Bartlett

s4:provision Make sure that we don't use Kerberos to our LDAP backend

This makes no sense, and just causes trouble - we are aiming for
DIGEST-MD5 or NTLM.

Andrew Bartlett

s4:provison Print the LDAP backend admin username/password

s4:selftest Confirm that there isn't a listener on the ldapi:// socket

This should help debug problems with 'make test' of the LDAP backend,
if a stray listener is still around.

Andrew Bartlett

s4: Re-add --ldapadminpass as an option to provision

This should make setting up LDAP servers more predictable.

When not specified, it is random

Andrew Bartlett

s4:python Allow 'no such object' on the delete of the DN

This fixes the recursive delete in erase_partitions()

For reasons I cannot understand, it is possible to get 'no such
object' trying to delete a DN I just search for without error.  Oh
well...

Andrew Bartlett

s4:provision Keep a single transaction for the erase and rebuild

Using a single transaction to both erase the bulk of the data and the
rebuild of that data means that the in-memory index list is
maintained, and not written out to disk until it is all compleated.
All the writes then occour at the end.

Andrew Bartlett

s4:provision A crude update of the OpenLDAP backend HOWTO

s4:provision Fixes for Fedora DS schema mapping with full AD schema

s4:provision Rework provision-backend into provision

This removes a *lot* of duplicated code and the cause of much
administrator frustration.  We now handle starting and stopping the
slapd (at least for the provision), and ensure that there is only one
'right' way to configure the OpenLDAP and Fedora DS backend

We now run OpenLDAP in 'cn=config' mode for online configuration.

To test what was the provision-backend code, a new --ldap-dryrun-mode
option has been added to provision.  It quits the provision just
before it would start the LDAP binaries

Andrew Bartlett

s4:provision Move helper functions back to provision

(These will be added back in a future commit)

s4:setup Don't manually set @ATTRIBUTES any more

We now set these as part of the schema load, and we now load the
schema before the provision loads the DB, so setting them here is
pointless

Andrew Bartlett

s4:python Push some helper functions from SamDB into samba.Ldb

This makes it possible to do a bit more of the provision with Samba
helpers, but without some of the otherwise useful things (such as
loading in the global schema) that SamDB does.

Rewrite provision_erase to use a recursive search, rather than a
looping subtree search.  This is much more efficient, particularly now
we have one-level indexes enabled.

Delete the @INDEX and similar records *after* deleting all other
visible records, this hopefully also assists performance.

Andrew Bartlett

s4:schema Allow a schema load on an unconnected database

This helps ensure we don't load the schema too often in the provision
(allowing a reference in of the schema before the modules load).

Andrew Bartlett

s4:provision  Remove the ACI element from the provision templates

We need to find a better way to apply this (used in the Fedora DS LDAP
backend), not by trying to tunnel this down the module stack.

Andrew Bartlett

s4:schema Provide a way to reference a loaded schema between ldbs

This allows us to load the schema against one ldb context, but apply
it to another.  This will be useful in the provision script, as we
need the schema before we start the LDAP server backend.

Adnrew Bartlett

s3:winbind: The get[gr|pw]end functions need access to the client state

s3:winbind: Convert WINBINDD_GETGRNAM to the new API

s3:winbind: Convert WINBINDD_GETGRGID to the new API

s3:winbind: Add winbindd_print_groupmem

This converts a talloc_dict retrieved from wb_group_members to the string
that the pipe protocol expects

s3:winbind: Make fill_grent publically available

s3:winbind: Add const to normalize_name_map

s3:winbind: Add async wb_getgrsid

s3:winbind: Add async wb_group_members

s3:winbind: Make wcache_lookup_groupmem available publically

s3: Add talloc_dict.[ch]

s3:winbind: Fix a potential segfault in libwbclient

s3:winbind: Convert winbindd_show_sequence to the new API

s3:winbind: Add async wb_seqnums

This is something that would have been very difficult with the old style of
async requests: Send the request to all children simultaneously.

s3:winbind: Add async wb_seqnum

s3:winbind: WINBIND_USERINFO -> wbint_userinfo

s3:winbind: Simplify _wbint_[GU]id2Sid

tevent: add some more doxygen comments for tevent_req functions

metze

s3:Makefile: build ../libcli/smb/smb2_create_blob.o as part of smbd

metze

libcli/smb: add smb2_create_blob_find()

metze

Use defined names rather than numeric constants to make code
clearer.
Jeremy.

gpfs.so: map the file_inherit and dir_inherit flags away for files

GPFS sets inherits dir_inhert and file_inherit flags
to files, too, which confuses windows, and seems to
be wrong anyways.

So when mapping a nfs4 acl to a windows acl, we map these
flags away for files.

Michael

cifs.upcall: fix IPv6 addrs sent to upcall to have colon delimiters

Current kernels don't send IPv6 addresses with the colon delimiters, add
a routine to add them when they're not present.

Signed-off-by: Jeff Layton <jlayton@redhat.com>

cifs.upcall: use ip address passed by kernel to get server's hostname

Instead of using the hostname given by the upcall to get the server's
principal, take the IP address given in the upcall and reverse resolve
it to a hostname.

Signed-off-by: Jeff Layton <jlayton@redhat.com>

cifs.upcall: clean up flag handling

Add a new stack var to hold the flags returned by the decoder routine
so that we don't need to worry so much about preserving "rc".

With this, we can drop privs before trying to find the location of
the credcache.

Signed-off-by: Jeff Layton <jlayton@redhat.com>

cifs.upcall: try getting a "cifs/" principal and fall back to "host/"

cifs.upcall takes a "-c" flag that tells the upcall to get a principal
in the form of "cifs/hostname.example.com@REALM" instead of
"host/hostname.example.com@REALM". This has turned out to be a source of
great confusion for users.

Instead of requiring this flag, have the upcall try to get a "cifs/"
principal first. If that fails, fall back to getting a "host/"
principal.

Signed-off-by: Jeff Layton <jlayton@redhat.com>

cifs.upcall: declare a structure for holding decoded args

The argument list for the decoder is becoming rather long. Declare an
args structure and use that for holding the args. This also simplifies
pointer handling a bit.

Signed-off-by: Jeff Layton <jlayton@redhat.com>

cifs.upcall: formatting cleanup

Clean up some unneeded curly braces, and fix some indentation.

Signed-off-by: Jeff Layton <jlayton@redhat.com>

cifs.upcall: clean up logging and add debug messages

Change the log levels to be more appropriate to the messages being
logged. Error messages should be LOG_ERR and not LOG_WARNING, for
instance.

Add some LOG_DEBUG messages that we can use to diagnose problems with
krb5 upcalls. With these, someone can set up syslog to log daemon.debug
and should be able to get more info when things aren't working.

Signed-off-by: Jeff Layton <jlayton@redhat.com>

s3:smbd: allow SMB2 Cancel to have the async flag set

metze

s3:smbd: fix parsing of the SMB2 body

Maybe there's no dynamic part on the wire.

metze

s4:samdb python bindings - we don't need the attributes here

s4:ldb - Free the asynchronous result

s4: Correct the parameter logic of the "setpassword" script

Either the username or the filter are allowed. If both are given the filter is
going to be used due to a higher precedence.

s4: Better way to call "dom_sid_to_rid" from ldap.py

s4: Remove obsolete "samdb_password_quality_ok" function (it's just a one-line wrapper)

s4: cracknames.c: Change the handling of the NT_STATUS_NO_MEMORY status results

With the previous check I got random failures when trying to connect to the
LDAP server.

s4:ldap_server Correct removal of talloc_steal()

This corrects commit 7a82aed71b74af8bc2a8a4381541adbb22452d20.  The
steal did not set ent->attributes, so it was incorrect to assign to
ent->attributes.

Andrew Bartlett

fixed TESTS= in make test to allow multiple tests

Now you can do: make test TESTS="test1 test2" and it will run those
two tests, each matching tests using a case insensitive substring
match

s4:ldap_server Remove another talloc_steal (with references)

This talloc_steal also conflicts with the ldb_map code, and like the
previous commit, is rudundent given the talloc_steal of the whole msg
above.

Andrew Bartlett

s4:ldap_server Don't talloc_steal (with references) in ldap_backend

There may or may not be a need to take a reference to the 'name' in
the ldb_map code, but given we seal the whole msg just above here, it
makes no senst to steal the name, but not the values.

Andrew Bartlett

Fix EVERY SINGLE build on the buildfarm that doesn't have
bindtextdomain or textdomain. C'mon, this is what configure.in
is *FOR*.
Jeremy.

Move build over to storing DOS attributes in EA's.
Turn off "map to" directives. I've now fixed the
issues with the build tests running this way. I think
this is how most people run these days - please raise this on
the list (or revert) if you disagree.

When mapping EA's into a TDB, don't remove the EA
until the last link to the file is gone (fixes the
build farm RAW-RENAME test with xattr's in tdb's).
Jeremy.

Fix BASE-DELAYWRITE test by removing const from struct smb_filename
in smbd_do_qfilepathinfo(). update_stat_ex_mtime() modifies the
stat struct inside the smb_fname so don't make a copy of that
stat struct, use it directly - it's meant to be updated and
represent the state of the file we're returning.
Jeremy.

Documentation for "store create time".
Jeremy.

Add "store create time" parameter (docs to follow)
that stores the create time in the user.DosTimestamps EA.
Jeremy.

Fix some warnings in the AIX ACL code.
Jeremy.

libcli/smb: move smb2_create_blob code to libcli/smb/

I want to use this in source3/smbd/

metze

libcli: move some common SMB and SMB2 stuff into libcli/smb/

This will hold code that's shared between source3 and source4.

metze

librpc: rerun "make idl_full"

s3:smbd: as check_path_syntax() changes the string, we need to copy the string before

metze

s3:smbd: avoid 'goto out' in smbd_smb2_create_send()

metze

s3:smbd: make sure we don't call conn_free() with a NULL pointer for SMB2

metze

s3:smbd: correctly invalidate vuids when SMB2 is used

metze

s3:lib: map ECONNRESET to NT_STATUS_CONNECTION_RESET

metze

libreplace: undef AI_ADDRCONFIG on QNX 6.3.0 (fix bug #6630)

Some of the functions in source3/lib/util_sock.c use AI_ADDRCONFIG.  On QNX
6.3.0, this macro is defined but, if it's used, getaddrinfo will fail.  This
prevents smbd from opening any sockets.

If I undefine AI_ADDRCONFIG on such systems and allow
lib/replace/system/network.h to define it to be 0, this works around the issue.

Signed-off-by: Stefan Metzmacher <metze@samba.org>

s4:operational - Remove some outdated comments

ldb: Don't break the standalone LDB build (operational module removed)

s4:test for "primaryGroupToken"

Tests for the right behaviour of this introduced constructed attribute.
Since we don't support the read-only-ness of those attributes yet, I commented
some lines out.
Also I had to add a function for python which converts domain SIDs in RIDs.
And a small fix for the "groupType" test.

s4:samldb module - Remove duplicate line

s4:operational module - move and enhancements

This moves the "operational" LDB module to the right place under "dsdb/samdb/ldb_modules"
(suggested by abartlet) and enhances it for supporting dynamic generated
"primaryGroupToken" for AD groups. This should fix bug #6466.

s4:pwsettings script - Fix a small glitch

This fixes the problem with the setting and getting of the "minPwdAge" and
"maxPwdAge" attributes. I wanted to handle them in days but forgot to add
conversions (from "ticks" (tenth of microsecond) -> "days" and backwards).

Rename ASN1_BITFIELD to ASN1_BIT_STRING.

X.690 uses "BIT STRING" not "BIT FIELD".

torture/basic: in run_derefopen() the file could have been deleted before the last unlink

Through a suggestion pointed out in bug #6622 the test file sometimes doesn't exist on
the last turn anymore. So we haven't to fail here since it could have been deleted by
a concurrent process (e.g. when the same test runs multiple times). Therefore also
NT_STATUS_OBJECT_NAME_NOT_FOUND is an acceptable result.

s4:AD LDIFs - More refactoring

This commit includes:
- Additional static object data in SAMBA 4's AD to start supporting of
  - forest updates, - lost and found, - quotas on DS, - physical locations,
  - licensing of sites, - subnets, - policies for WMI, - DNS entries in AD
- Reordering of provision*.ldif files to be able to find entries and make future
  additions easier
- Add comments in provision*.ldif files to point out where subentries are located
  when they are based in other LDIFs
- Removations of autogenerated "cn" attributes

pidl: fix parse_idl test after idl.yp changes

We now generate 'FILE' and 'LINE' elements for each layer.

This change makes the expected PIDL trees human readable:-)

metze