s3:registry: add an extra check for dsize==0 to regdb_fetch_keys_internal()

Don't only rely on dptr == NULL.
I stumbled over this one when rewriting some of the dbwrap_ctdb code.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:registry: add safety check for return value of tdb_unpack to regdb_fetch_keys_internal()

Prevents segfaults in some situations.

(For a non existent or empty record, we sometimes rely on the fetch operation
 to return dsize==0 and sometimes we rely on dptr==NULL.)

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:dbwrap_ctdb: add debug message to transaction_fetch_start()

for the case that another local process has started a transaction
bewteen releasing the transaction_lock record and starting the
transaction.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:dbwrap_ctdb: split combined check in two and add descriptive debug

in db_ctdb_transaction_fetch_start() for error conditions when re-fetching
the transaction_lock record inside the transaction

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:dbwrap_ctdb: fix race condition with concurrent transactions on the same node.

In ctdb_transaction_commit(), when the trans2_commit control fails, there
is a race condition in the 1 second sleep between the local transaction_cancel
and the call to ctdb_replay_transaction(): The database is not locked, and
neither is the transaction_lock record. So another client can start and possibly
complete a new transaction in this gap, but only on the same node: The locking
of the transaction_lock record on a different node which involves migration of
the record to the other node has been disabled by introduction of the
transaction_active flag on the db which closes precisely this gap from the start
of the commit until the call to TRANS2_FINISH or TRANS2_ERROR.
But this mechanism does not cover the case where a process on the same node
tries to start a transaction: There is no obstacle to locking the transaction_lock
record because the record does not need to be migrated.

This commit closes this race condition in ctdb_transaction_fetch_start()
by using the new ctdb_ctrl_transaction_active() call to ask the local
ctdb daemon whether it has a transaction running on the database.
If so, the check is repeated until the running transaction is done.

This does introduce an additional call to the local ctdbd when starting
transactions, but it does close the (hopefully) last race condition.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:configure: add a check for the new CTDB_CONTROL_TRANS2_ACTIVE

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:dbwrap_ctdb: add new db_ctdb_transaction_active() that calls CTDB_CONTROL_TRANS2_COMMIT

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:dbwrap_ctdb: fix a race in starting concurrent transactions on a single node

There are two races in concurrent transactions on a single node.
One in starting a transaction and one with replay during commit.

This commit closes the first race by storing the client pid in the
transaction-lock record and comparing the stored pid against its own
pid after releasing the lock and refetching the record inside the
transaction.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:dbwrap_ctdb: use db_ctdb_ltdb_fetch() inside db_ctdb_transaction_fetch_start

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:dbwrap_ctdb: use db_ctdb_ltdb_fetch() inside db_ctdb_transaction_fetch()

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:dbwrap_ctdb: add a function db_ctdb_ltdb_fetch()

This fetches a record from the db and splits out the ctdb header.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:dbrwap_ctdb: add a function db_ctdb_ltdb_store()

and use it in db_ctdb_store() and db_ctdb_transaction_store().

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

s3:dbwrap_ctdb: reformat a comment slightly to enhance clearness.

Michael

Signed-off-by: Michael Adam <obnox@samba.org>

README.Coding: Fix typos.

Fix bug 6880 - cannot list workgroup servers
reported by Alban Browaeys <prahal@yahoo.com> with fix.
Revert 2e989bab0764c298a2530a2d4c8690258eba210c
with extra comments - this broke workgroup enumeration.
Jeremy.
(cherry picked from commit 5d516181617419b9b078b4f375753afc3b785ced)

s3-param: fix set_inherit_acls().

Jeremy, please check.

Guenther
(cherry picked from commit 8eac3075b604d5d0938e2a087a154bb6546d78b1)

s3: Try to avoid dns searches with an empty site

WHATSNEW: Mention the new "ctdb timeout" parameter.

Karolin

Revert "s3: Do not directly reference the ndr_table_* in rpcclient"

This reverts commit 70c698fd547c4bc19cf77693608bbb34acac40b5.

Revert "s3: Do not reference ndr_table_<pipe> in the cli_ routines directly"

This reverts commit daa964013bc5d036f4da571ce22c0052ef40943a.

Revert "s3: Consolidate getting the name out of a pipes_struct"

This reverts commit 9621306351cdb469ef393a6d8cbeea456bc4bd9f.

Revert "s3: Do not reference the ndr_tables in the server calls directly"

This reverts commit 98fb71782e05ae72cd6abeb38b6e0b96a50c1761.

Revert "s3: Do not reference ndr_table when calling rpc_srv_register"

This reverts commit 494b2aff8826947e3bd556aecb175746163da485.

Revert "s3: Make run_rpc_command take strings instead of a ndr_interface_table"

This reverts commit 53f2a1595e76db9fe1b42db65b51895b73365993.

Revert "s3: Make libnetapi_open_pipe take strings instead of a ndr_interface_table"

This reverts commit 5fc9d93408effe75abcd231c45cbc14656692ebe.

s3: Make libnetapi_open_pipe take strings instead of a ndr_interface_table

s3: Make run_rpc_command take strings instead of a ndr_interface_table

s3: Do not reference ndr_table when calling rpc_srv_register

s3: Do not reference the ndr_tables in the server calls directly

This involves storing the interface table in the pipes_struct

s3: Consolidate getting the name out of a pipes_struct

s3: Do not reference ndr_table_<pipe> in the cli_ routines directly

s3: Do not directly reference the ndr_table_* in rpcclient

tdb: Fix a C++ warning

s3: Do the printing for DEBUGLEVEL>=10 centrally

12 insertions(+), 10651 deletions(-)

I think that says it all :-)

s3: Register the ndr_interfaces dynamically

s3: Get rid of a NULL terminator

s3: Get rid of explicit pipe names

s3: get_pipe_name_from_iface -> get_pipe_name_from_syntax

Fix bug 6865 - acl_xattr module: Has dependency that inherit acls = yes or xattrs are removed.
Jeremy.
(cherry picked from commit bd2ffb1c7a70ef9063b99a9318b3e185ddda84fe)

Fix bug 6841 - "map acl inherit = yes" not working.
The code to read the new V2 SAMBA_PAI entries had
two errors.
Jeremy.
(cherry picked from commit afc592402068da2a928dd9975a38a6b1ccf3919f)

s3-kerberos: let smb_krb5_get_tkt_from_creds() compile with older heimdal libs.

Guenther
(cherry picked from commit 11687e84e39291e9a0309d5df6dd088f71491593)

s3-netlogon: implement _netr_GetDcName and _netr_GetAnyDcName.

Guenther
(cherry picked from commit 53d49bb7284a2d7281ad0ede20c37a6bd6d1794d)

Revert "s3-kerberos: add smb_krb5_parse_name_flags()."

This reverts commit 17ef153b68795fec681f9ce17c198236aba2b1c2.
(cherry picked from commit 440db5a94e0ade69c9c258a54fa4d66b808d965c)

s3-kerberos: support S4U2SELF impersionation through cli_krb5_get_ticket().

Guenther
(cherry picked from commit 9e48dc2b78226bdacb8988509eaa93e5c9d92787)

s3-kerberos: use smb_krb5_get_credentials in ads_krb5_mk_req.

Guenther
(cherry picked from commit bb01aae1b9eb1bede98b7d9a9c4920082db128fe)

s3-kerberos: modify cli_krb5_get_ticket to take a new impersonate_princ_s arg.

Guenther
(cherry picked from commit 60bf0eb60788a5d4dc5de24997c5efda64f2bd73)

s3-net: better use memory credential cache in net_ads_kerberos_pac().

Guenther
(cherry picked from commit 6ca8a40976f86f66713ba9a7b957f97a1c271016)

s3-net: allow to call "net ads kerberos pac <impersonation principal> -P".

Guenther
(cherry picked from commit 58184b5fd4e95bc7ad2179237808126411509eea)

s3-kerberos: add impersonate_principal for kerberos_return_pac_X calls.

Guenther
(cherry picked from commit 5e266225108aa3335476cbe1214cc0f484c4fd02)

s3-kerberos: add smb_krb5_get_tkt_from_creds().

Guenther
(cherry picked from commit 4ffbfc4475c92b9190811bd189802ff265aa6846)

s3-kerberos: fix some build warnings when building against heimdal.

Guenther
(cherry picked from commit bb75f713d628073c503b06a3d217195aa95d72b2)

s3-kerberos: add smb_krb5_get_{creds,credentials} incl. support for S4U2SELF impersonation.

Guenther
(cherry picked from commit 35dcc133c9c26d10186fe59ea096a2a5c87958e6)

s3-kerberos: remove duplicate prototype.

Guenther
(cherry picked from commit 0729df3661fefeffc5154c9b01ae027b3ede4b92)

s3-kerberos: add smb_krb5_parse_name_flags().

Guenther
(cherry picked from commit 17ef153b68795fec681f9ce17c198236aba2b1c2)

s3-kerberos: add configure checks for krb5_get_creds_X api.

Guenther
(cherry picked from commit 2cd507fe144c58a4c856c73ec56b80365dad9f23)

s3-netlogon: make sure we protect some function codes in _netr_LogonControl2Ex().

Guenther
(cherry picked from commit ccdd1462cc8d7e5e067b5f3d6122ee8765921b4f)

s3-netlogon: let s3 pass against RPC-NETLOGON-S3 again.

Guenther
(cherry picked from commit bb2e1ff6315f070b67d45600dd763011f8aba136)

s3-netlogon: implement _netr_NETLOGON_INFO_4 in netr_LogonControl2Ex() and friends as well.

Guenther
(cherry picked from commit 40f3f456bcea3d37537e807dbcd3a09b08dbc870)

s3-netlogon: implement remote trust account changing in netr_LogonControl2Ex() and friends.

Guenther
(cherry picked from commit b3a21474971d3ffd6135011daa5f2fe521f535d1)

Got the logic simplification worked out so we still pass
BASE-DELAYWRITE and also RAW-CLOSE.
Jeremy.
(cherry picked from commit c99dd5c23e25f4c1cc34f223f563915c0aa4bb6f)

Revert commit "0551284dc08eb93ef7b2b2227a45e5ec21d482fb" - simplify
the logic. This was incorrect (I'll revisit this tomorrow).
Jeremy.
(cherry picked from commit 977fa4e37741d613df1583b7e0e83c1f0a6ce38c)

Remove the smbd:writetimeupdatedelay change Metze added. Metze please
explain why you added this. Change --maximum-runtime=900 for smbtorture4
with BASE-DELAYWRITE. Should allow it to successfully complete now.
Jeremy.
(cherry picked from commit e434934526b23b34dd85b43495961260dc639e1f)

Simplify the logic - remove extraneous argument and calls to set_close_write_time().
We were treating a file time set on close as a sticky write time set, and I don't
think it is. I will add a torture test later to RAW-CLOSE to confirm this.
Jeremy.
(cherry picked from commit 0551284dc08eb93ef7b2b2227a45e5ec21d482fb)

Fix explicit set of write time on close.
Jeremy.
(cherry picked from commit 2f09516a6be67d3e51ffc611ae2daa3210f07cd8)

Get closer to an accurate model of Windows timestamp changes.
"Normal" non truncate writes always cause the timestamp to
be set on close. Once a close is done on a handle this can
reset the sticky write time to current time also.
Updated smbtorture4 confirms this.
Jeremy.
(cherry picked from commit 7f9fe127ba31e6dd064d090d5ffc8eeb377627ab)

Fix up some of the timing constants for DELAYWRITE. Add some extra tests up test_delayed_write_update6
to investigate what happens to a sticky write handle after a second handle close.
Jeremy.
(cherry picked from commit c2df97f57ce205935c37cd5a90cfeddb129cd92b)

s3: Fix a crash in notify_remove_onelevel when "change notify = no"

s3: Fix the talloc hierarchy in notify_remove_onelevel

We want to free the record early, not when talloc_tos() is free'ed.

s3: Add parameter "ctdb timeout"

When something in the cluster blocks, it can happen that we wait indefinitely
long for ctdb, just adding to the blocking condition. In theory, nothing should
block, but as someone said "In practice the difference between theory and
practice is larger than in theory". This adds a timeout parameter in seconds,
after which we stop waiting for ctdb and panic.

s3: Fix kerberos refresh chain.

Signed-off-by: Bo Yang <boyang@samba.org>
(cherry picked from commit dde1c420037bfea48741ba1f600c047cca788a21)

Fix debug comment (brain wasn't working...).
Jeremy.
(cherry picked from commit 170d6a3084dcf4a72d5bc7dca69b1036431e0022)

Filter the returned DOS attributes by 0xFF for clients
using older protocols (LANMAN2 or below).
Jeremy.
(cherry picked from commit f44d3754eeefb1a0d0282a424ae9901d72301766)

Remove "Protocol" as an extern, and add accessor functions.
Jeremy.
(cherry picked from commit cbafe17bb37acfb76acf9d9905be1029e274089e)

s3: add support for full windows timestamps resolution on files

setting nanosecond timestamps using utimensat() was first supported by Linux
kernel 2.6.22 and glibc 2.6. It's specified in POSIX.1-2008.

This effectively makes us use Windows' full 100ns timestamp resolution -
actually just an improvement from 10^-6 to 10^-7.

For now Linux CIFS vfs will also just be able to make use of 100ns resolution,
not 1ns.

WHATSNEW: Update release notes

Make samba3-idl to fix the build.
Jeremy.

Merge branch 'v3-5-test' of ssh://jra@git.samba.org/data/git/samba into v3-5-test

s3-lsa: fill in some more info levels in _lsa_QueryInfoPolicy().

Add dummys (just like s4 does) and fill in some more appropriate error codes.

Guenther
(cherry picked from commit 97496bb3cafd8914a3a7c7b7d3a668ba3e533769)

s4-smbtorture: skip three info levels while testing s3 with RPC-LSA.

These are only supported by s3 when running pdb_ads atm.

Guenther
(cherry picked from commit a8de4f091ef10223e862b3cb6f0b9e5cef5cde2a)

s4-smbtorture: skip QueryInfoPolicy2 while running RPC-LSA against s3.

This is only supported by s3 when running pdb_ads atm.

Guenther
(cherry picked from commit 58d401bb212b43d05213514f8bb2efa850d4e5c9)

s4-smbtorture: skip QueryDomainInformationPolicy test against s3 in RPC-LSA.

Guenther
(cherry picked from commit bff9819521255b3dcd0f04aa585c1ad0385896fd)

s4-smbtorture: simplify some torture_comments in RPC-LSA.

Guenther
(cherry picked from commit 074ad24653e85c60b9af863ac526832229754a96)

s3-passdb: cleanup some callers of pdb_get_trusteddom_pw().

Guenther
(cherry picked from commit 463b1eb2b55ae85cfc9539c936375a989cde1076)

libndr: add int3264 ndr prototype.

Guenther
(cherry picked from commit 76feeb1b97b1d8f24650c5198e9c61c4f5b1357a)

tdr: teach TDR about uint1632 enums

TDB doesn't have NDR64, but it needs to know how to map the new types
from pidl
(cherry picked from commit 1d0fb1e0fba3cf4d04d4602ed4e717912804e5de)

pidl: update PIDL tests for uint1632 enums
(cherry picked from commit 7816f9d7abf5203537c3bb7afb9511b00d2d974f)

pidl: get the alignment right for uint1632 enums (NDR64)

The default enum in NDR63 is 32 bits, not 16 bits. We need a uint1632
type to get the alignment right.
(cherry picked from commit 2bf8a7485cf0733c808bc97a399a1c73bb988414)

tsocket: rewrite tsocket_guide.txt to reflect the current APIs

metze
(cherry picked from commit 97a32035bec03b76b67cb7088a7be1b7b3b9ac48)

tsocket_bsd: return -1 and set errno to ENAMETOOLONG if the unix path is too long

metze
(cherry picked from commit eb39f6694055267302580bbf6afa988c82c55fed)

tsocket: remove prototype of non-existing tsocket_address_inet_set_broadcast()

metze
(cherry picked from commit 9b5d1e9e355d3d04f03744e025c6685ca8ad12cd)

Fix debug statements to use correct function name.
Jeremy.
(cherry picked from commit 31ce8eeb44d5060cfe85f42dc6ef092121b84a68)

requires_resume_key is a bool not int.
Jeremy.
(cherry picked from commit 7ae10fb892084b821f29dd36287d6deeb360ea13)

Fix more of the RAW-SEARCH test. Older info levels are
not 4 byte aligned (levels 1 - 3).
Jeremy.
(cherry picked from commit 6a61befe3798ecf0996887164f7437c3f25c33f9)

s3: re-run make samba3-idl.

Guenther
(cherry picked from commit fea2a78beb1cb4a00f44a4b191f96602cdaa81b9)

s3: Remove debug_ctx()

smbd just crashed on me: In a debug message I called a routine preparing a
string that itself used debug_ctx. The outer routine also used it after the
inner routine had returned. It was still referencing the talloc context
that the outer debug_ctx() had given us, which the inner DEBUG had already
freed.

Convert from numbers to correct SMB_FIND_XX constant names.
Jeremy.

Fix bug 6867 - trans2findnext returns reply_nterror(req, ntstatus) In a directory with a lot of files.
Jeremy.

ndr64: added support for trailing gap alignment

NDR64 has a 'trailing gap' alignment, which aligns the end of a
structure on the overall structure alignment.

This explains the discrepancy we had with the RPC-SAMR test and NDR64

s3: Fix a 100% CPU loop when ctdbd dies during a traverse

s3-gencache: restore gencache_get behavior with NULL args (with torture test).

Without this, we panic in wins_srv_is_dead() and fail to start nmbd with
wins support.

Volker, please check.

Guenther
(cherry picked from commit f35a1b95aa6f50cb1bc919f4ab502ef2c38f6bf5)