smb2_ioctl: only pass through to VFS on a valid fsp

A null fsp is dereferenced on VFS call.

torture: add locking tests for copychunk

smb2_ioctl: perform locking around copychunk requests

smbd: split out file_fsp_get from file_fsp_smb2

Obtain the files_struct from smb2req, persistent_id and
volatile_id.

doc: add vfs_btrfs man page

fsrvp: use fss server state storage back-end

MS-FSRVP outlines the requirement for persistent server state storage,
retrieved on startup. Store fss server state following snapshot
creation, deletion and exposure.

Storage and retrieval errors are logged but otherwise ignored. In such
a case, manual snapshot cleanup may be required if the server is
restarted with snapshots in existence.

smap sc_share_name was not set until exposure time, meaning there was
nothing available as a unique identifier. The sc_share_name is now set
immediately on sc/smap creation.

torture: add local fsrvp state tests

Test the storage and retrieval of FSRVP server state.

fsrvp: add rpc server state storage back-end

MS-FSRVP defines that the state of the rpc server must be persistent.
Use an fss_srv tdb to preserve such state.

fsrvp: add memory context to fss_global

All shadow-copy sets are allocated using the fss_global context. Child
shadow-copy / share-map structures continue to be allocated using their
respective parents as a memory context.

fsrvp: split out srv_fss structs into a separate header

In preperation for adding server state storage functionality.

fsrvp: add permissions checking for operations

Only grant fsrvp operation processing to users with:
- Built-in Administrators group membership, or
- Built-in Backup Operators group membership, or
- Backup Operator privileges

XXX add lp_enable_copychunk to toggle copychunk support

Usefull for benchmarking.
- DO NOT PUSH

s3-rpc: set fssd server defaults to external & disabled

Also rename rpc_fss_mode to rpc_fssagentrpc_mode.

fsrvp: remove "vfs objects" parameter from snapshot shares

fsrvp: add fss_agent rpc server

The Samba fss_agent rpc server is an implementation the the File Server
Remote VSS (Volume Shadow Copy) Protocol, or FSRVP for short.

FSRVP is new to Windows Server 2012, and allows authenticated clients to
remotely request the creation, exposure and deletion of share snapshots.

The fss_agent rpc server processes requests on the FssAgentRpc named
pipe, and dispatches relavent snapshot creation and deletion requests
through to the VFS asynchronously.
The registry smb.conf backend is used to expose snapshot shares, with
configuration parameters cloned from the base share.

There are three FSRVP client implementations that I'm aware of:
- Samba rpcclient includes fss_X commands.
- Windows Server 2012 includes diskshadow.exe.
- System Center 2012.

libsmbconf: add smbconf_create_set_share

This call creates a new share definition, using the parameters provided
with a smbconf_service structure.
Such an interface allows for simple cloning of services with:
smbconf_get_share(conf_ctx, mem_ctx, base_sharename, &base_service_def);
base_service_def->name = clone_sharename;
smbconf_create_set_share(conf_ctx, clone_sharename, base_service_def);

vfs: add snapshot create/delete calls to vfs_btrfs

Issue BTRFS_IOC_SNAP_CREATE_V2 and BTRFS_IOC_SNAP_DESTROY ioctls
accordingly. Base share paths must exist as btrfs subvolumes in order to
be supported for snapshot operations.

The ioctl definitions are taken from the GPLv2 licensed btrfs_ioctl.h.
Such interface definitions do not equate to copyrightable information;
therefore, they may remain part of the GPLv3 licensed Samba source.

vfs: add rw flag to snap_create_send

vfs: add snapshot create/delete hooks

doc: add FSRVP commands to rpcclient man page

s4-torture: skip FSCTL_SRV_ENUM_SNAPS test when not supported

If FSCTL_SRV_ENUM_SNAPS fails with NT_STATUS_NOT_SUPPORTED then skip the
test, this means we can run the full ioctl test suite as part of
autobuild.

selftest: enable samba3.smb2.ioctl tests against s3fs

These tests are now expected to pass with copy-chunk support now
implemented.

This reverts commit 632b1042aed94a71d810613fcdbbfecf615a25fa.

s3-vfs: add vfs_btrfs module

Currently it only plumbs itself into the copy_chunk call path,
translating such requests into BTRFS_IOC_CLONE_RANGE calls.

s3-server: remove smb2 ioctl error response assumption

MS-SMB2 3.3.4.4 documents cases where a ntstatus indicating an error
should not be considered a failure. In such a case the output data
buffer should be sent to the client rather than an error response
packet.

Add a new fsctl copy_chunk test to confirm field limits are sent back
with NT_STATUS_INVALID_PARAMETER.

s3-vfs: add copy_chunk vfs hooks

copy_chunk copies n bytes from a source file at a specific offset to a
destination file at a given offset. This interface will be used in
handling smb2 FSCTL_SRV_COPYCHUNK ioctl requests.

Provide send and receive hooks for copy chunk VFS interface, allowing
asynchronous behaviour.

s3-server: add support for smb2 FSCTL_SRV_COPYCHUNK

SMB2 clients can issue FSCTL_SRV_COPYCHUNK requests in order to copy
data between files on the server side only, rather than reading data
then writing back from the client.

2.2.32.1 SRV_COPYCHUNK_RESPONSE in [MS-SMB2] describes the requirement
for the server to provide maximum copychunk request size limits in ioctl
responses carrying STATUS_INVALID_PARAMETER.

s3-server: add smb2 FSCTL_SRV_REQUEST_RESUME_KEY support

Use existing ioctl IDL infrastructure for marshalling. Support for this
ioctl is a prerequisite for FSCTL_SRV_COPYCHUNK handling.
The client-opaque resume key is constructed using the server side
dev/inode file identifier.

s3-smb2: split ioctl handler code on device type

ioctl: split out smb2 ioctl handlers into separate fns

pidl: add [async] function property

With the "async" function property defined, the Samba3 rpc-server
dispatches the request to the backend asynchronously.

pidl:s3-rpc: make pidl rpc server api calls async

s3-rpc: make rpcint_dispatch async

s3-rpc: make api_rpcTNP async

s3-rpc: make api_pipe_request async

s3-rpc: make process_request_pdu_send async

s3-rpc: convert process_complete_pdu and callers async

s3-rpc: split process_complete_pdu from process_incoming_data

In preparation for making process_complete_pdu() asynchronous.

s3: Use SBVAL in put_long_date_timespec

Autobuild-User(master): Volker Lendecke <vl@samba.org>
Autobuild-Date(master): Wed Sep 19 01:16:25 CEST 2012 on sn-devel-104

s3: Fix some nonempty line endings

Autobuild-User(master): Volker Lendecke <vl@samba.org>
Autobuild-Date(master): Tue Sep 18 22:39:07 CEST 2012 on sn-devel-104

replace: fix 520c9b0b0ae33

fix typo in ifdef. Thanks to Joachim Schmitz for spotting this!

Autobuild-User(master): Björn Jacke <bj@sernet.de>
Autobuild-Date(master): Tue Sep 18 16:06:18 CEST 2012 on sn-devel-104

quota: add supprt for gfs2

gfs2 uses the same generic quota interface as xfs and it has the same base
block/quota block size ratio and seems to work nice with the xfs quota module.

(People using gfs should be aware that quota reporting is lagging quite a bit
on gfs.  If you copy a file on a gfs volume the quota values are being updated
with a delay of 30s here with kernel 3.5. This reporting can lead to data
corruption if a client thinks he can write but actually he suddently can't.)

RHEL packaging: Try to fix makerpms.sh on RHEL.

Address bug #9165 - makerpms.sh can't create package fo RHEL.

Karolin

Autobuild-User(master): Karolin Seeger <kseeger@samba.org>
Autobuild-Date(master): Tue Sep 18 12:51:01 CEST 2012 on sn-devel-104

panic action is defined as GLOBAL_VAR(szPanicAction) not GLOBAL_VAR(panic_action)

Signed-off-by: Stefan Metzmacher <metze@samba.org>
Autobuild-User(master): Stefan Metzmacher <metze@samba.org>
Autobuild-Date(master): Tue Sep 18 06:12:00 CEST 2012 on sn-devel-104

packaging/RHEL-CTDB: add "BUILD_GPFS=no configure.rpm" and "BUILD_GPFS=no makerpms.sh"

metze

packaging/RHEL-CTDB: try harder to set $RPMVER

metze

packaging/RHEL-CTDB: fix the build

metze

source3/script: fix installman.sh after the last build-manpages-nogit change

    commit cfdab79729e8507a7504b0224c60454d3bc40ffc
    Author: Michael Adam <obnox@samba.org>
    Date:   Wed Sep 12 15:46:35 2012 +0200

        release-scripts: let build-manpages-nogit store generated docs under ./bin/docs

        not under ./docs

Signed-off-by: Stefan Metzmacher <metze@samba.org>
Signed-off-by: Stefan Metzmacher <metze@samba.org>

Fix service control for non-internal services.

Signed-off-by: Jeremy Allison <jra@samba.org>
Autobuild-User(master): Jeremy Allison <jra@samba.org>
Autobuild-Date(master): Tue Sep 18 01:42:23 CEST 2012 on sn-devel-104

libreplace: Bug 8107, Fix poll replacement to become a msleep replacement

Signed-off-by: Jeremy Allison <jra@samba.org>

ldb: bump version to 1.1.13 so the 4.0 release can get the isprint fix

Autobuild-User(master): Andrew Bartlett <abartlet@samba.org>
Autobuild-Date(master): Mon Sep 17 23:47:57 CEST 2012 on sn-devel-104

docs: Remove another reference to security=share

docs: Remove references to specific windows versions, instead mention Home/Professional/Server

The flavours of windows seem to last longer than the individual products.

Andrew Bartlett

docs: Remove references to mulitple passdb backends

These are long-gone and confusing.

Andrew Bartlett

docs: Remove references to sysv-style CUPS from TOSHARG-CUPS-printing

This also simplifies the cups config by not duplicating the printcap name parameter
that is already set by default when printing=cups is set.

Andrew Bartlett

docs: Remove very outdated TOSHARG-Other-Clients section

docs: Remove very outdated TOSHARG-Portability section

docs: Update FastStart: remove security=share, avoid disable spoolss

As I understand it, all printing is via spoolss, so do not disable it!

Andrew Bartlett

docs: Clarify TOSHARG-Bugs for 2012

docs: Remove reference to inetd startup, it is not recommended

docs: Update BDC docs to recognise the AD DC and to exclusivly recommend LDAP

The confusing references to the not-recommended techniques and
outdated steps (like net rpc getsid, replaced by simply having the SID
just be in LDAP) just detract from the clarity of this document.

Andrew Bartlett

docs: Remove referenece to old Red Hat Linux habits on winbindd

docs: Remove referenece to autogen.sh and document waf build instead

docs: Remove out of date links to pserver.samba.org and old tarballs

docs: Remove references to Subversion, replace with wiki link

docs: Remove references to old kerberos behaviour

I have not seen any issues using the SRV records with windows, and this certainly
does not apply to current versions.  Similarly, the need to change the admin password
does not apply now we require a krb5 lib with arcfour-hmac-md5 support.

Andrew Bartlett

docs: Remove confusing reference to smb signing and client use spnego

This section is more confusing than helpful, as client support for both is on by default.

Andrew Bartlett

s3:libsmb fix a double free error

t refers to self->thread_state that is freed a few lines below

Autobuild-User(master): Christian Ambach <ambi@samba.org>
Autobuild-Date(master): Mon Sep 17 22:04:13 CEST 2012 on sn-devel-104

docs-xml: fix build of winbindd- and krb5 locator-related manpages

These manpages depend on docs-xml infrastructure (samba DTDs)

Autobuild-User(master): Alexander Bokovoy <ab@samba.org>
Autobuild-Date(master): Mon Sep 17 19:52:53 CEST 2012 on sn-devel-104

docs-xml: convert smb.conf.5 build to waf

smb.conf(5) is different from other manpages because before it is
built, it gets merged together from a number of smaller files, one
per parameter. So we first create a parameters.all.xml file that
references all these files and then include it into master smb.conf.5.xml

One small issue is how to handle generated files in WAF build
from xi:include perspective as the files are generated in bin/default/docs-xml
rather than in docs-xml. We solve this by further expanding use of XML catalogs
and rewriting virtual path http://www.samba.org/samba/smbdotconf/ to proper
location.

Both docs-xml autoconf and waf builds work correctly now.

Autobuild-User(master): Alexander Bokovoy <ab@samba.org>
Autobuild-Date(master): Mon Sep 17 14:18:31 CEST 2012 on sn-devel-104

s3:libsmb fix a potential crash

Signed-off-by: Volker Lendecke <vl@samba.org>
Autobuild-User(master): Christian Ambach <ambi@samba.org>
Autobuild-Date(master): Sun Sep 16 22:31:38 CEST 2012 on sn-devel-104

s3:vfs_gpfs: fix build
after recent VFS changes

s3:auth fix a compiler warning

s4-python: Formatting fixes, break lines.

Autobuild-User(master): Jelmer Vernooij <jelmer@samba.org>
Autobuild-Date(master): Sun Sep 16 15:58:04 CEST 2012 on sn-devel-104

samba.netcmd: Formatting fixes, break lines.

samba.provision.common: Fix formatting.

samba.provision.sambadns: Fix formatting.

samba.provision.backend: Fix formatting.

samba.provision: Fix formatting, NameErrors.

replace: add some includes for poll.h

See bug #8107

Autobuild-User(master): Björn Jacke <bj@sernet.de>
Autobuild-Date(master): Sun Sep 16 04:05:08 CEST 2012 on sn-devel-104

quota: also log which fs type we found

Autobuild-User(master): Björn Jacke <bj@sernet.de>
Autobuild-Date(master): Sat Sep 15 02:18:16 CEST 2012 on sn-devel-104

autoconf: check for dn_expand also in libinet

see bug #7472

wafbuild: check for dn_expand also in libinet

see bug #7472

Add 'bool use_privs' to smbd_calculate_access_mask().

Replaces blanket root allow if set. Set to 'false' for
all current callers.

Autobuild-User(master): Jeremy Allison <jra@samba.org>
Autobuild-Date(master): Sat Sep 15 00:37:49 CEST 2012 on sn-devel-104

Fix bad string in debug message (remove it).

Add bool use_privs parameter to smbd_check_access_rights()

If this is set we should use it in preference to blindly assuming
root can do anything. Currently set to 'false' in (most) callers.

Add "backup_intent" bool.

Don't call can_write_to_file() if we already have 'fsp->can_write' set.

build: Fix build on systems without ldap development headers

Autobuild-User(master): Andrew Bartlett <abartlet@samba.org>
Autobuild-Date(master): Fri Sep 14 22:53:30 CEST 2012 on sn-devel-104

docs: update for modern kerberos libs

docs: remove references to security=server

docs: Remove distinction between server and domain accounts

Accounts on a server become accounts on the DC when upgraded.  If they do not
then this is simply a bug (in say tdbsam), not a feature to be documented.

Andrew Bartlett

docs: Update docs to the modern age of Samba 4.0

This removes references to security=share, security=server and other outdated things.

It also updates to a world where encrypted passwords are the norm.

Andrew Bartlett

s4:torture: fix error reporting in the raw.oplock-brl3 test

Error was assigned to a variable that was not returned.

Autobuild-User(master): Michael Adam <obnox@samba.org>
Autobuild-Date(master): Fri Sep 14 14:05:20 CEST 2012 on sn-devel-104

s3: fix the hpux acl module

This was not adopted to the recent VFS acl structure changes.

Autobuild-User(master): Björn Jacke <bj@sernet.de>
Autobuild-Date(master): Fri Sep 14 12:23:23 CEST 2012 on sn-devel-104

s3: fix the tru64 acl module

This was not adopted to the recent VFS acl structure changes.

s3: fix the aix acl module

This was not adopted to the recent VFS acl structure changes.

WHATSNEW: Fix some issues in the release notes.

Karolin

Autobuild-User(master): Karolin Seeger <kseeger@samba.org>
Autobuild-Date(master): Fri Sep 14 10:40:02 CEST 2012 on sn-devel-104

s3: Fix the vfs_solarisacl module to compile.

This got broken with the recent VFS acl structure changes.

Autobuild-User(master): Ira Cooper <ira@samba.org>
Autobuild-Date(master): Fri Sep 14 05:21:29 CEST 2012 on sn-devel-104

packaging: apply some solaris packaging fixes

Actually this might be outdated already. See bug #5670.
Thanks to Michal Ludvig.

Autobuild-User(master): Björn Jacke <bj@sernet.de>
Autobuild-Date(master): Fri Sep 14 02:42:53 CEST 2012 on sn-devel-104

autoconf: fix --with(out)-sendfile-support option handling

this fixes bug #8344