version 3.6

remote-cache-clean: add a final pass to remove empty directories.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Additional cache cleaning algorithms.

This adds 2 new options that enable additional algorithms:

* Delete all files with ctime less than some value.

* Delete all files with atime less than some value.

The offsets are specified in hours via the --trim-old and
--trim-unused options.

Also provided is an option --no-lru to disabled the LRU pass.

The code has been heavily refactored to allow the new features to be
neatly implemented.  New function _trim() now does most of the grunt
work.

Documentation is updated to reflect the new features.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Rejig code and logging in preparation for extra cleanup methods.

* Make Cache.scan() no longer private.

* Prefix log messages with function name.  This could be done by using
  %(funcName)s in the logging.Formatter but that option was only added
  in Python 2.5 and this will need to run on Python 2.4.

* Move summary log messages to main and add some extra logging to make
  things clearer.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Update RPM spec file to cope with moved and new files.

Signed-off-by: Martin Schwenke <martin@meltin.net>

remote-cache should be installed in sbin rather than bin.

remote-cache is a system administration command, so should be
installed in sbin rather than bin.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Cleanups to doc/remote-cache.8.xml and commit of generated files.

Cleanups to get rid of some "fixme"s and warnings from recent
docbook.xsl.  Also some simple changes to make the output more
reliably pretty.  Regenerated doc/remote-cache.8 and
doc/remote-cache.8.html.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Move remote-cache documentation to section 8 of the manual.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Add remote-cache-clean derived documentation files.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Fix circular dependency error with autoconf 2.6.3.

As per the following Samba commit:

  commit b39611c36bb904774fd4032bf2f8003fbdeb5d34
  Author: Andreas Schneider <anschneider@suse.de>
  Date:   Wed Oct 29 14:12:04 2008 +0100

Signed-off-by: Andreas Schneider <anschneider@suse.de>
Signed-off-by: Martin Schwenke <martin@meltin.net>

New remote-cache-clean script.

This adds a cache cleanup script that can be used to trim the cache.
This script is written in Python.  Also includes manpage and
associated Makefile.in updates.

Signed-off-by: Martin Schwenke <martin@meltin.net>

new version 3.5

remove the switch_to_real_user() function and switch_back_to_root()

remove the last use of switch_to_real_user()

remote an additional switch_to_real_user()

remove a switch_to_real_user()

remove a dead function

remove a call to switch_to_real_user

remove the use of one switch_to_real_user()

new version 3.4

make sure we replace any existing man page with a new manpage if/when we upgrade the rpm

add a simple array of hashes so that we dont keep adding the same file to the migration queue over and over

check that the umount actually worked and keep running if fusermount returned error by the filesystembeing busy

use a mutex to make sur eonly one thread at a time tries to manipulate the tdb databases

add pregenerated versions of the manpage and the html page for systems
that cant build with docbook

new version 3.3

fix an error in a prototype

update documentation with the new
 remote-cache --unexport=...    command

Create a new option --unexport=<path>" to be used to perform a
controlled shutdown and unexport of a remote-cache filesystem in the new two process model.

use a lock on the cache file to ensure that only one remote-cache node at a time tries to migrate the same file

Fork() and return from the parent back to the shell to ensure remote-cache is run in the background.

Add a handler for SIGUSR2.    Kill -USR2 <pid of migration daemon>
is now the approved was to stop and unmount a remote cache filesystem

new version 3.2

remove more switching between user ids

remove more swhitches between root and the user.
add subroutines to do common operations such as evaluating the permission
and creating the substring to point to the parent directory

dont switch to/from the real user inmkdir()   evaluate the permission bits explicitely in the code and do this as root instead

remove all remaining talloc calls

remove the use of talloc from unlink_parent_dir_cache()

remove the use of talloc from open_parent_cache_ro()

remove the use of talloc from open_dir_cache_ro()

remove the use of talloc from unlink_object()

update the description in the specfile to explain remote cache

fix typo in the usage printout

new version 3.1

remove use of talloc in performance critical paths

add the generated manpage and html page for remote-cache so they are
available also for those that dont want to build the documentation
themselves

new version 3.0

make sure we use null terminated path strings

make sure we null terminate the string we return in _readlink()

remove some DEBUG statements we no longer need.

split remote-cache into a two process model where we spawn a separate process that is dedicated to only manage migrations from the remote site onto the local cache.

Communications between the FUSE module and the migration daemon is through a tdb database holding the list of files to migrate and signals to tell the migration daemon : there is work to do now.

another file required by the events system

add another file that the events system needs

add a file for linked list macros that the event system depends on

add the event system from ctdb

add gpl boilerplate to migrate.h

remote-cache is read-write not rea-only any more

make sure to check that fhs is no  null before dereferencing it.
it should never happen  but check nevertheless

verion 2.9

use an explicit chmod to make sure the bits are set correctly

use file locking on the temporary cache file to prevent two immeidate
migrations simultaneously for the same file

fix a broken debug statement

small files smaller than 128k are migrated explicitely during first read
in the current thread since it this is cheap (cheaper than spawning a
child process and running rsync at least)

dont switch uid in _unlink()
instead check permissions explicitely and do the operation as root

dont switch userid to/from the real user and root in _create() since
this is such an expensive operation.
Instead check the permission bits explicitely

dont flush the cached-file or the direcache after a write has completed.
while a write does mean that any cached copy would be "stale" deleting
it at this stage is a very expensive operation.
It is much cheaper to leave the stale file in the cache and rely on next
read flushing it from the cache.

Dont switch uid/gid to the user issuing the operation, instead do it as
root but check the mode bits explicitely.

the switch of uid/gid are surprisingly expensive

Avoid switching to/from "real user"/root during _read()
and instead evaluate the permissions explicitely before trying
open()/pread().

These switches were very expensive.

optimize away some expensive lstat()

new version

add a "big_writes" argument

make it possible to tweak the max number of concurrent migrations

see if we can get a lock on the migration limiter file first becore we create and lock the file in the local cache fs

reduce the loglevel for an info message from ERR to INFO

increase the limit on number of concurrent migrations to 1000

when trying to migrate a file, check and make sure we have created all parent directories, and create them if not

otherwise we will not be able to migrate and cache files when the parent directory has never been scanned (and thus created) by READDIR

build the docs

remove big-writes   doenst work with NFS anyway

remove the lock operation

remove a debug statement

The kernel nfs daemon can not handle filesystems offering DIRECT_IO
and thus by design will feed  a write i/o to the application data
in a singlehtreaded sequence of pages to the filesystem, one by one.
But hang on, it gets better,  these 4kb blobs from the idiocy of having
a demon in kernelspace has page alignment problems!
So each page is actually fed twice to the filesystem, once as 4kb-small-delta anf ythen as a second i/o of size small-delta.

Brilliant! Great work.
Thus any filesystem that uses DIRECT_IO for performance reasons will break, immediately.
Second when disabling DIRECT_IO the nice surprise comes that when a client performs 1 32kb write to kNFSd,   kNFSd and the rest of the kernel translates this to a singlethreaded sequence of 8 almost 4kb writes  and another 8 small writes  as far as the filesystem can see.

This is either a mechanism to prevent and punish out of tree filesystems or some other braindamage by the one deciding that a "hey lets put all userspace daemons inside the kernel because it is cool".

why implement a userspace service inside the kernel?   insanity.

dont build the docs by default

add an option to specify direct_io

reactivate big writes

fix bug when handling gids.

we have to look up all aux gids for a user every time and set them
since this must go in the oncrpc layer to the remote nfs server

create a memory tdb database to store the uid->gidlist mappings since
this operation might be quite expensive

new version 2.5

plug some memory leaks

new version  2.4

rekmove debug code

use stat and check if the file exist before we try to delete it.

new version 2.3

dont leak filedescriptors

new version 2.2

set the "big_write" option when starting fuse.
This requires that remote cache is built with a fuse version later than 2.7.4
such as either the 2.8.0 prerelease or later or current cvs.

The resulting remote-cache application will however still be compatible
with a kernel module from an earlier version of fuse.

update version

new version 2.1.0

updates to read write support

update the version insid ethe makerpms script

GNU_SOURCE may already be defined so define it inside an ifndef

New version 2.0.0
This adds read/write support

Signed-off-by: Ronnie Sahlberg <ronniesahlberg@gmail.com>

document --read-write

add read/write functions for all commands we used to return EROFS
for unconditionally.

we can now write (slowly) on the cache site. These write operations
(WRITE, but also everything that modifies metadata like chmod, mkdir etc)
are passed over to the master site and the local cache is wiped.

Signed-off-by: Ronnie Sahlberg <ronniesahlberg@gmail.com>