new version 3.2

remove more switching between user ids

remove more swhitches between root and the user.
add subroutines to do common operations such as evaluating the permission
and creating the substring to point to the parent directory

dont switch to/from the real user inmkdir()   evaluate the permission bits explicitely in the code and do this as root instead

remove all remaining talloc calls

remove the use of talloc from unlink_parent_dir_cache()

remove the use of talloc from open_parent_cache_ro()

remove the use of talloc from open_dir_cache_ro()

remove the use of talloc from unlink_object()

update the description in the specfile to explain remote cache

fix typo in the usage printout

new version 3.1

remove use of talloc in performance critical paths

add the generated manpage and html page for remote-cache so they are
available also for those that dont want to build the documentation
themselves

new version 3.0

make sure we use null terminated path strings

make sure we null terminate the string we return in _readlink()

remove some DEBUG statements we no longer need.

split remote-cache into a two process model where we spawn a separate process that is dedicated to only manage migrations from the remote site onto the local cache.

Communications between the FUSE module and the migration daemon is through a tdb database holding the list of files to migrate and signals to tell the migration daemon : there is work to do now.

another file required by the events system

add another file that the events system needs

add a file for linked list macros that the event system depends on

add the event system from ctdb

add gpl boilerplate to migrate.h

remote-cache is read-write not rea-only any more

make sure to check that fhs is no  null before dereferencing it.
it should never happen  but check nevertheless

verion 2.9

use an explicit chmod to make sure the bits are set correctly

use file locking on the temporary cache file to prevent two immeidate
migrations simultaneously for the same file

fix a broken debug statement

small files smaller than 128k are migrated explicitely during first read
in the current thread since it this is cheap (cheaper than spawning a
child process and running rsync at least)

dont switch uid in _unlink()
instead check permissions explicitely and do the operation as root

dont switch userid to/from the real user and root in _create() since
this is such an expensive operation.
Instead check the permission bits explicitely

dont flush the cached-file or the direcache after a write has completed.
while a write does mean that any cached copy would be "stale" deleting
it at this stage is a very expensive operation.
It is much cheaper to leave the stale file in the cache and rely on next
read flushing it from the cache.

Dont switch uid/gid to the user issuing the operation, instead do it as
root but check the mode bits explicitely.

the switch of uid/gid are surprisingly expensive

Avoid switching to/from "real user"/root during _read()
and instead evaluate the permissions explicitely before trying
open()/pread().

These switches were very expensive.

optimize away some expensive lstat()

new version

add a "big_writes" argument

make it possible to tweak the max number of concurrent migrations

see if we can get a lock on the migration limiter file first becore we create and lock the file in the local cache fs

reduce the loglevel for an info message from ERR to INFO

increase the limit on number of concurrent migrations to 1000

when trying to migrate a file, check and make sure we have created all parent directories, and create them if not

otherwise we will not be able to migrate and cache files when the parent directory has never been scanned (and thus created) by READDIR

build the docs

remove big-writes   doenst work with NFS anyway

remove the lock operation

remove a debug statement

The kernel nfs daemon can not handle filesystems offering DIRECT_IO
and thus by design will feed  a write i/o to the application data
in a singlehtreaded sequence of pages to the filesystem, one by one.
But hang on, it gets better,  these 4kb blobs from the idiocy of having
a demon in kernelspace has page alignment problems!
So each page is actually fed twice to the filesystem, once as 4kb-small-delta anf ythen as a second i/o of size small-delta.

Brilliant! Great work.
Thus any filesystem that uses DIRECT_IO for performance reasons will break, immediately.
Second when disabling DIRECT_IO the nice surprise comes that when a client performs 1 32kb write to kNFSd,   kNFSd and the rest of the kernel translates this to a singlethreaded sequence of 8 almost 4kb writes  and another 8 small writes  as far as the filesystem can see.

This is either a mechanism to prevent and punish out of tree filesystems or some other braindamage by the one deciding that a "hey lets put all userspace daemons inside the kernel because it is cool".

why implement a userspace service inside the kernel?   insanity.

dont build the docs by default

add an option to specify direct_io

reactivate big writes

fix bug when handling gids.

we have to look up all aux gids for a user every time and set them
since this must go in the oncrpc layer to the remote nfs server

create a memory tdb database to store the uid->gidlist mappings since
this operation might be quite expensive

new version 2.5

plug some memory leaks

new version  2.4

rekmove debug code

use stat and check if the file exist before we try to delete it.

new version 2.3

dont leak filedescriptors

new version 2.2

set the "big_write" option when starting fuse.
This requires that remote cache is built with a fuse version later than 2.7.4
such as either the 2.8.0 prerelease or later or current cvs.

The resulting remote-cache application will however still be compatible
with a kernel module from an earlier version of fuse.

update version

new version 2.1.0

updates to read write support

update the version insid ethe makerpms script

GNU_SOURCE may already be defined so define it inside an ifndef

New version 2.0.0
This adds read/write support

Signed-off-by: Ronnie Sahlberg <ronniesahlberg@gmail.com>

document --read-write

add read/write functions for all commands we used to return EROFS
for unconditionally.

we can now write (slowly) on the cache site. These write operations
(WRITE, but also everything that modifies metadata like chmod, mkdir etc)
are passed over to the master site and the local cache is wiped.

Signed-off-by: Ronnie Sahlberg <ronniesahlberg@gmail.com>

initial read/write support
update access to allow trying the W bit if we are in rw/ mode

If we detect a file no longer exists on the remote site during a GETATTR
we also try to delete any local cached copy of it we may have

Add an option "--file-min-mtime-age". Files that have been modified more recently than this will not be copied to the local cache.

Signed-off-by: Ronnie Sahlberg <ronniesahlberg@gmail.com>

new version

add --file-check-parent-mtime argument that will activate the
optimization in attribute caching that is possible for archive systems
(== files are never modified post creation)

get rid of util.c

we dont need this file

we dont need libevents

we dont need strlist

we dotn need idtree

Revert "we dont need util_time"

This reverts commit 312e0a55fd7d978823ac1e599f63503ba62cc3d0.

Revert "we dont need util_file"

This reverts commit 2004b4694622b6c570dcbddf2d73709bae24ba75.

we dont need util_file

we dont need util_time

we dont need db_wrap

version 1.0.9

tell fuse to use the permissions from the fiulesystekm instead of some made up ones

dont include ctdb.h  we dont need this file

update access()  root can always read and execute

pass the use_ino option to fuse

version 1.0.8

emulate the access() call

new version 1.0.7

reduce the debuglevel for some messages

we can also verify the local cache and purge files that have expired when we process a GETATTR

update GETATTR to know how to handle file_check_parent_mtime

add new parameter --file-check-parent-mtime

new version 1.0.6

set the extra groups to a list with one entry, the current group

drop the extra groups for the process when we switch to the real user

 new version 1.0.5

when reading a directory from a remote site,
read it as root and build the local cache
then try again and switch to the real user uid to read from the cache