Add some measurements of speed reading data from S3.

Initial work to use Berkeley DB for locally logging FS changes.

Not yet hooked up to anything else, but commit this now so the file doesn't
get lost.

Pull in updated tool for measuring S3 read performance.

Improve statistics gathered.

Add general statistics-gathering infrastructure.

Benchmark results to S3.

Add some more results.

Fix filesystem locking when creating a new inode.

Add warnings for failed storage operations.

Disable most debugging print messages; should help with performance.

Try to clean up the locking for LRU lists.

A few minor fixes.

Copy in a few more benchmark results.

Store benchmark results for native Linux NFS server.

Track number of unanswered RPC requests, for debugging.

Do not fill in a non-zero inode change_count until the inode is loaded.

Possible null pointer dereference fix.

Rework cache flushing logic--this version should work much better.

In-progress work on better cache flushing.

Add LRU lists for tracking inodes that are dirty/accessed.

Minor bugfix to pending store operation counts.

Fix a bug in committing of dirty inodes to stable storage.

Previously, if an inode changed while it was being committed, we would
stall all future commits.  Now allow those commits to proceed once the
first commit is done.

Better track latency of operations issued to S3.

Track the time from when the operation is sent to S3 as well, not just from
when it was submitted locally, as there may be some local queueing
happening.

Add very simple write throttling when caches fill up.

We ought to actively flush data when needed, but this is enough for some
basic testing.

Make dropping of inodes from cache more resistant to races.

Quick note on memory leak debugging under valgrind.

Inodes can now be dropped from the cache too, not just file blocks.

Track memory usage statistics for cached data.

Provide a simple configurable limit on the number of threads.

Primarily this is meant to make running under valgrind easier, since
valgrind can only handle so many threads.  By default leave the limit
unbounded (the old behavior).

Fix memory leak in bluesky_block_fetch.

Return success code from NFSv3 commit operations.

Eliminate a warning about symlink serialization that was false.

Refine lock acquisition order for renames.

Add UDP transport support to the NFS server.

SpecSFS seems to require basic UDP functionality.

specSFS requires Java.

Start fetch of all blocks in a read at the start of the read operation.

Do not signal barrier until all notifiers have run.

Only treat an async storage operation as finished when notifiers finish.

There's still a bit more work to be done with barriers, but this eliminates
some race conditions in some usages.

Partial work on parallel data fetches from S3 for large reads.

Currently causes crashes, but that might be related to a race condition
that needs fixing in the async storage layer..

Explicitly mount NFS using version 3 in microbenchmarks.

We only support version 3, so ask for that when mounting.  This can prevent
problems in mounting in some cases, so we don't return the proper error
messages when a client asks for a version we don't support.

Use s3cmd for cleaning up S3 storage accounts before benchmark runs.

Implement a synthetic benchmark for bulk reads of file data.

synclient: Issue read requests for files after lookups return.

Fix a typo in SunRPC decoding.

The code accidentally used = instead of == in a conditional, leading to
decode errors in RPC packet framing.

Allow larger reads and writes.

Support reads up to 1 MB now, instead of just 32 kB.

Fix required package list (need git-core, not git).

Do not start the RPC services until the filesystem is ready.

Fix for kvstore with default settings.

Store backends now consist of a type followed by extra information.

For example: "kv:storagehost.com:9000".  The other backends don't use this
yet but should be made to do so.

Make kvstore backend in BlueSky asynchronous.

Also, add synthetic delays to the kvstore server for latency testing.

More CMake tweaking.

Build system cleanup.

Link kvstore into main build system.

Values in the kvstore are raw byte arrays, not strings.

Hook John's kvstore up to the BlueSky implementation.

.gitignore updates, and deleting old build system files.

Reorganizing kvstore sources and switching build system to CMake.

Add John MucCullough's simple key/value storage server.

Do not drop data from cache immediately after a write.

Add very rudimentary eviction data blocks from the cache.

Hook synthetic NFS client into test script.

Fix for file storage backend.

Make storage backend selectable via environment variable.

Allow NFS lookup requests to better proceed in parallel.

After doing a directory lookup, drop the directory lock before fetching the
file inode.

Update synthetic RPC client to record timing.

For now, both it and readbench and effectively testing the time to look up
an inode, which should be a single fetch from S3.

.gitignore fix.

Work on a client for generating a synthetic stream of NFS operations.

This should provide another means of testing performance in addition to the
kernel NFS client.

.gitignore updates.

Add microbenchmarks to build system.

Add scripts for automatically testing reads at different settings.

Create a runtime option for sync/async frontend request handling.

SIGUSR1 causes nfsd to dump filesystem state now for debugging.

Work on a parallel read benchmark.

Leak cleanup.

Fix a deadlock and a few memory leaks.

Add inode prefetching support in NFS readdirplus.

Finish up asynchronous inode loading.

Let storage tuning options be set via environment variables.

This should make benchmarking runs easier.

Switch to CTR instead of CBC mode for encryption.

This should handle arbitrarily messages better.  Later we ought to switch
to something like EAX, so consider this change temporary.

Support for sync operations on an inode.

Flush file blocks to storage before the inode.

Otherwise, some blocks might not have been assigned a name and so
seriaizing the inode will lose data.

Ensure a reference to an async is held while it is locked.

Fixes a crash (assertion failure) with barriers where the barrier was
deallocated while it was still locked.

Clean up logging in storage layer.

Some changes to support asynchronous fetching of inodes.

Not 100% done yet, but almost there.

Implement multi-threaded request processing and locking for NFS.

Inodes are clean immediately after being read from storage.

NFS cache writeback is now invoked periodically by a timer.

Previously we didn't have timers set up and simply called the writeback
code after each operation (which could mean writeback wasn't invoked for
long stretches of time).

Bluesky core initializes a fresh filesystem, so no need to do so in nfsd.

Properly decrement inode refcounts when finishing a request.

Track each refcount increase made, and when the request is finally replied
to, drop those references.  In a few cases we manually drop references, but
this should be less error-prone if there are multiple possible return
paths.

Add a warning to catch possible refcounting bugs.

Not actually needed (was added to track down the corruption fixed in the
last changeset, which was unrelated), but probably worth keeping around.

Fix a nasty bug in the decryption code.

This was a typo but it led to various types of memory corruption; after
decrypting the returned string was marked as being larger than it should
have been--also meaning that the last bytes in the buffer were off in
unallocated space.

Track time to process each NFS RPC received.

Add support for dumping filesystem state for debugging purposes.

Remove some debugging messages.

Eliminate last static buffer in async_rpc_send_reply.

Remove most static variables in the NFS server functions.

Continuing rework for async RPC.

Now NFS server functions are responsible for sending a reply to the client
instead of returning a result to the RPC dispatch routine.  This will
allows the server functions to handle memory cleanup (instead of requiring
static data) and allows returns to be decoupled in time from when the
request arrives.

There is still some static data to clean up, but this moves us much closer
to allowing multiple requests in progress at once.

More async RPC work.

More cleanups to move RPC layer towards being asynchronous.

Fix for a segfault when resizing files.

If we only have a reference to a file block but have not read it in, we
don't actually know the size.  We maybe ought to have a better fix for this
later.