Updated synthetic write benchmark runs

Scripts and results for a few more benchmark runs

Update SPECsfs results for Azure

Add an updated Azure run

Merge branch 'master' of git+ssh://niniel.sysnet.ucsd.edu/home/mvrable/local/bluesky

Check in miscellaneous updates

Fix a flipped comparison in the memory pressure calculation

We were almost always saying there was too much dirty data that needed to
be flushed.  Now, also print out debugging messages when memory pressure is
detected stating what we have found, exactly.

Tool to measure 32kb read latencies via the kernel

Results updates

Add four-way latency comparison (NFS and CIFS)

Turn down debugging.

Yet another cleaner bugfix.

Prepare for another run of the synthetic read benchmark

Fix another cleaner bug

Cleaner fix part 1

Bug fix in the in-proxy cleaner component

Check in the synthetic write benchmark results

Dump some statistics when the cleaner runs

Script for randomly writing files to generate work for a cleaner

Re-run synthetic writes with different parameter values

More bench fixes

Benchmark fix--mount the file system to write to it

More benchmark fixes

Include elapsed time in write benchmark

Synwrite benchmark setup

Set up synthetic write benchmark.

CIFS results

Updates to synthetic read data processing script

Add write throttling based on the size of the uncommitted journal

Previously, throttling was based only on data in memory not committed to
the journal.  With limited upload bandwidth to the cloud, we need both.

Merge git+ssh://idril.vpn.vrable.net/home/mvrable/local/bluesky

Update write benchmark

Create a simple tool for measuring latencies of write operations

There is no explicit sync, but NFS has an implicit one on file close()
which should be good enough for benchmarking.

Add figures for synthetic read benchmark

Add notes on using a traffic limiter for benchmarks

Check in and clean up repository

Prepare to fill in more synthetic read data points

Prepare for re-run of synthetic test with more clients

Error message fix

Fix cache sizes for run

Prepare for first real synthetic read benchmark

synread script updates

Try to improve parallelism of synreadbench warmup phase

Benchmark setup

Report average latency in synbench

More benchmark setup

Setup for the synthetic read benchmark

Add a mode for warming up the proxy cache before a synthetic benchmark

More work on the synthetic read benchmark

Work on the synthetic read benchmark

Include no read aggregation data in graph

More SPECsfs runs

Work on a tool for a synthetic read benchmark

Add an option to disable aggregating reads in the proxy

This is for benchmarking purposes.  It uses range requests but does not
delay submitting the reads (to wait for batching opportunities).

Minor changes to graphs and benchmark control scripts

Extract wall clock timestamp of each run when parsing sfsres files

Benchmark results using more concurrent requests and no crypto

SPECsfs results from repeating the Azure measurements

Add an option to disable cryptographic operations

This is intended for benchmarking, to measure the overhead of just the
non-cryptographic operations.

Speed up the deletion of all files in an Azure container

NFS trace replay results

Merge git+ssh://vrable1.sysnet.ucsd.edu/scratch/bluesky

Revert "Enable real-time trace replay instead of maximum-speed replay mode."

This reverts commit c0cab09e97b2c3fce55a743a978e4ea81b5ffbdb.

Check in new benchmark results

Plot updates

Check in new Azure benchmark results

SPECsfs results for the non-log-structured case

Check in some of the recent SPECsfs results

Try to improve support for no-aggregation mode

Make it at least a bit more performance-competitive by fetching objects
when prefetching is requested.

SPEC benchmark setup using no range requests

Also a few graph updates.

Results from a SPECsfs run with 8GB of memory

Optimize overwrites of the last block of a file

Drop another debugging message in non-verbose mode

Really use the US-West region for the SPECsfs benchmark

Update to a warning message to provide more debugging info

Updates to scripts for a mixedbench microbenchmarking run

Check in some old data regarding S3 performance

These experiments ought to be re-run, but use the old data as a placeholder
for now.

Server rename for benchmarks

Tweaks to code that handles read-modify-write on data blocks

Prepare for microbench re-run with latest code

Reduce verbosity

Add a script to parse the S3 and NFS traffic statistics from a run

Updates to automatic SPECsfs-launching script

Reorganize benchmark scripts to support running SPECsfs as well

Some configuration files for possible Postmark benchmark runs

Script update

Update some benchmark-running scripts

Add runtime options to disable some of the log-structured optimizations

Add a debug option to dump statistics counters every ten seconds

Data is appended to a file, so that it can be analyzed later.  Timestamps
are incldued to align results with benchmarks.

Parse and reorganize some microbenchmark results

Track inter-request delay in TCP analysis

When analyzing TCP connections, track the time the connection goes idle
(between the end of one request and start of the next).

Disable profiling collection entirely when no data is requested

Note down more kernel compile benchmark results

Tweak inode prefetching

Rework inode prefetching.

Attempt to coalesce range requests for inodes where possible.

Start keeping notes on tarball unpack, checksum, kernel compile, etc.

Postmark results summary

Minor benchmark additions/changes

Infrastructure to generate PDF figures for the paper

Commit SPECsfs results for an NFS server running in EC2

Re-run some results with newer BlueSky code