projects / bluesky.git / commitdiff
? search:
summary | shortlog | log | commit | commitdiff | tree
raw | patch | inline | side by side (parent: d7bb884)
Results updates
authorMichael Vrable <mvrable@cs.ucsd.edu>
Fri, 18 Mar 2011 17:20:35 +0000 (10:20 -0700)
committerMichael Vrable <mvrable@cs.ucsd.edu>
Fri, 18 Mar 2011 17:20:35 +0000 (10:20 -0700)
microbench/run-synwrite.sh patch | blob | history
results/20110317/CLEANER [new file with mode: 0644] patch | blob
results/20110318-synread/1024k-c1.data [new file with mode: 0644] patch | blob
results/20110318-synread/128k-c1.data [new file with mode: 0644] patch | blob
results/20110318-synread/32k-c1.data [new file with mode: 0644] patch | blob
results/figures/syn-read.gnuplot patch | blob | history

diff --git a/microbench/run-synwrite.sh b/microbench/run-synwrite.sh
index ce66b3e..bc219a8 100755 (executable)
--- a/microbench/run-synwrite.sh
+++ b/microbench/run-synwrite.sh
@@ -6,7 +6,7 @@ BASEDIR=$(dirname $(which $0))
 BLUESKY_TARGET=s3:mvrable-bluesky-west
 BLUESKY_EXTRA_OPTS="BLUESKY_OPT_NO_CRYPTO=1"
 
-rates="1 2 4 8 10 12 14 16 32"
+rates="2 4 6 8 10 12 14 16 18 20 24 28 32"
 
 run_synbench() {
     basename=$(date +%Y%m%d)-$1
@@ -20,7 +20,7 @@ run_synbench() {
 
     for SYNWRITE_RATE in $rates; do
         run_cmd $BENCHER run-synwrite
-        sleep 30
+        sleep 120
     done
 
     run_cmd $PROXY stop-proxy
@@ -28,7 +28,6 @@ run_synbench() {
     wait $proxy_pid
 }
 
-#for BLUESKY_CACHE_SIZE in $((2048 * 1024)); do
-for BLUESKY_CACHE_SIZE in $((256 * 1024)); do
+for BLUESKY_CACHE_SIZE in $((256 * 1024)) $((2048 * 1024)); do
     run_synbench "write100c-$(($BLUESKY_CACHE_SIZE / 1024))M"
 done
diff --git a/results/20110317/CLEANER b/results/20110317/CLEANER
new file mode 100644 (file)
index 0000000..6044f90
--- /dev/null
+++ b/results/20110317/CLEANER
@@ -0,0 +1,83 @@
+Proxy run as:
+
+BLUESKY_CACHE_SIZE=$((8 * 1024 * 1024)) BLUESKY_TARGET=s3:mvrable-bluesky-west BLUESKY_STATS_OUT=/export2/20110317-cleaner.stats /scratch/bluesky.git/nfs3/nfsproxy
+
+Create 1 GB of files:
+for i in {0..1023}; do dd if=/dev/zero of=file-$i bs=1M count=1; done
+
+Thu Mar 17 21:26:36 PDT 2011
+Log files written: up to log-00000000-00000261
+
+Thu Mar 17 21:29:00 PDT 2011
+Dirty 25% of files with cleanbench.py
+Log files written up to log-00000000-00000329
+
+Thu Mar 17 21:29:45 PDT 2011
+Run cleaner, completes around Thu Mar 17 21:32:35 PDT 2011
+max log segments: log-00000000-00000329, log-00000001-00000030
+
+==============================================================================
+
+Proxy run as:
+
+BLUESKY_CACHE_SIZE=$((4 * 1024 * 1024)) BLUESKY_TARGET=s3:mvrable-bluesky-west BLUESKY_STATS_OUT=/export2/20110317-cleaner.stats /scratch/bluesky.git/nfs3/nfsproxy
+
+Create 1 GB of files:
+for i in {0..1023}; do dd if=/dev/zero of=file-$i bs=1M count=1; done
+Fri Mar 18 00:44:58 PDT 2011
+
+Log files written: up to log-00000000-00002066
+
+Fri Mar 18 00:49:14 PDT 2011
+Dirty 25% of files with cleanbench.py
+Log files written up to log-00000000-00002585
+
+Run cleaner
+max log segments: log-00000000-00002585, log-00000001-00000235
+Fri Mar 18 01:15:04 PDT 2011
+
+==============================================================================
+
+Proxy run as:
+
+BLUESKY_CACHE_SIZE=$((4 * 1024 * 1024)) BLUESKY_TARGET=s3:mvrable-bluesky-west BLUESKY_STATS_OUT=/export2/20110318-cleaner.stats /scratch/bluesky.git/nfs3/nfsproxy
+
+Create 1 GB of files:
+for i in {0..8191}; do dd if=/dev/zero of=file-$i bs=1M count=1; done
+Fri Mar 18 01:47:03 PDT 2011
+
+Log files written: up to log-00000000-00002067
+
+Dirty 25% of files with cleanbench.py
+Log files written up to log-00000000-00002586
+Fri Mar 18 01:50:25 PDT 2011
+
+Run cleaner
+Fri Mar 18 01:51:20 PDT 2011
+writeout shortly before Fri Mar 18 02:16:55 PDT 2011
+max log segments: 
+
+==============================================================================
+
+Proxy run as:
+
+BLUESKY_CACHE_SIZE=$((1024 * 1024)) BLUESKY_TARGET=s3:mvrable-bluesky-west BLUESKY_STATS_OUT=/export2/20110318-cleaner.stats /scratch/bluesky.git/nfs3/nfsproxy
+
+Create 1 GB of files:
+for i in {0..1023}; do dd if=/dev/zero of=file-$i bs=1M count=1; done
+Fri Mar 18 01:47:03 PDT 2011
+
+Log files up to: log-00000000-00000265 log-00000001-00000002
+
+Fri Mar 18 09:18:02 PDT 2011
+Dirty 25% of files with cleanbench.py
+Fri Mar 18 09:19:30 PDT 2011
+Log files up to: log-00000000-00000336 log-00000001-00000002
+
+Run cleaner
+Fri Mar 18 09:20:22 PDT 2011
+Fri Mar 18 09:24:23 PDT 2011
+max log segments: log-00000000-00000337 log-00000001-00000036
+
+Re-run cleaner (to check for deletable segments):
+Fri Mar 18 09:25:48 PDT 2011
diff --git a/results/20110318-synread/1024k-c1.data b/results/20110318-synread/1024k-c1.data
new file mode 100644 (file)
index 0000000..7b16114
--- /dev/null
+++ b/results/20110318-synread/1024k-c1.data
@@ -0,0 +1,9 @@
+0      4.18348623853   4.18348623853   239
+4      5.08181818182   5.08181818182   197
+8      4.03603603604   4.03603603604   247
+12     4.9009009009    4.9009009009    204
+16     5.52252252252   5.52252252252   180
+20     5.59459459459   5.59459459459   178
+24     8.31818181818   8.31818181818   119
+28     11.6272727273   11.6272727273   86
+32     21.0990990991   21.0990990991   47
diff --git a/results/20110318-synread/128k-c1.data b/results/20110318-synread/128k-c1.data
new file mode 100644 (file)
index 0000000..f812fdc
--- /dev/null
+++ b/results/20110318-synread/128k-c1.data
@@ -0,0 +1,9 @@
+0      7.6036036036    0.95045045045   131
+4      13.7207207207   1.71509009009   72
+8      8.97297297297   1.12162162162   111
+12     9.28828828829   1.16103603604   107
+16     12.1981981982   1.52477477477   81
+20     13.1891891892   1.64864864865   75
+24     16.6396396396   2.07995495495   60
+28     26.8378378378   3.35472972973   37
+32     47.036036036    5.8795045045    21
diff --git a/results/20110318-synread/32k-c1.data b/results/20110318-synread/32k-c1.data
new file mode 100644 (file)
index 0000000..30e2d07
--- /dev/null
+++ b/results/20110318-synread/32k-c1.data
@@ -0,0 +1,9 @@
+0      13.4324324324   0.419763513514  74
+4      15.027027027    0.469594594595  66
+8      16.2432432432   0.507601351351  61
+12     16.3153153153   0.509853603604  61
+16     21.2522522523   0.664132882883  47
+20     20.954954955    0.654842342342  47
+24     29.7477477477   0.929617117117  33
+28     42.9099099099   1.34093468468   23
+32     73.9459459459   2.31081081081   13
diff --git a/results/figures/syn-read.gnuplot b/results/figures/syn-read.gnuplot
index af974bf..26c2795 100644 (file)
--- a/results/figures/syn-read.gnuplot
+++ b/results/figures/syn-read.gnuplot
@@ -8,28 +8,28 @@ set xrange [0:100]
 set output "syn-read-1.eps"
 set title "Single-Client Request Stream"
 set key top right
-plot "../20110316-synread/32k-c1.data" using (100*$1/32):4 with linespoints title "32 KB", \
-     "../20110316-synread/128k-c1.data" using (100*$1/32):4 with linespoints title "128 KB", \
-     "../20110316-synread/1024k-c1.data" using (100*$1/32):4 with linespoints title "1024 KB"
+plot "../20110318-synread/32k-c1.data" using (100*$1/32):4 with linespoints title "32 KB", \
+     "../20110318-synread/128k-c1.data" using (100*$1/32):4 with linespoints title "128 KB", \
+     "../20110318-synread/1024k-c1.data" using (100*$1/32):4 with linespoints title "1024 KB"
 
-set output "syn-read-16.eps"
-set title "16 Concurrent Request Streams"
-set key top left
-plot "../20110316-synread/32k-c16.data" using (100*$1/32):4 with linespoints title "32 KB", \
-     "../20110316-synread/128k-c16.data" using (100*$1/32):4 with linespoints title "128 KB", \
-     "../20110316-synread/1024k-c16.data" using (100*$1/32):4 with linespoints title "1024 KB"
+# set output "syn-read-16.eps"
+# set title "16 Concurrent Request Streams"
+# set key top left
+# plot "../20110316-synread/32k-c16.data" using (100*$1/32):4 with linespoints title "32 KB", \
+#      "../20110316-synread/128k-c16.data" using (100*$1/32):4 with linespoints title "128 KB", \
+#      "../20110316-synread/1024k-c16.data" using (100*$1/32):4 with linespoints title "1024 KB"
 
 set ylabel "Read Bandwidth (MB/s)"
 set output "syn-read-1b.eps"
 set title "Single-Client Request Stream"
 set key top left
-plot "../20110316-synread/32k-c1.data" using (100*$1/32):3 with linespoints title "32 KB", \
-     "../20110316-synread/128k-c1.data" using (100*$1/32):3 with linespoints title "128 KB", \
-     "../20110316-synread/1024k-c1.data" using (100*$1/32):3 with linespoints title "1024 KB"
+plot "../20110318-synread/32k-c1.data" using (100*$1/32):3 with linespoints title "32 KB", \
+     "../20110318-synread/128k-c1.data" using (100*$1/32):3 with linespoints title "128 KB", \
+     "../20110318-synread/1024k-c1.data" using (100*$1/32):3 with linespoints title "1024 KB"
 
-set output "syn-read-16b.eps"
-set title "16 Concurrent Request Streams"
-set key top right
-plot "../20110316-synread/32k-c16.data" using (100*$1/32):3 with linespoints title "32 KB", \
-     "../20110316-synread/128k-c16.data" using (100*$1/32):3 with linespoints title "128 KB", \
-     "../20110316-synread/1024k-c16.data" using (100*$1/32):3 with linespoints title "1024 KB"
+# set output "syn-read-16b.eps"
+# set title "16 Concurrent Request Streams"
+# set key top right
+# plot "../20110316-synread/32k-c16.data" using (100*$1/32):3 with linespoints title "32 KB", \
+#      "../20110316-synread/128k-c16.data" using (100*$1/32):3 with linespoints title "128 KB", \
+#      "../20110316-synread/1024k-c16.data" using (100*$1/32):3 with linespoints title "1024 KB"
Blue Sky: File Systems in the Cloud