cloudbench/paralleltest.py

   1 #!/usr/bin/python
   2 #
   3 # Run a series of simple test requests against S3 for gathering some basic
   4 # performance numbers.
   5
   6 import boto, time
   7 from boto.s3.connection import SubdomainCallingFormat
   8 from boto.s3.key import Key
   9 import sys, threading, time, Queue
  10 import azure
  11
  12 BUCKET_NAME = 'mvrable-benchmark'
  13 SIZES = [(1 << s) for s in range(12, 23)]
  14
  15 class S3TestConnection:
  16     def __init__(self):
  17         self.conn = boto.connect_s3(is_secure=False,
  18                                     calling_format=SubdomainCallingFormat())
  19         self.bucket = self.conn.get_bucket(BUCKET_NAME)
  20
  21     def put_object(self, name, size):
  22         buf = 'A' * size
  23         k = Key(self.bucket, name)
  24         start_time = time.time()
  25         k.set_contents_from_string(buf)
  26         #print "%s: %f" % (name, time.time() - start_time)
  27
  28     def get_object(self, name):
  29         k = Key(self.bucket, name)
  30         start_time = time.time()
  31         buf = k.get_contents_as_string()
  32         duration = time.time() - start_time
  33         #print "%s: %f" % (name, duration)
  34         return duration
  35
  36 def parallel_get(name, connections, delay1=0.0):
  37     #print "Get: %s x %d" % (name, len(connections))
  38     threads = []
  39     q = Queue.Queue()
  40     def launcher(c, name, result_queue):
  41         result_queue.put(c.get_object(name))
  42     for i in range(len(connections)):
  43         c = connections[i]
  44         threads.append(threading.Thread(target=launcher, args=(c, name, q)))
  45     for i in range(len(threads)):
  46         threads[i].start()
  47     for t in threads: t.join()
  48     res = []
  49     while not q.empty():
  50         res.append(q.get())
  51
  52     if len(res) == len(connections):
  53         return res
  54
  55 def run_test(size, threads, num, logfile=sys.stdout, delay=1.0):
  56     connections = [S3TestConnection() for _ in range(threads)]
  57     for i in range(num):
  58         print "    ...test", i
  59         res = parallel_get('file-%d-%d' % (size, i), connections)
  60         if res is not None:
  61             logfile.write(str(min(res)) + "\n")
  62         if delay > 0:
  63             time.sleep(delay)
  64
  65 for s in SIZES:
  66     print "Priming objects: %d-byte objects" % (s,)
  67     logfile = open('/dev/null', 'w')
  68     run_test(s, 1, 100, logfile, 0.0)
  69
  70     for t in [4, 2, 1]:
  71         print "Running tests: %d-byte objects, %d parallel fetches" % (s, t)
  72         logfile = open('parallel-%d-%d.data' % (s, t), 'w')
  73         run_test(s, t, 100, logfile)
  74 sys.exit(0)
  75
  76 if __name__ == '__main__':
  77     # Pass 1: Identical downloads in parallel
  78     connections = [S3TestConnection() for _ in range(8)]
  79     SIZES = [4096, 32 << 10, 256 << 10, 1 << 20, 4 << 20]
  80     PRIME = (1 << 20) + (1 << 10)
  81     c = S3TestConnection()
  82     for size in SIZES:
  83         for i in range(32):
  84             parallel_get('file-%d-%d' % (size, i), connections)
  85
  86     # Pass 1: Downloads in parallel, but downloads staggered so one request
  87     # arrives earlier
  88     connections = [S3TestConnection() for _ in range(8)]
  89     SIZES = [4096, 32 << 10, 256 << 10, 1 << 20, 4 << 20]
  90     PRIME = (1 << 20) + (1 << 10)
  91     c = S3TestConnection()
  92     for size in SIZES:
  93         for i in range(32):
  94             parallel_get('file-%d-%d' % (size, i), connections, delay1=1.0)