cloudbench/cloudtest.py

   1 #!/usr/bin/python
   2 #
   3 # Run a series of simple test requests against S3 for gathering some basic
   4 # performance numbers.
   5
   6 import boto, time
   7 from boto.s3.connection import SubdomainCallingFormat
   8 from boto.s3.key import Key
   9 import azure
  10
  11 BUCKET_NAME = 'mvrable-benchmark'
  12 SIZES = [64, 4096, 32 << 10, 256 << 10, 1 << 20, 4 << 20, 32 << 20]
  13
  14 class S3TestConnection:
  15     def __init__(self):
  16         self.conn = boto.connect_s3(is_secure=False,
  17                                     calling_format=SubdomainCallingFormat())
  18         self.bucket = self.conn.get_bucket(BUCKET_NAME)
  19
  20     def put_object(self, name, size):
  21         buf = 'A' * size
  22         k = Key(self.bucket, name)
  23         start_time = time.time()
  24         k.set_contents_from_string(buf)
  25         print "%s: %f" % (name, time.time() - start_time)
  26
  27     def get_object(self, name):
  28         k = Key(self.bucket, name)
  29         start_time = time.time()
  30         buf = k.get_contents_as_string()
  31         print "%s: %f" % (name, time.time() - start_time)
  32
  33 class AzureTestConnection:
  34     def __init__(self):
  35         self.conn = azure.Connection()
  36
  37     def put_object(self, name, size):
  38         buf = 'A' * size
  39         start_time = time.time()
  40         self.conn.make_request('/benchmark/' + name, 'PUT', buf,
  41                                {'x-ms-blob-type': 'BlockBlob'})
  42         print "%s: %f" % (name, time.time() - start_time)
  43
  44     def get_object(self, name):
  45         start_time = time.time()
  46         self.conn.make_request('/benchmark/' + name, 'GET')
  47         print "%s: %f" % (name, time.time() - start_time)
  48
  49 def run_test():
  50     print "==== S3 ===="
  51     c = S3TestConnection()
  52     for repeat in range(4):
  53         for size in SIZES:
  54             c.put_object('file-%d-%d' % (size, repeat), size)
  55
  56     c = S3TestConnection()
  57     for repeat in range(4):
  58         for size in SIZES:
  59             c.get_object('file-%d-%d' % (size, repeat))
  60
  61     print "==== AZURE ===="
  62     c = AzureTestConnection()
  63     for repeat in range(4):
  64         for size in SIZES:
  65             c.put_object('file-%d-%d' % (size, repeat), size)
  66
  67     c = AzureTestConnection()
  68     for repeat in range(4):
  69         for size in SIZES:
  70             c.get_object('file-%d-%d' % (size, repeat))
  71
  72 if __name__ == '__main__':
  73     #run_test()
  74     SIZES = [4096, 32 << 10, 256 << 10, 1 << 20, 4 << 20]
  75     PRIME = (1 << 20) + (1 << 10)
  76     c = AzureTestConnection()
  77     for size in SIZES:
  78         c.put_object('file-%d-%d' % (size, 0), size)
  79     c.put_object('file-%d-%d' % (PRIME, 0), PRIME)
  80
  81     for size in SIZES:
  82         for n in range(50):
  83             c = AzureTestConnection()
  84             c.get_object('file-%d-%d' % (PRIME, 0))
  85             time.sleep(2.0)
  86             c.get_object('file-%d-%d' % (size, 0))