microbench/parse-results.py

   1 #!/usr/bin/python2
   2
   3 import os, re
   4
   5 def load_results(prefix):
   6     settings_file = open(prefix + ".settings")
   7     results_file = open(prefix + ".results")
   8
   9     settings = {}
  10     for l in settings_file:
  11         l = l.strip()
  12         try:
  13             (k, v) = l.split('=', 1)
  14             settings[k] = v
  15         except: pass
  16
  17     results = []
  18     result_group = {}
  19     for l in results_file:
  20         l = l.strip()
  21         if len(l) == 0 and len(result_group) > 0:
  22             results.append(result_group)
  23             result_group = {}
  24         m = re.match(r"^(\w+): \[(.*)\]$", l)
  25         if m:
  26             vals = [float(x.strip()) for x in m.group(2).split(',')]
  27             result_group[m.group(1)] = vals
  28     if len(result_group) > 0:
  29         results.append(result_group)
  30
  31     return (settings, results)
  32
  33 def extract(data, params={}, ty='read', index=0):
  34     if ty == 'mixed':
  35         ty = ('read', 'write')
  36     else:
  37         ty = (ty,)
  38
  39     results = {}
  40     for (s, r) in data:
  41         match = True
  42         for (k, v) in params.items():
  43             if s[k] != v: match = False
  44         if not match: continue
  45
  46         ops = int(s['BENCH_OPS'])
  47
  48         vs = 0.0
  49         for t in ty:
  50             vals = [x[t][index] for x in r]
  51             vals = vals[5:]
  52             vs += sum(vals) / len(vals)
  53         results[ops] = vs
  54
  55     return results
  56
  57 data = []
  58 if __name__ == '__main__':
  59     for f in os.listdir('results'):
  60         if f.endswith('.settings'):
  61             data.append(load_results('results/' + f[:-len('.settings')]))
  62
  63 ratios = {'read': '0.0', 'write': '1.0', 'mixed': '0.5'}
  64
  65 for size in [128, 512, 1024, 2048]:
  66     for blocksize in [4096, 32768]:
  67         for ratio in ratios:
  68             params = {'BLUESKY_TARGET': 's3',
  69                       'BENCH_WRITERATIO': ratios[ratio],
  70                       'BENCH_FILECOUNT': str(size),
  71                       'BENCH_BLOCKSIZE': str(blocksize)}
  72
  73             d0 = extract(data, params, ty=ratio, index=0)
  74             d1 = extract(data, params, ty=ratio, index=1)
  75
  76             fp = open('%s-%d-%s-%dk.data' % (params['BLUESKY_TARGET'], size, ratio, blocksize / 1024), 'w')
  77             for k in sorted(d0.keys()):
  78                 fp.write("%d\t%f\t%f\n" % (k, d0[k], d1[k]))
  79             fp.close()