results/20110314-replay/ec2

   1 size of fh_map_t 400 size of fh_map 160000000
   2 sizeof dep_tab_t 152 sizeof dep_tab 15200000
   3 size of memory_trace_ent_t 376 sizeof memory_trace 37600000
   4 size of CREATE3args 136
   5 size of MKDIR3args 132
   6 size of READ3args 80
   7 size of WRITE3args 92
   8 size of RENAME3args 144
   9 size of GETATTR3args 68
  10 size of SETATTR3args 140
  11 size of LINK3args 140
  12 size of SYMLINK3args 136
  13 size of MKNOD3args 144
  14 size of RMDIR3args 72
  15 size of REMOVE3args 72
  16 size of LOOKUP3args 72
  17 size of READDIR3args 88
  18 size of READDIRPLUS3args 92
  19 size of FSSTAT3args 68
  20 size of FSINFO3args 68
  21 size of COMMIT3args 80
  22 size of ACCESS3args 72
  23 size of READLINK3args 68
  24 async_rpc_sem semid 753664 for key 60000 value 1
  25 SIZE of fh map 160000 KB
  26 0 fh_map entry read
  27 trace starttime 1001026799 824160 0
  28 io_thread EXIT
  29 trace_play
  30 receive problem reply, xid 147ee6fb nfs_ret 2 No such file or directory trace_status 0 start 0:167686 stop 0:180566 command disk index 170
  31 receive problem reply, xid 497ee6fb nfs_ret 2 No such file or directory trace_status 0 start 0:258056 stop 0:270796 command disk index 278
  32 receive problem reply, xid 4a7ee6fb nfs_ret 2 No such file or directory trace_status 0 start 0:259316 stop 0:272143 command disk index 318
  33 receive problem reply, xid 1282e6fb nfs_ret 2 No such file or directory trace_status 0 start 1:846181 stop 1:858959 command disk index 2214
  34 receive problem reply, xid 8282e6fb nfs_ret 2 No such file or directory trace_status 0 start 2:35323 stop 2:48257 command disk index 2442
  35 receive problem reply, xid e182e6fb nfs_ret 2 No such file or directory trace_status 0 start 2:197548 stop 2:210288 command disk index 2640
  36 receive problem reply, xid e788e6fb nfs_ret 2 No such file or directory trace_status 0 start 4:749331 stop 4:762047 command disk index 6772
  37 receive problem reply, xid e888e6fb nfs_ret 2 No such file or directory trace_status 0 start 4:749350 stop 4:762063 command disk index 6782
  38 receive problem reply, xid 89e6fb nfs_ret 2 No such file or directory trace_status 0 start 4:787796 stop 4:800670 command disk index 6860
  39 receive problem reply, xid 389e6fb nfs_ret 2 No such file or directory trace_status 0 start 4:793240 stop 4:806070 command disk index 6866
  40 receive problem reply, xid 489e6fb nfs_ret 2 No such file or directory trace_status 0 start 4:793430 stop 4:806144 command disk index 6868
  41 receive problem reply, xid 589e6fb nfs_ret 2 No such file or directory trace_status 0 start 4:796801 stop 4:809484 command disk index 6872
  42 receive problem reply, xid 689e6fb nfs_ret 2 No such file or directory trace_status 0 start 4:798050 stop 4:810739 command disk index 6882
  43 fh_path_map error disk[7648] state DEP_FLAG_WAIT_FHANDLE to DEP_FLAG_DONE
  44 receive problem reply, xid cc8ce6fb nfs_ret 2 No such file or directory trace_status 0 start 6:408710 stop 6:421511 command disk index 9428
  45 receive problem reply, xid ce8ce6fb nfs_ret 2 No such file or directory trace_status 0 start 6:410698 stop 6:423389 command disk index 9434
  46 receive problem reply, xid cf8ce6fb nfs_ret 2 No such file or directory trace_status 0 start 6:416165 stop 6:428872 command disk index 9436
  47 receive problem reply, xid d08ce6fb nfs_ret 2 No such file or directory trace_status 0 start 6:416266 stop 6:428994 command disk index 9440
  48 receive problem reply, xid d18ce6fb nfs_ret 2 No such file or directory trace_status 0 start 6:416422 stop 6:429253 command disk index 9444
  49 receive problem reply, xid 578fe6fb nfs_ret 2 No such file or directory trace_status 0 start 7:488486 stop 7:501300 command disk index 11374
  50 receive problem reply, xid 588fe6fb nfs_ret 2 No such file or directory trace_status 0 start 7:488872 stop 7:501604 command disk index 11382
  51 receive problem reply, xid 8391e6fb nfs_ret 2 No such file or directory trace_status 0 start 8:608454 stop 8:621137 command disk index 13050
  52 >>>> sendng thread: time 9 send_num 5313 recv_num 5306 timeout_num 0 num_out_reqs 7 can_not_catch_speed_num 0 PLAY_SCALE 1
  53 num_out_req[0]=1,num_out_req[2]=1,num_out_req[4]=2,num_out_req[5]=11,num_out_req[6]=252,num_out_req[7]=4754,num_out_req[8]=2243,
  54
  55 receive problem reply, xid 9194e6fb nfs_ret 2 No such file or directory trace_status 0 start 9:887272 stop 9:900111 command disk index 14816
  56 receive problem reply, xid 1d9fe6fb nfs_ret 2 No such file or directory trace_status 0 start 14:349793 stop 14:362529 command disk index 22438
  57 receive problem reply, xid 1e9fe6fb nfs_ret 2 No such file or directory trace_status 0 start 14:349913 stop 14:362632 command disk index 22450
  58 receive problem reply, xid 819fe6fb nfs_ret 2 No such file or directory trace_status 0 start 14:516820 stop 14:529668 command disk index 22650
  59 receive problem reply, xid 829fe6fb nfs_ret 2 No such file or directory trace_status 0 start 14:519013 stop 14:531768 command disk index 22654
  60 receive problem reply, xid 969fe6fb nfs_ret 2 No such file or directory trace_status 0 start 14:554227 stop 14:567025 command disk index 22720
  61 receive problem reply, xid 989fe6fb nfs_ret 2 No such file or directory trace_status 0 start 14:557377 stop 14:570132 command disk index 22726
  62 receive problem reply, xid 999fe6fb nfs_ret 2 No such file or directory trace_status 0 start 14:558145 stop 14:570998 command disk index 22728
  63 receive problem reply, xid 9b9fe6fb nfs_ret 2 No such file or directory trace_status 0 start 14:560023 stop 14:572892 command disk index 22732
  64 receive problem reply, xid 9c9fe6fb nfs_ret 2 No such file or directory trace_status 0 start 14:564243 stop 14:577131 command disk index 22736
  65 receive problem reply, xid 1fa0e6fb nfs_ret 2 No such file or directory trace_status 0 start 14:790443 stop 14:803299 command disk index 23096
  66 receive problem reply, xid 21a0e6fb nfs_ret 2 No such file or directory trace_status 0 start 14:794865 stop 14:807687 command disk index 23102
  67 receive problem reply, xid 23a0e6fb nfs_ret 2 No such file or directory trace_status 0 start 14:796922 stop 14:809685 command disk index 23104
  68 receive problem reply, xid 3ea0e6fb nfs_ret 2 No such file or directory trace_status 0 start 14:842250 stop 14:854949 command disk index 23108
  69 receive problem reply, xid 42a0e6fb nfs_ret 2 No such file or directory trace_status 0 start 14:849605 stop 14:862324 command disk index 23116
  70 receive problem reply, xid e4a0e6fb nfs_ret 2 No such file or directory trace_status 0 start 15:119647 stop 15:132604 command disk index 23584
  71 receive problem reply, xid ca1e6fb nfs_ret 2 No such file or directory trace_status 0 start 15:190383 stop 15:203105 command disk index 23708
  72 receive problem reply, xid da1e6fb nfs_ret 2 No such file or directory trace_status 0 start 15:190868 stop 15:203612 command disk index 23718
  73 receive problem reply, xid 66a5e6fb nfs_ret 2 No such file or directory trace_status 0 start 17:173007 stop 17:185871 command disk index 26910
  74 receive problem reply, xid 67a5e6fb nfs_ret 2 No such file or directory trace_status 0 start 17:173149 stop 17:185887 command disk index 26914
  75 receive problem reply, xid 69a5e6fb nfs_ret 2 No such file or directory trace_status 0 start 17:174530 stop 17:187302 command disk index 26920
  76 receive problem reply, xid 6aa5e6fb nfs_ret 2 No such file or directory trace_status 0 start 17:174774 stop 17:187541 command disk index 26922
  77 receive problem reply, xid 6ba5e6fb nfs_ret 2 No such file or directory trace_status 0 start 17:180892 stop 17:193697 command disk index 26924
  78 receive problem reply, xid 19a9e6fb nfs_ret 2 No such file or directory trace_status 0 start 18:937184 stop 18:949992 command disk index 29382
  79 receive problem reply, xid 1aa9e6fb nfs_ret 2 No such file or directory trace_status 0 start 18:939573 stop 18:952239 command disk index 29390
  80 receive problem reply, xid 4ea9e6fb nfs_ret 2 No such file or directory trace_status 0 start 19:24081 stop 19:36959 command disk index 29518
  81 >>>> sendng thread: time 19 send_num 11157 recv_num 11149 timeout_num 0 num_out_reqs 8 can_not_catch_speed_num 0 PLAY_SCALE 1
  82 num_out_req[4]=1,num_out_req[5]=36,num_out_req[6]=357,num_out_req[7]=5018,num_out_req[8]=2674,
  83
  84 receive problem reply, xid a6aae6fb nfs_ret 2 No such file or directory trace_status 0 start 19:593158 stop 19:606022 command disk index 30330
  85 receive problem reply, xid 45abe6fb nfs_ret 2 No such file or directory trace_status 0 start 19:860763 stop 19:873510 command disk index 30688
  86 receive problem reply, xid 61abe6fb nfs_ret 2 No such file or directory trace_status 0 start 19:906023 stop 19:918904 command disk index 30790
  87 receive problem reply, xid 62abe6fb nfs_ret 2 No such file or directory trace_status 0 start 19:906395 stop 19:919141 command disk index 30800
  88 receive problem reply, xid 6babe6fb nfs_ret 2 No such file or directory trace_status 0 start 19:921789 stop 19:934688 command disk index 30844
  89 receive problem reply, xid 6eabe6fb nfs_ret 2 No such file or directory trace_status 0 start 19:927282 stop 19:940033 command disk index 30850
  90 receive problem reply, xid 6fabe6fb nfs_ret 2 No such file or directory trace_status 0 start 19:927758 stop 19:940512 command disk index 30852
  91 receive problem reply, xid eeabe6fb nfs_ret 2 No such file or directory trace_status 0 start 20:140993 stop 20:153792 command disk index 31168
  92 receive problem reply, xid efabe6fb nfs_ret 2 No such file or directory trace_status 0 start 20:145987 stop 20:158681 command disk index 31176
  93 receive problem reply, xid 47ace6fb nfs_ret 2 No such file or directory trace_status 0 start 20:286623 stop 20:299344 command disk index 31708
  94 receive problem reply, xid 48ace6fb nfs_ret 2 No such file or directory trace_status 0 start 20:289639 stop 20:302352 command disk index 31716
  95 receive problem reply, xid 7cace6fb nfs_ret 2 No such file or directory trace_status 0 start 20:372416 stop 20:385144 command disk index 31968
  96 receive problem reply, xid 7dace6fb nfs_ret 2 No such file or directory trace_status 0 start 20:372870 stop 20:385611 command disk index 31978
  97 receive problem reply, xid b8ace6fb nfs_ret 2 No such file or directory trace_status 0 start 20:471253 stop 20:483962 command disk index 32122
  98 receive problem reply, xid b9ace6fb nfs_ret 2 No such file or directory trace_status 0 start 20:473259 stop 20:486085 command disk index 32134
  99 receive problem reply, xid 43ade6fb nfs_ret 2 No such file or directory trace_status 0 start 20:701404 stop 20:714200 command disk index 32460
 100 receive problem reply, xid 44ade6fb nfs_ret 2 No such file or directory trace_status 0 start 20:707583 stop 20:720440 command disk index 32472
 101 receive problem reply, xid a3aee6fb nfs_ret 2 No such file or directory trace_status 0 start 21:285906 stop 21:298651 command disk index 33248
 102 receive problem reply, xid a4aee6fb nfs_ret 2 No such file or directory trace_status 0 start 21:286919 stop 21:299782 command disk index 33258
 103 receive problem reply, xid 5db2e6fb nfs_ret 2 No such file or directory trace_status 0 start 22:852851 stop 22:865715 command disk index 35982
 104 receive problem reply, xid fcb4e6fb nfs_ret 2 No such file or directory trace_status 0 start 23:951540 stop 23:964299 command disk index 37498
 105 receive problem reply, xid 48b6e6fb nfs_ret 2 No such file or directory trace_status 0 start 24:497631 stop 24:510465 command disk index 38282
 106 receive problem reply, xid 49b6e6fb nfs_ret 2 No such file or directory trace_status 0 start 24:498110 stop 24:510825 command disk index 38286
 107 receive problem reply, xid 8fb7e6fb nfs_ret 2 No such file or directory trace_status 0 start 25:38152 stop 25:50996 command disk index 39328
 108 >>>> sendng thread: time 29 send_num 17217 recv_num 17209 timeout_num 0 num_out_reqs 8 can_not_catch_speed_num 0 PLAY_SCALE 1
 109 num_out_req[4]=5,num_out_req[5]=39,num_out_req[6]=361,num_out_req[7]=5201,num_out_req[8]=2589,
 110
 111 receive problem reply, xid e6c4e6fb nfs_ret 2 No such file or directory trace_status 0 start 30:667995 stop 30:680652 command disk index 48460
 112 receive problem reply, xid e8c4e6fb nfs_ret 2 No such file or directory trace_status 0 start 30:670585 stop 30:683258 command disk index 48464
 113 receive problem reply, xid eac4e6fb nfs_ret 2 No such file or directory trace_status 0 start 30:670677 stop 30:683400 command disk index 48470
 114 receive problem reply, xid ebc4e6fb nfs_ret 2 No such file or directory trace_status 0 start 30:672938 stop 30:685682 command disk index 48472
 115 receive problem reply, xid ecc4e6fb nfs_ret 2 No such file or directory trace_status 0 start 30:673775 stop 30:686543 command disk index 48474
 116 receive problem reply, xid f0c4e6fb nfs_ret 2 No such file or directory trace_status 0 start 30:683279 stop 30:695995 command disk index 48482
 117 receive problem reply, xid fc6e6fb nfs_ret 2 No such file or directory trace_status 0 start 31:152174 stop 31:164912 command disk index 49438
 118 receive problem reply, xid 81c6e6fb nfs_ret 2 No such file or directory trace_status 0 start 31:338845 stop 31:351700 command disk index 49678
 119 receive problem reply, xid f3c7e6fb nfs_ret 2 No such file or directory trace_status 0 start 31:948446 stop 31:961322 command disk index 50428
 120 receive problem reply, xid 98c8e6fb nfs_ret 2 No such file or directory trace_status 0 start 32:226022 stop 32:238764 command disk index 50882
 121 receive problem reply, xid 2bcbe6fb nfs_ret 2 No such file or directory trace_status 0 start 33:308778 stop 33:321541 command disk index 52624
 122 receive problem reply, xid 2ccbe6fb nfs_ret 2 No such file or directory trace_status 0 start 33:313845 stop 33:326575 command disk index 52628
 123 receive problem reply, xid 2ecbe6fb nfs_ret 2 No such file or directory trace_status 0 start 33:318016 stop 33:330818 command disk index 52634
 124 receive problem reply, xid 30cbe6fb nfs_ret 2 No such file or directory trace_status 0 start 33:318272 stop 33:331092 command disk index 52636
 125 receive problem reply, xid 31cbe6fb nfs_ret 2 No such file or directory trace_status 0 start 33:321308 stop 33:334066 command disk index 52638
 126 receive problem reply, xid 34cbe6fb nfs_ret 2 No such file or directory trace_status 0 start 33:326600 stop 33:339325 command disk index 52646
 127 receive problem reply, xid 7ecce6fb nfs_ret 2 No such file or directory trace_status 0 start 34:36363 stop 34:49048 command disk index 53514
 128 receive problem reply, xid 7fcce6fb nfs_ret 2 No such file or directory trace_status 0 start 34:37242 stop 34:49921 command disk index 53518
 129 receive problem reply, xid 82cce6fb nfs_ret 2 No such file or directory trace_status 0 start 34:44451 stop 34:57302 command disk index 53524
 130 receive problem reply, xid 83cce6fb nfs_ret 2 No such file or directory trace_status 0 start 34:45588 stop 34:58425 command disk index 53526
 131 receive problem reply, xid 84cce6fb nfs_ret 2 No such file or directory trace_status 0 start 34:46709 stop 34:59416 command disk index 53528
 132 receive problem reply, xid 87cce6fb nfs_ret 2 No such file or directory trace_status 0 start 34:49943 stop 34:62806 command disk index 53536
 133 receive problem reply, xid 2bd6e6fb nfs_ret 70 Stale NFS file handle trace_status 0 start 38:125809 stop 38:138827 command disk index 60442
 134 !!!!!!! STALE FILE HANDLE
 135 receive problem reply, xid 47d7e6fb nfs_ret 2 No such file or directory trace_status 0 start 38:702332 stop 38:715187 command disk index 61094
 136 receive problem reply, xid 5ed7e6fb nfs_ret 2 No such file or directory trace_status 0 start 38:743019 stop 38:755796 command disk index 61096
 137 >>>> sendng thread: time 39 send_num 23118 recv_num 23111 timeout_num 0 num_out_reqs 7 can_not_catch_speed_num 0 PLAY_SCALE 1
 138 num_out_req[3]=1,num_out_req[4]=1,num_out_req[5]=13,num_out_req[6]=305,num_out_req[7]=5243,num_out_req[8]=2511,
 139
 140 receive problem reply, xid d2dae6fb nfs_ret 2 No such file or directory trace_status 0 start 40:193595 stop 40:206440 command disk index 63650
 141 receive problem reply, xid 47e1e6fb nfs_ret 2 No such file or directory trace_status 0 start 42:907122 stop 42:919864 command disk index 67702
 142 receive problem reply, xid 49e1e6fb nfs_ret 2 No such file or directory trace_status 0 start 42:909908 stop 42:922665 command disk index 67708
 143 receive problem reply, xid 60e1e6fb nfs_ret 2 No such file or directory trace_status 0 start 42:948286 stop 42:961132 command disk index 67758
 144 receive problem reply, xid 62e1e6fb nfs_ret 2 No such file or directory trace_status 0 start 42:953714 stop 42:966498 command disk index 67764
 145 receive problem reply, xid 65e1e6fb nfs_ret 2 No such file or directory trace_status 0 start 42:958016 stop 42:970866 command disk index 67770
 146 receive problem reply, xid eee3e6fb nfs_ret 2 No such file or directory trace_status 0 start 44:26533 stop 44:39282 command disk index 69354
 147 receive problem reply, xid efe3e6fb nfs_ret 2 No such file or directory trace_status 0 start 44:28559 stop 44:41411 command disk index 69358
 148 receive problem reply, xid f2e3e6fb nfs_ret 2 No such file or directory trace_status 0 start 44:35086 stop 44:47764 command disk index 69364
 149 receive problem reply, xid f3e3e6fb nfs_ret 2 No such file or directory trace_status 0 start 44:36809 stop 44:49555 command disk index 69366
 150 receive problem reply, xid f4e3e6fb nfs_ret 2 No such file or directory trace_status 0 start 44:37057 stop 44:49813 command disk index 69368
 151 receive problem reply, xid f7e3e6fb nfs_ret 2 No such file or directory trace_status 0 start 44:41434 stop 44:54251 command disk index 69376
 152 >>>> sendng thread: time 49 send_num 29181 recv_num 29173 timeout_num 0 num_out_reqs 8 can_not_catch_speed_num 0 PLAY_SCALE 1
 153 num_out_req[4]=1,num_out_req[5]=42,num_out_req[6]=352,num_out_req[7]=5229,num_out_req[8]=2613,
 154
 155 receive problem reply, xid 11f2e6fb nfs_ret 2 No such file or directory trace_status 0 start 50:19819 stop 50:32602 command disk index 79064
 156 receive problem reply, xid 6af2e6fb nfs_ret 2 No such file or directory trace_status 0 start 50:165355 stop 50:178107 command disk index 79298
 157 receive problem reply, xid 6bf2e6fb nfs_ret 2 No such file or directory trace_status 0 start 50:165496 stop 50:178213 command disk index 79308
 158 fh_path_map error disk[80282] state DEP_FLAG_WAIT_FHANDLE to DEP_FLAG_DONE
 159 fh_path_map error disk[80284] state DEP_FLAG_WAIT_FHANDLE to DEP_FLAG_DONE
 160 receive problem reply, xid 5df4e6fb nfs_ret 2 No such file or directory trace_status 0 start 50:991852 stop 51:4749 command disk index 80532
 161 fh_path_map error disk[80600] state DEP_FLAG_WAIT_FHANDLE to DEP_FLAG_DONE
 162 fh_path_map error disk[80610] state DEP_FLAG_WAIT_FHANDLE to DEP_FLAG_DONE
 163 fh_path_map error disk[80612] state DEP_FLAG_WAIT_FHANDLE to DEP_FLAG_DONE
 164 fh_path_map error disk[80614] state DEP_FLAG_WAIT_FHANDLE to DEP_FLAG_DONE
 165 fh_path_map error disk[80616] state DEP_FLAG_WAIT_FHANDLE to DEP_FLAG_DONE
 166 fh_path_map error disk[80620] state DEP_FLAG_WAIT_FHANDLE to DEP_FLAG_DONE
 167 fh_path_map error disk[80622] state DEP_FLAG_WAIT_FHANDLE to DEP_FLAG_DONE
 168 fh_path_map error disk[80624] state DEP_FLAG_WAIT_FHANDLE to DEP_FLAG_DONE
 169 fh_path_map error disk[80626] state DEP_FLAG_WAIT_FHANDLE to DEP_FLAG_DONE
 170 fh_path_map error disk[80630] state DEP_FLAG_WAIT_FHANDLE to DEP_FLAG_DONE
 171 fh_path_map error disk[80632] state DEP_FLAG_WAIT_FHANDLE to DEP_FLAG_DONE
 172 fh_path_map error disk[80634] state DEP_FLAG_WAIT_FHANDLE to DEP_FLAG_DONE
 173 fh_path_map error disk[80636] state DEP_FLAG_WAIT_FHANDLE to DEP_FLAG_DONE
 174 fh_path_map error disk[80640] state DEP_FLAG_WAIT_FHANDLE to DEP_FLAG_DONE
 175 fh_path_map error disk[80642] state DEP_FLAG_WAIT_FHANDLE to DEP_FLAG_DONE
 176 fh_path_map error disk[80652] state DEP_FLAG_WAIT_FHANDLE to DEP_FLAG_DONE
 177 receive problem reply, xid acf4e6fb nfs_ret 2 No such file or directory trace_status 0 start 51:123558 stop 51:136301 command disk index 80716
 178 receive problem reply, xid e2f4e6fb nfs_ret 2 No such file or directory trace_status 0 start 51:216087 stop 51:228912 command disk index 80824
 179 >>>> sendng thread: time 59 send_num 35234 recv_num 35227 timeout_num 0 num_out_reqs 7 can_not_catch_speed_num 0 PLAY_SCALE 1
 180 num_out_req[5]=24,num_out_req[6]=239,num_out_req[7]=5503,num_out_req[8]=2944,
 181
 182 >>>> sendng thread: time 69 send_num 41183 recv_num 41176 timeout_num 1 num_out_reqs 6 can_not_catch_speed_num 0 PLAY_SCALE 1
 183 num_out_req[5]=4,num_out_req[6]=94,num_out_req[7]=5749,num_out_req[8]=2860,
 184 num_out_req_at_timeout[7]=1,
 185 receive problem reply, xid 3024e7fb nfs_ret 2 No such file or directory trace_status 0 start 71:418671 stop 71:431512 command disk index 106808
 186 receive problem reply, xid 3124e7fb nfs_ret 2 No such file or directory trace_status 0 start 71:421400 stop 71:434132 command disk index 106812
 187 receive problem reply, xid 3424e7fb nfs_ret 2 No such file or directory trace_status 0 start 71:425792 stop 71:438485 command disk index 106818
 188 receive problem reply, xid 3524e7fb nfs_ret 2 No such file or directory trace_status 0 start 71:428589 stop 71:441332 command disk index 106820
 189 receive problem reply, xid 3624e7fb nfs_ret 2 No such file or directory trace_status 0 start 71:428704 stop 71:441441 command disk index 106822
 190 receive problem reply, xid 3924e7fb nfs_ret 2 No such file or directory trace_status 0 start 71:434157 stop 71:446948 command disk index 106830
 191 receive problem reply, xid 6f24e7fb nfs_ret 2 No such file or directory trace_status 0 start 71:521476 stop 71:534283 command disk index 106938
 192 receive problem reply, xid 7c24e7fb nfs_ret 2 No such file or directory trace_status 0 start 71:546200 stop 71:559019 command disk index 106962
 193 receive problem reply, xid 7e24e7fb nfs_ret 2 No such file or directory trace_status 0 start 71:548059 stop 71:560804 command disk index 106968
 194 receive problem reply, xid 7f24e7fb nfs_ret 2 No such file or directory trace_status 0 start 71:549668 stop 71:562575 command disk index 106970
 195 receive problem reply, xid 4535e7fb nfs_ret 2 No such file or directory trace_status 0 start 78:693819 stop 78:706547 command disk index 118612
 196 receive problem reply, xid 4635e7fb nfs_ret 2 No such file or directory trace_status 0 start 78:701203 stop 78:714043 command disk index 118616
 197 receive problem reply, xid 4935e7fb nfs_ret 2 No such file or directory trace_status 0 start 78:704212 stop 78:716927 command disk index 118624
 198 receive problem reply, xid 4a35e7fb nfs_ret 2 No such file or directory trace_status 0 start 78:704325 stop 78:717048 command disk index 118626
 199 receive problem reply, xid 4c35e7fb nfs_ret 2 No such file or directory trace_status 0 start 78:704979 stop 78:717731 command disk index 118628
 200 receive problem reply, xid 4f35e7fb nfs_ret 2 No such file or directory trace_status 0 start 78:715468 stop 78:728137 command disk index 118636
 201 >>>> sendng thread: time 79 send_num 47176 recv_num 47168 timeout_num 1 num_out_reqs 7 can_not_catch_speed_num 0 PLAY_SCALE 1
 202 num_out_req[1]=1,num_out_req[3]=4,num_out_req[4]=11,num_out_req[5]=57,num_out_req[6]=431,num_out_req[7]=4889,num_out_req[8]=2673,
 203
 204 receive problem reply, xid f741e7fb nfs_ret 2 No such file or directory trace_status 0 start 84:100308 stop 84:113166 command disk index 127232
 205 receive problem reply, xid 5d42e7fb nfs_ret 2 No such file or directory trace_status 0 start 84:265731 stop 84:278442 command disk index 127458
 206 receive problem reply, xid 5e42e7fb nfs_ret 2 No such file or directory trace_status 0 start 84:268841 stop 84:281677 command disk index 127462
 207 receive problem reply, xid 6142e7fb nfs_ret 2 No such file or directory trace_status 0 start 84:275060 stop 84:287806 command disk index 127468
 208 receive problem reply, xid 6242e7fb nfs_ret 2 No such file or directory trace_status 0 start 84:275327 stop 84:288097 command disk index 127470
 209 receive problem reply, xid 6342e7fb nfs_ret 2 No such file or directory trace_status 0 start 84:276858 stop 84:289572 command disk index 127472
 210 receive problem reply, xid 6642e7fb nfs_ret 2 No such file or directory trace_status 0 start 84:281699 stop 84:294556 command disk index 127480
 211 receive problem reply, xid c046e7fb nfs_ret 2 No such file or directory trace_status 0 start 86:95244 stop 86:108005 command disk index 130580
 212 receive problem reply, xid c146e7fb nfs_ret 2 No such file or directory trace_status 0 start 86:98535 stop 86:111378 command disk index 130584
 213 receive problem reply, xid c446e7fb nfs_ret 2 No such file or directory trace_status 0 start 86:105044 stop 86:117789 command disk index 130590
 214 receive problem reply, xid c546e7fb nfs_ret 2 No such file or directory trace_status 0 start 86:106433 stop 86:119187 command disk index 130592
 215 receive problem reply, xid c646e7fb nfs_ret 2 No such file or directory trace_status 0 start 86:107145 stop 86:119907 command disk index 130594
 216 receive problem reply, xid c946e7fb nfs_ret 2 No such file or directory trace_status 0 start 86:111400 stop 86:124208 command disk index 130602
 217 receive problem reply, xid 8647e7fb nfs_ret 2 No such file or directory trace_status 0 start 86:425990 stop 86:438717 command disk index 131128
 218 >>>> sendng thread: time 89 send_num 53232 recv_num 53223 timeout_num 1 num_out_reqs 8 can_not_catch_speed_num 0 PLAY_SCALE 1
 219 num_out_req[3]=1,num_out_req[5]=22,num_out_req[6]=371,num_out_req[7]=5243,num_out_req[8]=2538,
 220
 221 trace starttime 1001026799, trace_end_time 1001030401 trace_duration 3602
 222 can_not_catch_speed_num_total 0 can_not_catch_speed_num_last_10_seconds 0total_profile.about: total_profile
 223 ...                            total_profile  89.449841 num 127379 avg 702
 224
 225 ...             execute_next_request_profile   0.835902 num 73879 avg 11
 226 ...                 valid_get_nextop_profile   0.208812 num 53499 avg 3
 227 ...               invalid_get_nextop_profile   0.000005 num 10 avg 0
 228 ...                 prepare_argument_profile   0.153516 num 53499 avg 2
 229 ...                   biod_clnt_call_profile   0.381542 num 53499 avg 7
 230
 231 ...               receive_next_reply_profile  88.429013 num 73879 avg 1196
 232 ...         valid_poll_and_get_reply_profile  38.942458 num 53498 avg 727
 233 ...       invalid_poll_and_get_reply_profile  49.103369 num 73879 avg 664
 234 ...                     decode_reply_profile   0.157280 num 53498 avg 2
 235 ...                      check_reply_profile   0.062649 num 53498 avg 1
 236 ...                            fgets_profile   0.093638 num 136201 avg 0
 237 ...                        read_line_profile   0.172878 num 136200 avg 1
 238 ...                       read_trace_profile   0.522518 num 1 avg 522518
 239
 240 dep_tab_index.tail 53687 dep_tab_index.head 53687 num_out_reqs 0
 241 Total play time: 89 sec 449914 usec
 242 trace play result:
 243             percentage good_cnt bad_cnt timeout_cnt     elapsed time                    average time
 244        null      0.0       0       0       0            sec        0 usec        0      usec        0
 245     getattr     12.5    6669       0       0            sec       85 usec   358610      usec    12799
 246     setattr      6.8    3625       0       0            sec       60 usec   685660      usec    16740
 247        root      0.0       0       0       0            sec        0 usec        0      usec        0
 248      lookup     29.2    15553    209       0            sec      202 usec   803380      usec    13039
 249    readlink      0.0       0       0       0            sec        0 usec        0      usec        0
 250        read     28.3    15077      0       1            sec      198 usec   810595      usec    13186
 251     wrcache      0.0       0       0       0            sec        0 usec        0      usec        0
 252       write      9.6    5127       1       0            sec       72 usec   292062      usec    14100
 253      create      1.8     952       0       0            sec       12 usec   843294      usec    13490
 254      remove      1.9    1026       1       0            sec       13 usec   662087      usec    13315
 255      rename      0.1      34       0       0            sec        0 usec   449366      usec    13216
 256        link      0.2      99       0       0            sec        1 usec   603664      usec    16198
 257     symlink      0.0       3       0       0            sec        0 usec    41345      usec    13781
 258       mkdir      0.0       0       0       0            sec        0 usec        0      usec        0
 259       rmdir      0.0       0       0       0            sec        0 usec        0      usec        0
 260     readdir      0.9     455       0       0            sec        5 usec   902777      usec    12973
 261      fsstat      0.4     194       0       0            sec        2 usec   482546      usec    12796
 262      access      8.2    4370       0       0            sec       55 usec   955946      usec    12804
 263      commit      0.0       0       0       0            sec        0 usec        0      usec        0
 264      fsinfo      0.0       5       0       0            sec        0 usec    63663      usec    12732
 265       mknod      0.0       0       0       0            sec        0 usec        0      usec        0
 266    pathconf      0.1      61       0       0            sec        0 usec   780393      usec    12793
 267 readdirplus      0.1      37       0       0            sec        0 usec   477374      usec    12902
 268       TOTAL     100.0   53287    211       1            sec        0 usec        0      usec        0