TBBT/trace_init/rfs.pl

   1 #!/usr/bin/perl -w\r
   2 \r
   3 use Getopt::Std;\r
   4 $Usage =<< "EOF";\r
   5 \r
   6 Usage: $0 [options]\r
   7 \r
   8 This program runs after nfsscan.pl. It outputs the file system hierarchy (RFSFS) as well as\r
   9 the file system hierarchy map (stored in three files: fh-path-map, noattrdirdiscard, noattrdir-root).\r
  10 \r
  11 This perl program do post processing based on this file\r
  12 \r
  13 Command line options:\r
  14 \r
  15 -h      Print Usage message and exit.\r
  16 \r
  17 -S  The file in file system hierarchy are all of size 0. \r
  18     Without -S, the files are written to it full length.\r
  19 \r
  20 \r
  21 EOF\r
  22 \r
  23 $writebuf = "R" x 8193;\r
  24 $writeBlockSize = 8192;\r
  25 \r
  26 main ();\r
  27 \r
  28 sub rfsCreateSymlink()\r
  29 {\r
  30         my ($path, $pathcnt, $sizeHexStr) = @_;\r
  31         $sizeHexStr = "0x".$sizeHexStr;\r
  32 \r
  33         my $dir = $path;\r
  34         my $name = '';\r
  35         my $cmdbuf;\r
  36 \r
  37         $dir =~ /(^.*)\/(.*)/;\r
  38         $dir = $1;\r
  39         $name = $2;\r
  40         if (!$dir) {$dir = ".";}\r
  41         die "name is empty\n" if (!$name);\r
  42         #print "path($path) dir($dir) name($name)\n";\r
  43 \r
  44         if (! -e $dir) {\r
  45                 $cmdbuf = "mkdir -p $dir";\r
  46                 system $cmdbuf;\r
  47                 print "RFS: Warning: the directory should be created already: $path\n";\r
  48         } else {\r
  49                 die "warning: directory name exist but not a directory: $path\n" if (!(-d $dir));\r
  50         }\r
  51 \r
  52         my $size = hex($sizeHexStr);\r
  53         #print "size($sizeHexStr) lp($lp) rem($remSize)\n";\r
  54 \r
  55         my $pathnamebuf = $sizeHexStr;\r
  56         symlink ($pathnamebuf, $path);\r
  57         #if (! symlink ($pathnamebuf, $path) ) {\r
  58         #       print STDERR "JIAWU: WARNING: failed to create symlink: $path -> $pathnamebuf\n";\r
  59         #}\r
  60 }\r
  61 \r
  62 \r
  63 sub  rfsCreateFile()\r
  64 {\r
  65         my ($path, $pathcnt, $sizeHexStr) = @_;\r
  66         $sizeHexStr = "0x".$sizeHexStr;\r
  67 \r
  68         my $dir = $path;\r
  69         my $name = '';\r
  70         my $cmdbuf;\r
  71 \r
  72         $dir =~ /(^.*)\/(.*)/;\r
  73         $dir = $1;\r
  74         $name = $2;\r
  75         if (!$dir) {$dir = ".";}\r
  76         die "name is empty\n" if (!$name);\r
  77         #print "path($path) dir($dir) name($name)\n";\r
  78 \r
  79         if (! -e $dir) {\r
  80                 $cmdbuf = "mkdir -p $dir";\r
  81                 system $cmdbuf;\r
  82                 print "RFS: Warning: the directory should be created already: $path\n";\r
  83         } else {\r
  84                 die "warning: directory name exist but not a directory: $path\n" if (!(-d $dir));\r
  85         }\r
  86 \r
  87         my $size = hex($sizeHexStr);\r
  88         my $remSize = $size % $writeBlockSize;\r
  89         my $lp = ($size - $remSize) / $writeBlockSize;\r
  90         #print "size($sizeHexStr) lp($lp) rem($remSize)\n";\r
  91 \r
  92         open RFSTMPWRITE, ">$path" || die "RFS: can not open file for write";\r
  93 \r
  94         # the eight lines below should not be commented out \r
  95                 if (!defined $opt_S) {\r
  96         my $i = 0;\r
  97         for ($i = 0; $i < $lp; $i++) {\r
  98                 syswrite(RFSTMPWRITE, $writebuf, $writeBlockSize);\r
  99         }\r
 100         if ($remSize) {\r
 101                 syswrite(RFSTMPWRITE, $writebuf, $remSize);\r
 102                 #print "write ($remSize) byte\n";\r
 103         }\r
 104         close RFSTMPWRITE;\r
 105                 }\r
 106 }\r
 107 \r
 108 # Useful commands:\r
 109 # sort -n -k a,b -c -u \r
 110 # \r
 111 # *** WARNING *** The locale specified by the  environment  affects  sort\r
 112 #      order.  Set LC_ALL=C or LC_ALL=POSIX to get the traditional sort order that uses native\r
 113 #      byte values.\r
 114 \r
 115 sub parseArgs {\r
 116         my $Options = "S";\r
 117         if (! getopts($Options)) {\r
 118                 print STDERR "$0: Incorrect usage.\n";\r
 119         print STDERR $Usage;\r
 120                 exit (1);\r
 121         }\r
 122 }\r
 123 \r
 124 sub main {\r
 125 \r
 126         parseArgs ();\r
 127 \r
 128         my $cmdbuf;\r
 129 \r
 130         # format of lines in test.fil:\r
 131         # "F(1) $type(2) $state(3) $fh(4) $path(5) $pathcnt(6) $attrOrig(7-14) $attr()\r
 132         # attrOrig: ($size(7) $mode(8) $op(9) $atime(10) $mtime(11) $ctime(12) $nlink(13) $ts(14))\r
 133         # attrLast: ($size(15) $mode(16) $op(17) $atime(18) $mtime(19) $ctime(20) $nlink(21) $ts(22))\r
 134 \r
 135         # skip comment lines\r
 136         # if (path_count ($6) == 0 or original_op($9) == "create" or "mkdir" or "symlink") skip the file \r
 137 \r
 138         $cmdbuf = 'gawk \' !/^[#]/ { if ($6 != "0") print $0 }\'  test.fil > all.fil';\r
 139         print "$cmdbuf\n";\r
 140         system $cmdbuf;\r
 141         \r
 142         # sort the test.fil according to path name\r
 143         $cmdbuf = 'export LC_ALL=C; sort -k 5,5 all.fil > all.fil.order; echo $LC_ALL';\r
 144         print "$cmdbuf\n";\r
 145         system $cmdbuf;\r
 146 \r
 147         # keep the interested field only\r
 148         # 2(D/F) 4(FH) 5(path) 6(count) 15(size_last) 21(nlink_last) 14(ts_s) 22(ts_e)\r
 149         $cmdbuf = 'gawk \' { print $14, $22, $4, $5, $15, $21}\'  all.fil.order > fh-path-map-all';\r
 150         print "$cmdbuf\n";\r
 151         system $cmdbuf;\r
 152         \r
 153         # skip comment lines\r
 154         # if (path_count ($6) == 0 or original_op($9) == "create" or "mkdir" or "symlink") skip the file \r
 155 \r
 156         $cmdbuf = 'gawk \' !/^[#]/ { if ($6 != "0" && $9 != "create" && $9 != "mkdir" && $9 != "symlink") print $0 }\'  test.fil > active.fil';\r
 157         print "$cmdbuf\n";\r
 158         system $cmdbuf;\r
 159         \r
 160         # sort the active.fil according to path name\r
 161         $cmdbuf = 'export LC_ALL=C; sort -k 5,5 active.fil > active.fil.order; echo $LC_ALL';\r
 162         print "$cmdbuf\n";\r
 163         system $cmdbuf;\r
 164 \r
 165         # keep the interested field only\r
 166         # 2(D/F) 4(FH) 5(path) 6(count) 7(size) 8(mode) 13(nlink)\r
 167         $cmdbuf = 'gawk \' { print $2, $4, $5, $6, $7, $8 }\'  active.fil.order > active';\r
 168         print "$cmdbuf\n";\r
 169         system $cmdbuf;\r
 170         $cmdbuf = 'gawk \' { print $4, $5, $7, $13}\'  active.fil.order > fh-path-map';\r
 171         print "$cmdbuf\n";\r
 172         system $cmdbuf;\r
 173 \r
 174         # format output files\r
 175         $cmdbuf = 'export LC_ALL=C; mv noattrdirdiscard noattrdirdiscard-tmp; sort -u -k 1,1 noattrdirdiscard-tmp > noattrdirdiscard; echo $LC_ALL; rm -f noattrdirdiscard-tmp';\r
 176         print "$cmdbuf\n";\r
 177         system $cmdbuf;\r
 178 \r
 179         $cmdbuf = 'export LC_ALL=C; mv noattrdir-root noattrdir-root-tmp; sort -u -k 1,1 noattrdir-root-tmp > noattrdir-root; echo $LC_ALL; rm -f noattrdir-root-tmp';\r
 180         print "$cmdbuf\n";\r
 181         system $cmdbuf;\r
 182 \r
 183         #$cmdbuf = 'mv noattrdirdiscard noattrdirdiscard-tmp; cat  noattrdirdiscard-tmp missdiscardfh >noattrdirdiscard; rm -f noattrdirdiscard-tmp missdiscardfh';\r
 184         $cmdbuf = 'mv noattrdirdiscard noattrdirdiscard-tmp; cat  noattrdirdiscard-tmp missdiscardfh >noattrdirdiscard; rm -f noattrdirdiscard-tmp';\r
 185         print "$cmdbuf\n";\r
 186         system $cmdbuf;\r
 187 \r
 188         $cmdbuf = "cut -d ' ' -f '1 2' fh-path-map > fh-path-map-tmp";\r
 189         print "$cmdbuf\n";\r
 190         system $cmdbuf;\r
 191 \r
 192         $cmdbuf = 'cat noattrdirdiscard noattrdir-root fh-path-map-tmp > fh-path-map-play; rm -rf fh-path-map-tmp';\r
 193         print "$cmdbuf\n";\r
 194         system $cmdbuf;\r
 195         \r
 196         #exit(0);\r
 197         \r
 198         # so far, you got the following information\r
 199         # in active: all files/dirs active \r
 200         # in noattrdir-root: a set of fhs pointing to RFSNN0\r
 201         # in rfsinfo: a set of dir fhs refer to RFSNNxxx(>0)\r
 202         #                a set of file fhs should be discard due to short of information\r
 203 \r
 204         # create the active fs\r
 205         # 1. BASEDIR/RFSNN0\r
 206         # 2. BASEDIR/active\r
 207         $cmdbuf = "mkdir -p RFSFS/RFSNN0";\r
 208         system $cmdbuf;\r
 209         open RFS_ACTIVE, "active" || die "open active failed\n";\r
 210         while (<RFS_ACTIVE>) {\r
 211                 chop;\r
 212                 my ($type, $fh, $path, $pathcnt, $sizeHexStr, $mode) = split (' ', $_, 7);\r
 213                 if ($type==2) {\r
 214                         $cmdbuf = "mkdir -p RFSFS$path";\r
 215                         system $cmdbuf;\r
 216                 }elsif ($type==1){\r
 217                         &rfsCreateFile("RFSFS$path", $pathcnt, $sizeHexStr);\r
 218                 }elsif ($type==5){\r
 219                         #print STDERR "SYMLINK: $type fh: $fh path: $path\n";\r
 220                         &rfsCreateSymlink("RFSFS$path", $pathcnt, $sizeHexStr);\r
 221                 }else {\r
 222                         print STDERR "special file: $type fh: $fh path: $path\n";\r
 223                 }\r
 224 \r
 225                 my $line_num=0;\r
 226                 $line_num++;\r
 227                 if ( ($line_num %100)==0 ) {\r
 228                         print STDERR "$line_num\n";\r
 229                 }\r
 230                 \r
 231         }\r
 232 \r
 233         # create map table: key (fh), value (path/fn)\r
 234 \r
 235         # check whether there is fh that is not mapped to any path/fn in the trace\r
 236 \r
 237         # simulate a replay of trace\r
 238 \r
 239         return;\r
 240         \r
 241 }\r
 242 \r
 243 1;\r