inode.c

   1 /* Blue Sky: File Systems in the Cloud
   2  *
   3  * Copyright (C) 2009  The Regents of the University of California
   4  * Written by Michael Vrable <mvrable@cs.ucsd.edu>
   5  *
   6  * TODO: Licensing
   7  */
   8
   9 #include <stdint.h>
  10 #include <glib.h>
  11 #include <string.h>
  12
  13 #include "bluesky.h"
  14
  15 /* Core filesystem.  Different proxies, such as the NFSv3 one, interface to
  16  * this, but the core actually tracks the data which is stored.  So far we just
  17  * implement an in-memory filesystem, but eventually this will be state which
  18  * is persisted to the cloud. */
  19
  20 /* Return the current time, in microseconds since the epoch. */
  21 int64_t bluesky_get_current_time()
  22 {
  23     GTimeVal t;
  24     g_get_current_time(&t);
  25     return (int64_t)t.tv_sec * 1000000 + t.tv_usec;
  26 }
  27
  28 /* Update an inode to indicate that a modification was made.  This increases
  29  * the change counter, updates the ctime to the current time, and optionally
  30  * updates the mtime. */
  31 void bluesky_inode_update_ctime(BlueSkyInode *inode, gboolean update_mtime)
  32 {
  33     int64_t now = bluesky_get_current_time();
  34     inode->change_count++;
  35     inode->ctime = now;
  36     if (update_mtime)
  37         inode->mtime = now;
  38 }
  39
  40 /* Compute the HMAC keyed-hash function using the given hash algorithm, data,
  41  * and key. */
  42 void compute_hmac(GChecksumType algo,
  43                   const guchar *data, gsize data_len,
  44                   const guchar *key, gsize key_len,
  45                   guint8 *buffer, gsize *digest_len)
  46 {
  47     int block_size;
  48
  49     switch (algo) {
  50     case G_CHECKSUM_MD5:
  51     case G_CHECKSUM_SHA1:
  52     case G_CHECKSUM_SHA256:
  53         block_size = 64;
  54         break;
  55     default:
  56         g_error("Unknown hash algorithm for HMAC: %d\n", algo);
  57     }
  58
  59     gsize digest_size = g_checksum_type_get_length(algo);
  60
  61     guchar keybuf[block_size];
  62     memset(keybuf, 0, block_size);
  63     memcpy(keybuf, key, MIN(block_size, key_len));
  64     for (int i = 0; i < block_size; i++)
  65         keybuf[i] ^= 0x36;
  66
  67     GChecksum *csum1 = g_checksum_new(algo);
  68     g_checksum_update(csum1, keybuf, block_size);
  69     g_checksum_update(csum1, data, data_len);
  70     guint8 digest[digest_size];
  71     g_checksum_get_digest(csum1, digest, &digest_size);
  72
  73     memset(keybuf, 0, block_size);
  74     memcpy(keybuf, key, MIN(block_size, key_len));
  75     for (int i = 0; i < block_size; i++)
  76         keybuf[i] ^= 0x5c;
  77
  78     GChecksum *csum2 = g_checksum_new(algo);
  79     g_checksum_update(csum2, keybuf, block_size);
  80     g_checksum_update(csum2, digest, digest_size);
  81
  82     g_checksum_get_digest(csum2, buffer, digest_len);
  83
  84     g_checksum_free(csum1);
  85     g_checksum_free(csum2);
  86 }
  87
  88 /* Unfortunately a glib hash table is only guaranteed to be able to store
  89  * 32-bit keys if we use the key directly.  If we want 64-bit inode numbers,
  90  * we'll have to allocate memory to store the 64-bit inumber, and use a pointer
  91  * to it.  Rather than allocate the memory for the key, we'll just include a
  92  * pointer to the 64-bit inum stored in the inode itself, so that we don't need
  93  * to do any more memory management.  */
  94 static guint bluesky_fs_key_hash_func(gconstpointer key)
  95 {
  96     uint64_t inum = *(const uint64_t *)key;
  97     return (guint)inum;
  98 }
  99
 100 static gboolean bluesky_fs_key_equal_func(gconstpointer a, gconstpointer b)
 101 {
 102     uint64_t i1 = *(const uint64_t *)a;
 103     uint64_t i2 = *(const uint64_t *)b;
 104     return i1 == i2;
 105 }
 106
 107 /* Filesystem-level operations.  A filesystem is like a directory tree that we
 108  * are willing to export. */
 109 BlueSkyFS *bluesky_new_fs(gchar *name)
 110 {
 111     BlueSkyFS *fs = g_new0(BlueSkyFS, 1);
 112     fs->lock = g_mutex_new();
 113     fs->name = g_strdup(name);
 114     fs->inodes = g_hash_table_new(bluesky_fs_key_hash_func,
 115                                   bluesky_fs_key_equal_func);
 116     fs->next_inum = BLUESKY_ROOT_INUM + 1;
 117     fs->store = s3store_new();
 118
 119     return fs;
 120 }
 121
 122 /* Allocate a fresh inode number which has not been used before within a
 123  * filesystem. */
 124 uint64_t bluesky_fs_alloc_inode(BlueSkyFS *fs)
 125 {
 126     uint64_t inum;
 127
 128     g_mutex_lock(fs->lock);
 129     inum = fs->next_inum;
 130     fs->next_inum++;
 131     g_mutex_unlock(fs->lock);
 132
 133     return inum;
 134 }
 135
 136 BlueSkyInode *bluesky_new_inode(uint64_t inum, BlueSkyFS *fs,
 137                                 BlueSkyFileType type)
 138 {
 139     BlueSkyInode *i = g_new0(BlueSkyInode, 1);
 140
 141     i->lock = g_mutex_new();
 142     i->type = type;
 143     i->fs = fs;
 144     i->inum = inum;
 145
 146     switch (type) {
 147     case BLUESKY_REGULAR:
 148         i->blocks = g_array_new(FALSE, TRUE, sizeof(BlueSkyBlock));
 149         break;
 150     case BLUESKY_DIRECTORY:
 151         i->dirents = g_sequence_new(bluesky_dirent_destroy);
 152         i->dirhash = g_hash_table_new(g_str_hash, g_str_equal);
 153         break;
 154     case BLUESKY_BLOCK:
 155     case BLUESKY_CHARACTER:
 156     case BLUESKY_SYMLINK:
 157     case BLUESKY_SOCKET:
 158     case BLUESKY_FIFO:
 159         break;
 160     }
 161
 162     return i;
 163 }
 164
 165 /* Retrieve an inode from the filesystem.  Eventually this will be a cache and
 166  * so we might need to go fetch the inode from elsewhere; for now all
 167  * filesystem state is stored here. */
 168 BlueSkyInode *bluesky_get_inode(BlueSkyFS *fs, uint64_t inum)
 169 {
 170     BlueSkyInode *inode = NULL;
 171
 172     g_mutex_lock(fs->lock);
 173     inode = (BlueSkyInode *)g_hash_table_lookup(fs->inodes, &inum);
 174     g_mutex_unlock(fs->lock);
 175
 176     return inode;
 177 }
 178
 179 /* Insert an inode into the filesystem inode cache. */
 180 void bluesky_insert_inode(BlueSkyFS *fs, BlueSkyInode *inode)
 181 {
 182     g_mutex_lock(fs->lock);
 183     g_hash_table_insert(fs->inodes, &inode->inum, inode);
 184     g_mutex_unlock(fs->lock);
 185 }
 186
 187 /* Mark a given block dirty and make sure that data is faulted in so that it
 188  * can be written to. */
 189 void bluesky_block_touch(BlueSkyInode *inode, uint64_t i)
 190 {
 191     g_return_if_fail(i < inode->blocks->len);
 192     BlueSkyBlock *block = &g_array_index(inode->blocks, BlueSkyBlock, i);
 193
 194     switch (block->type) {
 195     case BLUESKY_BLOCK_ZERO:
 196         block->data = g_malloc0(BLUESKY_BLOCK_SIZE);
 197         break;
 198     case BLUESKY_BLOCK_REF:
 199         /* TODO: Pull in data first */
 200         block->data = g_malloc0(BLUESKY_BLOCK_SIZE);
 201         break;
 202     case BLUESKY_BLOCK_CACHED:
 203     case BLUESKY_BLOCK_DIRTY:
 204         break;
 205     }
 206
 207     block->type = BLUESKY_BLOCK_DIRTY;
 208 }
 209
 210 /* Set the size of a file.  This will truncate or extend the file as needed.
 211  * Newly-allocated bytes are zeroed. */
 212 void bluesky_file_truncate(BlueSkyInode *inode, uint64_t size)
 213 {
 214     g_return_if_fail(size <= BLUESKY_MAX_FILE_SIZE);
 215
 216     if (size == inode->size)
 217         return;
 218
 219     uint64_t blocks = (size + BLUESKY_BLOCK_SIZE - 1) / BLUESKY_BLOCK_SIZE;
 220
 221     if (blocks > inode->blocks->len) {
 222         /* Need to add new blocks to the end of a file.  New block structures
 223          * are automatically zeroed, which initializes them to be pointers to
 224          * zero blocks so we don't need to do any more work. */
 225         g_array_set_size(inode->blocks, blocks);
 226     } else if (blocks < inode->blocks->len) {
 227         /* Delete blocks from a file.  Must reclaim memory. */
 228         for (guint i = inode->blocks->len; i < blocks; i++) {
 229             BlueSkyBlock *b = &g_array_index(inode->blocks, BlueSkyBlock, i);
 230             g_free(b->ref);
 231             g_free(b->data);
 232         }
 233         g_array_set_size(inode->blocks, blocks);
 234     }
 235
 236     /* If the file size is being decreased, ensure that any trailing data in
 237      * the last block is zeroed. */
 238     if (size < inode->size) {
 239         BlueSkyBlock *b = &g_array_index(inode->blocks, BlueSkyBlock,
 240                                          blocks - 1);
 241         if (b->type != BLUESKY_BLOCK_ZERO) {
 242             bluesky_block_touch(inode, blocks - 1);
 243             int end_offset = size % BLUESKY_BLOCK_SIZE;
 244             if (end_offset > 0) {
 245                 memset(&b->data[end_offset], 0,
 246                        BLUESKY_BLOCK_SIZE - end_offset);
 247             }
 248         }
 249     }
 250
 251     inode->size = size;
 252     bluesky_inode_update_ctime(inode, 1);
 253 }
 254
 255 void bluesky_file_write(BlueSkyInode *inode, uint64_t offset,
 256                         const char *data, gint len)
 257 {
 258     g_return_if_fail(inode->type == BLUESKY_REGULAR);
 259     g_return_if_fail(offset < inode->size);
 260     g_return_if_fail(len <= inode->size - offset);
 261
 262     if (len == 0)
 263         return;
 264
 265     while (len > 0) {
 266         uint64_t block_num = offset / BLUESKY_BLOCK_SIZE;
 267         gint block_offset = offset % BLUESKY_BLOCK_SIZE;
 268         gint bytes = MIN(BLUESKY_BLOCK_SIZE - block_offset, len);
 269
 270         bluesky_block_touch(inode, block_num);
 271         BlueSkyBlock *b = &g_array_index(inode->blocks, BlueSkyBlock,
 272                                          block_num);
 273         memcpy(&b->data[block_offset], data, bytes);
 274         bluesky_block_flush(inode->fs, b);
 275
 276         offset += bytes;
 277         data += bytes;
 278         len -= bytes;
 279     }
 280
 281     bluesky_inode_update_ctime(inode, 1);
 282 }
 283
 284 void bluesky_file_read(BlueSkyInode *inode, uint64_t offset,
 285                        char *buf, gint len)
 286 {
 287     g_return_if_fail(inode->type == BLUESKY_REGULAR);
 288     g_return_if_fail(offset < inode->size);
 289     g_return_if_fail(len <= inode->size - offset);
 290
 291     while (len > 0) {
 292         uint64_t block_num = offset / BLUESKY_BLOCK_SIZE;
 293         gint block_offset = offset % BLUESKY_BLOCK_SIZE;
 294         gint bytes = MIN(BLUESKY_BLOCK_SIZE - block_offset, len);
 295
 296         BlueSkyBlock *b = &g_array_index(inode->blocks, BlueSkyBlock,
 297                                          block_num);
 298         switch (b->type) {
 299         case BLUESKY_BLOCK_ZERO:
 300             memset(buf, 0, bytes);
 301             break;
 302         case BLUESKY_BLOCK_REF:
 303             bluesky_block_fetch(inode->fs, b);
 304             /* Fall through */
 305         case BLUESKY_BLOCK_CACHED:
 306         case BLUESKY_BLOCK_DIRTY:
 307             memcpy(buf, &b->data[block_offset], bytes);
 308             break;
 309         }
 310
 311         offset += bytes;
 312         buf += bytes;
 313         len -= bytes;
 314     }
 315 }
 316
 317 /* Read the given block from cloud-backed storage if the data is not already
 318  * cached. */
 319 void bluesky_block_fetch(BlueSkyFS *fs, BlueSkyBlock *block)
 320 {
 321     if (block->type != BLUESKY_BLOCK_REF)
 322         return;
 323
 324     g_print("Fetching block from %s\n", block->ref);
 325     BlueSkyRCStr *string = s3store_get(fs->store, block->ref);
 326
 327     g_free(block->data);
 328     block->data = g_memdup(string->data, BLUESKY_BLOCK_SIZE);
 329     block->type = BLUESKY_BLOCK_CACHED;
 330     bluesky_string_unref(string);
 331 }
 332
 333 /* Write the given block to cloud-backed storage and mark it clean. */
 334 void bluesky_block_flush(BlueSkyFS *fs, BlueSkyBlock *block)
 335 {
 336     if (block->type != BLUESKY_BLOCK_DIRTY)
 337         return;
 338
 339     BlueSkyRCStr *data = bluesky_string_new(g_memdup(block->data,
 340                                                      BLUESKY_BLOCK_SIZE),
 341                                             BLUESKY_BLOCK_SIZE);
 342
 343     GChecksum *csum = g_checksum_new(G_CHECKSUM_SHA256);
 344     g_checksum_update(csum, data->data, data->len);
 345     const gchar *name = g_checksum_get_string(csum);
 346
 347     g_print("Flushing block as %s\n", name);
 348     s3store_put(fs->store, name, data);
 349     g_free(block->ref);
 350     block->ref = g_strdup(name);
 351
 352     /* block->type = BLUESKY_BLOCK_CACHED; */
 353     g_free(block->data);
 354     block->data = NULL;
 355     block->type = BLUESKY_BLOCK_REF;
 356
 357     g_checksum_free(csum);
 358     bluesky_string_unref(data);
 359 }