Let storage tuning options be set via environment variables.
[bluesky.git] / bluesky / bluesky.h
index 140310b..421d07d 100644 (file)
 extern "C" {
 #endif
 
+/* Various options to tweak for performance benchmarking purposes. */
+typedef struct {
+    /* Perform all get/put operations synchronously. */
+    int synchronous_stores;
+
+    /* Write data in cache immediately after file is modified. */
+    int writethrough_cache;
+
+    /* Can inodes be fetched asynchronously?  (Inode object is initially
+     * created in a pending state, and not unlocked until the data is actually
+     * available.) */
+    int sync_inode_fetches;
+} BlueSkyOptions;
+
+extern BlueSkyOptions bluesky_options;
+
+/* BlueSky status and error codes.  Various frontends should translate these to
+ * the appropriate error code for whatever protocol they implement. */
+typedef enum {
+    BSTATUS_OK = 0,             /* No error */
+    BSTATUS_IOERR,              /* I/O error of some form */
+    BSTATUS_NOENT,              /* File does not exist */
+} BlueSkyStatus;
+
 void bluesky_init(void);
 
 gchar *bluesky_lowercase(const gchar *s);
@@ -30,38 +54,24 @@ typedef struct {
 } BlueSkyRCStr;
 
 BlueSkyRCStr *bluesky_string_new(gpointer data, gsize len);
+BlueSkyRCStr *bluesky_string_new_from_gstring(GString *s);
 void bluesky_string_ref(BlueSkyRCStr *string);
 void bluesky_string_unref(BlueSkyRCStr *string);
 BlueSkyRCStr *bluesky_string_dup(BlueSkyRCStr *string);
+void bluesky_string_resize(BlueSkyRCStr *string, gsize len);
 
 /* Cryptographic operations. */
 #define CRYPTO_BLOCK_SIZE 16        /* 128-bit AES */
 #define CRYPTO_KEY_SIZE   16
 
 void bluesky_crypt_init();
+void bluesky_crypt_hash_key(const char *keystr, uint8_t *out);
 void bluesky_crypt_random_bytes(guchar *buf, gint len);
 BlueSkyRCStr *bluesky_crypt_encrypt(BlueSkyRCStr *in, const uint8_t *key);
 BlueSkyRCStr *bluesky_crypt_decrypt(BlueSkyRCStr *in, const uint8_t *key);
 
 /* Storage interface.  This presents a key-value store abstraction, and can
  * have multiple implementations: in-memory, on-disk, in-cloud. */
-typedef struct {
-    /* Create a new store instance and return a handle to it. */
-    gpointer (*create)();
-
-    /* Clean up any resources used by this store. */
-    void (*destroy)(gpointer store);
-
-    /* Fetch an item with the given name, or return NULL if not found. */
-    BlueSkyRCStr * (*get)(gpointer store, const gchar *key);
-
-    /* Store an item to the given key name. */
-    void (*put)(gpointer store, const gchar *key, BlueSkyRCStr *val);
-} BlueSkyStoreImplementation;
-
-void bluesky_store_register(const BlueSkyStoreImplementation *impl,
-                            const gchar *name);
-
 struct _BlueSkyStore;
 typedef struct _BlueSkyStore BlueSkyStore;
 
@@ -82,6 +92,10 @@ typedef enum {
     BLUESKY_SYMLINK = 5,
     BLUESKY_SOCKET = 6,
     BLUESKY_FIFO = 7,
+
+    /* Special types used only internally. */
+    BLUESKY_PENDING = 0,    /* Inode being loaded; type not yet determined */
+    BLUESKY_INVALID = -1,   /* Inode is invalid (failed to load) */
 } BlueSkyFileType;
 
 /* Filesystem state.  Each filesystem which is exported is represented by a
@@ -94,8 +108,6 @@ typedef struct {
     uint64_t next_inum;         /* Next available inode for allocation */
 
     BlueSkyStore *store;
-
-    uint8_t *encryption_key;
 } BlueSkyFS;
 
 /* Inode number of the root directory. */
@@ -118,6 +130,10 @@ bluesky_time_hires bluesky_now_hires();
  *     dropping from the cache.
  *   - Any pending operations should hold extra references to the inode as
  *     appropriate to keep it available until the operation completes.
+ *   - Locking dependency order is, when multiple locks are to be acquired, to
+ *     acquire locks on parents in the filesystem tree before children.
+ *     (TODO: What about rename when we acquire locks in unrelated parts of the
+ *     filesystem?)
  * */
 typedef struct {
     GMutex *lock;
@@ -141,6 +157,14 @@ typedef struct {
      * committed to stable storage. */
     uint64_t change_count, change_commit;
 
+    /* Timestamp for controlling when modified data is flushed to stable
+     * storage.  When an inode is first modified from a clean state, this is
+     * set to the current time.  If the inode is clean, it is set to zero. */
+    int64_t change_time;
+
+    /* Additional state for tracking cache writeback status. */
+    uint64_t change_pending;    /* change_count version currently being committed to storage */
+
     int64_t atime;              /* Microseconds since the Unix epoch */
     int64_t ctime;
     int64_t mtime;
@@ -155,6 +179,9 @@ typedef struct {
     GHashTable *dirhash;        /* Hash table by name for LOOKUP */
     GHashTable *dirhash_folded; /* As above, but case-folded */
     uint64_t parent_inum;       /* inode for ".."; 0 if the root directory */
+
+    /* Symlink-specific fields */
+    gchar *symlink_contents;
 } BlueSkyInode;
 
 /* A directory entry.  The name is UTF-8 and is a freshly-allocated string.
@@ -194,21 +221,24 @@ void bluesky_superblock_flush(BlueSkyFS *fs);
 int64_t bluesky_get_current_time();
 void bluesky_inode_update_ctime(BlueSkyInode *inode, gboolean update_mtime);
 uint64_t bluesky_fs_alloc_inode(BlueSkyFS *fs);
+void bluesky_init_inode(BlueSkyInode *i, BlueSkyFileType type);
 BlueSkyInode *bluesky_new_inode(uint64_t inum, BlueSkyFS *fs, BlueSkyFileType type);
 
 BlueSkyInode *bluesky_get_inode(BlueSkyFS *fs, uint64_t inum);
+void bluesky_inode_ref(BlueSkyInode *inode);
+void bluesky_inode_unref(BlueSkyInode *inode);
 void bluesky_insert_inode(BlueSkyFS *fs, BlueSkyInode *inode);
 
 void bluesky_dirent_destroy(gpointer dirent);
 uint64_t bluesky_directory_lookup(BlueSkyInode *inode, gchar *name);
 uint64_t bluesky_directory_ilookup(BlueSkyInode *inode, gchar *name);
+BlueSkyDirent *bluesky_directory_read(BlueSkyInode *dir, uint32_t cookie);
 gboolean bluesky_directory_insert(BlueSkyInode *dir, const gchar *name,
                                   uint64_t inum);
 void bluesky_directory_dump(BlueSkyInode *dir);
 
 void bluesky_block_touch(BlueSkyInode *inode, uint64_t i);
 void bluesky_block_fetch(BlueSkyFS *fs, BlueSkyBlock *block);
-void bluesky_block_flush(BlueSkyFS *fs, BlueSkyBlock *block);
 void bluesky_file_truncate(BlueSkyInode *inode, uint64_t size);
 void bluesky_file_write(BlueSkyInode *inode, uint64_t offset,
                         const char *data, gint len);
@@ -221,6 +251,11 @@ void bluesky_inode_fetch(BlueSkyFS *fs, uint64_t inum);
 gint bluesky_dirent_compare(gconstpointer a, gconstpointer b,
                             gpointer unused);
 
+void bluesky_flushd_invoke(BlueSkyFS *fs);
+void bluesky_inode_do_sync(BlueSkyInode *inode);
+
+void bluesky_debug_dump(BlueSkyFS *fs);
+
 #ifdef __cplusplus
 }
 #endif