Modifications to the local database: create a summary segments_used table.
[cumulus.git] / localdb.cc
index 9ec0c96..98b2b09 100644 (file)
@@ -30,14 +30,21 @@ sqlite3_stmt *LocalDb::Prepare(const char *sql)
     int rc;
     const char *tail;
 
-    rc = sqlite3_prepare(db, sql, strlen(sql), &stmt, &tail);
+    rc = sqlite3_prepare_v2(db, sql, strlen(sql), &stmt, &tail);
     if (rc != SQLITE_OK) {
+        ReportError(rc);
         throw IOException(string("Error preparing statement: ") + sql);
     }
 
     return stmt;
 }
 
+void LocalDb::ReportError(int rc)
+{
+    fprintf(stderr, "Result code: %d\n", rc);
+    fprintf(stderr, "Error message: %s\n", sqlite3_errmsg(db));
+}
+
 void LocalDb::Open(const char *path, const char *snapshot_name,
                    const char *snapshot_scheme)
 {
@@ -57,6 +64,8 @@ void LocalDb::Open(const char *path, const char *snapshot_name,
         throw IOException("Error starting transaction");
     }
 
+    sqlite3_extended_result_codes(db, 1);
+
     /* Insert this snapshot into the database, and determine the integer key
      * which will be used to identify it. */
     sqlite3_stmt *stmt = Prepare("insert into "
@@ -72,6 +81,7 @@ void LocalDb::Open(const char *path, const char *snapshot_name,
 
     rc = sqlite3_step(stmt);
     if (rc != SQLITE_DONE) {
+        ReportError(rc);
         sqlite3_close(db);
         throw IOException("Database execution error!");
     }
@@ -79,17 +89,62 @@ void LocalDb::Open(const char *path, const char *snapshot_name,
     snapshotid = sqlite3_last_insert_rowid(db);
     sqlite3_finalize(stmt);
     if (snapshotid == 0) {
+        ReportError(rc);
         sqlite3_close(db);
         throw IOException("Find snapshot id");
     }
+
+    /* Create a temporary table which will be used to keep track of the objects
+     * used by this snapshot.  When the database is closed, we will summarize
+     * the results of this table into segments_used. */
+    rc = sqlite3_exec(db,
+                      "create temporary table snapshot_refs ("
+                      "    segmentid integer not null,"
+                      "    object text not null,"
+                      "    size integer not null"
+                      ")", NULL, NULL, NULL);
+    if (rc != SQLITE_OK) {
+        ReportError(rc);
+        sqlite3_close(db);
+        throw IOException("Database initialization");
+    }
+    rc = sqlite3_exec(db,
+                      "create unique index snapshot_refs_index "
+                      "on snapshot_refs(segmentid, object)",
+                      NULL, NULL, NULL);
+    if (rc != SQLITE_OK) {
+        ReportError(rc);
+        sqlite3_close(db);
+        throw IOException("Database initialization");
+    }
 }
 
 void LocalDb::Close()
 {
     int rc;
+
+    /* Summarize the snapshot_refs table into segments_used. */
+    sqlite3_stmt *stmt = Prepare("insert into segments_used "
+                                 "select ? as snapshotid, segmentid, "
+                                 "cast(used as real) / size as utilization "
+                                 "from "
+                                 "(select segmentid, sum(size) as used "
+                                 "from snapshot_refs group by segmentid) "
+                                 "join segments using (segmentid)");
+    sqlite3_bind_int64(stmt, 1, snapshotid);
+    rc = sqlite3_step(stmt);
+    if (rc != SQLITE_OK && rc != SQLITE_DONE) {
+        ReportError(rc);
+        sqlite3_close(db);
+        fprintf(stderr, "DATABASE ERROR: Unable to create segment summary!\n");
+    }
+    sqlite3_finalize(stmt);
+
+    /* Commit changes to the database and close. */
     rc = sqlite3_exec(db, "commit", NULL, NULL, NULL);
     if (rc != SQLITE_OK) {
-        fprintf(stderr, "Can't commit database!\n");
+        fprintf(stderr, "DATABASE ERROR: Can't commit database!\n");
+        ReportError(rc);
     }
     sqlite3_close(db);
 }
@@ -179,6 +234,7 @@ void LocalDb::StoreObject(const ObjectReference& ref,
     rc = sqlite3_step(stmt);
     if (rc != SQLITE_DONE) {
         fprintf(stderr, "Could not execute INSERT statement!\n");
+        ReportError(rc);
     }
 
     sqlite3_finalize(stmt);
@@ -203,6 +259,7 @@ ObjectReference LocalDb::FindObject(const string &checksum, int64_t size)
                               (const char *)sqlite3_column_text(stmt, 1));
     } else {
         fprintf(stderr, "Could not execute SELECT statement!\n");
+        ReportError(rc);
     }
 
     sqlite3_finalize(stmt);
@@ -210,14 +267,15 @@ ObjectReference LocalDb::FindObject(const string &checksum, int64_t size)
     return ref;
 }
 
-bool LocalDb::IsOldObject(const string &checksum, int64_t size, double *age)
+bool LocalDb::IsOldObject(const string &checksum, int64_t size, double *age,
+                          int *group)
 {
     int rc;
     sqlite3_stmt *stmt;
     bool found = false;
 
-    stmt = Prepare("select segmentid, object, timestamp from block_index "
-                   "where checksum = ? and size = ?");
+    stmt = Prepare("select segmentid, object, timestamp, expired "
+                   "from block_index where checksum = ? and size = ?");
     sqlite3_bind_text(stmt, 1, checksum.c_str(), checksum.size(),
                       SQLITE_TRANSIENT);
     sqlite3_bind_int64(stmt, 2, size);
@@ -228,8 +286,10 @@ bool LocalDb::IsOldObject(const string &checksum, int64_t size, double *age)
     } else if (rc == SQLITE_ROW) {
         found = true;
         *age = sqlite3_column_double(stmt, 2);
+        *group = sqlite3_column_int(stmt, 3);
     } else {
         fprintf(stderr, "Could not execute SELECT statement!\n");
+        ReportError(rc);
     }
 
     sqlite3_finalize(stmt);
@@ -258,6 +318,7 @@ bool LocalDb::IsAvailable(const ObjectReference &ref)
             found = true;
     } else {
         fprintf(stderr, "Could not execute SELECT statement!\n");
+        ReportError(rc);
     }
 
     sqlite3_finalize(stmt);
@@ -281,7 +342,89 @@ void LocalDb::UseObject(const ObjectReference& ref)
     rc = sqlite3_step(stmt);
     if (rc != SQLITE_DONE) {
         fprintf(stderr, "Could not execute INSERT statement!\n");
+        ReportError(rc);
+    }
+
+    sqlite3_finalize(stmt);
+
+    stmt = Prepare("insert or ignore into snapshot_refs "
+                   "select segmentid, object, size from block_index "
+                   "where segmentid = ? and object = ?");
+    sqlite3_bind_int64(stmt, 1, SegmentToId(ref.get_segment()));
+    sqlite3_bind_text(stmt, 2, obj.c_str(), obj.size(), SQLITE_TRANSIENT);
+
+    rc = sqlite3_step(stmt);
+    if (rc != SQLITE_DONE) {
+        fprintf(stderr, "Could not execute INSERT statement!\n");
+        ReportError(rc);
+    }
+
+    sqlite3_finalize(stmt);
+}
+
+void LocalDb::SetSegmentChecksum(const std::string &segment,
+                                 const std::string &path,
+                                 const std::string &checksum)
+{
+    int rc;
+    sqlite3_stmt *stmt;
+
+    stmt = Prepare("update segments set path = ?, checksum = ?, "
+                   "size = (select sum(size) from block_index "
+                   "        where segmentid = ?) "
+                   "where segmentid = ?");
+    sqlite3_bind_text(stmt, 1, path.c_str(), path.size(),
+                      SQLITE_TRANSIENT);
+    sqlite3_bind_text(stmt, 2, checksum.c_str(), checksum.size(),
+                      SQLITE_TRANSIENT);
+    sqlite3_bind_int64(stmt, 3, SegmentToId(segment));
+    sqlite3_bind_int64(stmt, 4, SegmentToId(segment));
+
+    rc = sqlite3_step(stmt);
+    if (rc != SQLITE_DONE) {
+        fprintf(stderr, "Could not update segment checksum in database!\n");
+        ReportError(rc);
+    }
+
+    sqlite3_finalize(stmt);
+}
+
+bool LocalDb::GetSegmentChecksum(const string &segment,
+                                 string *seg_path,
+                                 string *seg_checksum)
+{
+    int rc;
+    sqlite3_stmt *stmt;
+    ObjectReference ref;
+    int found = false;
+
+    stmt = Prepare("select path, checksum from segments where segment = ?");
+    sqlite3_bind_text(stmt, 1, segment.c_str(), segment.size(),
+                      SQLITE_TRANSIENT);
+
+    rc = sqlite3_step(stmt);
+    if (rc == SQLITE_DONE) {
+    } else if (rc == SQLITE_ROW) {
+        found = true;
+        const char *val;
+
+        val = (const char *)sqlite3_column_text(stmt, 0);
+        if (val == NULL)
+            found = false;
+        else
+            *seg_path = val;
+
+        val = (const char *)sqlite3_column_text(stmt, 1);
+        if (val == NULL)
+            found = false;
+        else
+            *seg_checksum = val;
+    } else {
+        fprintf(stderr, "Could not execute SELECT statement!\n");
+        ReportError(rc);
     }
 
     sqlite3_finalize(stmt);
+
+    return found;
 }