Add sha224/sha256 as supported hash algorithms.
[cumulus.git] / schema.sql
1 -- We maintain a local index of data blocks that have been previously stored
2 -- for constructing incremental snapshots.
3 --
4 -- The index is stored in an SQLite3 database.  This is its schema.
5
6 -- List of snapshots which have been created.
7 create table snapshots (
8     snapshotid integer primary key,
9     name text not null,
10     scheme text not null,
11     timestamp real,
12     intent real
13 );
14
15 -- List of segments which have been created.
16 create table segments (
17     segmentid integer primary key,
18     segment text unique not null,
19     path text,
20     checksum text,
21     mtime real,
22     size integer,
23     expire_time integer         -- snapshotid of latest snapshot when expired
24 );
25
26 -- Index of all blocks which have been stored, by checksum.
27 create table block_index (
28     blockid integer primary key,
29     segmentid integer not null,
30     object text not null,
31     checksum text,
32     size integer,
33     timestamp real,
34     expired integer
35 );
36 create index block_content_index on block_index(checksum);
37 create unique index block_name_index on block_index(segmentid, object);
38
39 -- Checksums for the decomposition of blocks into even smaller chunks
40 -- (variable-sized, but generally ~4 kB, and maximum 64 kB).  Chunk boundaries
41 -- are determined based on the contents using Rabin fingerprints.  These
42 -- checksums can be used for computing sub-file incrementals.
43 --
44 -- Each block stored in block_index may have an entry in the
45 -- subblock_signatures table.  The signatures field is a binary blob consisting
46 -- of a packed sequence of (chunk length [16-bit unsigned, big-endian],
47 -- checksum [20 bytes if SHA-1]) tuples that should cover the entire block.
48 --
49 -- algorithm specifies the method used for computing break points as well as
50 -- the hash function used, so that signatures can be discarded if the algorithm
51 -- changes.  The current algorithm used is 'lbfs-4096/sha1', which specifies a
52 -- target 4 kB block size with parameters set to match LBFS, and SHA-1 as the
53 -- hash algorithm.
54 create table subblock_signatures (
55     blockid integer primary key,
56     algorithm text not null,
57     signatures blob not null
58 );
59
60 -- Summary of segment utilization for each snapshots.
61 create table segments_used (
62     snapshotid integer not null,
63     segmentid integer not null,
64     utilization real
65 );
66 create unique index segments_used_index
67     on segments_used(snapshotid, segmentid);
68
69 -- Overall estimate of segment utilization, for all snapshots combined.
70 create view segment_info as
71 select segmentid, mtime, size, expire_time,
72        cast(size * utilization as integer) as used, utilization
73 from segments join
74      (select segmentid, max(utilization) as utilization
75       from segments_used group by segmentid)
76 using (segmentid);