Write out new-style statcache data.

Write out statcache-style data from the metadata logging module of lbs.
This will eventually replace the old statcache implementation, but is not
complete.  This new statcache data is not yet read in or used elsewhere.

In the new format, the data in the statcache file has the same format as
the data in the metadata log itself.  Each stanza with file information is
prefixed with a @@reference line that gives a reference to the location of
the metadata.  If the metadata has not changed, this will allow metadata
log data to be re-used between snapshots.

Drop the use of indirect blocks for storing pointers to data.

Now store the entire list of blocks that contain each file's contents
inline in the metadata log, even when that list is large.  Previously, the
list was split out into a separate object when it contained more than 8
entries.  These indirect blocks may still be useful, but they also
complicate the metadata/statcache rewrite, so for the moment disable them.
They may be reintroduced later.

Initial refactoring of metadata logging.

Move the writing of entries in the metadata log to a separate class in a
separate file (MetadataWriter in metadata.cc).  This is the first step of
the changes, which moves the existing code but does not significantly
change it.  It is preparation for more significant changes to metadata
writing.

Changes to the metadata log format.

A small collection of changes to make the snapshot format a little more
rational (I hope).  The intent is to also more or less merge the formats of
the metadata log and statcache.  There will likely be other changes in the
future in the course of working on metadata scalability.  The format is not
yet finalized!

WARNING: These changes will require new tools to read the generated backup
snapshots.  The version number in the format has been updated.  This
changeset does not include the necessary changes to the snapshot-parsing
code.

NEWS updates for 0.5.1 release (minor changes only).

Provide a sample tool, contrib/parity-gen, for RAID-like parity sets.

parity-gen will use the par2 command to generate redundant data files, to
be stored with backup segments, that will allow segments to recover even if
some of the data is lost or damaged.  When given a directory, it will
incrementally update parity sets to reflect changes made to the directory
since the last run.

This tool is still under development, and shouldn't be completely trusted
yet.

Check LBS format version when reading snapshots in the tools.

Have the lbs-util command check the version of a snapshot when it is read,
and signal an error if the version is newer than what is supported, so that
silent failures do not occur if the format is changed in the future.

lbs-util: Add a command for dumping a flattened metadata log file.

Minor documemtation update.

LBS v0.5 release.

Fix mismatched new/delete calls.

Caught by Valgrind: memory was being allocated with new[] but freed with
delete.  Use delete[] instead.

Make extraction of segments in lbs.py even more quiet.

Add a restore-snapshot command to lbs-util.

This is still in development, and not fully tested yet.  This is meant to
mostly replace restore.pl, and will eventually have more features (it can
already restore without needing all segments unpacked first).

The restore.pl script won't go away, though, since it is still useful to
include as a small, self-contained bare-bones restore program.

Add "prune database" command to lbs-util.

This acts like clean, but doesn't perform the step of marking old segments
as expired.

File reorganization: move non-essential binaries to contrib/.

The top-level directory is now mostly for the main lbs binary, and the
lbs-util script.  Other scripts, which are not necessary for backups (but
helpful) can be found in contrib.

When cleaning the cache of objects, don't be so verbose.

Change the command for cleaning from "rm -rv", dropping the "-v".

Enhance object-checksums command.

If no segments are specified, dump object checksums for all segments.
Additionally, prompt for a password (to decrypt segments) when needed.

Move most documentation into a doc/ subdirectory.

Remove cleandb.sql SQL script since this functionality is now in lbs-util.

Rename lbs-util.py to lbs-util.

The Python implementation is now the standard utility program for working
with LBS archives.  Drop the ".py" suffix.  It replaces the old lbs-util
program, which was implemented in Perl.

Delete the Perl LBS module and the Perl-based lbs-util script.

Expanded Python module for accessing LBS snapshots, and lbs-util.py.

Expand the lbs Python module with code for reading from LBS archives.  This
includes decoding segments and parsing snapshot descriptors and metadata
logs.

Expand the lbs-util.py tool so that it has most of the functionality of
lbs-util (Perl implementation).  The Perl code should now be considered
deprecated, and will be removed at some point in the future.

The Python code still needs some cleaning up.

Suppress error messages from Makefile when git-describe is not available.

README spelling corrections.

NEWS file updates in preparation for v0.4 release.

Preview of a new Python-based management tool; includes segment cleaning.

This adds a Python-based lbs-util program which can perform automatic
segment cleaning.  This hasn't been entirely worked out yet, so it may yet
be a little buggy, and the policies implemented can certainly be improved.
Expect future improvements in this area, and don't yet rely on it too
heavily.

Documentation improvements.

Highlights are a README file with instructions for getting started, and
description of some implementation details, starting with the purpose and
format of the local database.

Place expired and repacked objects into segments based on database.

The local database can store an integer with each expired object that can
be used to group objects together based on age or other factors.  Update
the lbs snapshot utility to place objects into segments based on this
value.

Implement --signature-filter for signing backup snapshots.

If supplied, the argument to --signature-filter will be a program through
which the text for the root snapshot descriptor is filtered.  This filter
should act much like "gpg --clearsign": produce a nearly-identical text
file, with perhaps a few lines at the start or end containing the
signature, but which can be treated as an ordinary segment descriptor by
ignoring this leading and trailing data.

lbs-util now supports reading encrypted segments (with lbs-filter-gpg).

Change the default to encrypted segments rather than compressed with bzip2.
The default of the lbs program has not been changed; it is still necessary
to specify the correct options there to generate encrypted backups.

Update NEWS file.

Bug fix for the rewritten spawn_filter function.

We were accidentally using the wrong variable (filter_pid instead of pid)
when looking at the result of a fork call, with the result that both
processes thought they were the parent.

Switch to stdio-based I/O for writing descriptor file.

This should be a little bit easier to hook into filtering code (we can open
the output file, spawn the filter, and then fdopen the resulting
descriptor), which will be used when implementing signing of the descriptor
files.

Cleanup of the tar-store code.

  - Make spawn_filter generic, not part of Tarfile, so that it can be used
    by other parts of the code.  (Specifically, it should be used later
    when writing out a segment descriptor, so that the descriptor can be
    filtered through gpg for signing.)
  - Drop internal_write_object.  It had only one caller, so simply inline
    the code.

lbs-filter-gpg should run gpg in batch mode.

Supply the --batch option to gpg so that it can run without a terminal.

Write an example script for invoking gpg to encrypt backup segments.

This script acts as a filter with options for encrypting, decrypting, and
signing data.  Signing uses --clearsign, and will eventually be appropriate
for signing the snapshot descriptor files.

Include version number in usage message.

Update NEWS for 0.3 release.

Preview of a new lbs-util command for snapshot maintenance.

This introduces a new Perl module (LBS.pm) which is an interface for
reading LBS snapshots, and a small command which uses it (lbs-util).  Few
commands are implemented yet, but more should follow.

Include segment checksums as "Checksums" not "Checksum-File" in descriptor.

Avoid the use of a dash in a key name in the descriptor file, since it is
not well-tesetd with the various tools.

Minor database schema fix.

When constructing the segment_info view, we can no longer do a natural join
on the block_index and segments tables, since the segments table recently
acquired a checksum column.  Now explicitly join on the segmentid column
only, which is the desired behavior (and what a natural join used to do).

NEWS updates.

Write out a .sha1sums file with checksums for segments in this snapshot.

Some segments might be left out; we only write out lines for those segments
that we know a checksum for.  These checksums are stored in the local
database (so we can find checksums for old segments), but entries might be
missing.

Improve reporting of database errors.

Compute checksums of segments and store them in the local database.

When a segment is fully written out, compute a checksum of the file
actually written (post-filtering).  Store this in the local database so
that it will be possible to write out, at the end of a backup, a file
containing the checksums of all segments used for the snapshot (including
old ones not written out in this execution).

Fix a double-close of a file descriptor.

When a file is dumped, the file descriptor is opened by scanfile(), so that
is the function which should close it (not dump_inode()).

Extract the version number from NEWS if git-describe is not available.

This should allow building from tarballs (not the git version), and still
correctly fill in the version number (so it can be incorporated into
generated files).

If git-describe does not return a value, the first word from the NEWS file
is taken as the version number.

Add a NEWS file summarizing changes in each release.

Do not include link/inode information for directories.

Directories cannot be hard-linked, so do not bother to include a link count
and inode information for directories in a snapshot.

Include link counts and inode numbers in metadata dumps.

When the link count on a file is greater than one, include the link count
and a representation of the inode number (actually, inode number and
device).  This will provide all information which should be needed for
detecting hard links at restore time.  The backup program itself does not
identify hard-linked files and treat them any differently--since storage
for identical files can be shared, the storing a hard-linked file multiple
times should still be relatively efficient.

Drop dependence on libtar.

Implement everything we need to write TAR files ourself; this isn't too
difficult since we are only ever writing regular files with fixed-length
filenames (so need to worry about long file names).  In fact, doing it
directly is really no more complicated than using libtar.

Update the format documentation to describe the current backup format.

The old documentation referred to the old binary backup format, and was
incomplete at that.  Rewrite it to discuss the current format, including a
discussion of segment/object storage, object references, the format of the
metadata listing, and the root backup descriptor.

The documentation can be improved, and some parts are certainly a bit
spotty, but this gives a good quick overview of the entire format.

Print a help message if no paths are specified to back up.

Rather than defaulting to backing up the current directory, always require
that a path be specified.  If no paths are specified, print the usage
message and exit.

Also, fix a crash that previously occurred when no paths were specified.

Update .gitignore: explicitly ignore .o files.

Provide a more detailed indication of file status when backing up.

Indicate whether a file is new, or whether we managed to find the old data
in other segments, or whether data is being copied because we are cleaning
segments, etc.

URI-escape the '@' character.

Ensure that the '@' character is escaped in strings.  This isn't necessary
now, but in the future this might be useful so that indirect references are
never ambiguous.  (If a "@" appears, it's an indirect reference; if a
literal "@" is needed, it is escaped.)

Include scheme name in statcache file, so localdb directory can be shared.

Add support for octal, hexadecimal in restore.pl script.

Do not warn when fewer than two arguments are provided.

It used to be that a source and destination had to be provided as the last
two arguments.  The use of the --dest= option now makes that not true, so
don't print a usage message and exit when only a single source is provided.

Update the descriptor format string to "v0.2".

The introduction of octal probably makes this fair.

Really fix the umask problem.

The fix in bf947741ac8f65e74d594a1e14e94d90320b403e didn't entirely work.
This should be better.

Add support for octal and hexadecimal output in dumps.

Switch to using octal for file modesin metadata listings, since this is
more readable.

Rename --name to --scheme, and store the scheme name in the local database.

Add a --name command-line option for naming snapshots.

This feature is meant to support storing several separate sets of snapshots
in the same directory--for example, snapshots of multiple computers, or
snapshots of different sets of directories.  These snapshots can be deleted
independently.  The snapshots will be permitted to share segments.

A name is simply applied for management convience, to help in
distinguishing the different sets of backups.  The string specified with
--name is included both in the snapshot descriptor filename and as a
"Name:" field within that descriptor.

Respect umask when creating backup files.

Previously backup files were created with permissions of 0600 before the
umask was subtracted.  Set it to 0666 now; the user can adjust the
permissions to make them more restrictive by changing the umask or
permissions in the parent directories.

Reorganize filesystem traversal and dumping code.

Work to more cleanly separate the parts of the code that scan the
filesystem from the parts which actually generate dump data to the backup
snapshot.

Slightly improve error-handling during backups.

Makefile cleanups.

Rename format.{cc,h} -> util.{cc,h}.

Extract major/minor components of device numbers.

I hope these are the right macros and include files to use...

Dump the device number of character/block devices.

Auto-generate a version number for the program with git-describe.

If compiled from a git repository, embed the version number (output from
git-describe) into the resulting binary.  If this does not work for
whatever reason, the version string embedded is "Unknown".

Add string un-escaping, and fix the statcache reader to use it.

Rename the generated executable from "scandir" to "lbs".

Implement a more complex inclusion/exclusion system for files.

Allow multiple paths to be specified for backups, to allow different parts
of the filesystem tree to be selected for backup in a single snapshot.

Fix a bug in statcache support for file sizes.

This had the effect of renderig the statcache useless (all files would be
entirely read), but apart from the performance issue should have caused any
problems.

When comparing a file against the stat cache, check size field too.

Dump statistics of data written at the end of a backup run.

Include file size in the stat cache (but do not check against it yet).

Rewrite object reference parser.

This new version should handle all options, including checksums and object
ranges, though it hasn't been fully tested.

Only trust the results of a stat if two separate backups agree.

This should eliminate races where stat information might not change if
there are two changes to a file within the same second--as long as two
backups are not taken less than a second apart.

Sort-of-working statcache implementation.

This will use stat information to determine when a file doesn't need to
be read again.  There are still some bits left to be implemented; in
particular, parsing of references needs to be fixed, since at the moment
checksums and ranges aren't supported, and any files using them will
have block lists corrupted by the stat cache.  (Fortunately, nothing
uses those reference forms yet for file contents.)

Write the backup descriptor as the very last step in a backup.

For consistency, we should make sure that all segments and other data
needed to reconstruct a backup are written before we write out the
backup descriptor file itself.

Try an alternate segment cleaning ordering.

This one gives more weight to expiring nearly-empty segments.

Add a simple script for garbage collecting old segments.

Preserve the "timestamp" database field when expiring segments.

When segments are repacked, we would like to keep the original timestamp
for the old objects which are written into new segments.  These changes
should now propagate that timestamp value.

Minor formatting fix when outputting the statcache file.

Partial commit of statcache support.

This will cache the results of stat calls from previous backups, so that
future backups do not need to read the files in their entirety if no data
has changed.

Rename descriptor files.

Prefix them with "snapshot-", so they will sort after all segment files.

Wait to write the backup description until a backup is finished.

Update database schema with views for choosing segments to clean.

Create a couple of database views, one for gathering summary statistics
about segments in use, and one for ranking segments to be cleaned and
rewritten, based on utilization and the age of the data contained in it.

Fix --localdb= option.

Factor code to prepare SQLite statements into a separate function.

This cuts down on a little code duplication and also makes it easy to
include SQL statements in inline strings when they are prepared.

Also, switch to the older sqlite3_prepare interface (not _prepare_v2) since
the new interface is still a bit too new to be commonly available.

Fix typo.

Make segment compression/encryption filter to command-line-selectable.

Design note: grouping also allows better compression.

Create an SQL script for cleaning out the local object database.

Make parser in restore.pl more tolerant, and reorder descriptor fields.

Add version information to the backup descriptor files.

This adds a "Format:" line at the start of a backup descriptor, with the
intent that different formats can be recognized if there is a need to make
changes in the future.  This can also be used as a magic number to identify
LBS snapshot files.

Also, update the restore.pl script to handle the new format--make the
parser more flexible so that fields can appear in any order, and
unrecognized lines are ignored.

Do not bother to split indirect block lists into a separate segment.

For now, just group them with the rest of the metadata.  It's not worth
splitting them up now; this could be reverted later.