lib/tdb/common/open.c

   1  /*
   2    Unix SMB/CIFS implementation.
   3
   4    trivial database library
   5
   6    Copyright (C) Andrew Tridgell              1999-2005
   7    Copyright (C) Paul `Rusty' Russell              2000
   8    Copyright (C) Jeremy Allison                    2000-2003
   9
  10      ** NOTE! The following LGPL license applies to the tdb
  11      ** library. This does NOT imply that all of Samba is released
  12      ** under the LGPL
  13
  14    This library is free software; you can redistribute it and/or
  15    modify it under the terms of the GNU Lesser General Public
  16    License as published by the Free Software Foundation; either
  17    version 3 of the License, or (at your option) any later version.
  18
  19    This library is distributed in the hope that it will be useful,
  20    but WITHOUT ANY WARRANTY; without even the implied warranty of
  21    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  22    Lesser General Public License for more details.
  23
  24    You should have received a copy of the GNU Lesser General Public
  25    License along with this library; if not, see <http://www.gnu.org/licenses/>.
  26 */
  27
  28 #include "tdb_private.h"
  29
  30 /* all contexts, to ensure no double-opens (fcntl locks don't nest!) */
  31 static struct tdb_context *tdbs = NULL;
  32
  33 /* We use two hashes to double-check they're using the right hash function. */
  34 void tdb_header_hash(struct tdb_context *tdb,
  35                      uint32_t *magic1_hash, uint32_t *magic2_hash)
  36 {
  37         TDB_DATA hash_key;
  38         uint32_t tdb_magic = TDB_MAGIC;
  39
  40         hash_key.dptr = discard_const_p(unsigned char, TDB_MAGIC_FOOD);
  41         hash_key.dsize = sizeof(TDB_MAGIC_FOOD);
  42         *magic1_hash = tdb->hash_fn(&hash_key);
  43
  44         hash_key.dptr = (unsigned char *)CONVERT(tdb_magic);
  45         hash_key.dsize = sizeof(tdb_magic);
  46         *magic2_hash = tdb->hash_fn(&hash_key);
  47
  48         /* Make sure at least one hash is non-zero! */
  49         if (*magic1_hash == 0 && *magic2_hash == 0)
  50                 *magic1_hash = 1;
  51 }
  52
  53 /* initialise a new database with a specified hash size */
  54 static int tdb_new_database(struct tdb_context *tdb, int hash_size)
  55 {
  56         struct tdb_header *newdb;
  57         size_t size;
  58         int ret = -1;
  59         ssize_t written;
  60
  61         /* We make it up in memory, then write it out if not internal */
  62         size = sizeof(struct tdb_header) + (hash_size+1)*sizeof(tdb_off_t);
  63         if (!(newdb = (struct tdb_header *)calloc(size, 1)))
  64                 return TDB_ERRCODE(TDB_ERR_OOM, -1);
  65
  66         /* Fill in the header */
  67         newdb->version = TDB_VERSION;
  68         newdb->hash_size = hash_size;
  69
  70         tdb_header_hash(tdb, &newdb->magic1_hash, &newdb->magic2_hash);
  71
  72         if (tdb->flags & TDB_INTERNAL) {
  73                 tdb->map_size = size;
  74                 tdb->map_ptr = (char *)newdb;
  75                 memcpy(&tdb->header, newdb, sizeof(tdb->header));
  76                 /* Convert the `ondisk' version if asked. */
  77                 CONVERT(*newdb);
  78                 return 0;
  79         }
  80         if (lseek(tdb->fd, 0, SEEK_SET) == -1)
  81                 goto fail;
  82
  83         if (ftruncate(tdb->fd, 0) == -1)
  84                 goto fail;
  85
  86         /* This creates an endian-converted header, as if read from disk */
  87         CONVERT(*newdb);
  88         memcpy(&tdb->header, newdb, sizeof(tdb->header));
  89         /* Don't endian-convert the magic food! */
  90         memcpy(newdb->magic_food, TDB_MAGIC_FOOD, strlen(TDB_MAGIC_FOOD)+1);
  91         /* we still have "ret == -1" here */
  92         written = write(tdb->fd, newdb, size);
  93         if (written == size) {
  94                 ret = 0;
  95         } else if (written != -1) {
  96                 /* call write once again, this usually should return -1 and
  97                  * set errno appropriately */
  98                 size -= written;
  99                 written = write(tdb->fd, newdb+written, size);
 100                 if (written == size) {
 101                 ret = 0;
 102                 } else if (written >= 0) {
 103                         /* a second incomplete write - we give up.
 104                          * guessing the errno... */
 105                         errno = ENOSPC;
 106                 }
 107         }
 108
 109   fail:
 110         SAFE_FREE(newdb);
 111         return ret;
 112 }
 113
 114
 115
 116 static int tdb_already_open(dev_t device,
 117                             ino_t ino)
 118 {
 119         struct tdb_context *i;
 120
 121         for (i = tdbs; i; i = i->next) {
 122                 if (i->device == device && i->inode == ino) {
 123                         return 1;
 124                 }
 125         }
 126
 127         return 0;
 128 }
 129
 130 /* open the database, creating it if necessary
 131
 132    The open_flags and mode are passed straight to the open call on the
 133    database file. A flags value of O_WRONLY is invalid. The hash size
 134    is advisory, use zero for a default value.
 135
 136    Return is NULL on error, in which case errno is also set.  Don't
 137    try to call tdb_error or tdb_errname, just do strerror(errno).
 138
 139    @param name may be NULL for internal databases. */
 140 struct tdb_context *tdb_open(const char *name, int hash_size, int tdb_flags,
 141                       int open_flags, mode_t mode)
 142 {
 143         return tdb_open_ex(name, hash_size, tdb_flags, open_flags, mode, NULL, NULL);
 144 }
 145
 146 /* a default logging function */
 147 static void null_log_fn(struct tdb_context *tdb, enum tdb_debug_level level, const char *fmt, ...) PRINTF_ATTRIBUTE(3, 4);
 148 static void null_log_fn(struct tdb_context *tdb, enum tdb_debug_level level, const char *fmt, ...)
 149 {
 150 }
 151
 152 static bool check_header_hash(struct tdb_context *tdb,
 153                               bool default_hash, uint32_t *m1, uint32_t *m2)
 154 {
 155         tdb_header_hash(tdb, m1, m2);
 156         if (tdb->header.magic1_hash == *m1 &&
 157             tdb->header.magic2_hash == *m2) {
 158                 return true;
 159         }
 160
 161         /* If they explicitly set a hash, always respect it. */
 162         if (!default_hash)
 163                 return false;
 164
 165         /* Otherwise, try the other inbuilt hash. */
 166         tdb->hash_fn = tdb_jenkins_hash;
 167         return check_header_hash(tdb, false, m1, m2);
 168 }
 169
 170 struct tdb_context *tdb_open_ex(const char *name, int hash_size, int tdb_flags,
 171                                 int open_flags, mode_t mode,
 172                                 const struct tdb_logging_context *log_ctx,
 173                                 tdb_hash_func hash_fn)
 174 {
 175         struct tdb_context *tdb;
 176         struct stat st;
 177         int rev = 0, locked = 0;
 178         unsigned char *vp;
 179         uint32_t vertest;
 180         unsigned v;
 181         const char *hash_alg;
 182         uint32_t magic1, magic2;
 183
 184         if (!(tdb = (struct tdb_context *)calloc(1, sizeof *tdb))) {
 185                 /* Can't log this */
 186                 errno = ENOMEM;
 187                 goto fail;
 188         }
 189         tdb_io_init(tdb);
 190         tdb->fd = -1;
 191         tdb->name = NULL;
 192         tdb->map_ptr = NULL;
 193         tdb->flags = tdb_flags;
 194         tdb->open_flags = open_flags;
 195         if (log_ctx) {
 196                 tdb->log = *log_ctx;
 197         } else {
 198                 tdb->log.log_fn = null_log_fn;
 199                 tdb->log.log_private = NULL;
 200         }
 201
 202         if (hash_fn) {
 203                 tdb->hash_fn = hash_fn;
 204                 hash_alg = "the user defined";
 205         } else {
 206                 tdb->hash_fn = tdb_old_hash;
 207                 hash_alg = "either default";
 208         }
 209
 210         /* cache the page size */
 211         tdb->page_size = getpagesize();
 212         if (tdb->page_size <= 0) {
 213                 tdb->page_size = 0x2000;
 214         }
 215
 216         tdb->max_dead_records = (tdb_flags & TDB_VOLATILE) ? 5 : 0;
 217
 218         if ((open_flags & O_ACCMODE) == O_WRONLY) {
 219                 TDB_LOG((tdb, TDB_DEBUG_ERROR, "tdb_open_ex: can't open tdb %s write-only\n",
 220                          name));
 221                 errno = EINVAL;
 222                 goto fail;
 223         }
 224
 225         if (hash_size == 0)
 226                 hash_size = DEFAULT_HASH_SIZE;
 227         if ((open_flags & O_ACCMODE) == O_RDONLY) {
 228                 tdb->read_only = 1;
 229                 /* read only databases don't do locking or clear if first */
 230                 tdb->flags |= TDB_NOLOCK;
 231                 tdb->flags &= ~TDB_CLEAR_IF_FIRST;
 232         }
 233
 234         /* internal databases don't mmap or lock, and start off cleared */
 235         if (tdb->flags & TDB_INTERNAL) {
 236                 tdb->flags |= (TDB_NOLOCK | TDB_NOMMAP);
 237                 tdb->flags &= ~TDB_CLEAR_IF_FIRST;
 238                 if (tdb_new_database(tdb, hash_size) != 0) {
 239                         TDB_LOG((tdb, TDB_DEBUG_ERROR, "tdb_open_ex: tdb_new_database failed!"));
 240                         goto fail;
 241                 }
 242                 goto internal;
 243         }
 244
 245         if ((tdb->fd = open(name, open_flags, mode)) == -1) {
 246                 TDB_LOG((tdb, TDB_DEBUG_WARNING, "tdb_open_ex: could not open file %s: %s\n",
 247                          name, strerror(errno)));
 248                 goto fail;      /* errno set by open(2) */
 249         }
 250
 251         /* on exec, don't inherit the fd */
 252         v = fcntl(tdb->fd, F_GETFD, 0);
 253         fcntl(tdb->fd, F_SETFD, v | FD_CLOEXEC);
 254
 255         /* ensure there is only one process initialising at once */
 256         if (tdb->methods->tdb_brlock(tdb, GLOBAL_LOCK, F_WRLCK, F_SETLKW, 0, 1) == -1) {
 257                 TDB_LOG((tdb, TDB_DEBUG_ERROR, "tdb_open_ex: failed to get global lock on %s: %s\n",
 258                          name, strerror(errno)));
 259                 goto fail;      /* errno set by tdb_brlock */
 260         }
 261
 262         /* we need to zero database if we are the only one with it open */
 263         if ((tdb_flags & TDB_CLEAR_IF_FIRST) &&
 264             (!tdb->read_only) &&
 265             (locked = (tdb->methods->tdb_brlock(tdb, ACTIVE_LOCK, F_WRLCK, F_SETLK, 0, 1) == 0))) {
 266                 open_flags |= O_CREAT;
 267                 if (ftruncate(tdb->fd, 0) == -1) {
 268                         TDB_LOG((tdb, TDB_DEBUG_FATAL, "tdb_open_ex: "
 269                                  "failed to truncate %s: %s\n",
 270                                  name, strerror(errno)));
 271                         goto fail; /* errno set by ftruncate */
 272                 }
 273         }
 274
 275         errno = 0;
 276         if (read(tdb->fd, &tdb->header, sizeof(tdb->header)) != sizeof(tdb->header)
 277             || strcmp(tdb->header.magic_food, TDB_MAGIC_FOOD) != 0
 278             || (tdb->header.version != TDB_VERSION
 279                 && !(rev = (tdb->header.version==TDB_BYTEREV(TDB_VERSION))))) {
 280                 /* its not a valid database - possibly initialise it */
 281                 if (!(open_flags & O_CREAT) || tdb_new_database(tdb, hash_size) == -1) {
 282                         if (errno == 0) {
 283                         errno = EIO; /* ie bad format or something */
 284                         }
 285                         goto fail;
 286                 }
 287                 rev = (tdb->flags & TDB_CONVERT);
 288         }
 289         vp = (unsigned char *)&tdb->header.version;
 290         vertest = (((uint32_t)vp[0]) << 24) | (((uint32_t)vp[1]) << 16) |
 291                   (((uint32_t)vp[2]) << 8) | (uint32_t)vp[3];
 292         tdb->flags |= (vertest==TDB_VERSION) ? TDB_BIGENDIAN : 0;
 293         if (!rev)
 294                 tdb->flags &= ~TDB_CONVERT;
 295         else {
 296                 tdb->flags |= TDB_CONVERT;
 297                 tdb_convert(&tdb->header, sizeof(tdb->header));
 298         }
 299         if (fstat(tdb->fd, &st) == -1)
 300                 goto fail;
 301
 302         if (tdb->header.rwlocks != 0) {
 303                 TDB_LOG((tdb, TDB_DEBUG_ERROR, "tdb_open_ex: spinlocks no longer supported\n"));
 304                 goto fail;
 305         }
 306
 307         if ((tdb->header.magic1_hash == 0) && (tdb->header.magic2_hash == 0)) {
 308                 /* older TDB without magic hash references */
 309         } else if (!check_header_hash(tdb, !hash_fn, &magic1, &magic2)) {
 310                 TDB_LOG((tdb, TDB_DEBUG_FATAL, "tdb_open_ex: "
 311                          "%s was not created with %s hash function we are using\n"
 312                          "magic1_hash[0x%08X %s 0x%08X] "
 313                          "magic2_hash[0x%08X %s 0x%08X]\n",
 314                          name, hash_alg,
 315                          tdb->header.magic1_hash,
 316                          (tdb->header.magic1_hash == magic1) ? "==" : "!=",
 317                          magic1,
 318                          tdb->header.magic2_hash,
 319                          (tdb->header.magic2_hash == magic2) ? "==" : "!=",
 320                          magic2));
 321                 errno = EINVAL;
 322                 goto fail;
 323         }
 324
 325         /* Is it already in the open list?  If so, fail. */
 326         if (tdb_already_open(st.st_dev, st.st_ino)) {
 327                 TDB_LOG((tdb, TDB_DEBUG_ERROR, "tdb_open_ex: "
 328                          "%s (%d,%d) is already open in this process\n",
 329                          name, (int)st.st_dev, (int)st.st_ino));
 330                 errno = EBUSY;
 331                 goto fail;
 332         }
 333
 334         if (!(tdb->name = (char *)strdup(name))) {
 335                 errno = ENOMEM;
 336                 goto fail;
 337         }
 338
 339         tdb->map_size = st.st_size;
 340         tdb->device = st.st_dev;
 341         tdb->inode = st.st_ino;
 342         tdb_mmap(tdb);
 343         if (locked) {
 344                 if (tdb->methods->tdb_brlock(tdb, ACTIVE_LOCK, F_UNLCK, F_SETLK, 0, 1) == -1) {
 345                         TDB_LOG((tdb, TDB_DEBUG_ERROR, "tdb_open_ex: "
 346                                  "failed to take ACTIVE_LOCK on %s: %s\n",
 347                                  name, strerror(errno)));
 348                         goto fail;
 349                 }
 350
 351         }
 352
 353         /* We always need to do this if the CLEAR_IF_FIRST flag is set, even if
 354            we didn't get the initial exclusive lock as we need to let all other
 355            users know we're using it. */
 356
 357         if (tdb_flags & TDB_CLEAR_IF_FIRST) {
 358                 /* leave this lock in place to indicate it's in use */
 359                 if (tdb->methods->tdb_brlock(tdb, ACTIVE_LOCK, F_RDLCK, F_SETLKW, 0, 1) == -1)
 360                         goto fail;
 361         }
 362
 363         /* if needed, run recovery */
 364         if (tdb_transaction_recover(tdb) == -1) {
 365                 goto fail;
 366         }
 367
 368  internal:
 369         /* Internal (memory-only) databases skip all the code above to
 370          * do with disk files, and resume here by releasing their
 371          * global lock and hooking into the active list. */
 372         if (tdb->methods->tdb_brlock(tdb, GLOBAL_LOCK, F_UNLCK, F_SETLKW, 0, 1) == -1)
 373                 goto fail;
 374         tdb->next = tdbs;
 375         tdbs = tdb;
 376         return tdb;
 377
 378  fail:
 379         { int save_errno = errno;
 380
 381         if (!tdb)
 382                 return NULL;
 383
 384         if (tdb->map_ptr) {
 385                 if (tdb->flags & TDB_INTERNAL)
 386                         SAFE_FREE(tdb->map_ptr);
 387                 else
 388                         tdb_munmap(tdb);
 389         }
 390         SAFE_FREE(tdb->name);
 391         if (tdb->fd != -1)
 392                 if (close(tdb->fd) != 0)
 393                         TDB_LOG((tdb, TDB_DEBUG_ERROR, "tdb_open_ex: failed to close tdb->fd on error!\n"));
 394         SAFE_FREE(tdb);
 395         errno = save_errno;
 396         return NULL;
 397         }
 398 }
 399
 400 /*
 401  * Set the maximum number of dead records per hash chain
 402  */
 403
 404 void tdb_set_max_dead(struct tdb_context *tdb, int max_dead)
 405 {
 406         tdb->max_dead_records = max_dead;
 407 }
 408
 409 /**
 410  * Close a database.
 411  *
 412  * @returns -1 for error; 0 for success.
 413  **/
 414 int tdb_close(struct tdb_context *tdb)
 415 {
 416         struct tdb_context **i;
 417         int ret = 0;
 418
 419         if (tdb->transaction) {
 420                 tdb_transaction_cancel(tdb);
 421         }
 422
 423         if (tdb->map_ptr) {
 424                 if (tdb->flags & TDB_INTERNAL)
 425                         SAFE_FREE(tdb->map_ptr);
 426                 else
 427                         tdb_munmap(tdb);
 428         }
 429         SAFE_FREE(tdb->name);
 430         if (tdb->fd != -1)
 431                 ret = close(tdb->fd);
 432         SAFE_FREE(tdb->lockrecs);
 433
 434         /* Remove from contexts list */
 435         for (i = &tdbs; *i; i = &(*i)->next) {
 436                 if (*i == tdb) {
 437                         *i = tdb->next;
 438                         break;
 439                 }
 440         }
 441
 442         memset(tdb, 0, sizeof(*tdb));
 443         SAFE_FREE(tdb);
 444
 445         return ret;
 446 }
 447
 448 /* register a loging function */
 449 void tdb_set_logging_function(struct tdb_context *tdb,
 450                               const struct tdb_logging_context *log_ctx)
 451 {
 452         tdb->log = *log_ctx;
 453 }
 454
 455 void *tdb_get_logging_private(struct tdb_context *tdb)
 456 {
 457         return tdb->log.log_private;
 458 }
 459
 460 /* reopen a tdb - this can be used after a fork to ensure that we have an independent
 461    seek pointer from our parent and to re-establish locks */
 462 int tdb_reopen(struct tdb_context *tdb)
 463 {
 464         struct stat st;
 465
 466         if (tdb->flags & TDB_INTERNAL) {
 467                 return 0; /* Nothing to do. */
 468         }
 469
 470         if (tdb->num_locks != 0 || tdb->global_lock.count) {
 471                 TDB_LOG((tdb, TDB_DEBUG_ERROR, "tdb_reopen: reopen not allowed with locks held\n"));
 472                 goto fail;
 473         }
 474
 475         if (tdb->transaction != 0) {
 476                 TDB_LOG((tdb, TDB_DEBUG_ERROR, "tdb_reopen: reopen not allowed inside a transaction\n"));
 477                 goto fail;
 478         }
 479
 480 /* If we have real pread & pwrite, we can skip reopen. */
 481 #if !defined(LIBREPLACE_PREAD_NOT_REPLACED) || \
 482         !defined(LIBREPLACE_PWRITE_NOT_REPLACED)
 483         if (tdb_munmap(tdb) != 0) {
 484                 TDB_LOG((tdb, TDB_DEBUG_FATAL, "tdb_reopen: munmap failed (%s)\n", strerror(errno)));
 485                 goto fail;
 486         }
 487         if (close(tdb->fd) != 0)
 488                 TDB_LOG((tdb, TDB_DEBUG_FATAL, "tdb_reopen: WARNING closing tdb->fd failed!\n"));
 489         tdb->fd = open(tdb->name, tdb->open_flags & ~(O_CREAT|O_TRUNC), 0);
 490         if (tdb->fd == -1) {
 491                 TDB_LOG((tdb, TDB_DEBUG_FATAL, "tdb_reopen: open failed (%s)\n", strerror(errno)));
 492                 goto fail;
 493         }
 494         if (fstat(tdb->fd, &st) != 0) {
 495                 TDB_LOG((tdb, TDB_DEBUG_FATAL, "tdb_reopen: fstat failed (%s)\n", strerror(errno)));
 496                 goto fail;
 497         }
 498         if (st.st_ino != tdb->inode || st.st_dev != tdb->device) {
 499                 TDB_LOG((tdb, TDB_DEBUG_FATAL, "tdb_reopen: file dev/inode has changed!\n"));
 500                 goto fail;
 501         }
 502         tdb_mmap(tdb);
 503 #endif /* fake pread or pwrite */
 504
 505         if ((tdb->flags & TDB_CLEAR_IF_FIRST) &&
 506             (tdb->methods->tdb_brlock(tdb, ACTIVE_LOCK, F_RDLCK, F_SETLKW, 0, 1) == -1)) {
 507                 TDB_LOG((tdb, TDB_DEBUG_FATAL, "tdb_reopen: failed to obtain active lock\n"));
 508                 goto fail;
 509         }
 510
 511         return 0;
 512
 513 fail:
 514         tdb_close(tdb);
 515         return -1;
 516 }
 517
 518 /* reopen all tdb's */
 519 int tdb_reopen_all(int parent_longlived)
 520 {
 521         struct tdb_context *tdb;
 522
 523         for (tdb=tdbs; tdb; tdb = tdb->next) {
 524                 /*
 525                  * If the parent is longlived (ie. a
 526                  * parent daemon architecture), we know
 527                  * it will keep it's active lock on a
 528                  * tdb opened with CLEAR_IF_FIRST. Thus
 529                  * for child processes we don't have to
 530                  * add an active lock. This is essential
 531                  * to improve performance on systems that
 532                  * keep POSIX locks as a non-scalable data
 533                  * structure in the kernel.
 534                  */
 535                 if (parent_longlived) {
 536                         /* Ensure no clear-if-first. */
 537                         tdb->flags &= ~TDB_CLEAR_IF_FIRST;
 538                 }
 539
 540                 if (tdb_reopen(tdb) != 0)
 541                         return -1;
 542         }
 543
 544         return 0;
 545 }