common/ctdb_util.c

   1 /*
   2    ctdb utility code
   3
   4    Copyright (C) Andrew Tridgell  2006
   5
   6    This program is free software; you can redistribute it and/or modify
   7    it under the terms of the GNU General Public License as published by
   8    the Free Software Foundation; either version 3 of the License, or
   9    (at your option) any later version.
  10
  11    This program is distributed in the hope that it will be useful,
  12    but WITHOUT ANY WARRANTY; without even the implied warranty of
  13    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14    GNU General Public License for more details.
  15
  16    You should have received a copy of the GNU General Public License
  17    along with this program; if not, see <http://www.gnu.org/licenses/>.
  18 */
  19
  20 #include "includes.h"
  21 #include "lib/events/events.h"
  22 #include "lib/tdb/include/tdb.h"
  23 #include "system/network.h"
  24 #include "system/filesys.h"
  25 #include "system/wait.h"
  26 #include "../include/ctdb_private.h"
  27
  28 int LogLevel = DEBUG_NOTICE;
  29 int this_log_level = 0;
  30
  31 /*
  32   return error string for last error
  33 */
  34 const char *ctdb_errstr(struct ctdb_context *ctdb)
  35 {
  36         return ctdb->err_msg;
  37 }
  38
  39
  40 /*
  41   remember an error message
  42 */
  43 void ctdb_set_error(struct ctdb_context *ctdb, const char *fmt, ...)
  44 {
  45         va_list ap;
  46         talloc_free(ctdb->err_msg);
  47         va_start(ap, fmt);
  48         ctdb->err_msg = talloc_vasprintf(ctdb, fmt, ap);
  49         DEBUG(DEBUG_ERR,("ctdb error: %s\n", ctdb->err_msg));
  50         va_end(ap);
  51 }
  52
  53 /*
  54   a fatal internal error occurred - no hope for recovery
  55 */
  56 void ctdb_fatal(struct ctdb_context *ctdb, const char *msg)
  57 {
  58         DEBUG(DEBUG_ALERT,("ctdb fatal error: %s\n", msg));
  59         abort();
  60 }
  61
  62 /*
  63   parse a IP:port pair
  64 */
  65 int ctdb_parse_address(struct ctdb_context *ctdb,
  66                        TALLOC_CTX *mem_ctx, const char *str,
  67                        struct ctdb_address *address)
  68 {
  69         struct servent *se;
  70
  71         setservent(0);
  72         se = getservbyname("ctdb", "tcp");
  73         endservent();
  74
  75         address->address = talloc_strdup(mem_ctx, str);
  76         CTDB_NO_MEMORY(ctdb, address->address);
  77
  78         if (se == NULL) {
  79                 address->port = CTDB_PORT;
  80         } else {
  81                 address->port = ntohs(se->s_port);
  82         }
  83         return 0;
  84 }
  85
  86
  87 /*
  88   check if two addresses are the same
  89 */
  90 bool ctdb_same_address(struct ctdb_address *a1, struct ctdb_address *a2)
  91 {
  92         return strcmp(a1->address, a2->address) == 0 && a1->port == a2->port;
  93 }
  94
  95
  96 /*
  97   hash function for mapping data to a VNN - taken from tdb
  98 */
  99 uint32_t ctdb_hash(const TDB_DATA *key)
 100 {
 101         uint32_t value; /* Used to compute the hash value.  */
 102         uint32_t i;     /* Used to cycle through random values. */
 103
 104         /* Set the initial value from the key size. */
 105         for (value = 0x238F13AF * key->dsize, i=0; i < key->dsize; i++)
 106                 value = (value + (key->dptr[i] << (i*5 % 24)));
 107
 108         return (1103515243 * value + 12345);
 109 }
 110
 111 /*
 112   a type checking varient of idr_find
 113  */
 114 static void *_idr_find_type(struct idr_context *idp, int id, const char *type, const char *location)
 115 {
 116         void *p = idr_find(idp, id);
 117         if (p && talloc_check_name(p, type) == NULL) {
 118                 DEBUG(DEBUG_ERR,("%s idr_find_type expected type %s  but got %s\n",
 119                          location, type, talloc_get_name(p)));
 120                 return NULL;
 121         }
 122         return p;
 123 }
 124
 125
 126 /*
 127   update a max latency number
 128  */
 129 void ctdb_latency(struct ctdb_db_context *ctdb_db, const char *name, double *latency, struct timeval t)
 130 {
 131         double l = timeval_elapsed(&t);
 132         if (l > *latency) {
 133                 *latency = l;
 134         }
 135
 136         if (ctdb_db->ctdb->tunable.log_latency_ms !=0) {
 137                 if (l*1000 > ctdb_db->ctdb->tunable.log_latency_ms) {
 138                         DEBUG(DEBUG_WARNING, ("High latency %fs for operation %s on database %s\n", l*1000000, name, ctdb_db->db_name));
 139                 }
 140         }
 141 }
 142
 143 /*
 144   update a reclock latency number
 145  */
 146 void ctdb_reclock_latency(struct ctdb_context *ctdb, const char *name, double *latency, double l)
 147 {
 148         if (l > *latency) {
 149                 *latency = l;
 150         }
 151
 152         if (ctdb->tunable.reclock_latency_ms !=0) {
 153                 if (l*1000 > ctdb->tunable.reclock_latency_ms) {
 154                         DEBUG(DEBUG_ERR, ("High RECLOCK latency %fs for operation %s\n", l, name));
 155                 }
 156         }
 157 }
 158
 159 uint32_t ctdb_reqid_new(struct ctdb_context *ctdb, void *state)
 160 {
 161         uint32_t id;
 162
 163         id  = ctdb->idr_cnt++ & 0xFFFF;
 164         id |= (idr_get_new(ctdb->idr, state, 0xFFFF)<<16);
 165         return id;
 166 }
 167
 168 void *_ctdb_reqid_find(struct ctdb_context *ctdb, uint32_t reqid, const char *type, const char *location)
 169 {
 170         void *p;
 171
 172         p = _idr_find_type(ctdb->idr, (reqid>>16)&0xFFFF, type, location);
 173         if (p == NULL) {
 174                 DEBUG(DEBUG_WARNING, ("Could not find idr:%u\n",reqid));
 175         }
 176
 177         return p;
 178 }
 179
 180
 181 void ctdb_reqid_remove(struct ctdb_context *ctdb, uint32_t reqid)
 182 {
 183         int ret;
 184
 185         ret = idr_remove(ctdb->idr, (reqid>>16)&0xFFFF);
 186         if (ret != 0) {
 187                 DEBUG(DEBUG_ERR, ("Removing idr that does not exist\n"));
 188         }
 189 }
 190
 191
 192 /*
 193   form a ctdb_rec_data record from a key/data pair
 194
 195   note that header may be NULL. If not NULL then it is included in the data portion
 196   of the record
 197  */
 198 struct ctdb_rec_data *ctdb_marshall_record(TALLOC_CTX *mem_ctx, uint32_t reqid,
 199                                            TDB_DATA key,
 200                                            struct ctdb_ltdb_header *header,
 201                                            TDB_DATA data)
 202 {
 203         size_t length;
 204         struct ctdb_rec_data *d;
 205
 206         length = offsetof(struct ctdb_rec_data, data) + key.dsize +
 207                 data.dsize + (header?sizeof(*header):0);
 208         d = (struct ctdb_rec_data *)talloc_size(mem_ctx, length);
 209         if (d == NULL) {
 210                 return NULL;
 211         }
 212         d->length = length;
 213         d->reqid = reqid;
 214         d->keylen = key.dsize;
 215         memcpy(&d->data[0], key.dptr, key.dsize);
 216         if (header) {
 217                 d->datalen = data.dsize + sizeof(*header);
 218                 memcpy(&d->data[key.dsize], header, sizeof(*header));
 219                 memcpy(&d->data[key.dsize+sizeof(*header)], data.dptr, data.dsize);
 220         } else {
 221                 d->datalen = data.dsize;
 222                 memcpy(&d->data[key.dsize], data.dptr, data.dsize);
 223         }
 224         return d;
 225 }
 226
 227
 228 /* helper function for marshalling multiple records */
 229 struct ctdb_marshall_buffer *ctdb_marshall_add(TALLOC_CTX *mem_ctx,
 230                                                struct ctdb_marshall_buffer *m,
 231                                                uint64_t db_id,
 232                                                uint32_t reqid,
 233                                                TDB_DATA key,
 234                                                struct ctdb_ltdb_header *header,
 235                                                TDB_DATA data)
 236 {
 237         struct ctdb_rec_data *r;
 238         size_t m_size, r_size;
 239         struct ctdb_marshall_buffer *m2;
 240
 241         r = ctdb_marshall_record(mem_ctx, reqid, key, header, data);
 242         if (r == NULL) {
 243                 talloc_free(m);
 244                 return NULL;
 245         }
 246
 247         if (m == NULL) {
 248                 m = talloc_zero_size(mem_ctx, offsetof(struct ctdb_marshall_buffer, data));
 249                 if (m == NULL) {
 250                         return NULL;
 251                 }
 252                 m->db_id = db_id;
 253         }
 254
 255         m_size = talloc_get_size(m);
 256         r_size = talloc_get_size(r);
 257
 258         m2 = talloc_realloc_size(mem_ctx, m,  m_size + r_size);
 259         if (m2 == NULL) {
 260                 talloc_free(m);
 261                 return NULL;
 262         }
 263
 264         memcpy(m_size + (uint8_t *)m2, r, r_size);
 265
 266         talloc_free(r);
 267
 268         m2->count++;
 269
 270         return m2;
 271 }
 272
 273 /* we've finished marshalling, return a data blob with the marshalled records */
 274 TDB_DATA ctdb_marshall_finish(struct ctdb_marshall_buffer *m)
 275 {
 276         TDB_DATA data;
 277         data.dptr = (uint8_t *)m;
 278         data.dsize = talloc_get_size(m);
 279         return data;
 280 }
 281
 282 /*
 283    loop over a marshalling buffer
 284
 285      - pass r==NULL to start
 286      - loop the number of times indicated by m->count
 287 */
 288 struct ctdb_rec_data *ctdb_marshall_loop_next(struct ctdb_marshall_buffer *m, struct ctdb_rec_data *r,
 289                                               uint32_t *reqid,
 290                                               struct ctdb_ltdb_header *header,
 291                                               TDB_DATA *key, TDB_DATA *data)
 292 {
 293         if (r == NULL) {
 294                 r = (struct ctdb_rec_data *)&m->data[0];
 295         } else {
 296                 r = (struct ctdb_rec_data *)(r->length + (uint8_t *)r);
 297         }
 298
 299         if (reqid != NULL) {
 300                 *reqid = r->reqid;
 301         }
 302
 303         if (key != NULL) {
 304                 key->dptr   = &r->data[0];
 305                 key->dsize  = r->keylen;
 306         }
 307         if (data != NULL) {
 308                 data->dptr  = &r->data[r->keylen];
 309                 data->dsize = r->datalen;
 310                 if (header != NULL) {
 311                         data->dptr += sizeof(*header);
 312                         data->dsize -= sizeof(*header);
 313                 }
 314         }
 315
 316         if (header != NULL) {
 317                 if (r->datalen < sizeof(*header)) {
 318                         return NULL;
 319                 }
 320                 *header = *(struct ctdb_ltdb_header *)&r->data[r->keylen];
 321         }
 322
 323         return r;
 324 }
 325
 326
 327 #if HAVE_SCHED_H
 328 #include <sched.h>
 329 #endif
 330
 331 /*
 332   if possible, make this task real time
 333  */
 334 void ctdb_set_scheduler(struct ctdb_context *ctdb)
 335 {
 336 #if HAVE_SCHED_SETSCHEDULER
 337         struct sched_param p;
 338         if (ctdb->saved_scheduler_param == NULL) {
 339                 ctdb->saved_scheduler_param = talloc_size(ctdb, sizeof(p));
 340         }
 341
 342         if (sched_getparam(0, (struct sched_param *)ctdb->saved_scheduler_param) == -1) {
 343                 DEBUG(DEBUG_ERR,("Unable to get old scheduler params\n"));
 344                 return;
 345         }
 346
 347         p = *(struct sched_param *)ctdb->saved_scheduler_param;
 348         p.sched_priority = 1;
 349
 350         if (sched_setscheduler(0, SCHED_FIFO, &p) == -1) {
 351                 DEBUG(DEBUG_CRIT,("Unable to set scheduler to SCHED_FIFO (%s)\n",
 352                          strerror(errno)));
 353         } else {
 354                 DEBUG(DEBUG_NOTICE,("Set scheduler to SCHED_FIFO\n"));
 355         }
 356 #endif
 357 }
 358
 359 /*
 360   restore previous scheduler parameters
 361  */
 362 void ctdb_restore_scheduler(struct ctdb_context *ctdb)
 363 {
 364 #if HAVE_SCHED_SETSCHEDULER
 365         if (ctdb->saved_scheduler_param == NULL) {
 366                 ctdb_fatal(ctdb, "No saved scheduler parameters\n");
 367         }
 368         if (sched_setscheduler(0, SCHED_OTHER, (struct sched_param *)ctdb->saved_scheduler_param) == -1) {
 369                 ctdb_fatal(ctdb, "Unable to restore old scheduler parameters\n");
 370         }
 371 #endif
 372 }
 373
 374 void set_nonblocking(int fd)
 375 {
 376         unsigned v;
 377         v = fcntl(fd, F_GETFL, 0);
 378         fcntl(fd, F_SETFL, v | O_NONBLOCK);
 379 }
 380
 381 void set_close_on_exec(int fd)
 382 {
 383         unsigned v;
 384         v = fcntl(fd, F_GETFD, 0);
 385         fcntl(fd, F_SETFD, v | FD_CLOEXEC);
 386 }
 387
 388
 389 bool parse_ipv4(const char *s, unsigned port, struct sockaddr_in *sin)
 390 {
 391         sin->sin_family = AF_INET;
 392         sin->sin_port   = htons(port);
 393
 394         if (inet_pton(AF_INET, s, &sin->sin_addr) != 1) {
 395                 DEBUG(DEBUG_ERR, (__location__ " Failed to translate %s into sin_addr\n", s));
 396                 return false;
 397         }
 398
 399         return true;
 400 }
 401
 402 static bool parse_ipv6(const char *s, const char *iface, unsigned port, ctdb_sock_addr *saddr)
 403 {
 404         saddr->ip6.sin6_family   = AF_INET6;
 405         saddr->ip6.sin6_port     = htons(port);
 406         saddr->ip6.sin6_flowinfo = 0;
 407         saddr->ip6.sin6_scope_id = 0;
 408
 409         if (inet_pton(AF_INET6, s, &saddr->ip6.sin6_addr) != 1) {
 410                 DEBUG(DEBUG_ERR, (__location__ " Failed to translate %s into sin6_addr\n", s));
 411                 return false;
 412         }
 413
 414         if (iface && IN6_IS_ADDR_LINKLOCAL(&saddr->ip6.sin6_addr)) {
 415                 saddr->ip6.sin6_scope_id = if_nametoindex(iface);
 416         }
 417
 418         return true;
 419 }
 420 /*
 421   parse a ip:port pair
 422  */
 423 bool parse_ip_port(const char *addr, ctdb_sock_addr *saddr)
 424 {
 425         TALLOC_CTX *tmp_ctx = talloc_new(NULL);
 426         char *s, *p;
 427         unsigned port;
 428         char *endp = NULL;
 429         bool ret;
 430
 431         s = talloc_strdup(tmp_ctx, addr);
 432         if (s == NULL) {
 433                 DEBUG(DEBUG_ERR, (__location__ " Failed strdup()\n"));
 434                 talloc_free(tmp_ctx);
 435                 return false;
 436         }
 437
 438         p = rindex(s, ':');
 439         if (p == NULL) {
 440                 DEBUG(DEBUG_ERR, (__location__ " This addr: %s does not contain a port number\n", s));
 441                 talloc_free(tmp_ctx);
 442                 return false;
 443         }
 444
 445         port = strtoul(p+1, &endp, 10);
 446         if (endp == NULL || *endp != 0) {
 447                 /* trailing garbage */
 448                 DEBUG(DEBUG_ERR, (__location__ " Trailing garbage after the port in %s\n", s));
 449                 talloc_free(tmp_ctx);
 450                 return false;
 451         }
 452         *p = 0;
 453
 454
 455         /* now is this a ipv4 or ipv6 address ?*/
 456         ret = parse_ip(s, NULL, port, saddr);
 457
 458         talloc_free(tmp_ctx);
 459         return ret;
 460 }
 461
 462 /*
 463   parse an ip
 464  */
 465 bool parse_ip(const char *addr, const char *iface, unsigned port, ctdb_sock_addr *saddr)
 466 {
 467         char *p;
 468         bool ret;
 469
 470         /* now is this a ipv4 or ipv6 address ?*/
 471         p = index(addr, ':');
 472         if (p == NULL) {
 473                 ret = parse_ipv4(addr, port, &saddr->ip);
 474         } else {
 475                 ret = parse_ipv6(addr, iface, port, saddr);
 476         }
 477
 478         return ret;
 479 }
 480
 481 /*
 482   parse a ip/mask pair
 483  */
 484 bool parse_ip_mask(const char *str, const char *iface, ctdb_sock_addr *addr, unsigned *mask)
 485 {
 486         TALLOC_CTX *tmp_ctx = talloc_new(NULL);
 487         char *s, *p;
 488         char *endp = NULL;
 489         bool ret;
 490
 491         ZERO_STRUCT(*addr);
 492         s = talloc_strdup(tmp_ctx, str);
 493         if (s == NULL) {
 494                 DEBUG(DEBUG_ERR, (__location__ " Failed strdup()\n"));
 495                 talloc_free(tmp_ctx);
 496                 return false;
 497         }
 498
 499         p = rindex(s, '/');
 500         if (p == NULL) {
 501                 DEBUG(DEBUG_ERR, (__location__ " This addr: %s does not contain a mask\n", s));
 502                 talloc_free(tmp_ctx);
 503                 return false;
 504         }
 505
 506         *mask = strtoul(p+1, &endp, 10);
 507         if (endp == NULL || *endp != 0) {
 508                 /* trailing garbage */
 509                 DEBUG(DEBUG_ERR, (__location__ " Trailing garbage after the mask in %s\n", s));
 510                 talloc_free(tmp_ctx);
 511                 return false;
 512         }
 513         *p = 0;
 514
 515
 516         /* now is this a ipv4 or ipv6 address ?*/
 517         ret = parse_ip(s, iface, 0, addr);
 518
 519         talloc_free(tmp_ctx);
 520         return ret;
 521 }
 522
 523 /*
 524    This is used to canonicalize a ctdb_sock_addr structure.
 525 */
 526 void ctdb_canonicalize_ip(const ctdb_sock_addr *ip, ctdb_sock_addr *cip)
 527 {
 528         char prefix[12] = { 0,0,0,0,0,0,0,0,0,0,0xff,0xff };
 529
 530         memcpy(cip, ip, sizeof (*cip));
 531
 532         if ( (ip->sa.sa_family == AF_INET6)
 533         && !memcmp(&ip->ip6.sin6_addr, prefix, 12)) {
 534                 memset(cip, 0, sizeof(*cip));
 535 #ifdef HAVE_SOCK_SIN_LEN
 536                 cip->ip.sin_len = sizeof(*cip);
 537 #endif
 538                 cip->ip.sin_family = AF_INET;
 539                 cip->ip.sin_port   = ip->ip6.sin6_port;
 540                 memcpy(&cip->ip.sin_addr, &ip->ip6.sin6_addr.s6_addr32[3], 4);
 541         }
 542 }
 543
 544 bool ctdb_same_ip(const ctdb_sock_addr *tip1, const ctdb_sock_addr *tip2)
 545 {
 546         ctdb_sock_addr ip1, ip2;
 547
 548         ctdb_canonicalize_ip(tip1, &ip1);
 549         ctdb_canonicalize_ip(tip2, &ip2);
 550
 551         if (ip1.sa.sa_family != ip2.sa.sa_family) {
 552                 return false;
 553         }
 554
 555         switch (ip1.sa.sa_family) {
 556         case AF_INET:
 557                 return ip1.ip.sin_addr.s_addr == ip2.ip.sin_addr.s_addr;
 558         case AF_INET6:
 559                 return !memcmp(&ip1.ip6.sin6_addr.s6_addr[0],
 560                                 &ip2.ip6.sin6_addr.s6_addr[0],
 561                                 16);
 562         default:
 563                 DEBUG(DEBUG_ERR, (__location__ " CRITICAL Can not compare sockaddr structures of type %u\n", ip1.sa.sa_family));
 564                 return false;
 565         }
 566
 567         return true;
 568 }
 569
 570 /*
 571   compare two ctdb_sock_addr structures
 572  */
 573 bool ctdb_same_sockaddr(const ctdb_sock_addr *ip1, const ctdb_sock_addr *ip2)
 574 {
 575         return ctdb_same_ip(ip1, ip2) && ip1->ip.sin_port == ip2->ip.sin_port;
 576 }
 577
 578 char *ctdb_addr_to_str(ctdb_sock_addr *addr)
 579 {
 580         static char cip[128] = "";
 581
 582         switch (addr->sa.sa_family) {
 583         case AF_INET:
 584                 inet_ntop(addr->ip.sin_family, &addr->ip.sin_addr, cip, sizeof(cip));
 585                 break;
 586         case AF_INET6:
 587                 inet_ntop(addr->ip6.sin6_family, &addr->ip6.sin6_addr, cip, sizeof(cip));
 588                 break;
 589         default:
 590                 DEBUG(DEBUG_ERR, (__location__ " ERROR, unknown family %u\n", addr->sa.sa_family));
 591         }
 592
 593         return cip;
 594 }
 595
 596 unsigned ctdb_addr_to_port(ctdb_sock_addr *addr)
 597 {
 598         switch (addr->sa.sa_family) {
 599         case AF_INET:
 600                 return ntohs(addr->ip.sin_port);
 601                 break;
 602         case AF_INET6:
 603                 return ntohs(addr->ip6.sin6_port);
 604                 break;
 605         default:
 606                 DEBUG(DEBUG_ERR, (__location__ " ERROR, unknown family %u\n", addr->sa.sa_family));
 607         }
 608
 609         return 0;
 610 }
 611
 612 void ctdb_block_signal(int signum)
 613 {
 614         sigset_t set;
 615         sigemptyset(&set);
 616         sigaddset(&set,signum);
 617         sigprocmask(SIG_BLOCK,&set,NULL);
 618 }
 619
 620 void ctdb_unblock_signal(int signum)
 621 {
 622         sigset_t set;
 623         sigemptyset(&set);
 624         sigaddset(&set,signum);
 625         sigprocmask(SIG_UNBLOCK,&set,NULL);
 626 }