s3:lib/gencache: fix memory leak in error path
[metze/samba/wip.git] / source3 / lib / gencache.c
1 /* 
2    Unix SMB/CIFS implementation.
3
4    Generic, persistent and shared between processes cache mechanism for use
5    by various parts of the Samba code
6
7    Copyright (C) Rafal Szczesniak    2002
8    Copyright (C) Volker Lendecke     2009
9
10    This program is free software; you can redistribute it and/or modify
11    it under the terms of the GNU General Public License as published by
12    the Free Software Foundation; either version 3 of the License, or
13    (at your option) any later version.
14
15    This program is distributed in the hope that it will be useful,
16    but WITHOUT ANY WARRANTY; without even the implied warranty of
17    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
18    GNU General Public License for more details.
19
20    You should have received a copy of the GNU General Public License
21    along with this program.  If not, see <http://www.gnu.org/licenses/>.
22 */
23
24 #include "includes.h"
25
26 #undef  DBGC_CLASS
27 #define DBGC_CLASS DBGC_TDB
28
29 #define TIMEOUT_LEN 12
30 #define CACHE_DATA_FMT  "%12u/"
31 #define READ_CACHE_DATA_FMT_TEMPLATE "%%12u/%%%us"
32 #define BLOB_TYPE "DATA_BLOB"
33 #define BLOB_TYPE_LEN 9
34
35 static struct tdb_context *cache;
36 static struct tdb_context *cache_notrans;
37
38 /**
39  * @file gencache.c
40  * @brief Generic, persistent and shared between processes cache mechanism
41  *        for use by various parts of the Samba code
42  *
43  **/
44
45
46 /**
47  * Cache initialisation function. Opens cache tdb file or creates
48  * it if does not exist.
49  *
50  * @return true on successful initialisation of the cache or
51  *         false on failure
52  **/
53
54 static bool gencache_init(void)
55 {
56         char* cache_fname = NULL;
57         int open_flags = O_RDWR|O_CREAT;
58         bool first_try = true;
59
60         /* skip file open if it's already opened */
61         if (cache) return True;
62
63         cache_fname = lock_path("gencache.tdb");
64
65         DEBUG(5, ("Opening cache file at %s\n", cache_fname));
66
67 again:
68         cache = tdb_open_log(cache_fname, 0, TDB_DEFAULT|TDB_INCOMPATIBLE_HASH, open_flags, 0644);
69         if (cache) {
70                 int ret;
71                 ret = tdb_check(cache, NULL, NULL);
72                 if (ret != 0) {
73                         tdb_close(cache);
74                         cache = NULL;
75                         if (!first_try) {
76                                 DEBUG(0, ("gencache_init: tdb_check(%s) failed\n",
77                                           cache_fname));
78                                 return false;
79                         }
80                         first_try = false;
81                         DEBUG(0, ("gencache_init: tdb_check(%s) failed - retry after CLEAR_IF_FIRST\n",
82                                   cache_fname));
83                         cache = tdb_open_log(cache_fname, 0, TDB_CLEAR_IF_FIRST|TDB_INCOMPATIBLE_HASH, open_flags, 0644);
84                         if (cache) {
85                                 tdb_close(cache);
86                                 cache = NULL;
87                                 goto again;
88                         }
89                 }
90         }
91
92         if (!cache && (errno == EACCES)) {
93                 open_flags = O_RDONLY;
94                 cache = tdb_open_log(cache_fname, 0, TDB_DEFAULT|TDB_INCOMPATIBLE_HASH, open_flags,
95                                      0644);
96                 if (cache) {
97                         DEBUG(5, ("gencache_init: Opening cache file %s read-only.\n", cache_fname));
98                 }
99         }
100
101         if (!cache) {
102                 DEBUG(5, ("Attempt to open gencache.tdb has failed.\n"));
103                 return False;
104         }
105
106         cache_fname = lock_path("gencache_notrans.tdb");
107
108         DEBUG(5, ("Opening cache file at %s\n", cache_fname));
109
110         cache_notrans = tdb_open_log(cache_fname, 0, TDB_CLEAR_IF_FIRST|TDB_INCOMPATIBLE_HASH,
111                                      open_flags, 0644);
112         if (cache_notrans == NULL) {
113                 DEBUG(5, ("Opening %s failed: %s\n", cache_fname,
114                           strerror(errno)));
115                 tdb_close(cache);
116                 cache = NULL;
117                 return false;
118         }
119
120         return True;
121 }
122
123 static TDB_DATA last_stabilize_key(void)
124 {
125         TDB_DATA result;
126         result.dptr = (uint8_t *)"@LAST_STABILIZED";
127         result.dsize = 17;
128         return result;
129 }
130
131 /**
132  * Set an entry in the cache file. If there's no such
133  * one, then add it.
134  *
135  * @param keystr string that represents a key of this entry
136  * @param blob DATA_BLOB value being cached
137  * @param timeout time when the value is expired
138  *
139  * @retval true when entry is successfuly stored
140  * @retval false on failure
141  **/
142
143 bool gencache_set_data_blob(const char *keystr, const DATA_BLOB *blob,
144                             time_t timeout)
145 {
146         int ret;
147         TDB_DATA databuf;
148         char* val;
149         time_t last_stabilize;
150         static int writecount;
151
152         if (tdb_data_cmp(string_term_tdb_data(keystr),
153                          last_stabilize_key()) == 0) {
154                 DEBUG(10, ("Can't store %s as a key\n", keystr));
155                 return false;
156         }
157
158         if ((keystr == NULL) || (blob == NULL)) {
159                 return false;
160         }
161
162         if (!gencache_init()) return False;
163
164         val = talloc_asprintf(talloc_tos(), CACHE_DATA_FMT, (int)timeout);
165         if (val == NULL) {
166                 return False;
167         }
168         val = talloc_realloc(NULL, val, char, talloc_array_length(val)-1);
169         if (val == NULL) {
170                 return false;
171         }
172         val = (char *)talloc_append_blob(NULL, val, *blob);
173         if (val == NULL) {
174                 return false;
175         }
176
177         DEBUG(10, ("Adding cache entry with key = %s and timeout ="
178                    " %s (%d seconds %s)\n", keystr, ctime(&timeout),
179                    (int)(timeout - time(NULL)), 
180                    timeout > time(NULL) ? "ahead" : "in the past"));
181
182         ret = tdb_store_bystring(
183                 cache_notrans, keystr,
184                 make_tdb_data((uint8_t *)val, talloc_array_length(val)),
185                 0);
186         TALLOC_FREE(val);
187
188         if (ret != 0) {
189                 return false;
190         }
191
192         /*
193          * Every 100 writes within a single process, stabilize the cache with
194          * a transaction. This is done to prevent a single transaction to
195          * become huge and chew lots of memory.
196          */
197         writecount += 1;
198         if (writecount > lp_parm_int(-1, "gencache", "stabilize_count", 100)) {
199                 gencache_stabilize();
200                 writecount = 0;
201                 goto done;
202         }
203
204         /*
205          * Every 5 minutes, call gencache_stabilize() to not let grow
206          * gencache_notrans.tdb too large.
207          */
208
209         last_stabilize = 0;
210         databuf = tdb_fetch(cache_notrans, last_stabilize_key());
211         if ((databuf.dptr != NULL)
212             && (databuf.dptr[databuf.dsize-1] == '\0')) {
213                 last_stabilize = atoi((char *)databuf.dptr);
214                 SAFE_FREE(databuf.dptr);
215         }
216         if ((last_stabilize
217              + lp_parm_int(-1, "gencache", "stabilize_interval", 300))
218             < time(NULL)) {
219                 gencache_stabilize();
220         }
221
222 done:
223         return ret == 0;
224 }
225
226 /**
227  * Delete one entry from the cache file.
228  *
229  * @param keystr string that represents a key of this entry
230  *
231  * @retval true upon successful deletion
232  * @retval false in case of failure
233  **/
234
235 bool gencache_del(const char *keystr)
236 {
237         bool exists, was_expired;
238         bool ret = false;
239         DATA_BLOB value;
240
241         if (keystr == NULL) {
242                 return false;
243         }
244
245         if (!gencache_init()) return False;     
246
247         DEBUG(10, ("Deleting cache entry (key = %s)\n", keystr));
248
249         /*
250          * We delete an element by setting its timeout to 0. This way we don't
251          * have to do a transaction on gencache.tdb every time we delete an
252          * element.
253          */
254
255         exists = gencache_get_data_blob(keystr, &value, NULL, &was_expired);
256
257         if (!exists && was_expired) {
258                 /*
259                  * gencache_get_data_blob has implicitly deleted this
260                  * entry, so we have to return success here.
261                  */
262                 return true;
263         }
264
265         if (exists) {
266                 data_blob_free(&value);
267                 ret = gencache_set(keystr, "", 0);
268         }
269         return ret;
270 }
271
272 static bool gencache_pull_timeout(char *val, time_t *pres, char **pendptr)
273 {
274         time_t res;
275         char *endptr;
276
277         if (val == NULL) {
278                 return false;
279         }
280
281         res = strtol(val, &endptr, 10);
282
283         if ((endptr == NULL) || (*endptr != '/')) {
284                 DEBUG(2, ("Invalid gencache data format: %s\n", val));
285                 return false;
286         }
287         if (pres != NULL) {
288                 *pres = res;
289         }
290         if (pendptr != NULL) {
291                 *pendptr = endptr;
292         }
293         return true;
294 }
295
296 struct gencache_parse_state {
297         void (*parser)(time_t timeout, DATA_BLOB blob, void *private_data);
298         void *private_data;
299 };
300
301 static int gencache_parse_fn(TDB_DATA key, TDB_DATA data, void *private_data)
302 {
303         struct gencache_parse_state *state;
304         DATA_BLOB blob;
305         time_t t;
306         char *endptr;
307         bool ret;
308
309         if (data.dptr == NULL) {
310                 return -1;
311         }
312         ret = gencache_pull_timeout((char *)data.dptr, &t, &endptr);
313         if (!ret) {
314                 return -1;
315         }
316         state = (struct gencache_parse_state *)private_data;
317         blob = data_blob_const(
318                 endptr+1, data.dsize - PTR_DIFF(endptr+1, data.dptr));
319         state->parser(t, blob, state->private_data);
320         return 0;
321 }
322
323 bool gencache_parse(const char *keystr,
324                     void (*parser)(time_t timeout, DATA_BLOB blob,
325                                    void *private_data),
326                     void *private_data)
327 {
328         struct gencache_parse_state state;
329         TDB_DATA key;
330         int ret;
331
332         if (keystr == NULL) {
333                 return false;
334         }
335         if (tdb_data_cmp(string_term_tdb_data(keystr),
336                          last_stabilize_key()) == 0) {
337                 return false;
338         }
339         if (!gencache_init()) {
340                 return false;
341         }
342
343         key = string_term_tdb_data(keystr);
344         state.parser = parser;
345         state.private_data = private_data;
346
347         ret = tdb_parse_record(cache_notrans, key, gencache_parse_fn, &state);
348         if (ret != -1) {
349                 return true;
350         }
351         ret = tdb_parse_record(cache, key, gencache_parse_fn, &state);
352         return (ret != -1);
353 }
354
355 struct gencache_get_data_blob_state {
356         DATA_BLOB *blob;
357         time_t timeout;
358         bool result;
359 };
360
361 static void gencache_get_data_blob_parser(time_t timeout, DATA_BLOB blob,
362                                           void *private_data)
363 {
364         struct gencache_get_data_blob_state *state =
365                 (struct gencache_get_data_blob_state *)private_data;
366
367         if (timeout == 0) {
368                 state->result = false;
369                 return;
370         }
371         state->timeout = timeout;
372
373         if (state->blob == NULL) {
374                 state->result = true;
375                 return;
376         }
377
378         *state->blob = data_blob(blob.data, blob.length);
379         if (state->blob->data == NULL) {
380                 state->result = false;
381                 return;
382         }
383         state->result = true;
384 }
385
386 /**
387  * Get existing entry from the cache file.
388  *
389  * @param keystr string that represents a key of this entry
390  * @param blob DATA_BLOB that is filled with entry's blob
391  * @param timeout pointer to a time_t that is filled with entry's
392  *        timeout
393  *
394  * @retval true when entry is successfuly fetched
395  * @retval False for failure
396  **/
397
398 bool gencache_get_data_blob(const char *keystr, DATA_BLOB *blob,
399                             time_t *timeout, bool *was_expired)
400 {
401         struct gencache_get_data_blob_state state;
402         bool expired = false;
403
404         state.result = false;
405         state.blob = blob;
406
407         if (!gencache_parse(keystr, gencache_get_data_blob_parser, &state)) {
408                 goto fail;
409         }
410         if (!state.result) {
411                 goto fail;
412         }
413         if (state.timeout <= time(NULL)) {
414                 /*
415                  * We're expired, delete the entry. We can't use gencache_del
416                  * here, because that uses gencache_get_data_blob for checking
417                  * the existence of a record. We know the thing exists and
418                  * directly store an empty value with 0 timeout.
419                  */
420                 gencache_set(keystr, "", 0);
421                 expired = true;
422                 goto fail;
423         }
424         if (timeout) {
425                 *timeout = state.timeout;
426         }
427
428         return True;
429
430 fail:
431         if (was_expired != NULL) {
432                 *was_expired = expired;
433         }
434         if (state.result && state.blob) {
435                 data_blob_free(state.blob);
436         }
437         return false;
438
439
440 struct stabilize_state {
441         bool written;
442         bool error;
443 };
444 static int stabilize_fn(struct tdb_context *tdb, TDB_DATA key, TDB_DATA val,
445                         void *priv);
446
447 /**
448  * Stabilize gencache
449  *
450  * Migrate the clear-if-first gencache data to the stable,
451  * transaction-based gencache.tdb
452  */
453
454 bool gencache_stabilize(void)
455 {
456         struct stabilize_state state;
457         int res;
458         char *now;
459
460         if (!gencache_init()) {
461                 return false;
462         }
463
464         res = tdb_transaction_start_nonblock(cache);
465         if (res == -1) {
466
467                 if (tdb_error(cache) == TDB_ERR_NOLOCK) {
468                         /*
469                          * Someone else already does the stabilize,
470                          * this does not have to be done twice
471                          */
472                         return true;
473                 }
474
475                 DEBUG(10, ("Could not start transaction on gencache.tdb: "
476                            "%s\n", tdb_errorstr(cache)));
477                 return false;
478         }
479         res = tdb_transaction_start(cache_notrans);
480         if (res == -1) {
481                 tdb_transaction_cancel(cache);
482                 DEBUG(10, ("Could not start transaction on "
483                            "gencache_notrans.tdb: %s\n",
484                            tdb_errorstr(cache_notrans)));
485                 return false;
486         }
487
488         state.error = false;
489         state.written = false;
490
491         res = tdb_traverse(cache_notrans, stabilize_fn, &state);
492         if ((res == -1) || state.error) {
493                 if ((tdb_transaction_cancel(cache_notrans) == -1)
494                     || (tdb_transaction_cancel(cache) == -1)) {
495                         smb_panic("tdb_transaction_cancel failed\n");
496                 }
497                 return false;
498         }
499
500         if (!state.written) {
501                 if ((tdb_transaction_cancel(cache_notrans) == -1)
502                     || (tdb_transaction_cancel(cache) == -1)) {
503                         smb_panic("tdb_transaction_cancel failed\n");
504                 }
505                 return true;
506         }
507
508         res = tdb_transaction_commit(cache);
509         if (res == -1) {
510                 DEBUG(10, ("tdb_transaction_commit on gencache.tdb failed: "
511                            "%s\n", tdb_errorstr(cache)));
512                 if (tdb_transaction_cancel(cache_notrans) == -1) {
513                         smb_panic("tdb_transaction_cancel failed\n");
514                 }
515                 return false;
516         }
517
518         res = tdb_transaction_commit(cache_notrans);
519         if (res == -1) {
520                 DEBUG(10, ("tdb_transaction_commit on gencache.tdb failed: "
521                            "%s\n", tdb_errorstr(cache)));
522                 return false;
523         }
524
525         now = talloc_asprintf(talloc_tos(), "%d", (int)time(NULL));
526         if (now != NULL) {
527                 tdb_store(cache_notrans, last_stabilize_key(),
528                           string_term_tdb_data(now), 0);
529                 TALLOC_FREE(now);
530         }
531
532         return true;
533 }
534
535 static int stabilize_fn(struct tdb_context *tdb, TDB_DATA key, TDB_DATA val,
536                         void *priv)
537 {
538         struct stabilize_state *state = (struct stabilize_state *)priv;
539         int res;
540         time_t timeout;
541
542         if (tdb_data_cmp(key, last_stabilize_key()) == 0) {
543                 return 0;
544         }
545
546         if (!gencache_pull_timeout((char *)val.dptr, &timeout, NULL)) {
547                 DEBUG(10, ("Ignoring invalid entry\n"));
548                 return 0;
549         }
550         if ((timeout < time(NULL)) || (val.dsize == 0)) {
551                 res = tdb_delete(cache, key);
552                 if ((res == -1) && (tdb_error(cache) == TDB_ERR_NOEXIST)) {
553                         res = 0;
554                 } else {
555                         state->written = true;
556                 }
557         } else {
558                 res = tdb_store(cache, key, val, 0);
559                 if (res == 0) {
560                         state->written = true;
561                 }
562         }
563
564         if (res == -1) {
565                 DEBUG(10, ("Transfer to gencache.tdb failed: %s\n",
566                            tdb_errorstr(cache)));
567                 state->error = true;
568                 return -1;
569         }
570
571         if (tdb_delete(cache_notrans, key) == -1) {
572                 DEBUG(10, ("tdb_delete from gencache_notrans.tdb failed: "
573                            "%s\n", tdb_errorstr(cache_notrans)));
574                 state->error = true;
575                 return -1;
576         }
577         return 0;
578 }
579
580 /**
581  * Get existing entry from the cache file.
582  *
583  * @param keystr string that represents a key of this entry
584  * @param valstr buffer that is allocated and filled with the entry value
585  *        buffer's disposing must be done outside
586  * @param timeout pointer to a time_t that is filled with entry's
587  *        timeout
588  *
589  * @retval true when entry is successfuly fetched
590  * @retval False for failure
591  **/
592
593 bool gencache_get(const char *keystr, char **value, time_t *ptimeout)
594 {
595         DATA_BLOB blob;
596         bool ret = False;
597
598         ret = gencache_get_data_blob(keystr, &blob, ptimeout, NULL);
599         if (!ret) {
600                 return false;
601         }
602         if ((blob.data == NULL) || (blob.length == 0)) {
603                 SAFE_FREE(blob.data);
604                 return false;
605         }
606         if (blob.data[blob.length-1] != '\0') {
607                 /* Not NULL terminated, can't be a string */
608                 SAFE_FREE(blob.data);
609                 return false;
610         }
611         if (value) {
612                 *value = SMB_STRDUP((char *)blob.data);
613                 data_blob_free(&blob);
614                 if (*value == NULL) {
615                         return false;
616                 }
617                 return true;
618         }
619         data_blob_free(&blob);
620         return true;
621 }
622
623 /**
624  * Set an entry in the cache file. If there's no such
625  * one, then add it.
626  *
627  * @param keystr string that represents a key of this entry
628  * @param value text representation value being cached
629  * @param timeout time when the value is expired
630  *
631  * @retval true when entry is successfuly stored
632  * @retval false on failure
633  **/
634
635 bool gencache_set(const char *keystr, const char *value, time_t timeout)
636 {
637         DATA_BLOB blob = data_blob_const(value, strlen(value)+1);
638         return gencache_set_data_blob(keystr, &blob, timeout);
639 }
640
641 struct gencache_iterate_blobs_state {
642         void (*fn)(const char *key, DATA_BLOB value,
643                    time_t timeout, void *private_data);
644         const char *pattern;
645         void *private_data;
646         bool in_persistent;
647 };
648
649 static int gencache_iterate_blobs_fn(struct tdb_context *tdb, TDB_DATA key,
650                                      TDB_DATA data, void *priv)
651 {
652         struct gencache_iterate_blobs_state *state =
653                 (struct gencache_iterate_blobs_state *)priv;
654         char *keystr;
655         char *free_key = NULL;
656         time_t timeout;
657         char *endptr;
658
659         if (tdb_data_cmp(key, last_stabilize_key()) == 0) {
660                 return 0;
661         }
662         if (state->in_persistent && tdb_exists(cache_notrans, key)) {
663                 return 0;
664         }
665
666         if (key.dptr[key.dsize-1] == '\0') {
667                 keystr = (char *)key.dptr;
668         } else {
669                 /* ensure 0-termination */
670                 keystr = SMB_STRNDUP((char *)key.dptr, key.dsize);
671                 free_key = keystr;
672         }
673
674         if (!gencache_pull_timeout((char *)data.dptr, &timeout, &endptr)) {
675                 goto done;
676         }
677         endptr += 1;
678
679         if (fnmatch(state->pattern, keystr, 0) != 0) {
680                 goto done;
681         }
682
683         DEBUG(10, ("Calling function with arguments (key=%s, timeout=%s)\n",
684                    keystr, ctime(&timeout)));
685
686         state->fn(keystr,
687                   data_blob_const(endptr,
688                                   data.dsize - PTR_DIFF(endptr, data.dptr)),
689                   timeout, state->private_data);
690
691  done:
692         SAFE_FREE(free_key);
693         return 0;
694 }
695
696 void gencache_iterate_blobs(void (*fn)(const char *key, DATA_BLOB value,
697                                        time_t timeout, void *private_data),
698                             void *private_data, const char *pattern)
699 {
700         struct gencache_iterate_blobs_state state;
701
702         if ((fn == NULL) || (pattern == NULL) || !gencache_init()) {
703                 return;
704         }
705
706         DEBUG(5, ("Searching cache keys with pattern %s\n", pattern));
707
708         state.fn = fn;
709         state.pattern = pattern;
710         state.private_data = private_data;
711
712         state.in_persistent = false;
713         tdb_traverse(cache_notrans, gencache_iterate_blobs_fn, &state);
714
715         state.in_persistent = true;
716         tdb_traverse(cache, gencache_iterate_blobs_fn, &state);
717 }
718
719 /**
720  * Iterate through all entries which key matches to specified pattern
721  *
722  * @param fn pointer to the function that will be supplied with each single
723  *        matching cache entry (key, value and timeout) as an arguments
724  * @param data void pointer to an arbitrary data that is passed directly to the fn
725  *        function on each call
726  * @param keystr_pattern pattern the existing entries' keys are matched to
727  *
728  **/
729
730 struct gencache_iterate_state {
731         void (*fn)(const char *key, const char *value, time_t timeout,
732                    void *priv);
733         void *private_data;
734 };
735
736 static void gencache_iterate_fn(const char *key, DATA_BLOB value,
737                                 time_t timeout, void *private_data)
738 {
739         struct gencache_iterate_state *state =
740                 (struct gencache_iterate_state *)private_data;
741         char *valstr;
742         char *free_val = NULL;
743
744         if (value.data[value.length-1] == '\0') {
745                 valstr = (char *)value.data;
746         } else {
747                 /* ensure 0-termination */
748                 valstr = SMB_STRNDUP((char *)value.data, value.length);
749                 free_val = valstr;
750         }
751
752         DEBUG(10, ("Calling function with arguments "
753                    "(key = %s, value = %s, timeout = %s)\n",
754                    key, valstr, ctime(&timeout)));
755
756         state->fn(key, valstr, timeout, state->private_data);
757
758         SAFE_FREE(free_val);
759 }
760
761 void gencache_iterate(void (*fn)(const char *key, const char *value,
762                                  time_t timeout, void *dptr),
763                       void *private_data, const char *pattern)
764 {
765         struct gencache_iterate_state state;
766
767         if (fn == NULL) {
768                 return;
769         }
770         state.fn = fn;
771         state.private_data = private_data;
772         gencache_iterate_blobs(gencache_iterate_fn, &state, pattern);
773 }