s3:idmap_tdb: fix hwm-handling to use uint32 consistently
[obnox/samba/samba-obnox.git] / source3 / winbindd / idmap_tdb.c
index bc2c464e362be3e74de05cf418c0f1eafa50de47..ec6b0a8e9072f75d48c2e31c5b2e29193857f9a1 100644 (file)
@@ -7,23 +7,31 @@
    Copyright (C) Jim McDonough <jmcd@us.ibm.com> 2003
    Copyright (C) Jeremy Allison 2006
    Copyright (C) Simo Sorce 2003-2006
-   
+   Copyright (C) Michael Adam 2009-2010
+
    This program is free software; you can redistribute it and/or modify
    it under the terms of the GNU General Public License as published by
    the Free Software Foundation; either version 3 of the License, or
    (at your option) any later version.
-   
+
    This program is distributed in the hope that it will be useful,
    but WITHOUT ANY WARRANTY; without even the implied warranty of
    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
    GNU General Public License for more details.
-   
+
    You should have received a copy of the GNU General Public License
    along with this program.  If not, see <http://www.gnu.org/licenses/>.
 */
 
 #include "includes.h"
+#include "system/filesys.h"
 #include "winbindd.h"
+#include "idmap.h"
+#include "idmap_rw.h"
+#include "dbwrap/dbwrap.h"
+#include "dbwrap/dbwrap_open.h"
+#include "../libcli/security/security.h"
+#include "util_tdb.h"
 
 #undef DBGC_CLASS
 #define DBGC_CLASS DBGC_IDMAP
 
 struct idmap_tdb_context {
        struct db_context *db;
+       struct idmap_rw_ops *rw_ops;
 };
 
 /* High water mark keys */
 #define HWM_GROUP  "GROUP HWM"
 #define HWM_USER   "USER HWM"
 
-static struct idmap_tdb_state {
-
-       /* User and group id pool */
-       uid_t low_uid, high_uid;               /* Range of uids to allocate */
-       gid_t low_gid, high_gid;               /* Range of gids to allocate */
-
-} idmap_tdb_state;
-
 struct convert_fn_state {
        struct db_context *db;
        bool failed;
@@ -68,29 +69,33 @@ static int convert_fn(struct db_record *rec, void *private_data)
        uint32 rid;
        fstring keystr;
        fstring dom_name;
+       TDB_DATA key;
        TDB_DATA key2;
+       TDB_DATA value;
        struct convert_fn_state *s = (struct convert_fn_state *)private_data;
 
-       DEBUG(10,("Converting %s\n", (const char *)rec->key.dptr));
+       key = dbwrap_record_get_key(rec);
 
-       p = strchr((const char *)rec->key.dptr, '/');
+       DEBUG(10,("Converting %s\n", (const char *)key.dptr));
+
+       p = strchr((const char *)key.dptr, '/');
        if (!p)
                return 0;
 
        *p = 0;
-       fstrcpy(dom_name, (const char *)rec->key.dptr);
+       fstrcpy(dom_name, (const char *)key.dptr);
        *p++ = '/';
 
        domain = find_domain_from_name(dom_name);
        if (domain == NULL) {
                /* We must delete the old record. */
                DEBUG(0,("Unable to find domain %s\n", dom_name ));
-               DEBUG(0,("deleting record %s\n", (const char *)rec->key.dptr ));
+               DEBUG(0,("deleting record %s\n", (const char *)key.dptr ));
 
-               status = rec->delete_rec(rec);
+               status = dbwrap_record_delete(rec);
                if (!NT_STATUS_IS_OK(status)) {
                        DEBUG(0, ("Unable to delete record %s:%s\n",
-                               (const char *)rec->key.dptr,
+                               (const char *)key.dptr,
                                nt_errstr(status)));
                        s->failed = true;
                        return -1;
@@ -106,7 +111,9 @@ static int convert_fn(struct db_record *rec, void *private_data)
        sid_to_fstring(keystr, &sid);
        key2 = string_term_tdb_data(keystr);
 
-       status = dbwrap_store(s->db, key2, rec->value, TDB_INSERT);
+       value = dbwrap_record_get_value(rec);
+
+       status = dbwrap_store(s->db, key2, value, TDB_INSERT);
        if (!NT_STATUS_IS_OK(status)) {
                DEBUG(0,("Unable to add record %s:%s\n",
                        (const char *)key2.dptr,
@@ -115,19 +122,19 @@ static int convert_fn(struct db_record *rec, void *private_data)
                return -1;
        }
 
-       status = dbwrap_store(s->db, rec->value, key2, TDB_REPLACE);
+       status = dbwrap_store(s->db, value, key2, TDB_REPLACE);
        if (!NT_STATUS_IS_OK(status)) {
                DEBUG(0,("Unable to update record %s:%s\n",
-                       (const char *)rec->value.dptr,
+                       (const char *)value.dptr,
                        nt_errstr(status)));
                s->failed = true;
                return -1;
        }
 
-       status = rec->delete_rec(rec);
+       status = dbwrap_record_delete(rec);
        if (!NT_STATUS_IS_OK(status)) {
                DEBUG(0,("Unable to delete record %s:%s\n",
-                       (const char *)rec->key.dptr,
+                       (const char *)key.dptr,
                        nt_errstr(status)));
                s->failed = true;
                return -1;
@@ -145,11 +152,26 @@ static bool idmap_tdb_upgrade(struct idmap_domain *dom, struct db_context *db)
        int32 vers;
        bool bigendianheader;
        struct convert_fn_state s;
+       NTSTATUS status;
 
+#if BUILD_TDB2
+       /* If we are bigendian, tdb is bigendian if NOT converted. */
+       union {
+               uint16 large;
+               unsigned char small[2];
+       } u;
+       u.large = 0x0102;
+       if (u.small[0] == 0x01)
+               bigendianheader = !(dbwrap_get_flags(db) & TDB_CONVERT);
+       else {
+               assert(u.small[0] == 0x02);
+               bigendianheader = (dbwrap_get_flags(db) & TDB_CONVERT);
+       }
+#else
+       bigendianheader = (dbwrap_get_flags(db) & TDB_BIGENDIAN) ? True : False;
+#endif
        DEBUG(0, ("Upgrading winbindd_idmap.tdb from an old version\n"));
 
-       bigendianheader = (db->get_flags(db) & TDB_BIGENDIAN) ? True : False;
-
        vers = dbwrap_fetch_int32(db, "IDMAP_VERSION");
 
        if (((vers == -1) && bigendianheader) || (IREV(vers) == IDMAP_VERSION)) {
@@ -191,7 +213,12 @@ static bool idmap_tdb_upgrade(struct idmap_domain *dom, struct db_context *db)
        s.failed = false;
 
        /* the old format stored as DOMAIN/rid - now we store the SID direct */
-       db->traverse(db, convert_fn, &s);
+       status = dbwrap_traverse(db, convert_fn, &s, NULL);
+
+       if (!NT_STATUS_IS_OK(status)) {
+               DEBUG(0, ("Database traverse failed during conversion\n"));
+               return false;
+       }
 
        if (s.failed) {
                DEBUG(0, ("Problem during conversion\n"));
@@ -199,7 +226,7 @@ static bool idmap_tdb_upgrade(struct idmap_domain *dom, struct db_context *db)
        }
 
        if (dbwrap_store_int32(db, "IDMAP_VERSION", IDMAP_VERSION) == -1) {
-               DEBUG(0, ("Unable to store idmap version in databse\n"));
+               DEBUG(0, ("Unable to store idmap version in database\n"));
                return False;
        }
 
@@ -214,16 +241,17 @@ static NTSTATUS idmap_tdb_init_hwm(struct idmap_domain *dom)
        bool update_uid = false;
        bool update_gid = false;
        struct idmap_tdb_context *ctx;
+       bool status;
 
        ctx = talloc_get_type(dom->private_data, struct idmap_tdb_context);
 
-       low_uid = dbwrap_fetch_int32(ctx->db, HWM_USER);
-       if (low_uid == -1 || low_uid < dom->low_id) {
+       status = dbwrap_fetch_uint32(ctx->db, HWM_USER, &low_uid);
+       if (!status || low_uid < dom->low_id) {
                update_uid = true;
        }
 
-       low_gid = dbwrap_fetch_int32(ctx->db, HWM_GROUP);
-       if (low_gid == -1 || low_gid < dom->low_id) {
+       status = dbwrap_fetch_uint32(ctx->db, HWM_GROUP, &low_gid);
+       if (!status || low_gid < dom->low_id) {
                update_gid = true;
        }
 
@@ -231,15 +259,15 @@ static NTSTATUS idmap_tdb_init_hwm(struct idmap_domain *dom)
                return NT_STATUS_OK;
        }
 
-       if (ctx->db->transaction_start(ctx->db) != 0) {
+       if (dbwrap_transaction_start(ctx->db) != 0) {
                DEBUG(0, ("Unable to start upgrade transaction!\n"));
                return NT_STATUS_INTERNAL_DB_ERROR;
        }
 
        if (update_uid) {
-               ret = dbwrap_store_int32(ctx->db, HWM_USER, dom->low_id);
+               ret = dbwrap_store_uint32(ctx->db, HWM_USER, dom->low_id);
                if (ret == -1) {
-                       ctx->db->transaction_cancel(ctx->db);
+                       dbwrap_transaction_cancel(ctx->db);
                        DEBUG(0, ("Unable to initialise user hwm in idmap "
                                  "database\n"));
                        return NT_STATUS_INTERNAL_DB_ERROR;
@@ -247,16 +275,16 @@ static NTSTATUS idmap_tdb_init_hwm(struct idmap_domain *dom)
        }
 
        if (update_gid) {
-               ret = dbwrap_store_int32(ctx->db, HWM_GROUP, dom->low_id);
+               ret = dbwrap_store_uint32(ctx->db, HWM_GROUP, dom->low_id);
                if (ret == -1) {
-                       ctx->db->transaction_cancel(ctx->db);
+                       dbwrap_transaction_cancel(ctx->db);
                        DEBUG(0, ("Unable to initialise group hwm in idmap "
                                  "database\n"));
                        return NT_STATUS_INTERNAL_DB_ERROR;
                }
        }
 
-       if (ctx->db->transaction_commit(ctx->db) != 0) {
+       if (dbwrap_transaction_commit(ctx->db) != 0) {
                DEBUG(0, ("Unable to commit upgrade transaction!\n"));
                return NT_STATUS_INTERNAL_DB_ERROR;
        }
@@ -276,6 +304,11 @@ static NTSTATUS idmap_tdb_open_db(struct idmap_domain *dom)
 
        ctx = talloc_get_type(dom->private_data, struct idmap_tdb_context);
 
+       if (ctx->db) {
+               /* it is already open */
+               return NT_STATUS_OK;
+       }
+
        /* use our own context here */
        mem_ctx = talloc_stackframe();
 
@@ -307,20 +340,20 @@ static NTSTATUS idmap_tdb_open_db(struct idmap_domain *dom)
                        ret = NT_STATUS_UNSUCCESSFUL;
                        goto done;
                }
-               if (db->transaction_start(db) != 0) {
+               if (dbwrap_transaction_start(db) != 0) {
                        DEBUG(0, ("Unable to start upgrade transaction!\n"));
                        ret = NT_STATUS_INTERNAL_DB_ERROR;
                        goto done;
                }
 
                if (!idmap_tdb_upgrade(dom, db)) {
-                       db->transaction_cancel(db);
+                       dbwrap_transaction_cancel(db);
                        DEBUG(0, ("Unable to open idmap database, it's in an old format, and upgrade failed!\n"));
                        ret = NT_STATUS_INTERNAL_DB_ERROR;
                        goto done;
                }
 
-               if (db->transaction_commit(db) != 0) {
+               if (dbwrap_transaction_commit(db) != 0) {
                        DEBUG(0, ("Unable to commit upgrade transaction!\n"));
                        ret = NT_STATUS_INTERNAL_DB_ERROR;
                        goto done;
@@ -339,8 +372,6 @@ done:
 /**********************************************************************
  IDMAP ALLOC TDB BACKEND
 **********************************************************************/
-static struct db_context *idmap_alloc_db;
 
 /**********************************
  Allocate a new id. 
@@ -359,11 +390,12 @@ static NTSTATUS idmap_tdb_allocate_id_action(struct db_context *db,
        NTSTATUS ret;
        struct idmap_tdb_allocate_id_context *state;
        uint32_t hwm;
+       bool ret2;
 
        state = (struct idmap_tdb_allocate_id_context *)private_data;
 
-       hwm = dbwrap_fetch_int32(db, state->hwmkey);
-       if (hwm == -1) {
+       ret2 = dbwrap_fetch_uint32(db, state->hwmkey, &hwm);
+       if (!ret2) {
                ret = NT_STATUS_INTERNAL_DB_ERROR;
                goto done;
        }
@@ -482,14 +514,17 @@ static NTSTATUS idmap_tdb_get_new_id(struct idmap_domain *dom,
  Initialise idmap database. 
 *****************************/
 
-static NTSTATUS idmap_tdb_db_init(struct idmap_domain *dom, const char *params)
+static NTSTATUS idmap_tdb_set_mapping(struct idmap_domain *dom,
+                                     const struct id_map *map);
+
+static NTSTATUS idmap_tdb_db_init(struct idmap_domain *dom)
 {
        NTSTATUS ret;
        struct idmap_tdb_context *ctx;
 
        DEBUG(10, ("idmap_tdb_db_init called for domain '%s'\n", dom->name));
 
-       ctx = talloc(dom, struct idmap_tdb_context);
+       ctx = talloc_zero(dom, struct idmap_tdb_context);
        if ( ! ctx) {
                DEBUG(0, ("Out of memory!\n"));
                return NT_STATUS_NO_MEMORY;
@@ -502,6 +537,16 @@ static NTSTATUS idmap_tdb_db_init(struct idmap_domain *dom, const char *params)
        }
 #endif
 
+       ctx->rw_ops = talloc_zero(ctx, struct idmap_rw_ops);
+       if (ctx->rw_ops == NULL) {
+               DEBUG(0, ("Out of memory!\n"));
+               ret = NT_STATUS_NO_MEMORY;
+               goto failed;
+       }
+
+       ctx->rw_ops->get_new_id = idmap_tdb_get_new_id;
+       ctx->rw_ops->set_mapping = idmap_tdb_set_mapping;
+
        dom->private_data = ctx;
 
        ret = idmap_tdb_open_db(dom);
@@ -516,6 +561,131 @@ failed:
        return ret;
 }
 
+
+/**
+ * store a mapping in the database
+ */
+
+struct idmap_tdb_set_mapping_context {
+       const char *ksidstr;
+       const char *kidstr;
+};
+
+static NTSTATUS idmap_tdb_set_mapping_action(struct db_context *db,
+                                            void *private_data)
+{
+       NTSTATUS ret;
+       struct idmap_tdb_set_mapping_context *state;
+
+       state = (struct idmap_tdb_set_mapping_context *)private_data;
+
+       DEBUG(10, ("Storing %s <-> %s map\n", state->ksidstr, state->kidstr));
+
+       ret = dbwrap_store_bystring(db, state->ksidstr,
+                                   string_term_tdb_data(state->kidstr),
+                                   TDB_REPLACE);
+       if (!NT_STATUS_IS_OK(ret)) {
+               DEBUG(0, ("Error storing SID -> ID (%s -> %s): %s\n",
+                         state->ksidstr, state->kidstr, nt_errstr(ret)));
+               goto done;
+       }
+
+       ret = dbwrap_store_bystring(db, state->kidstr,
+                                   string_term_tdb_data(state->ksidstr),
+                                   TDB_REPLACE);
+       if (!NT_STATUS_IS_OK(ret)) {
+               DEBUG(0, ("Error storing ID -> SID (%s -> %s): %s\n",
+                         state->kidstr, state->ksidstr, nt_errstr(ret)));
+               goto done;
+       }
+
+       DEBUG(10,("Stored %s <-> %s\n", state->ksidstr, state->kidstr));
+       ret = NT_STATUS_OK;
+
+done:
+       return ret;
+}
+
+static NTSTATUS idmap_tdb_set_mapping(struct idmap_domain *dom,
+                                     const struct id_map *map)
+{
+       struct idmap_tdb_context *ctx;
+       NTSTATUS ret;
+       char *ksidstr, *kidstr;
+       struct idmap_tdb_set_mapping_context state;
+
+       if (!map || !map->sid) {
+               return NT_STATUS_INVALID_PARAMETER;
+       }
+
+       ksidstr = kidstr = NULL;
+
+       /* TODO: should we filter a set_mapping using low/high filters ? */
+
+       ctx = talloc_get_type(dom->private_data, struct idmap_tdb_context);
+
+       switch (map->xid.type) {
+
+       case ID_TYPE_UID:
+               kidstr = talloc_asprintf(ctx, "UID %lu",
+                                        (unsigned long)map->xid.id);
+               break;
+
+       case ID_TYPE_GID:
+               kidstr = talloc_asprintf(ctx, "GID %lu",
+                                        (unsigned long)map->xid.id);
+               break;
+
+       default:
+               DEBUG(2, ("INVALID unix ID type: 0x02%x\n", map->xid.type));
+               return NT_STATUS_INVALID_PARAMETER;
+       }
+
+       if (kidstr == NULL) {
+               DEBUG(0, ("ERROR: Out of memory!\n"));
+               ret = NT_STATUS_NO_MEMORY;
+               goto done;
+       }
+
+       ksidstr = sid_string_talloc(ctx, map->sid);
+       if (ksidstr == NULL) {
+               DEBUG(0, ("Out of memory!\n"));
+               ret = NT_STATUS_NO_MEMORY;
+               goto done;
+       }
+
+       state.ksidstr = ksidstr;
+       state.kidstr = kidstr;
+
+       ret = dbwrap_trans_do(ctx->db, idmap_tdb_set_mapping_action, &state);
+
+done:
+       talloc_free(ksidstr);
+       talloc_free(kidstr);
+       return ret;
+}
+
+/**
+ * Create a new mapping for an unmapped SID, also allocating a new ID.
+ * This should be run inside a transaction.
+ *
+ * TODO:
+ * Properly integrate this with multi domain idmap config:
+ * Currently, the allocator is default-config only.
+ */
+static NTSTATUS idmap_tdb_new_mapping(struct idmap_domain *dom, struct id_map *map)
+{
+       NTSTATUS ret;
+       struct idmap_tdb_context *ctx;
+
+       ctx = talloc_get_type(dom->private_data, struct idmap_tdb_context);
+
+       ret = idmap_rw_new_mapping(dom, ctx->rw_ops, map);
+
+       return ret;
+}
+
+
 /**********************************
  Single id to sid lookup function. 
 **********************************/
@@ -545,7 +715,7 @@ static NTSTATUS idmap_tdb_id_to_sid(struct idmap_domain *dom, struct id_map *map
        case ID_TYPE_UID:
                keystr = talloc_asprintf(ctx, "UID %lu", (unsigned long)map->xid.id);
                break;
-               
+
        case ID_TYPE_GID:
                keystr = talloc_asprintf(ctx, "GID %lu", (unsigned long)map->xid.id);
                break;
@@ -567,14 +737,14 @@ static NTSTATUS idmap_tdb_id_to_sid(struct idmap_domain *dom, struct id_map *map
        DEBUG(10,("Fetching record %s\n", keystr));
 
        /* Check if the mapping exists */
-       data = dbwrap_fetch_bystring(ctx->db, NULL, keystr);
+       ret = dbwrap_fetch_bystring(ctx->db, NULL, keystr, &data);
 
-       if (!data.dptr) {
+       if (!NT_STATUS_IS_OK(ret)) {
                DEBUG(10,("Record %s not found\n", keystr));
                ret = NT_STATUS_NONE_MAPPED;
                goto done;
        }
-               
+
        if (!string_to_sid(map->sid, (const char *)data.dptr)) {
                DEBUG(10,("INVALID SID (%s) in record %s\n",
                        (const char *)data.dptr, keystr));
@@ -616,8 +786,8 @@ static NTSTATUS idmap_tdb_sid_to_id(struct idmap_domain *dom, struct id_map *map
        DEBUG(10,("Fetching record %s\n", keystr));
 
        /* Check if sid is present in database */
-       data = dbwrap_fetch_bystring(ctx->db, tmp_ctx, keystr);
-       if (!data.dptr) {
+       ret = dbwrap_fetch_bystring(ctx->db, tmp_ctx, keystr, &data);
+       if (!NT_STATUS_IS_OK(ret)) {
                DEBUG(10,("Record %s not found\n", keystr));
                ret = NT_STATUS_NONE_MAPPED;
                goto done;
@@ -660,7 +830,6 @@ done:
 
 static NTSTATUS idmap_tdb_unixids_to_sids(struct idmap_domain *dom, struct id_map **ids)
 {
-       struct idmap_tdb_context *ctx;
        NTSTATUS ret;
        int i;
 
@@ -668,8 +837,6 @@ static NTSTATUS idmap_tdb_unixids_to_sids(struct idmap_domain *dom, struct id_ma
        for (i = 0; ids[i]; i++) {
                ids[i]->status = ID_UNKNOWN;
        }
-       
-       ctx = talloc_get_type(dom->private_data, struct idmap_tdb_context);
 
        for (i = 0; ids[i]; i++) {
                ret = idmap_tdb_id_to_sid(dom, ids[i]);
@@ -682,7 +849,7 @@ static NTSTATUS idmap_tdb_unixids_to_sids(struct idmap_domain *dom, struct id_ma
                                ids[i]->status = ID_UNMAPPED;
                                continue;
                        }
-                       
+
                        /* some fatal error occurred, return immediately */
                        goto done;
                }
@@ -701,162 +868,107 @@ done:
  lookup a set of sids. 
 **********************************/
 
-static NTSTATUS idmap_tdb_sids_to_unixids(struct idmap_domain *dom, struct id_map **ids)
+struct idmap_tdb_sids_to_unixids_context {
+       struct idmap_domain *dom;
+       struct id_map **ids;
+       bool allocate_unmapped;
+};
+
+static NTSTATUS idmap_tdb_sids_to_unixids_action(struct db_context *db,
+                                                void *private_data)
 {
-       struct idmap_tdb_context *ctx;
-       NTSTATUS ret;
+       struct idmap_tdb_sids_to_unixids_context *state;
        int i;
-
-       /* initialize the status to avoid suprise */
-       for (i = 0; ids[i]; i++) {
-               ids[i]->status = ID_UNKNOWN;
-       }
-       
-       ctx = talloc_get_type(dom->private_data, struct idmap_tdb_context);
-
-       for (i = 0; ids[i]; i++) {
-               ret = idmap_tdb_sid_to_id(dom, ids[i]);
-               if ( ! NT_STATUS_IS_OK(ret)) {
-
-                       /* if it is just a failed mapping continue */
-                       if (NT_STATUS_EQUAL(ret, NT_STATUS_NONE_MAPPED)) {
-
-                               /* make sure it is marked as unmapped */
-                               ids[i]->status = ID_UNMAPPED;
-                               continue;
+       NTSTATUS ret = NT_STATUS_OK;
+
+       state = (struct idmap_tdb_sids_to_unixids_context *)private_data;
+
+       DEBUG(10, ("idmap_tdb_sids_to_unixids_action: "
+                  " domain: [%s], allocate: %s\n",
+                  state->dom->name,
+                  state->allocate_unmapped ? "yes" : "no"));
+
+       for (i = 0; state->ids[i]; i++) {
+               if ((state->ids[i]->status == ID_UNKNOWN) ||
+                   /* retry if we could not map in previous run: */
+                   (state->ids[i]->status == ID_UNMAPPED))
+               {
+                       NTSTATUS ret2;
+
+                       ret2 = idmap_tdb_sid_to_id(state->dom, state->ids[i]);
+                       if (!NT_STATUS_IS_OK(ret2)) {
+
+                               /* if it is just a failed mapping, continue */
+                               if (NT_STATUS_EQUAL(ret2, NT_STATUS_NONE_MAPPED)) {
+
+                                       /* make sure it is marked as unmapped */
+                                       state->ids[i]->status = ID_UNMAPPED;
+                                       ret = STATUS_SOME_UNMAPPED;
+                               } else {
+                                       /* some fatal error occurred, return immediately */
+                                       ret = ret2;
+                                       goto done;
+                               }
+                       } else {
+                               /* all ok, id is mapped */
+                               state->ids[i]->status = ID_MAPPED;
                        }
-                       
-                       /* some fatal error occurred, return immediately */
-                       goto done;
                }
 
-               /* all ok, id is mapped */
-               ids[i]->status = ID_MAPPED;
+               if ((state->ids[i]->status == ID_UNMAPPED) &&
+                   state->allocate_unmapped)
+               {
+                       ret = idmap_tdb_new_mapping(state->dom, state->ids[i]);
+                       if (!NT_STATUS_IS_OK(ret)) {
+                               goto done;
+                       }
+               }
        }
 
-       ret = NT_STATUS_OK;
-
 done:
        return ret;
 }
 
-/**********************************
- set a mapping.
-**********************************/
-
-static NTSTATUS idmap_tdb_set_mapping(struct idmap_domain *dom,
-                                     const struct id_map *map)
+static NTSTATUS idmap_tdb_sids_to_unixids(struct idmap_domain *dom, struct id_map **ids)
 {
        struct idmap_tdb_context *ctx;
        NTSTATUS ret;
-       TDB_DATA ksid, kid;
-       char *ksidstr, *kidstr;
-       fstring tmp;
+       int i;
+       struct idmap_tdb_sids_to_unixids_context state;
 
-       if (!map || !map->sid) {
-               return NT_STATUS_INVALID_PARAMETER;
+       /* initialize the status to avoid suprise */
+       for (i = 0; ids[i]; i++) {
+               ids[i]->status = ID_UNKNOWN;
        }
 
-       ksidstr = kidstr = NULL;
-
-       /* TODO: should we filter a set_mapping using low/high filters ? */
-
        ctx = talloc_get_type(dom->private_data, struct idmap_tdb_context);
 
-       switch (map->xid.type) {
+       state.dom = dom;
+       state.ids = ids;
+       state.allocate_unmapped = false;
 
-       case ID_TYPE_UID:
-               kidstr = talloc_asprintf(ctx, "UID %lu",
-                                        (unsigned long)map->xid.id);
-               break;
+       ret = idmap_tdb_sids_to_unixids_action(ctx->db, &state);
 
-       case ID_TYPE_GID:
-               kidstr = talloc_asprintf(ctx, "GID %lu",
-                                        (unsigned long)map->xid.id);
-               break;
-
-       default:
-               DEBUG(2, ("INVALID unix ID type: 0x02%x\n", map->xid.type));
-               return NT_STATUS_INVALID_PARAMETER;
+       if (NT_STATUS_EQUAL(ret, STATUS_SOME_UNMAPPED) && !dom->read_only) {
+               state.allocate_unmapped = true;
+               ret = dbwrap_trans_do(ctx->db,
+                                     idmap_tdb_sids_to_unixids_action,
+                                     &state);
        }
 
-       if (kidstr == NULL) {
-               DEBUG(0, ("ERROR: Out of memory!\n"));
-               ret = NT_STATUS_NO_MEMORY;
-               goto done;
-       }
-
-       if ((ksidstr = talloc_asprintf(
-                    ctx, "%s", sid_to_fstring(tmp, map->sid))) == NULL) {
-               DEBUG(0, ("Out of memory!\n"));
-               ret = NT_STATUS_NO_MEMORY;
-               goto done;
-       }
-
-       DEBUG(10, ("Storing %s <-> %s map\n", ksidstr, kidstr));
-       kid = string_term_tdb_data(kidstr);
-       ksid = string_term_tdb_data(ksidstr);
-
-       if (ctx->db->transaction_start(ctx->db) != 0) {
-               DEBUG(0, ("Failed to start transaction for %s\n",
-                         ksidstr));
-               ret = NT_STATUS_INTERNAL_DB_ERROR;
-               goto done;
-       }
-
-       ret = dbwrap_store(ctx->db, ksid, kid, TDB_REPLACE);
-       if (!NT_STATUS_IS_OK(ret)) {
-               ctx->db->transaction_cancel(ctx->db);
-               DEBUG(0, ("Error storing SID -> ID (%s -> %s): %s\n",
-                         ksidstr, kidstr, nt_errstr(ret)));
-               goto done;
-       }
-       ret = dbwrap_store(ctx->db, kid, ksid, TDB_REPLACE);
-       if (!NT_STATUS_IS_OK(ret)) {
-               ctx->db->transaction_cancel(ctx->db);
-               DEBUG(0, ("Error storing ID -> SID (%s -> %s): %s\n",
-                         kidstr, ksidstr, nt_errstr(ret)));
-               goto done;
-       }
-
-       if (ctx->db->transaction_commit(ctx->db) != 0) {
-               DEBUG(0, ("Failed to commit transaction for (%s -> %s)\n",
-                         ksidstr, kidstr));
-               ret = NT_STATUS_INTERNAL_DB_ERROR;
-               goto done;
-       }
-
-       DEBUG(10,("Stored %s <-> %s\n", ksidstr, kidstr));
-       ret = NT_STATUS_OK;
-
-done:
-       talloc_free(ksidstr);
-       talloc_free(kidstr);
        return ret;
 }
 
+
 /**********************************
  Close the idmap tdb instance
 **********************************/
 
-static NTSTATUS idmap_tdb_close(struct idmap_domain *dom)
-{
-       struct idmap_tdb_context *ctx;
-
-       if (dom->private_data) {
-               ctx = talloc_get_type(dom->private_data, struct idmap_tdb_context);
-
-               TALLOC_FREE(ctx->db);
-       }
-       return NT_STATUS_OK;
-}
-
 static struct idmap_methods db_methods = {
        .init = idmap_tdb_db_init,
        .unixids_to_sids = idmap_tdb_unixids_to_sids,
        .sids_to_unixids = idmap_tdb_sids_to_unixids,
        .allocate_id = idmap_tdb_get_new_id,
-       .close_fn = idmap_tdb_close
 };
 
 NTSTATUS idmap_tdb_init(void)