Second part of fix for bug #7781 - Samba transforms ShareName to lowercase (sharename...
[samba.git] / source3 / lib / util_str.c
index 7e21fe11953c43e37114f0454d079ba19282cecd..c98bebe21c129144bad7825ed7ecfcc60a189780 100644 (file)
 
 #include "includes.h"
 
-/**
- * @file
- * @brief String utilities.
- **/
-
-static bool next_token_internal_talloc(TALLOC_CTX *ctx,
-                               const char **ptr,
-                                char **pp_buff,
-                                const char *sep,
-                                bool ltrim)
-{
-       char *s;
-       char *saved_s;
-       char *pbuf;
-       bool quoted;
-       size_t len=1;
-
-       *pp_buff = NULL;
-       if (!ptr) {
-               return(false);
-       }
-
-       s = (char *)*ptr;
-
-       /* default to simple separators */
-       if (!sep) {
-               sep = " \t\n\r";
-       }
-
-       /* find the first non sep char, if left-trimming is requested */
-       if (ltrim) {
-               while (*s && strchr_m(sep,*s)) {
-                       s++;
-               }
-       }
-
-       /* nothing left? */
-       if (!*s) {
-               return false;
-       }
-
-       /* When restarting we need to go from here. */
-       saved_s = s;
-
-       /* Work out the length needed. */
-       for (quoted = false; *s &&
-                       (quoted || !strchr_m(sep,*s)); s++) {
-               if (*s == '\"') {
-                       quoted = !quoted;
-               } else {
-                       len++;
-               }
-       }
-
-       /* We started with len = 1 so we have space for the nul. */
-       *pp_buff = TALLOC_ARRAY(ctx, char, len);
-       if (!*pp_buff) {
-               return false;
-       }
-
-       /* copy over the token */
-       pbuf = *pp_buff;
-       s = saved_s;
-       for (quoted = false; *s &&
-                       (quoted || !strchr_m(sep,*s)); s++) {
-               if ( *s == '\"' ) {
-                       quoted = !quoted;
-               } else {
-                       *pbuf++ = *s;
-               }
-       }
-
-       *ptr = (*s) ? s+1 : s;
-       *pbuf = 0;
-
-       return true;
-}
-
-#if 0
-/*
- * Get the next token from a string, return false if none found.  Handles
- * double-quotes.  This version trims leading separator characters before
- * looking for a token.
- */
-bool next_token(const char **ptr, char *buff, const char *sep, size_t bufsize)
-{
-       return next_token_internal(ptr, buff, sep, bufsize, true);
-}
-#endif
-
-bool next_token_talloc(TALLOC_CTX *ctx,
-                       const char **ptr,
-                       char **pp_buff,
-                       const char *sep)
-{
-       return next_token_internal_talloc(ctx, ptr, pp_buff, sep, true);
-}
-
-/*
- * Get the next token from a string, return false if none found.  Handles
- * double-quotes.  This version does not trim leading separator characters
- * before looking for a token.
- */
-
-bool next_token_no_ltrim_talloc(TALLOC_CTX *ctx,
-                       const char **ptr,
-                       char **pp_buff,
-                       const char *sep)
-{
-       return next_token_internal_talloc(ctx, ptr, pp_buff, sep, false);
-}
+const char toupper_ascii_fast_table[128] = {
+       0x0, 0x1, 0x2, 0x3, 0x4, 0x5, 0x6, 0x7, 0x8, 0x9, 0xa, 0xb, 0xc, 0xd, 0xe, 0xf,
+       0x10, 0x11, 0x12, 0x13, 0x14, 0x15, 0x16, 0x17, 0x18, 0x19, 0x1a, 0x1b, 0x1c, 0x1d, 0x1e, 0x1f,
+       0x20, 0x21, 0x22, 0x23, 0x24, 0x25, 0x26, 0x27, 0x28, 0x29, 0x2a, 0x2b, 0x2c, 0x2d, 0x2e, 0x2f,
+       0x30, 0x31, 0x32, 0x33, 0x34, 0x35, 0x36, 0x37, 0x38, 0x39, 0x3a, 0x3b, 0x3c, 0x3d, 0x3e, 0x3f,
+       0x40, 0x41, 0x42, 0x43, 0x44, 0x45, 0x46, 0x47, 0x48, 0x49, 0x4a, 0x4b, 0x4c, 0x4d, 0x4e, 0x4f,
+       0x50, 0x51, 0x52, 0x53, 0x54, 0x55, 0x56, 0x57, 0x58, 0x59, 0x5a, 0x5b, 0x5c, 0x5d, 0x5e, 0x5f,
+       0x60, 0x41, 0x42, 0x43, 0x44, 0x45, 0x46, 0x47, 0x48, 0x49, 0x4a, 0x4b, 0x4c, 0x4d, 0x4e, 0x4f,
+       0x50, 0x51, 0x52, 0x53, 0x54, 0x55, 0x56, 0x57, 0x58, 0x59, 0x5a, 0x7b, 0x7c, 0x7d, 0x7e, 0x7f
+};
 
 /**
  * Case insensitive string compararison.
@@ -187,8 +86,8 @@ int StrCaseCmp(const char *s, const char *t)
                         * from here on in */
                        break;
 
-               us = toupper_ascii(*ps);
-               ut = toupper_ascii(*pt);
+               us = toupper_ascii_fast(*ps);
+               ut = toupper_ascii_fast(*pt);
                if (us == ut)
                        continue;
                else if (us < ut)
@@ -197,17 +96,15 @@ int StrCaseCmp(const char *s, const char *t)
                        return +1;
        }
 
-       size = push_ucs2_allocate(&buffer_s, ps);
-       if (size == (size_t)-1) {
+       if (!push_ucs2_talloc(talloc_tos(), &buffer_s, ps, &size)) {
                return strcmp(ps, pt);
                /* Not quite the right answer, but finding the right one
                   under this failure case is expensive, and it's pretty
                   close */
        }
 
-       size = push_ucs2_allocate(&buffer_t, pt);
-       if (size == (size_t)-1) {
-               SAFE_FREE(buffer_s);
+       if (!push_ucs2_talloc(talloc_tos(), &buffer_t, pt, &size)) {
+               TALLOC_FREE(buffer_s);
                return strcmp(ps, pt);
                /* Not quite the right answer, but finding the right one
                   under this failure case is expensive, and it's pretty
@@ -215,8 +112,8 @@ int StrCaseCmp(const char *s, const char *t)
        }
 
        ret = strcasecmp_w(buffer_s, buffer_t);
-       SAFE_FREE(buffer_s);
-       SAFE_FREE(buffer_t);
+       TALLOC_FREE(buffer_s);
+       TALLOC_FREE(buffer_t);
        return ret;
 }
 
@@ -246,8 +143,8 @@ int StrnCaseCmp(const char *s, const char *t, size_t len)
                         * hard way from here on in */
                        break;
 
-               us = toupper_ascii(*ps);
-               ut = toupper_ascii(*pt);
+               us = toupper_ascii_fast(*ps);
+               ut = toupper_ascii_fast(*pt);
                if (us == ut)
                        continue;
                else if (us < ut)
@@ -260,17 +157,15 @@ int StrnCaseCmp(const char *s, const char *t, size_t len)
                return 0;
        }
 
-       size = push_ucs2_allocate(&buffer_s, ps);
-       if (size == (size_t)-1) {
+       if (!push_ucs2_talloc(talloc_tos(), &buffer_s, ps, &size)) {
                return strncmp(ps, pt, len-n);
                /* Not quite the right answer, but finding the right one
                   under this failure case is expensive,
                   and it's pretty close */
        }
 
-       size = push_ucs2_allocate(&buffer_t, pt);
-       if (size == (size_t)-1) {
-               SAFE_FREE(buffer_s);
+       if (!push_ucs2_talloc(talloc_tos(), &buffer_t, pt, &size)) {
+               TALLOC_FREE(buffer_s);
                return strncmp(ps, pt, len-n);
                /* Not quite the right answer, but finding the right one
                   under this failure case is expensive,
@@ -278,8 +173,8 @@ int StrnCaseCmp(const char *s, const char *t, size_t len)
        }
 
        ret = strncasecmp_w(buffer_s, buffer_t, len-n);
-       SAFE_FREE(buffer_s);
-       SAFE_FREE(buffer_t);
+       TALLOC_FREE(buffer_s);
+       TALLOC_FREE(buffer_t);
        return ret;
 }
 
@@ -469,13 +364,13 @@ char *skip_string(const char *base, size_t len, char *buf)
 
 size_t str_charnum(const char *s)
 {
-       size_t ret;
+       size_t ret, converted_size;
        smb_ucs2_t *tmpbuf2 = NULL;
-       if (push_ucs2_allocate(&tmpbuf2, s) == (size_t)-1) {
+       if (!push_ucs2_talloc(talloc_tos(), &tmpbuf2, s, &converted_size)) {
                return 0;
        }
        ret = strlen_w(tmpbuf2);
-       SAFE_FREE(tmpbuf2);
+       TALLOC_FREE(tmpbuf2);
        return ret;
 }
 
@@ -487,13 +382,13 @@ size_t str_charnum(const char *s)
 
 size_t str_ascii_charnum(const char *s)
 {
-       size_t ret;
+       size_t ret, converted_size;
        char *tmpbuf2 = NULL;
-       if (push_ascii_allocate(&tmpbuf2, s) == (size_t)-1) {
+       if (!push_ascii_talloc(talloc_tos(), &tmpbuf2, s, &converted_size)) {
                return 0;
        }
        ret = strlen(tmpbuf2);
-       SAFE_FREE(tmpbuf2);
+       TALLOC_FREE(tmpbuf2);
        return ret;
 }
 
@@ -550,47 +445,6 @@ bool trim_char(char *s,char cfront,char cback)
        return ret;
 }
 
-/**
- Trim the specified elements off the front and back of a string.
-**/
-
-bool trim_string(char *s,const char *front,const char *back)
-{
-       bool ret = false;
-       size_t front_len;
-       size_t back_len;
-       size_t len;
-
-       /* Ignore null or empty strings. */
-       if (!s || (s[0] == '\0'))
-               return false;
-
-       front_len       = front? strlen(front) : 0;
-       back_len        = back? strlen(back) : 0;
-
-       len = strlen(s);
-
-       if (front_len) {
-               while (len && strncmp(s, front, front_len)==0) {
-                       /* Must use memmove here as src & dest can
-                        * easily overlap. Found by valgrind. JRA. */
-                       memmove(s, s+front_len, (len-front_len)+1);
-                       len -= front_len;
-                       ret=true;
-               }
-       }
-
-       if (back_len) {
-               while ((len >= back_len) &&
-                               strncmp(s+len-back_len,back,back_len)==0) {
-                       s[len-back_len]='\0';
-                       len -= back_len;
-                       ret=true;
-               }
-       }
-       return ret;
-}
-
 /**
  Does a string have any uppercase chars in it?
 **/
@@ -599,8 +453,9 @@ bool strhasupper(const char *s)
 {
        smb_ucs2_t *tmp, *p;
        bool ret;
+       size_t converted_size;
 
-       if (push_ucs2_allocate(&tmp, s) == -1) {
+       if (!push_ucs2_talloc(talloc_tos(), &tmp, s, &converted_size)) {
                return false;
        }
 
@@ -611,7 +466,7 @@ bool strhasupper(const char *s)
        }
 
        ret = (*p != 0);
-       SAFE_FREE(tmp);
+       TALLOC_FREE(tmp);
        return ret;
 }
 
@@ -623,8 +478,9 @@ bool strhaslower(const char *s)
 {
        smb_ucs2_t *tmp, *p;
        bool ret;
+       size_t converted_size;
 
-       if (push_ucs2_allocate(&tmp, s) == -1) {
+       if (!push_ucs2_talloc(talloc_tos(), &tmp, s, &converted_size)) {
                return false;
        }
 
@@ -635,32 +491,10 @@ bool strhaslower(const char *s)
        }
 
        ret = (*p != 0);
-       SAFE_FREE(tmp);
+       TALLOC_FREE(tmp);
        return ret;
 }
 
-/**
- Find the number of 'c' chars in a string
-**/
-
-size_t count_chars(const char *s,char c)
-{
-       smb_ucs2_t *ptr;
-       int count;
-       smb_ucs2_t *alloc_tmpbuf = NULL;
-
-       if (push_ucs2_allocate(&alloc_tmpbuf, s) == (size_t)-1) {
-               return 0;
-       }
-
-       for(count=0,ptr=alloc_tmpbuf;*ptr;ptr++)
-               if(*ptr==UCS2_CHAR(c))
-                       count++;
-
-       SAFE_FREE(alloc_tmpbuf);
-       return(count);
-}
-
 /**
  Safe string copy into a known length string. maxlength does not
  include the terminating zero.
@@ -680,6 +514,10 @@ char *safe_strcpy_fn(const char *fn,
                return NULL;
        }
 
+       if (src == dest) {
+               return dest;
+       }
+
 #ifdef DEVELOPER
        clobber_region(fn,line,dest, maxlength+1);
 #endif
@@ -752,7 +590,9 @@ char *safe_strcat_fn(const char *fn,
  Paranoid strcpy into a buffer of given length (includes terminating
  zero. Strips out all but 'a-Z0-9' and the character in other_safe_chars
  and replaces with '_'. Deliberately does *NOT* check for multibyte
- characters. Don't change it !
+ characters. Treats src as an array of bytes, not as a multibyte
+ string. Any byte >0x7f is automatically converted to '_'.
+ other_safe_chars must also contain an ascii string (bytes<0x7f).
 **/
 
 char *alpha_strcpy_fn(const char *fn,
@@ -788,8 +628,12 @@ char *alpha_strcpy_fn(const char *fn,
 
        for(i = 0; i < len; i++) {
                int val = (src[i] & 0xff);
-               if (isupper_ascii(val) || islower_ascii(val) ||
-                               isdigit(val) || strchr_m(other_safe_chars, val))
+               if (val > 0x7f) {
+                       dest[i] = '_';
+                       continue;
+               }
+               if (isupper(val) || islower(val) ||
+                               isdigit(val) || strchr(other_safe_chars, val))
                        dest[i] = src[i];
                else
                        dest[i] = '_';
@@ -860,88 +704,6 @@ static char *strncpyn(char *dest, const char *src, size_t n, char c)
 }
 #endif
 
-/**
- Routine to get hex characters and turn them into a 16 byte array.
- the array can be variable length, and any non-hex-numeric
- characters are skipped.  "0xnn" or "0Xnn" is specially catered
- for.
-
- valid examples: "0A5D15"; "0x15, 0x49, 0xa2"; "59\ta9\te3\n"
-
-**/
-
-size_t strhex_to_str(char *buf, size_t buf_len, const char *strhex, size_t strhex_len)
-{
-       size_t i;
-       size_t num_chars = 0;
-       unsigned char   lonybble, hinybble;
-       const char     *hexchars = "0123456789ABCDEF";
-       char           *p1 = NULL, *p2 = NULL;
-
-       for (i = 0; i < strhex_len && strhex[i] != 0; i++) {
-               if (strnequal(hexchars, "0x", 2)) {
-                       i++; /* skip two chars */
-                       continue;
-               }
-
-               if (!(p1 = strchr_m(hexchars, toupper_ascii(strhex[i]))))
-                       break;
-
-               i++; /* next hex digit */
-
-               if (!(p2 = strchr_m(hexchars, toupper_ascii(strhex[i]))))
-                       break;
-
-               /* get the two nybbles */
-               hinybble = PTR_DIFF(p1, hexchars);
-               lonybble = PTR_DIFF(p2, hexchars);
-
-               if (num_chars >= buf_len) {
-                       break;
-               }
-               buf[num_chars] = (hinybble << 4) | lonybble;
-               num_chars++;
-
-               p1 = NULL;
-               p2 = NULL;
-       }
-       return num_chars;
-}
-
-DATA_BLOB strhex_to_data_blob(TALLOC_CTX *mem_ctx, const char *strhex)
-{
-       DATA_BLOB ret_blob;
-
-       if (mem_ctx != NULL)
-               ret_blob = data_blob_talloc(mem_ctx, NULL, strlen(strhex)/2+1);
-       else
-               ret_blob = data_blob(NULL, strlen(strhex)/2+1);
-
-       ret_blob.length = strhex_to_str((char*)ret_blob.data,
-                                       ret_blob.length,
-                                       strhex,
-                                       strlen(strhex));
-
-       return ret_blob;
-}
-
-/**
- * Routine to print a buffer as HEX digits, into an allocated string.
- */
-
-char *hex_encode(TALLOC_CTX *mem_ctx, const unsigned char *buff_in, size_t len)
-{
-       int i;
-       char *hex_buffer;
-
-       hex_buffer = TALLOC_ARRAY(mem_ctx, char, (len*2)+1);
-
-       for (i = 0; i < len; i++)
-               slprintf(&hex_buffer[i*2], 3, "%02X", buff_in[i]);
-
-       return hex_buffer;
-}
-
 /**
  Check if a string is part of a list.
 **/
@@ -1220,7 +982,7 @@ char *talloc_string_sub2(TALLOC_CTX *mem_ctx, const char *src,
        char *string;
        ssize_t ls,lp,li,ld, i;
 
-       if (!insert || !pattern || !*pattern || !src || !*src) {
+       if (!insert || !pattern || !*pattern || !src) {
                return NULL;
        }
 
@@ -1399,6 +1161,7 @@ char *strchr_m(const char *src, char c)
        smb_ucs2_t *p;
        const char *s;
        char *ret;
+       size_t converted_size;
 
        /* characters below 0x3F are guaranteed to not appear in
           non-initial position in multi-byte charsets */
@@ -1424,24 +1187,24 @@ char *strchr_m(const char *src, char c)
        s = src;
 #endif
 
-       if (push_ucs2_allocate(&ws, s)==(size_t)-1) {
+       if (!push_ucs2_talloc(talloc_tos(), &ws, s, &converted_size)) {
                /* Wrong answer, but what can we do... */
                return strchr(src, c);
        }
        p = strchr_w(ws, UCS2_CHAR(c));
        if (!p) {
-               SAFE_FREE(ws);
+               TALLOC_FREE(ws);
                return NULL;
        }
        *p = 0;
-       if (pull_ucs2_allocate(&s2, ws)==(size_t)-1) {
+       if (!pull_ucs2_talloc(talloc_tos(), &s2, ws, &converted_size)) {
                SAFE_FREE(ws);
                /* Wrong answer, but what can we do... */
                return strchr(src, c);
        }
        ret = (char *)(s+strlen(s2));
-       SAFE_FREE(ws);
-       SAFE_FREE(s2);
+       TALLOC_FREE(ws);
+       TALLOC_FREE(s2);
        return ret;
 }
 
@@ -1493,25 +1256,26 @@ char *strrchr_m(const char *s, char c)
                char *s2 = NULL;
                smb_ucs2_t *p;
                char *ret;
+               size_t converted_size;
 
-               if (push_ucs2_allocate(&ws,s)==(size_t)-1) {
+               if (!push_ucs2_talloc(talloc_tos(), &ws, s, &converted_size)) {
                        /* Wrong answer, but what can we do. */
                        return strrchr(s, c);
                }
                p = strrchr_w(ws, UCS2_CHAR(c));
                if (!p) {
-                       SAFE_FREE(ws);
+                       TALLOC_FREE(ws);
                        return NULL;
                }
                *p = 0;
-               if (pull_ucs2_allocate(&s2,ws)==(size_t)-1) {
-                       SAFE_FREE(ws);
+               if (!pull_ucs2_talloc(talloc_tos(), &s2, ws, &converted_size)) {
+                       TALLOC_FREE(ws);
                        /* Wrong answer, but what can we do. */
                        return strrchr(s, c);
                }
                ret = (char *)(s+strlen(s2));
-               SAFE_FREE(ws);
-               SAFE_FREE(s2);
+               TALLOC_FREE(ws);
+               TALLOC_FREE(s2);
                return ret;
        }
 }
@@ -1527,25 +1291,26 @@ char *strnrchr_m(const char *s, char c, unsigned int n)
        char *s2 = NULL;
        smb_ucs2_t *p;
        char *ret;
+       size_t converted_size;
 
-       if (push_ucs2_allocate(&ws,s)==(size_t)-1) {
+       if (!push_ucs2_talloc(talloc_tos(), &ws, s, &converted_size)) {
                /* Too hard to try and get right. */
                return NULL;
        }
        p = strnrchr_w(ws, UCS2_CHAR(c), n);
        if (!p) {
-               SAFE_FREE(ws);
+               TALLOC_FREE(ws);
                return NULL;
        }
        *p = 0;
-       if (pull_ucs2_allocate(&s2,ws)==(size_t)-1) {
-               SAFE_FREE(ws);
+       if (!pull_ucs2_talloc(talloc_tos(), &s2, ws, &converted_size)) {
+               TALLOC_FREE(ws);
                /* Too hard to try and get right. */
                return NULL;
        }
        ret = (char *)(s+strlen(s2));
-       SAFE_FREE(ws);
-       SAFE_FREE(s2);
+       TALLOC_FREE(ws);
+       TALLOC_FREE(s2);
        return ret;
 }
 
@@ -1561,7 +1326,7 @@ char *strstr_m(const char *src, const char *findstr)
        char *s2;
        char *retp;
 
-       size_t findstr_len = 0;
+       size_t converted_size, findstr_len = 0;
 
        /* for correctness */
        if (!findstr[0]) {
@@ -1597,13 +1362,13 @@ char *strstr_m(const char *src, const char *findstr)
        s = src;
 #endif
 
-       if (push_ucs2_allocate(&src_w, src) == (size_t)-1) {
+       if (!push_ucs2_talloc(talloc_tos(), &src_w, src, &converted_size)) {
                DEBUG(0,("strstr_m: src malloc fail\n"));
                return NULL;
        }
 
-       if (push_ucs2_allocate(&find_w, findstr) == (size_t)-1) {
-               SAFE_FREE(src_w);
+       if (!push_ucs2_talloc(talloc_tos(), &find_w, findstr, &converted_size)) {
+               TALLOC_FREE(src_w);
                DEBUG(0,("strstr_m: find malloc fail\n"));
                return NULL;
        }
@@ -1611,22 +1376,22 @@ char *strstr_m(const char *src, const char *findstr)
        p = strstr_w(src_w, find_w);
 
        if (!p) {
-               SAFE_FREE(src_w);
-               SAFE_FREE(find_w);
+               TALLOC_FREE(src_w);
+               TALLOC_FREE(find_w);
                return NULL;
        }
 
        *p = 0;
-       if (pull_ucs2_allocate(&s2, src_w) == (size_t)-1) {
-               SAFE_FREE(src_w);
-               SAFE_FREE(find_w);
+       if (!pull_ucs2_talloc(talloc_tos(), &s2, src_w, &converted_size)) {
+               TALLOC_FREE(src_w);
+               TALLOC_FREE(find_w);
                DEBUG(0,("strstr_m: dest malloc fail\n"));
                return NULL;
        }
        retp = (char *)(s+strlen(s2));
-       SAFE_FREE(src_w);
-       SAFE_FREE(find_w);
-       SAFE_FREE(s2);
+       TALLOC_FREE(src_w);
+       TALLOC_FREE(find_w);
+       TALLOC_FREE(s2);
        return retp;
 }
 
@@ -1679,7 +1444,7 @@ void strupper_m(char *s)
           (ie. they match for the first 128 chars) */
 
        while (*s && !(((unsigned char)s[0]) & 0x80)) {
-               *s = toupper_ascii((unsigned char)*s);
+               *s = toupper_ascii_fast((unsigned char)*s);
                s++;
        }
 
@@ -1699,12 +1464,12 @@ void strupper_m(char *s)
 }
 
 /**
- Count the number of UCS2 characters in a string. Normally this will
- be the same as the number of bytes in a string for single byte strings,
- but will be different for multibyte.
-**/
-
-size_t strlen_m(const char *s)
+ * Calculate the number of units (8 or 16-bit, depending on the
+ * destination charset), that would be needed to convert the input
+ * string which is expected to be in in CH_UNIX encoding to the
+ * destination charset (which should be a unicode charset).
+ */
+size_t strlen_m_ext(const char *s, const charset_t dst_charset)
 {
        size_t count = 0;
 
@@ -1724,19 +1489,67 @@ size_t strlen_m(const char *s)
        while (*s) {
                size_t c_size;
                codepoint_t c = next_codepoint(s, &c_size);
-               if (c < 0x10000) {
-                       /* Unicode char fits into 16 bits. */
+               s += c_size;
+
+               switch(dst_charset) {
+               case CH_UTF16LE:
+               case CH_UTF16BE:
+               case CH_UTF16MUNGED:
+                       if (c < 0x10000) {
+                               /* Unicode char fits into 16 bits. */
+                               count += 1;
+                       } else {
+                               /* Double-width unicode char - 32 bits. */
+                               count += 2;
+                       }
+                       break;
+               case CH_UTF8:
+                       /*
+                        * this only checks ranges, and does not
+                        * check for invalid codepoints
+                        */
+                       if (c < 0x80) {
+                               count += 1;
+                       } else if (c < 0x800) {
+                               count += 2;
+                       } else if (c < 0x1000) {
+                               count += 3;
+                       } else {
+                               count += 4;
+                       }
+                       break;
+               default:
+                       /*
+                        * non-unicode encoding:
+                        * assume that each codepoint fits into
+                        * one unit in the destination encoding.
+                        */
                        count += 1;
-               } else {
-                       /* Double-width unicode char - 32 bits. */
-                       count += 2;
                }
-               s += c_size;
        }
 
        return count;
 }
 
+size_t strlen_m_ext_term(const char *s, const charset_t dst_charset)
+{
+       if (!s) {
+               return 0;
+       }
+       return strlen_m_ext(s, dst_charset) + 1;
+}
+
+/**
+ Count the number of UCS2 characters in a string. Normally this will
+ be the same as the number of bytes in a string for single byte strings,
+ but will be different for multibyte.
+**/
+
+size_t strlen_m(const char *s)
+{
+       return strlen_m_ext(s, CH_UTF16LE);
+}
+
 /**
  Count the number of UCS2 characters in a string including the null
  terminator.
@@ -1774,14 +1587,15 @@ size_t strlen_m_term_null(const char *s)
  Caller must free.
 **/
 
-char *binary_string_rfc2254(char *buf, int len)
+char *binary_string_rfc2254(TALLOC_CTX *mem_ctx, const uint8_t *buf, int len)
 {
        char *s;
        int i, j;
        const char *hex = "0123456789ABCDEF";
-       s = (char *)SMB_MALLOC(len * 3 + 1);
-       if (!s)
+       s = talloc_array(mem_ctx, char, len * 3 + 1);
+       if (s == NULL) {
                return NULL;
+       }
        for (j=i=0;i<len;i++) {
                s[j] = '\\';
                s[j+1] = hex[((unsigned char)buf[i]) >> 4];
@@ -1830,243 +1644,27 @@ int fstr_sprintf(fstring s, const char *fmt, ...)
 
 #define S_LIST_ABS 16 /* List Allocation Block Size */
 
-static char **str_list_make_internal(TALLOC_CTX *mem_ctx,
-               const char *string,
-               const char *sep)
-{
-       char **list, **rlist;
-       const char *str;
-       char *s;
-       int num, lsize;
-       char *tok;
-       TALLOC_CTX *frame = NULL;
-
-       if (!string || !*string)
-               return NULL;
-       if (mem_ctx) {
-               s = talloc_strdup(mem_ctx, string);
-       } else {
-               s = SMB_STRDUP(string);
-       }
-       if (!s) {
-               DEBUG(0,("str_list_make: Unable to allocate memory"));
-               return NULL;
-       }
-       if (!sep) sep = LIST_SEP;
-
-       num = lsize = 0;
-       list = NULL;
-
-       str = s;
-       frame = talloc_stackframe();
-       while (next_token_talloc(frame, &str, &tok, sep)) {
-               if (num == lsize) {
-                       lsize += S_LIST_ABS;
-                       if (mem_ctx) {
-                               rlist = TALLOC_REALLOC_ARRAY(mem_ctx, list,
-                                               char *, lsize +1);
-                       } else {
-                               /* We need to keep the old list on
-                                * error so we can free the elements
-                                  if the realloc fails. */
-                               rlist =SMB_REALLOC_ARRAY_KEEP_OLD_ON_ERROR(list,
-                                               char *, lsize +1);
-                       }
-                       if (!rlist) {
-                               DEBUG(0,("str_list_make: "
-                                       "Unable to allocate memory"));
-                               str_list_free(&list);
-                               if (mem_ctx) {
-                                       TALLOC_FREE(s);
-                               } else {
-                                       SAFE_FREE(s);
-                               }
-                               TALLOC_FREE(frame);
-                               return NULL;
-                       } else {
-                               list = rlist;
-                       }
-                       memset (&list[num], 0,
-                                       ((sizeof(char**)) * (S_LIST_ABS +1)));
-               }
-
-               if (mem_ctx) {
-                       list[num] = talloc_strdup(mem_ctx, tok);
-               } else {
-                       list[num] = SMB_STRDUP(tok);
-               }
-
-               if (!list[num]) {
-                       DEBUG(0,("str_list_make: Unable to allocate memory"));
-                       str_list_free(&list);
-                       if (mem_ctx) {
-                               TALLOC_FREE(s);
-                       } else {
-                               SAFE_FREE(s);
-                       }
-                       TALLOC_FREE(frame);
-                       return NULL;
-               }
-
-               num++;
-       }
-
-       TALLOC_FREE(frame);
-
-       if (mem_ctx) {
-               TALLOC_FREE(s);
-       } else {
-               SAFE_FREE(s);
-       }
-
-       return list;
-}
-
-char **str_list_make_talloc(TALLOC_CTX *mem_ctx,
-               const char *string,
-               const char *sep)
-{
-       return str_list_make_internal(mem_ctx, string, sep);
-}
-
-char **str_list_make(const char *string, const char *sep)
-{
-       return str_list_make_internal(NULL, string, sep);
-}
-
-bool str_list_copy(char ***dest, const char **src)
-{
-       char **list, **rlist;
-       int num, lsize;
-
-       *dest = NULL;
-       if (!src)
-               return false;
-
-       num = lsize = 0;
-       list = NULL;
-
-       while (src[num]) {
-               if (num == lsize) {
-                       lsize += S_LIST_ABS;
-                       rlist = SMB_REALLOC_ARRAY_KEEP_OLD_ON_ERROR(list,
-                                       char *, lsize +1);
-                       if (!rlist) {
-                               DEBUG(0,("str_list_copy: "
-                                       "Unable to re-allocate memory"));
-                               str_list_free(&list);
-                               return false;
-                       } else {
-                               list = rlist;
-                       }
-                       memset (&list[num], 0,
-                                       ((sizeof(char **)) * (S_LIST_ABS +1)));
-               }
-
-               list[num] = SMB_STRDUP(src[num]);
-               if (!list[num]) {
-                       DEBUG(0,("str_list_copy: Unable to allocate memory"));
-                       str_list_free(&list);
-                       return false;
-               }
-
-               num++;
-       }
-
-       *dest = list;
-       return true;
-}
-
-/**
- * Return true if all the elements of the list match exactly.
- **/
-bool str_list_compare(char **list1, char **list2)
-{
-       int num;
-
-       if (!list1 || !list2)
-               return (list1 == list2);
-
-       for (num = 0; list1[num]; num++) {
-               if (!list2[num])
-                       return false;
-               if (!strcsequal(list1[num], list2[num]))
-                       return false;
-       }
-       if (list2[num])
-               return false; /* if list2 has more elements than list1 fail */
-
-       return true;
-}
-
-static void str_list_free_internal(TALLOC_CTX *mem_ctx, char ***list)
-{
-       char **tlist;
-
-       if (!list || !*list)
-               return;
-       tlist = *list;
-       for(; *tlist; tlist++) {
-               if (mem_ctx) {
-                       TALLOC_FREE(*tlist);
-               } else {
-                       SAFE_FREE(*tlist);
-               }
-       }
-       if (mem_ctx) {
-               TALLOC_FREE(*tlist);
-       } else {
-               SAFE_FREE(*list);
-       }
-}
-
-void str_list_free_talloc(TALLOC_CTX *mem_ctx, char ***list)
-{
-       str_list_free_internal(mem_ctx, list);
-}
-
-void str_list_free(char ***list)
-{
-       str_list_free_internal(NULL, list);
-}
-
-/******************************************************************************
- *****************************************************************************/
-
-int str_list_count( const char **list )
-{
-       int i = 0;
-
-       if ( ! list )
-               return 0;
-
-       /* count the number of list members */
-
-       for ( i=0; *list; i++, list++ );
-
-       return i;
-}
-
 /******************************************************************************
- version of standard_sub_basic() for string lists; uses alloc_sub_basic()
+ version of standard_sub_basic() for string lists; uses talloc_sub_basic()
  for the work
  *****************************************************************************/
 
 bool str_list_sub_basic( char **list, const char *smb_name,
                         const char *domain_name )
 {
+       TALLOC_CTX *ctx = list;
        char *s, *tmpstr;
 
        while ( *list ) {
                s = *list;
-               tmpstr = alloc_sub_basic(smb_name, domain_name, s);
+               tmpstr = talloc_sub_basic(ctx, smb_name, domain_name, s);
                if ( !tmpstr ) {
                        DEBUG(0,("str_list_sub_basic: "
                                "alloc_sub_basic() return NULL!\n"));
                        return false;
                }
 
-               SAFE_FREE(*list);
+               TALLOC_FREE(*list);
                *list = tmpstr;
 
                list++;
@@ -2076,11 +1674,12 @@ bool str_list_sub_basic( char **list, const char *smb_name,
 }
 
 /******************************************************************************
- substritute a specific pattern in a string list
+ substitute a specific pattern in a string list
  *****************************************************************************/
 
 bool str_list_substitute(char **list, const char *pattern, const char *insert)
 {
+       TALLOC_CTX *ctx = list;
        char *p, *s, *t;
        ssize_t ls, lp, li, ld, i, d;
 
@@ -2103,7 +1702,7 @@ bool str_list_substitute(char **list, const char *pattern, const char *insert)
                        t = *list;
                        d = p -t;
                        if (ld) {
-                               t = (char *) SMB_MALLOC(ls +ld +1);
+                               t = TALLOC_ARRAY(ctx, char, ls +ld +1);
                                if (!t) {
                                        DEBUG(0,("str_list_substitute: "
                                                "Unable to allocate memory"));
@@ -2111,7 +1710,7 @@ bool str_list_substitute(char **list, const char *pattern, const char *insert)
                                }
                                memcpy(t, *list, d);
                                memcpy(t +d +li, p +lp, ls -d -lp +1);
-                               SAFE_FREE(*list);
+                               TALLOC_FREE(*list);
                                *list = t;
                                ls += ld;
                                s = t +d +li;
@@ -2162,6 +1761,7 @@ static char *ipstr_list_add(char **ipstr_list, const struct ip_service *service)
 {
        char *new_ipstr = NULL;
        char addr_buf[INET6_ADDRSTRLEN];
+       int ret;
 
        /* arguments checking */
        if (!ipstr_list || !service) {
@@ -2176,33 +1776,30 @@ static char *ipstr_list_add(char **ipstr_list, const struct ip_service *service)
        if (*ipstr_list) {
                if (service->ss.ss_family == AF_INET) {
                        /* IPv4 */
-                       asprintf(&new_ipstr, "%s%s%s:%d",
-                                       *ipstr_list,
-                                       IPSTR_LIST_SEP,
-                                       addr_buf,
-                                       service->port);
+                       ret = asprintf(&new_ipstr, "%s%s%s:%d", *ipstr_list,
+                                      IPSTR_LIST_SEP, addr_buf,
+                                      service->port);
                } else {
                        /* IPv6 */
-                       asprintf(&new_ipstr, "%s%s[%s]:%d",
-                                       *ipstr_list,
-                                       IPSTR_LIST_SEP,
-                                       addr_buf,
-                                       service->port);
+                       ret = asprintf(&new_ipstr, "%s%s[%s]:%d", *ipstr_list,
+                                      IPSTR_LIST_SEP, addr_buf,
+                                      service->port);
                }
                SAFE_FREE(*ipstr_list);
        } else {
                if (service->ss.ss_family == AF_INET) {
                        /* IPv4 */
-                       asprintf(&new_ipstr, "%s:%d",
-                               addr_buf,
-                               service->port);
+                       ret = asprintf(&new_ipstr, "%s:%d", addr_buf,
+                                      service->port);
                } else {
                        /* IPv6 */
-                       asprintf(&new_ipstr, "[%s]:%d",
-                               addr_buf,
-                               service->port);
+                       ret = asprintf(&new_ipstr, "[%s]:%d", addr_buf,
+                                      service->port);
                }
        }
+       if (ret == -1) {
+               return NULL;
+       }
        *ipstr_list = new_ipstr;
        return *ipstr_list;
 }
@@ -2247,7 +1844,7 @@ char *ipstr_list_make(char **ipstr_list,
  * @param ipstr ip string list to be parsed
  * @param ip_list pointer to array of ip addresses which is
  *        allocated by this function and must be freed by caller
- * @return number of succesfully parsed addresses
+ * @return number of successfully parsed addresses
  **/
 
 int ipstr_list_parse(const char *ipstr_list, struct ip_service **ip_list)
@@ -2309,41 +1906,6 @@ void ipstr_list_free(char* ipstr_list)
        SAFE_FREE(ipstr_list);
 }
 
-/**
- Unescape a URL encoded string, in place.
-**/
-
-void rfc1738_unescape(char *buf)
-{
-       char *p=buf;
-
-       while (p && *p && (p=strchr_m(p,'%'))) {
-               int c1 = p[1];
-               int c2 = p[2];
-
-               if (c1 >= '0' && c1 <= '9')
-                       c1 = c1 - '0';
-               else if (c1 >= 'A' && c1 <= 'F')
-                       c1 = 10 + c1 - 'A';
-               else if (c1 >= 'a' && c1 <= 'f')
-                       c1 = 10 + c1 - 'a';
-               else {p++; continue;}
-
-               if (c2 >= '0' && c2 <= '9')
-                       c2 = c2 - '0';
-               else if (c2 >= 'A' && c2 <= 'F')
-                       c2 = 10 + c2 - 'A';
-               else if (c2 >= 'a' && c2 <= 'f')
-                       c2 = 10 + c2 - 'a';
-               else {p++; continue;}
-
-               *p = (c1<<4) | c2;
-
-               memmove(p+1, p+3, strlen(p+3)+1);
-               p++;
-       }
-}
-
 static const char b64[] = "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/";
 
 /**
@@ -2404,13 +1966,13 @@ void base64_decode_inplace(char *s)
 }
 
 /**
- * Encode a base64 string into a malloc()ed string caller to free.
+ * Encode a base64 string into a talloc()ed string caller to free.
  *
  * From SQUID: adopted from http://ftp.sunet.se/pub2/gnu/vm/base64-encode.c
  * with adjustments
  **/
 
-char *base64_encode_data_blob(DATA_BLOB data)
+char *base64_encode_data_blob(TALLOC_CTX *mem_ctx, DATA_BLOB data)
 {
        int bits = 0;
        int char_count = 0;
@@ -2422,11 +1984,13 @@ char *base64_encode_data_blob(DATA_BLOB data)
 
        out_cnt = 0;
        len = data.length;
-       output_len = data.length * 2;
-       result = TALLOC_ARRAY(talloc_tos(), char, output_len); /* get us plenty of space */
+       output_len = data.length * 2 + 4; /* Account for closing bytes. 4 is
+                                          * random but should be enough for
+                                          * the = and \0 */
+       result = TALLOC_ARRAY(mem_ctx, char, output_len); /* get us plenty of space */
        SMB_ASSERT(result != NULL);
 
-       while (len-- && out_cnt < (data.length * 2) - 5) {
+       while (len--) {
                int c = (unsigned char) *(data.data++);
                bits += c;
                char_count++;
@@ -2458,10 +2022,10 @@ char *base64_encode_data_blob(DATA_BLOB data)
 }
 
 /* read a SMB_BIG_UINT from a string */
-SMB_BIG_UINT STR_TO_SMB_BIG_UINT(const char *nptr, const char **entptr)
+uint64_t STR_TO_SMB_BIG_UINT(const char *nptr, const char **entptr)
 {
 
-       SMB_BIG_UINT val = -1;
+       uint64_t val = -1;
        const char *p = nptr;
 
        if (!p) {
@@ -2474,11 +2038,7 @@ SMB_BIG_UINT STR_TO_SMB_BIG_UINT(const char *nptr, const char **entptr)
        while (*p && isspace(*p))
                p++;
 
-#ifdef LARGE_SMB_OFF_T
-       sscanf(p,"%llu",&val);
-#else /* LARGE_SMB_OFF_T */
-       sscanf(p,"%lu",&val);
-#endif /* LARGE_SMB_OFF_T */
+       sscanf(p,"%"PRIu64,&val);
        if (entptr) {
                while (*p && isdigit(*p))
                        p++;
@@ -2690,6 +2250,23 @@ char *talloc_asprintf_strupper_m(TALLOC_CTX *t, const char *fmt, ...)
        return ret;
 }
 
+char *talloc_asprintf_strlower_m(TALLOC_CTX *t, const char *fmt, ...)
+{
+       va_list ap;
+       char *ret;
+
+       va_start(ap, fmt);
+       ret = talloc_vasprintf(t, fmt, ap);
+       va_end(ap);
+
+       if (ret == NULL) {
+               return NULL;
+       }
+       strlower_m(ret);
+       return ret;
+}
+
+
 /*
    Returns the substring from src between the first occurrence of
    the char "front" and the first occurence of the char "back".
@@ -2728,6 +2305,10 @@ bool validate_net_name( const char *name,
 {
        int i;
 
+       if (!name) {
+               return false;
+       }
+
        for ( i=0; i<max_len && name[i]; i++ ) {
                /* fail if strchr_m() finds one of the invalid characters */
                if ( name[i] && strchr_m( invalid_chars, name[i] ) ) {
@@ -2739,54 +2320,6 @@ bool validate_net_name( const char *name,
 }
 
 
-/**
-return the number of bytes occupied by a buffer in ASCII format
-the result includes the null termination
-limited by 'n' bytes
-**/
-size_t ascii_len_n(const char *src, size_t n)
-{
-       size_t len;
-
-       len = strnlen(src, n);
-       if (len+1 <= n) {
-               len += 1;
-       }
-
-       return len;
-}
-
-/**
-return the number of bytes occupied by a buffer in CH_UTF16 format
-the result includes the null termination
-**/
-size_t utf16_len(const void *buf)
-{
-       size_t len;
-
-       for (len = 0; SVAL(buf,len); len += 2) ;
-
-       return len + 2;
-}
-
-/**
-return the number of bytes occupied by a buffer in CH_UTF16 format
-the result includes the null termination
-limited by 'n' bytes
-**/
-size_t utf16_len_n(const void *src, size_t n)
-{
-       size_t len;
-
-       for (len = 0; (len+2 < n) && SVAL(src, len); len += 2) ;
-
-       if (len+2 <= n) {
-               len += 2;
-       }
-
-       return len;
-}
-
 /*******************************************************************
  Add a shell escape character '\' to any character not in a known list
  of characters. UNIX charset format.
@@ -2950,3 +2483,71 @@ char *escape_shell_string(const char *src)
        *dest++ = '\0';
        return ret;
 }
+
+/***************************************************
+ str_list_make, v3 version. The v4 version does not
+ look at quoted strings with embedded blanks, so
+ do NOT merge this function please!
+***************************************************/
+
+#define S_LIST_ABS 16 /* List Allocation Block Size */
+
+char **str_list_make_v3(TALLOC_CTX *mem_ctx, const char *string,
+       const char *sep)
+{
+       char **list;
+       const char *str;
+       char *s, *tok;
+       int num, lsize;
+
+       if (!string || !*string)
+               return NULL;
+
+       list = TALLOC_ARRAY(mem_ctx, char *, S_LIST_ABS+1);
+       if (list == NULL) {
+               return NULL;
+       }
+       lsize = S_LIST_ABS;
+
+       s = talloc_strdup(list, string);
+       if (s == NULL) {
+               DEBUG(0,("str_list_make: Unable to allocate memory"));
+               TALLOC_FREE(list);
+               return NULL;
+       }
+       if (!sep) sep = LIST_SEP;
+
+       num = 0;
+       str = s;
+
+       while (next_token_talloc(list, &str, &tok, sep)) {
+
+               if (num == lsize) {
+                       char **tmp;
+
+                       lsize += S_LIST_ABS;
+
+                       tmp = TALLOC_REALLOC_ARRAY(mem_ctx, list, char *,
+                                                  lsize + 1);
+                       if (tmp == NULL) {
+                               DEBUG(0,("str_list_make: "
+                                       "Unable to allocate memory"));
+                               TALLOC_FREE(list);
+                               return NULL;
+                       }
+
+                       list = tmp;
+
+                       memset (&list[num], 0,
+                               ((sizeof(char**)) * (S_LIST_ABS +1)));
+               }
+
+               list[num] = tok;
+               num += 1;
+       }
+
+       list[num] = NULL;
+
+       TALLOC_FREE(s);
+       return list;
+}