Second part of fix for bug #7781 - Samba transforms ShareName to lowercase (sharename...
[samba.git] / source3 / lib / util_str.c
index 7cb57adbb59acabc906e6030ca6769b35d90d59c..c98bebe21c129144bad7825ed7ecfcc60a189780 100644 (file)
@@ -24,7 +24,7 @@
 
 #include "includes.h"
 
-char toupper_ascii_fast_table[128] = {
+const char toupper_ascii_fast_table[128] = {
        0x0, 0x1, 0x2, 0x3, 0x4, 0x5, 0x6, 0x7, 0x8, 0x9, 0xa, 0xb, 0xc, 0xd, 0xe, 0xf,
        0x10, 0x11, 0x12, 0x13, 0x14, 0x15, 0x16, 0x17, 0x18, 0x19, 0x1a, 0x1b, 0x1c, 0x1d, 0x1e, 0x1f,
        0x20, 0x21, 0x22, 0x23, 0x24, 0x25, 0x26, 0x27, 0x28, 0x29, 0x2a, 0x2b, 0x2c, 0x2d, 0x2e, 0x2f,
@@ -35,118 +35,6 @@ char toupper_ascii_fast_table[128] = {
        0x50, 0x51, 0x52, 0x53, 0x54, 0x55, 0x56, 0x57, 0x58, 0x59, 0x5a, 0x7b, 0x7c, 0x7d, 0x7e, 0x7f
 };
 
-/**
- * @file
- * @brief String utilities.
- **/
-
-static bool next_token_internal_talloc(TALLOC_CTX *ctx,
-                               const char **ptr,
-                                char **pp_buff,
-                                const char *sep,
-                                bool ltrim)
-{
-       char *s;
-       char *saved_s;
-       char *pbuf;
-       bool quoted;
-       size_t len=1;
-
-       *pp_buff = NULL;
-       if (!ptr) {
-               return(false);
-       }
-
-       s = (char *)*ptr;
-
-       /* default to simple separators */
-       if (!sep) {
-               sep = " \t\n\r";
-       }
-
-       /* find the first non sep char, if left-trimming is requested */
-       if (ltrim) {
-               while (*s && strchr_m(sep,*s)) {
-                       s++;
-               }
-       }
-
-       /* nothing left? */
-       if (!*s) {
-               return false;
-       }
-
-       /* When restarting we need to go from here. */
-       saved_s = s;
-
-       /* Work out the length needed. */
-       for (quoted = false; *s &&
-                       (quoted || !strchr_m(sep,*s)); s++) {
-               if (*s == '\"') {
-                       quoted = !quoted;
-               } else {
-                       len++;
-               }
-       }
-
-       /* We started with len = 1 so we have space for the nul. */
-       *pp_buff = TALLOC_ARRAY(ctx, char, len);
-       if (!*pp_buff) {
-               return false;
-       }
-
-       /* copy over the token */
-       pbuf = *pp_buff;
-       s = saved_s;
-       for (quoted = false; *s &&
-                       (quoted || !strchr_m(sep,*s)); s++) {
-               if ( *s == '\"' ) {
-                       quoted = !quoted;
-               } else {
-                       *pbuf++ = *s;
-               }
-       }
-
-       *ptr = (*s) ? s+1 : s;
-       *pbuf = 0;
-
-       return true;
-}
-
-#if 0
-/*
- * Get the next token from a string, return false if none found.  Handles
- * double-quotes.  This version trims leading separator characters before
- * looking for a token.
- */
-bool next_token(const char **ptr, char *buff, const char *sep, size_t bufsize)
-{
-       return next_token_internal(ptr, buff, sep, bufsize, true);
-}
-#endif
-
-bool next_token_talloc(TALLOC_CTX *ctx,
-                       const char **ptr,
-                       char **pp_buff,
-                       const char *sep)
-{
-       return next_token_internal_talloc(ctx, ptr, pp_buff, sep, true);
-}
-
-/*
- * Get the next token from a string, return false if none found.  Handles
- * double-quotes.  This version does not trim leading separator characters
- * before looking for a token.
- */
-
-bool next_token_no_ltrim_talloc(TALLOC_CTX *ctx,
-                       const char **ptr,
-                       char **pp_buff,
-                       const char *sep)
-{
-       return next_token_internal_talloc(ctx, ptr, pp_buff, sep, false);
-}
-
 /**
  * Case insensitive string compararison.
  *
@@ -208,15 +96,15 @@ int StrCaseCmp(const char *s, const char *t)
                        return +1;
        }
 
-       if (!push_ucs2_allocate(&buffer_s, ps, &size)) {
+       if (!push_ucs2_talloc(talloc_tos(), &buffer_s, ps, &size)) {
                return strcmp(ps, pt);
                /* Not quite the right answer, but finding the right one
                   under this failure case is expensive, and it's pretty
                   close */
        }
 
-       if (!push_ucs2_allocate(&buffer_t, pt, &size)) {
-               SAFE_FREE(buffer_s);
+       if (!push_ucs2_talloc(talloc_tos(), &buffer_t, pt, &size)) {
+               TALLOC_FREE(buffer_s);
                return strcmp(ps, pt);
                /* Not quite the right answer, but finding the right one
                   under this failure case is expensive, and it's pretty
@@ -224,8 +112,8 @@ int StrCaseCmp(const char *s, const char *t)
        }
 
        ret = strcasecmp_w(buffer_s, buffer_t);
-       SAFE_FREE(buffer_s);
-       SAFE_FREE(buffer_t);
+       TALLOC_FREE(buffer_s);
+       TALLOC_FREE(buffer_t);
        return ret;
 }
 
@@ -269,15 +157,15 @@ int StrnCaseCmp(const char *s, const char *t, size_t len)
                return 0;
        }
 
-       if (!push_ucs2_allocate(&buffer_s, ps, &size)) {
+       if (!push_ucs2_talloc(talloc_tos(), &buffer_s, ps, &size)) {
                return strncmp(ps, pt, len-n);
                /* Not quite the right answer, but finding the right one
                   under this failure case is expensive,
                   and it's pretty close */
        }
 
-       if (!push_ucs2_allocate(&buffer_t, pt, &size)) {
-               SAFE_FREE(buffer_s);
+       if (!push_ucs2_talloc(talloc_tos(), &buffer_t, pt, &size)) {
+               TALLOC_FREE(buffer_s);
                return strncmp(ps, pt, len-n);
                /* Not quite the right answer, but finding the right one
                   under this failure case is expensive,
@@ -285,8 +173,8 @@ int StrnCaseCmp(const char *s, const char *t, size_t len)
        }
 
        ret = strncasecmp_w(buffer_s, buffer_t, len-n);
-       SAFE_FREE(buffer_s);
-       SAFE_FREE(buffer_t);
+       TALLOC_FREE(buffer_s);
+       TALLOC_FREE(buffer_t);
        return ret;
 }
 
@@ -478,11 +366,11 @@ size_t str_charnum(const char *s)
 {
        size_t ret, converted_size;
        smb_ucs2_t *tmpbuf2 = NULL;
-       if (!push_ucs2_allocate(&tmpbuf2, s, &converted_size)) {
+       if (!push_ucs2_talloc(talloc_tos(), &tmpbuf2, s, &converted_size)) {
                return 0;
        }
        ret = strlen_w(tmpbuf2);
-       SAFE_FREE(tmpbuf2);
+       TALLOC_FREE(tmpbuf2);
        return ret;
 }
 
@@ -496,11 +384,11 @@ size_t str_ascii_charnum(const char *s)
 {
        size_t ret, converted_size;
        char *tmpbuf2 = NULL;
-       if (!push_ascii_allocate(&tmpbuf2, s, &converted_size)) {
+       if (!push_ascii_talloc(talloc_tos(), &tmpbuf2, s, &converted_size)) {
                return 0;
        }
        ret = strlen(tmpbuf2);
-       SAFE_FREE(tmpbuf2);
+       TALLOC_FREE(tmpbuf2);
        return ret;
 }
 
@@ -557,47 +445,6 @@ bool trim_char(char *s,char cfront,char cback)
        return ret;
 }
 
-/**
- Trim the specified elements off the front and back of a string.
-**/
-
-bool trim_string(char *s,const char *front,const char *back)
-{
-       bool ret = false;
-       size_t front_len;
-       size_t back_len;
-       size_t len;
-
-       /* Ignore null or empty strings. */
-       if (!s || (s[0] == '\0'))
-               return false;
-
-       front_len       = front? strlen(front) : 0;
-       back_len        = back? strlen(back) : 0;
-
-       len = strlen(s);
-
-       if (front_len) {
-               while (len && strncmp(s, front, front_len)==0) {
-                       /* Must use memmove here as src & dest can
-                        * easily overlap. Found by valgrind. JRA. */
-                       memmove(s, s+front_len, (len-front_len)+1);
-                       len -= front_len;
-                       ret=true;
-               }
-       }
-
-       if (back_len) {
-               while ((len >= back_len) &&
-                               strncmp(s+len-back_len,back,back_len)==0) {
-                       s[len-back_len]='\0';
-                       len -= back_len;
-                       ret=true;
-               }
-       }
-       return ret;
-}
-
 /**
  Does a string have any uppercase chars in it?
 **/
@@ -608,7 +455,7 @@ bool strhasupper(const char *s)
        bool ret;
        size_t converted_size;
 
-       if (!push_ucs2_allocate(&tmp, s, &converted_size)) {
+       if (!push_ucs2_talloc(talloc_tos(), &tmp, s, &converted_size)) {
                return false;
        }
 
@@ -619,7 +466,7 @@ bool strhasupper(const char *s)
        }
 
        ret = (*p != 0);
-       SAFE_FREE(tmp);
+       TALLOC_FREE(tmp);
        return ret;
 }
 
@@ -633,7 +480,7 @@ bool strhaslower(const char *s)
        bool ret;
        size_t converted_size;
 
-       if (!push_ucs2_allocate(&tmp, s, &converted_size)) {
+       if (!push_ucs2_talloc(talloc_tos(), &tmp, s, &converted_size)) {
                return false;
        }
 
@@ -644,33 +491,10 @@ bool strhaslower(const char *s)
        }
 
        ret = (*p != 0);
-       SAFE_FREE(tmp);
+       TALLOC_FREE(tmp);
        return ret;
 }
 
-/**
- Find the number of 'c' chars in a string
-**/
-
-size_t count_chars(const char *s,char c)
-{
-       smb_ucs2_t *ptr;
-       int count;
-       smb_ucs2_t *alloc_tmpbuf = NULL;
-       size_t converted_size;
-
-       if (!push_ucs2_allocate(&alloc_tmpbuf, s, &converted_size)) {
-               return 0;
-       }
-
-       for(count=0,ptr=alloc_tmpbuf;*ptr;ptr++)
-               if(*ptr==UCS2_CHAR(c))
-                       count++;
-
-       SAFE_FREE(alloc_tmpbuf);
-       return(count);
-}
-
 /**
  Safe string copy into a known length string. maxlength does not
  include the terminating zero.
@@ -690,6 +514,10 @@ char *safe_strcpy_fn(const char *fn,
                return NULL;
        }
 
+       if (src == dest) {
+               return dest;
+       }
+
 #ifdef DEVELOPER
        clobber_region(fn,line,dest, maxlength+1);
 #endif
@@ -762,7 +590,9 @@ char *safe_strcat_fn(const char *fn,
  Paranoid strcpy into a buffer of given length (includes terminating
  zero. Strips out all but 'a-Z0-9' and the character in other_safe_chars
  and replaces with '_'. Deliberately does *NOT* check for multibyte
- characters. Don't change it !
+ characters. Treats src as an array of bytes, not as a multibyte
+ string. Any byte >0x7f is automatically converted to '_'.
+ other_safe_chars must also contain an ascii string (bytes<0x7f).
 **/
 
 char *alpha_strcpy_fn(const char *fn,
@@ -798,8 +628,12 @@ char *alpha_strcpy_fn(const char *fn,
 
        for(i = 0; i < len; i++) {
                int val = (src[i] & 0xff);
-               if (isupper_ascii(val) || islower_ascii(val) ||
-                               isdigit(val) || strchr_m(other_safe_chars, val))
+               if (val > 0x7f) {
+                       dest[i] = '_';
+                       continue;
+               }
+               if (isupper(val) || islower(val) ||
+                               isdigit(val) || strchr(other_safe_chars, val))
                        dest[i] = src[i];
                else
                        dest[i] = '_';
@@ -870,88 +704,6 @@ static char *strncpyn(char *dest, const char *src, size_t n, char c)
 }
 #endif
 
-/**
- Routine to get hex characters and turn them into a 16 byte array.
- the array can be variable length, and any non-hex-numeric
- characters are skipped.  "0xnn" or "0Xnn" is specially catered
- for.
-
- valid examples: "0A5D15"; "0x15, 0x49, 0xa2"; "59\ta9\te3\n"
-
-**/
-
-size_t strhex_to_str(char *buf, size_t buf_len, const char *strhex, size_t strhex_len)
-{
-       size_t i;
-       size_t num_chars = 0;
-       unsigned char   lonybble, hinybble;
-       const char     *hexchars = "0123456789ABCDEF";
-       char           *p1 = NULL, *p2 = NULL;
-
-       for (i = 0; i < strhex_len && strhex[i] != 0; i++) {
-               if (strnequal(hexchars, "0x", 2)) {
-                       i++; /* skip two chars */
-                       continue;
-               }
-
-               if (!(p1 = strchr_m(hexchars, toupper_ascii(strhex[i]))))
-                       break;
-
-               i++; /* next hex digit */
-
-               if (!(p2 = strchr_m(hexchars, toupper_ascii(strhex[i]))))
-                       break;
-
-               /* get the two nybbles */
-               hinybble = PTR_DIFF(p1, hexchars);
-               lonybble = PTR_DIFF(p2, hexchars);
-
-               if (num_chars >= buf_len) {
-                       break;
-               }
-               buf[num_chars] = (hinybble << 4) | lonybble;
-               num_chars++;
-
-               p1 = NULL;
-               p2 = NULL;
-       }
-       return num_chars;
-}
-
-DATA_BLOB strhex_to_data_blob(TALLOC_CTX *mem_ctx, const char *strhex)
-{
-       DATA_BLOB ret_blob;
-
-       if (mem_ctx != NULL)
-               ret_blob = data_blob_talloc(mem_ctx, NULL, strlen(strhex)/2+1);
-       else
-               ret_blob = data_blob(NULL, strlen(strhex)/2+1);
-
-       ret_blob.length = strhex_to_str((char*)ret_blob.data,
-                                       ret_blob.length,
-                                       strhex,
-                                       strlen(strhex));
-
-       return ret_blob;
-}
-
-/**
- * Routine to print a buffer as HEX digits, into an allocated string.
- */
-
-char *hex_encode(TALLOC_CTX *mem_ctx, const unsigned char *buff_in, size_t len)
-{
-       int i;
-       char *hex_buffer;
-
-       hex_buffer = TALLOC_ARRAY(mem_ctx, char, (len*2)+1);
-
-       for (i = 0; i < len; i++)
-               slprintf(&hex_buffer[i*2], 3, "%02X", buff_in[i]);
-
-       return hex_buffer;
-}
-
 /**
  Check if a string is part of a list.
 **/
@@ -1230,7 +982,7 @@ char *talloc_string_sub2(TALLOC_CTX *mem_ctx, const char *src,
        char *string;
        ssize_t ls,lp,li,ld, i;
 
-       if (!insert || !pattern || !*pattern || !src || !*src) {
+       if (!insert || !pattern || !*pattern || !src) {
                return NULL;
        }
 
@@ -1435,24 +1187,24 @@ char *strchr_m(const char *src, char c)
        s = src;
 #endif
 
-       if (!push_ucs2_allocate(&ws, s, &converted_size)) {
+       if (!push_ucs2_talloc(talloc_tos(), &ws, s, &converted_size)) {
                /* Wrong answer, but what can we do... */
                return strchr(src, c);
        }
        p = strchr_w(ws, UCS2_CHAR(c));
        if (!p) {
-               SAFE_FREE(ws);
+               TALLOC_FREE(ws);
                return NULL;
        }
        *p = 0;
-       if (!pull_ucs2_allocate(&s2, ws, &converted_size)) {
+       if (!pull_ucs2_talloc(talloc_tos(), &s2, ws, &converted_size)) {
                SAFE_FREE(ws);
                /* Wrong answer, but what can we do... */
                return strchr(src, c);
        }
        ret = (char *)(s+strlen(s2));
-       SAFE_FREE(ws);
-       SAFE_FREE(s2);
+       TALLOC_FREE(ws);
+       TALLOC_FREE(s2);
        return ret;
 }
 
@@ -1506,24 +1258,24 @@ char *strrchr_m(const char *s, char c)
                char *ret;
                size_t converted_size;
 
-               if (!push_ucs2_allocate(&ws, s, &converted_size)) {
+               if (!push_ucs2_talloc(talloc_tos(), &ws, s, &converted_size)) {
                        /* Wrong answer, but what can we do. */
                        return strrchr(s, c);
                }
                p = strrchr_w(ws, UCS2_CHAR(c));
                if (!p) {
-                       SAFE_FREE(ws);
+                       TALLOC_FREE(ws);
                        return NULL;
                }
                *p = 0;
-               if (!pull_ucs2_allocate(&s2, ws, &converted_size)) {
-                       SAFE_FREE(ws);
+               if (!pull_ucs2_talloc(talloc_tos(), &s2, ws, &converted_size)) {
+                       TALLOC_FREE(ws);
                        /* Wrong answer, but what can we do. */
                        return strrchr(s, c);
                }
                ret = (char *)(s+strlen(s2));
-               SAFE_FREE(ws);
-               SAFE_FREE(s2);
+               TALLOC_FREE(ws);
+               TALLOC_FREE(s2);
                return ret;
        }
 }
@@ -1541,24 +1293,24 @@ char *strnrchr_m(const char *s, char c, unsigned int n)
        char *ret;
        size_t converted_size;
 
-       if (!push_ucs2_allocate(&ws, s, &converted_size)) {
+       if (!push_ucs2_talloc(talloc_tos(), &ws, s, &converted_size)) {
                /* Too hard to try and get right. */
                return NULL;
        }
        p = strnrchr_w(ws, UCS2_CHAR(c), n);
        if (!p) {
-               SAFE_FREE(ws);
+               TALLOC_FREE(ws);
                return NULL;
        }
        *p = 0;
-       if (!pull_ucs2_allocate(&s2, ws, &converted_size)) {
-               SAFE_FREE(ws);
+       if (!pull_ucs2_talloc(talloc_tos(), &s2, ws, &converted_size)) {
+               TALLOC_FREE(ws);
                /* Too hard to try and get right. */
                return NULL;
        }
        ret = (char *)(s+strlen(s2));
-       SAFE_FREE(ws);
-       SAFE_FREE(s2);
+       TALLOC_FREE(ws);
+       TALLOC_FREE(s2);
        return ret;
 }
 
@@ -1610,13 +1362,13 @@ char *strstr_m(const char *src, const char *findstr)
        s = src;
 #endif
 
-       if (!push_ucs2_allocate(&src_w, src, &converted_size)) {
+       if (!push_ucs2_talloc(talloc_tos(), &src_w, src, &converted_size)) {
                DEBUG(0,("strstr_m: src malloc fail\n"));
                return NULL;
        }
 
-       if (!push_ucs2_allocate(&find_w, findstr, &converted_size)) {
-               SAFE_FREE(src_w);
+       if (!push_ucs2_talloc(talloc_tos(), &find_w, findstr, &converted_size)) {
+               TALLOC_FREE(src_w);
                DEBUG(0,("strstr_m: find malloc fail\n"));
                return NULL;
        }
@@ -1624,22 +1376,22 @@ char *strstr_m(const char *src, const char *findstr)
        p = strstr_w(src_w, find_w);
 
        if (!p) {
-               SAFE_FREE(src_w);
-               SAFE_FREE(find_w);
+               TALLOC_FREE(src_w);
+               TALLOC_FREE(find_w);
                return NULL;
        }
 
        *p = 0;
-       if (!pull_ucs2_allocate(&s2, src_w, &converted_size)) {
-               SAFE_FREE(src_w);
-               SAFE_FREE(find_w);
+       if (!pull_ucs2_talloc(talloc_tos(), &s2, src_w, &converted_size)) {
+               TALLOC_FREE(src_w);
+               TALLOC_FREE(find_w);
                DEBUG(0,("strstr_m: dest malloc fail\n"));
                return NULL;
        }
        retp = (char *)(s+strlen(s2));
-       SAFE_FREE(src_w);
-       SAFE_FREE(find_w);
-       SAFE_FREE(s2);
+       TALLOC_FREE(src_w);
+       TALLOC_FREE(find_w);
+       TALLOC_FREE(s2);
        return retp;
 }
 
@@ -1712,12 +1464,12 @@ void strupper_m(char *s)
 }
 
 /**
- Count the number of UCS2 characters in a string. Normally this will
- be the same as the number of bytes in a string for single byte strings,
- but will be different for multibyte.
-**/
-
-size_t strlen_m(const char *s)
+ * Calculate the number of units (8 or 16-bit, depending on the
+ * destination charset), that would be needed to convert the input
+ * string which is expected to be in in CH_UNIX encoding to the
+ * destination charset (which should be a unicode charset).
+ */
+size_t strlen_m_ext(const char *s, const charset_t dst_charset)
 {
        size_t count = 0;
 
@@ -1737,19 +1489,67 @@ size_t strlen_m(const char *s)
        while (*s) {
                size_t c_size;
                codepoint_t c = next_codepoint(s, &c_size);
-               if (c < 0x10000) {
-                       /* Unicode char fits into 16 bits. */
+               s += c_size;
+
+               switch(dst_charset) {
+               case CH_UTF16LE:
+               case CH_UTF16BE:
+               case CH_UTF16MUNGED:
+                       if (c < 0x10000) {
+                               /* Unicode char fits into 16 bits. */
+                               count += 1;
+                       } else {
+                               /* Double-width unicode char - 32 bits. */
+                               count += 2;
+                       }
+                       break;
+               case CH_UTF8:
+                       /*
+                        * this only checks ranges, and does not
+                        * check for invalid codepoints
+                        */
+                       if (c < 0x80) {
+                               count += 1;
+                       } else if (c < 0x800) {
+                               count += 2;
+                       } else if (c < 0x1000) {
+                               count += 3;
+                       } else {
+                               count += 4;
+                       }
+                       break;
+               default:
+                       /*
+                        * non-unicode encoding:
+                        * assume that each codepoint fits into
+                        * one unit in the destination encoding.
+                        */
                        count += 1;
-               } else {
-                       /* Double-width unicode char - 32 bits. */
-                       count += 2;
                }
-               s += c_size;
        }
 
        return count;
 }
 
+size_t strlen_m_ext_term(const char *s, const charset_t dst_charset)
+{
+       if (!s) {
+               return 0;
+       }
+       return strlen_m_ext(s, dst_charset) + 1;
+}
+
+/**
+ Count the number of UCS2 characters in a string. Normally this will
+ be the same as the number of bytes in a string for single byte strings,
+ but will be different for multibyte.
+**/
+
+size_t strlen_m(const char *s)
+{
+       return strlen_m_ext(s, CH_UTF16LE);
+}
+
 /**
  Count the number of UCS2 characters in a string including the null
  terminator.
@@ -1787,14 +1587,15 @@ size_t strlen_m_term_null(const char *s)
  Caller must free.
 **/
 
-char *binary_string_rfc2254(char *buf, int len)
+char *binary_string_rfc2254(TALLOC_CTX *mem_ctx, const uint8_t *buf, int len)
 {
        char *s;
        int i, j;
        const char *hex = "0123456789ABCDEF";
-       s = (char *)SMB_MALLOC(len * 3 + 1);
-       if (!s)
+       s = talloc_array(mem_ctx, char, len * 3 + 1);
+       if (s == NULL) {
                return NULL;
+       }
        for (j=i=0;i<len;i++) {
                s[j] = '\\';
                s[j+1] = hex[((unsigned char)buf[i]) >> 4];
@@ -1843,136 +1644,6 @@ int fstr_sprintf(fstring s, const char *fmt, ...)
 
 #define S_LIST_ABS 16 /* List Allocation Block Size */
 
-char **str_list_make(TALLOC_CTX *mem_ctx, const char *string, const char *sep)
-{
-       char **list;
-       const char *str;
-       char *s;
-       int num, lsize;
-       char *tok;
-
-       if (!string || !*string)
-               return NULL;
-
-       list = TALLOC_ARRAY(mem_ctx, char *, S_LIST_ABS+1);
-       if (list == NULL) {
-               return NULL;
-       }
-       lsize = S_LIST_ABS;
-
-       s = talloc_strdup(list, string);
-       if (s == NULL) {
-               DEBUG(0,("str_list_make: Unable to allocate memory"));
-               TALLOC_FREE(list);
-               return NULL;
-       }
-       if (!sep) sep = LIST_SEP;
-
-       num = 0;
-       str = s;
-
-       while (next_token_talloc(list, &str, &tok, sep)) {
-
-               if (num == lsize) {
-                       char **tmp;
-
-                       lsize += S_LIST_ABS;
-
-                       tmp = TALLOC_REALLOC_ARRAY(mem_ctx, list, char *,
-                                                  lsize + 1);
-                       if (tmp == NULL) {
-                               DEBUG(0,("str_list_make: "
-                                       "Unable to allocate memory"));
-                               TALLOC_FREE(list);
-                               return NULL;
-                       }
-
-                       list = tmp;
-
-                       memset (&list[num], 0,
-                               ((sizeof(char**)) * (S_LIST_ABS +1)));
-               }
-
-               list[num] = tok;
-               num += 1;
-       }
-
-       list[num] = NULL;
-
-       TALLOC_FREE(s);
-       return list;
-}
-
-bool str_list_copy(TALLOC_CTX *mem_ctx, char ***dest, const char **src)
-{
-       char **list;
-       int i, num;
-
-       *dest = NULL;
-       if (!src)
-               return false;
-
-       num = 0;
-       while (src[num] != NULL) {
-               num += 1;
-       }
-
-       list = TALLOC_ARRAY(mem_ctx, char *, num+1);
-       if (list == NULL) {
-               return false;
-       }
-
-       for (i=0; i<num; i++) {
-               list[i] = talloc_strdup(list, src[i]);
-               if (list[i] == NULL) {
-                       TALLOC_FREE(list);
-                       return false;
-               }
-       }
-       list[i] = NULL;
-       *dest = list;
-       return true;
-}
-
-/**
- * Return true if all the elements of the list match exactly.
- **/
-bool str_list_compare(char **list1, char **list2)
-{
-       int num;
-
-       if (!list1 || !list2)
-               return (list1 == list2);
-
-       for (num = 0; list1[num]; num++) {
-               if (!list2[num])
-                       return false;
-               if (!strcsequal(list1[num], list2[num]))
-                       return false;
-       }
-       if (list2[num])
-               return false; /* if list2 has more elements than list1 fail */
-
-       return true;
-}
-
-/******************************************************************************
- *****************************************************************************/
-
-int str_list_count( const char **list )
-{
-       int i = 0;
-
-       if ( ! list )
-               return 0;
-
-       /* count the number of list members */
-
-       for ( i=0; *list; i++, list++ );
-
-       return i;
-}
-
 /******************************************************************************
  version of standard_sub_basic() for string lists; uses talloc_sub_basic()
  for the work
@@ -2003,11 +1674,12 @@ bool str_list_sub_basic( char **list, const char *smb_name,
 }
 
 /******************************************************************************
- substritute a specific pattern in a string list
+ substitute a specific pattern in a string list
  *****************************************************************************/
 
 bool str_list_substitute(char **list, const char *pattern, const char *insert)
 {
+       TALLOC_CTX *ctx = list;
        char *p, *s, *t;
        ssize_t ls, lp, li, ld, i, d;
 
@@ -2030,7 +1702,7 @@ bool str_list_substitute(char **list, const char *pattern, const char *insert)
                        t = *list;
                        d = p -t;
                        if (ld) {
-                               t = (char *) SMB_MALLOC(ls +ld +1);
+                               t = TALLOC_ARRAY(ctx, char, ls +ld +1);
                                if (!t) {
                                        DEBUG(0,("str_list_substitute: "
                                                "Unable to allocate memory"));
@@ -2038,7 +1710,7 @@ bool str_list_substitute(char **list, const char *pattern, const char *insert)
                                }
                                memcpy(t, *list, d);
                                memcpy(t +d +li, p +lp, ls -d -lp +1);
-                               SAFE_FREE(*list);
+                               TALLOC_FREE(*list);
                                *list = t;
                                ls += ld;
                                s = t +d +li;
@@ -2234,41 +1906,6 @@ void ipstr_list_free(char* ipstr_list)
        SAFE_FREE(ipstr_list);
 }
 
-/**
- Unescape a URL encoded string, in place.
-**/
-
-void rfc1738_unescape(char *buf)
-{
-       char *p=buf;
-
-       while (p && *p && (p=strchr_m(p,'%'))) {
-               int c1 = p[1];
-               int c2 = p[2];
-
-               if (c1 >= '0' && c1 <= '9')
-                       c1 = c1 - '0';
-               else if (c1 >= 'A' && c1 <= 'F')
-                       c1 = 10 + c1 - 'A';
-               else if (c1 >= 'a' && c1 <= 'f')
-                       c1 = 10 + c1 - 'a';
-               else {p++; continue;}
-
-               if (c2 >= '0' && c2 <= '9')
-                       c2 = c2 - '0';
-               else if (c2 >= 'A' && c2 <= 'F')
-                       c2 = 10 + c2 - 'A';
-               else if (c2 >= 'a' && c2 <= 'f')
-                       c2 = 10 + c2 - 'a';
-               else {p++; continue;}
-
-               *p = (c1<<4) | c2;
-
-               memmove(p+1, p+3, strlen(p+3)+1);
-               p++;
-       }
-}
-
 static const char b64[] = "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/";
 
 /**
@@ -2353,7 +1990,7 @@ char *base64_encode_data_blob(TALLOC_CTX *mem_ctx, DATA_BLOB data)
        result = TALLOC_ARRAY(mem_ctx, char, output_len); /* get us plenty of space */
        SMB_ASSERT(result != NULL);
 
-       while (len-- && out_cnt < (data.length * 2) - 5) {
+       while (len--) {
                int c = (unsigned char) *(data.data++);
                bits += c;
                char_count++;
@@ -2385,10 +2022,10 @@ char *base64_encode_data_blob(TALLOC_CTX *mem_ctx, DATA_BLOB data)
 }
 
 /* read a SMB_BIG_UINT from a string */
-SMB_BIG_UINT STR_TO_SMB_BIG_UINT(const char *nptr, const char **entptr)
+uint64_t STR_TO_SMB_BIG_UINT(const char *nptr, const char **entptr)
 {
 
-       SMB_BIG_UINT val = -1;
+       uint64_t val = -1;
        const char *p = nptr;
 
        if (!p) {
@@ -2401,11 +2038,7 @@ SMB_BIG_UINT STR_TO_SMB_BIG_UINT(const char *nptr, const char **entptr)
        while (*p && isspace(*p))
                p++;
 
-#ifdef LARGE_SMB_OFF_T
-       sscanf(p,"%llu",&val);
-#else /* LARGE_SMB_OFF_T */
-       sscanf(p,"%lu",&val);
-#endif /* LARGE_SMB_OFF_T */
+       sscanf(p,"%"PRIu64,&val);
        if (entptr) {
                while (*p && isdigit(*p))
                        p++;
@@ -2672,6 +2305,10 @@ bool validate_net_name( const char *name,
 {
        int i;
 
+       if (!name) {
+               return false;
+       }
+
        for ( i=0; i<max_len && name[i]; i++ ) {
                /* fail if strchr_m() finds one of the invalid characters */
                if ( name[i] && strchr_m( invalid_chars, name[i] ) ) {
@@ -2683,54 +2320,6 @@ bool validate_net_name( const char *name,
 }
 
 
-/**
-return the number of bytes occupied by a buffer in ASCII format
-the result includes the null termination
-limited by 'n' bytes
-**/
-size_t ascii_len_n(const char *src, size_t n)
-{
-       size_t len;
-
-       len = strnlen(src, n);
-       if (len+1 <= n) {
-               len += 1;
-       }
-
-       return len;
-}
-
-/**
-return the number of bytes occupied by a buffer in CH_UTF16 format
-the result includes the null termination
-**/
-size_t utf16_len(const void *buf)
-{
-       size_t len;
-
-       for (len = 0; SVAL(buf,len); len += 2) ;
-
-       return len + 2;
-}
-
-/**
-return the number of bytes occupied by a buffer in CH_UTF16 format
-the result includes the null termination
-limited by 'n' bytes
-**/
-size_t utf16_len_n(const void *src, size_t n)
-{
-       size_t len;
-
-       for (len = 0; (len+2 < n) && SVAL(src, len); len += 2) ;
-
-       if (len+2 <= n) {
-               len += 2;
-       }
-
-       return len;
-}
-
 /*******************************************************************
  Add a shell escape character '\' to any character not in a known list
  of characters. UNIX charset format.
@@ -2894,3 +2483,71 @@ char *escape_shell_string(const char *src)
        *dest++ = '\0';
        return ret;
 }
+
+/***************************************************
+ str_list_make, v3 version. The v4 version does not
+ look at quoted strings with embedded blanks, so
+ do NOT merge this function please!
+***************************************************/
+
+#define S_LIST_ABS 16 /* List Allocation Block Size */
+
+char **str_list_make_v3(TALLOC_CTX *mem_ctx, const char *string,
+       const char *sep)
+{
+       char **list;
+       const char *str;
+       char *s, *tok;
+       int num, lsize;
+
+       if (!string || !*string)
+               return NULL;
+
+       list = TALLOC_ARRAY(mem_ctx, char *, S_LIST_ABS+1);
+       if (list == NULL) {
+               return NULL;
+       }
+       lsize = S_LIST_ABS;
+
+       s = talloc_strdup(list, string);
+       if (s == NULL) {
+               DEBUG(0,("str_list_make: Unable to allocate memory"));
+               TALLOC_FREE(list);
+               return NULL;
+       }
+       if (!sep) sep = LIST_SEP;
+
+       num = 0;
+       str = s;
+
+       while (next_token_talloc(list, &str, &tok, sep)) {
+
+               if (num == lsize) {
+                       char **tmp;
+
+                       lsize += S_LIST_ABS;
+
+                       tmp = TALLOC_REALLOC_ARRAY(mem_ctx, list, char *,
+                                                  lsize + 1);
+                       if (tmp == NULL) {
+                               DEBUG(0,("str_list_make: "
+                                       "Unable to allocate memory"));
+                               TALLOC_FREE(list);
+                               return NULL;
+                       }
+
+                       list = tmp;
+
+                       memset (&list[num], 0,
+                               ((sizeof(char**)) * (S_LIST_ABS +1)));
+               }
+
+               list[num] = tok;
+               num += 1;
+       }
+
+       list[num] = NULL;
+
+       TALLOC_FREE(s);
+       return list;
+}