[GLUE] Rsync SAMBA_3_2_0 SVN r25598 in order to create the v3-2-test branch.
[samba.git] / source / lib / util_str.c
index f1ae9a472a54ab2c83e58063a062185d3bc52916..fbd9c1ca6daf1da762c80b4810c9f50436dd7390 100644 (file)
@@ -5,10 +5,12 @@
    Copyright (C) Andrew Tridgell 1992-2001
    Copyright (C) Simo Sorce      2001-2002
    Copyright (C) Martin Pool     2003
+   Copyright (C) James Peach    2006
+   Copyright (C) Jeremy Allison  1992-2007
    
    This program is free software; you can redistribute it and/or modify
    it under the terms of the GNU General Public License as published by
-   the Free Software Foundation; either version 2 of the License, or
+   the Free Software Foundation; either version 3 of the License, or
    (at your option) any later version.
    
    This program is distributed in the hope that it will be useful,
@@ -17,8 +19,7 @@
    GNU General Public License for more details.
    
    You should have received a copy of the GNU General Public License
-   along with this program; if not, write to the Free Software
-   Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
+   along with this program.  If not, see <http://www.gnu.org/licenses/>.
 */
 
 #include "includes.h"
  **/
 
 /**
- * Get the next token from a string, return False if none found.
- * Handles double-quotes.
- * 
+ * Internal function to get the next token from a string, return False if none
+ * found.  Handles double-quotes.  This is the work horse function called by
+ * next_token() and next_token_no_ltrim().
+ *
  * Based on a routine by GJC@VILLAGE.COM. 
  * Extensively modified by Andrew.Tridgell@anu.edu.au
- **/
-BOOL next_token(const char **ptr,char *buff, const char *sep, size_t bufsize)
+ */
+static BOOL next_token_internal(const char **ptr,
+                                char *buff,
+                                const char *sep,
+                                size_t bufsize,
+                                BOOL ltrim)
 {
        char *s;
        char *pbuf;
@@ -51,9 +57,11 @@ BOOL next_token(const char **ptr,char *buff, const char *sep, size_t bufsize)
        if (!sep)
                sep = " \t\n\r";
 
-       /* find the first non sep char */
-       while (*s && strchr_m(sep,*s))
-               s++;
+       /* find the first non sep char, if left-trimming is requested */
+       if (ltrim) {
+               while (*s && strchr_m(sep,*s))
+                       s++;
+       }
        
        /* nothing left? */
        if (! *s)
@@ -76,6 +84,29 @@ BOOL next_token(const char **ptr,char *buff, const char *sep, size_t bufsize)
        return(True);
 }
 
+/*
+ * Get the next token from a string, return False if none found.  Handles
+ * double-quotes.  This version trims leading separator characters before
+ * looking for a token.
+ */
+BOOL next_token(const char **ptr, char *buff, const char *sep, size_t bufsize)
+{
+    return next_token_internal(ptr, buff, sep, bufsize, True);
+}
+
+/*
+ * Get the next token from a string, return False if none found.  Handles
+ * double-quotes.  This version does not trim leading separator characters
+ * before looking for a token.
+ */
+BOOL next_token_no_ltrim(const char **ptr,
+                         char *buff,
+                         const char *sep,
+                         size_t bufsize)
+{
+    return next_token_internal(ptr, buff, sep, bufsize, False);
+}
+
 /**
 This is like next_token but is not re-entrant and "remembers" the first 
 parameter so you can pass NULL. This is useful for user interface code
@@ -95,8 +126,6 @@ BOOL next_token_nr(const char **ptr,char *buff, const char *sep, size_t bufsize)
        return ret;     
 }
 
-static uint16 tmpbuf[sizeof(pstring)];
-
 void set_first_token(char *ptr)
 {
        last_ptr = ptr;
@@ -236,12 +265,63 @@ int StrCaseCmp(const char *s, const char *t)
 /**
  Case insensitive string compararison, length limited.
 **/
-int StrnCaseCmp(const char *s, const char *t, size_t n)
+int StrnCaseCmp(const char *s, const char *t, size_t len)
 {
-       pstring buf1, buf2;
-       unix_strupper(s, strlen(s)+1, buf1, sizeof(buf1));
-       unix_strupper(t, strlen(t)+1, buf2, sizeof(buf2));
-       return strncmp(buf1,buf2,n);
+       size_t n = 0;
+       const char *ps, *pt;
+       size_t size;
+       smb_ucs2_t *buffer_s, *buffer_t;
+       int ret;
+
+       for (ps = s, pt = t; n < len ; ps++, pt++, n++) {
+               char us, ut;
+
+               if (!*ps && !*pt)
+                       return 0; /* both ended */
+               else if (!*ps)
+                       return -1; /* s is a prefix */
+               else if (!*pt)
+                       return +1; /* t is a prefix */
+               else if ((*ps & 0x80) || (*pt & 0x80))
+                       /* not ascii anymore, do it the
+                        * hard way from here on in */
+                       break;
+
+               us = toupper_ascii(*ps);
+               ut = toupper_ascii(*pt);
+               if (us == ut)
+                       continue;
+               else if (us < ut)
+                       return -1;
+               else if (us > ut)
+                       return +1;
+       }
+
+       if (n == len) {
+               return 0;
+       }
+
+       size = push_ucs2_allocate(&buffer_s, ps);
+       if (size == (size_t)-1) {
+               return strncmp(ps, pt, len-n);
+               /* Not quite the right answer, but finding the right one
+                  under this failure case is expensive,
+                  and it's pretty close */
+       }
+
+       size = push_ucs2_allocate(&buffer_t, pt);
+       if (size == (size_t)-1) {
+               SAFE_FREE(buffer_s);
+               return strncmp(ps, pt, len-n);
+               /* Not quite the right answer, but finding the right one
+                  under this failure case is expensive,
+                  and it's pretty close */
+       }
+
+       ret = strncasecmp_w(buffer_s, buffer_t, len-n);
+       SAFE_FREE(buffer_s);
+       SAFE_FREE(buffer_t);
+       return ret;
 }
 
 /**
@@ -255,7 +335,7 @@ BOOL strequal(const char *s1, const char *s2)
                return(True);
        if (!s1 || !s2)
                return(False);
-  
+
        return(StrCaseCmp(s1,s2)==0);
 }
 
@@ -270,7 +350,7 @@ BOOL strnequal(const char *s1,const char *s2,size_t n)
                return(True);
        if (!s1 || !s2 || !n)
                return(False);
-  
+
        return(StrnCaseCmp(s1,s2,n)==0);
 }
 
@@ -325,11 +405,16 @@ int strwicmp(const char *psz1, const char *psz2)
 
 char *strupper_static(const char *s)
 {
-       static pstring str;
+       static char *str = NULL;
 
-       pstrcpy(str, s);
+       if (str) {
+               SAFE_FREE(str);
+       }
+       str = SMB_STRDUP(s);
+       if (!str) {
+               return CONST_DISCARD(char *,s);
+       }
        strupper_m(str);
-
        return str;
 }
 
@@ -353,7 +438,7 @@ BOOL strisnormal(const char *s, int case_default)
 {
        if (case_default == CASE_UPPER)
                return(!strhaslower(s));
-       
+
        return(!strhasupper(s));
 }
 
@@ -362,8 +447,7 @@ BOOL strisnormal(const char *s, int case_default)
  String replace.
  NOTE: oldc and newc must be 7 bit characters
 **/
-
-void string_replace( pstring s, char oldc, char newc )
+void string_replace( char *s, char oldc, char newc )
 {
        char *p;
 
@@ -375,8 +459,9 @@ void string_replace( pstring s, char oldc, char newc )
        for (p = s; *p; p++) {
                if (*p & 0x80) /* mb string - slow path. */
                        break;
-               if (*p == oldc)
+               if (*p == oldc) {
                        *p = newc;
+               }
        }
 
        if (!*p)
@@ -387,22 +472,56 @@ void string_replace( pstring s, char oldc, char newc )
        /* With compose characters we must restart from the beginning. JRA. */
        p = s;
 #endif
-       push_ucs2(NULL, tmpbuf, p, sizeof(tmpbuf), STR_TERMINATE);
-       string_replace_w(tmpbuf, UCS2_CHAR(oldc), UCS2_CHAR(newc));
-       pull_ucs2(NULL, p, tmpbuf, -1, sizeof(tmpbuf), STR_TERMINATE);
+
+       while (*p) {
+               size_t c_size;
+               next_codepoint(p, &c_size);
+
+               if (c_size == 1) {
+                       if (*p == oldc) {
+                               *p = newc;
+                       }
+               }
+               p += c_size;
+       }
 }
 
 /**
Skip past some strings in a buffer.
-**/
*  Skip past some strings in a buffer - old version - no checks.
+ *  **/
 
-char *skip_string(char *buf,size_t n)
+char *push_skip_string(char *buf)
 {
-       while (n--)
-               buf += strlen(buf) + 1;
+       buf += strlen(buf) + 1;
        return(buf);
 }
 
+/**
+ Skip past a string in a buffer. Buffer may not be
+ null terminated. end_ptr points to the first byte after
+ then end of the buffer.
+**/
+
+char *skip_string(const char *base, size_t len, char *buf)
+{
+       const char *end_ptr = base + len;
+
+       if (end_ptr < base || !base || !buf || buf >= end_ptr) {
+               return NULL;
+       }
+
+       /* Skip the string */
+       while (*buf) {
+               buf++;
+               if (buf >= end_ptr) {
+                       return NULL;
+               }
+       }
+       /* Skip the '\0' */
+       buf++;
+       return buf;
+}
+
 /**
  Count the number of characters in a string. Normally this will
  be the same as the number of bytes in a string for single byte strings,
@@ -411,9 +530,14 @@ char *skip_string(char *buf,size_t n)
 
 size_t str_charnum(const char *s)
 {
-       uint16 tmpbuf2[sizeof(pstring)];
-       push_ucs2(NULL, tmpbuf2,s, sizeof(tmpbuf2), STR_TERMINATE);
-       return strlen_w(tmpbuf2);
+       size_t ret;
+       smb_ucs2_t *tmpbuf2 = NULL;
+       if (push_ucs2_allocate(&tmpbuf2, s) == (size_t)-1) {
+               return 0;
+       }
+       ret = strlen_w(tmpbuf2);
+       SAFE_FREE(tmpbuf2);
+       return ret;
 }
 
 /**
@@ -424,9 +548,14 @@ size_t str_charnum(const char *s)
 
 size_t str_ascii_charnum(const char *s)
 {
-       pstring tmpbuf2;
-       push_ascii(tmpbuf2, s, sizeof(tmpbuf2), STR_TERMINATE);
-       return strlen(tmpbuf2);
+       size_t ret;
+       char *tmpbuf2 = NULL;
+       if (push_ascii_allocate(&tmpbuf2, s) == (size_t)-1) {
+               return 0;
+       }
+       ret = strlen(tmpbuf2);
+       SAFE_FREE(tmpbuf2);
+       return ret;
 }
 
 BOOL trim_char(char *s,char cfront,char cback)
@@ -528,12 +657,22 @@ BOOL trim_string(char *s,const char *front,const char *back)
 
 BOOL strhasupper(const char *s)
 {
-       smb_ucs2_t *ptr;
-       push_ucs2(NULL, tmpbuf,s, sizeof(tmpbuf), STR_TERMINATE);
-       for(ptr=tmpbuf;*ptr;ptr++)
-               if(isupper_w(*ptr))
-                       return True;
-       return(False);
+       smb_ucs2_t *tmp, *p;
+       BOOL ret;
+
+       if (push_ucs2_allocate(&tmp, s) == -1) {
+               return False;
+       }
+
+       for(p = tmp; *p != 0; p++) {
+               if(isupper_w(*p)) {
+                       break;
+               }
+       }
+
+       ret = (*p != 0);
+       SAFE_FREE(tmp);
+       return ret;
 }
 
 /**
@@ -542,12 +681,22 @@ BOOL strhasupper(const char *s)
 
 BOOL strhaslower(const char *s)
 {
-       smb_ucs2_t *ptr;
-       push_ucs2(NULL, tmpbuf,s, sizeof(tmpbuf), STR_TERMINATE);
-       for(ptr=tmpbuf;*ptr;ptr++)
-               if(islower_w(*ptr))
-                       return True;
-       return(False);
+       smb_ucs2_t *tmp, *p;
+       BOOL ret;
+
+       if (push_ucs2_allocate(&tmp, s) == -1) {
+               return False;
+       }
+
+       for(p = tmp; *p != 0; p++) {
+               if(islower_w(*p)) {
+                       break;
+               }
+       }
+
+       ret = (*p != 0);
+       SAFE_FREE(tmp);
+       return ret;
 }
 
 /**
@@ -834,26 +983,42 @@ char *hex_encode(TALLOC_CTX *mem_ctx, const unsigned char *buff_in, size_t len)
 
 BOOL in_list(const char *s, const char *list, BOOL casesensitive)
 {
-       pstring tok;
+       char *tok;
        const char *p=list;
+       size_t bufsize = strlen(list);
+       BOOL ret = False;
 
        if (!list)
                return(False);
 
-       while (next_token(&p,tok,LIST_SEP,sizeof(tok))) {
+       /* We know a token can't be larger
+        * than the entire list. */
+
+       tok = SMB_MALLOC_ARRAY(char, bufsize+1);
+       if (!tok) {
+               return False;
+       }
+
+       while (next_token(&p,tok,LIST_SEP,bufsize+1)) {
                if (casesensitive) {
-                       if (strcmp(tok,s) == 0)
-                               return(True);
+                       if (strcmp(tok,s) == 0) {
+                               ret = True;
+                               break;
+                       }
                } else {
-                       if (StrCaseCmp(tok,s) == 0)
-                               return(True);
+                       if (StrCaseCmp(tok,s) == 0) {
+                               ret = True;
+                               break;
+                       }
                }
        }
-       return(False);
+
+       SAFE_FREE(tok);
+       return ret;
 }
 
 /* this is used to prevent lots of mallocs of size 1 */
-static char *null_string = NULL;
+static const char *null_string = "";
 
 /**
  Set a string value, allocing the space for the string
@@ -862,20 +1027,14 @@ static char *null_string = NULL;
 static BOOL string_init(char **dest,const char *src)
 {
        size_t l;
+
        if (!src)     
                src = "";
 
        l = strlen(src);
 
        if (l == 0) {
-               if (!null_string) {
-                       if((null_string = (char *)SMB_MALLOC(1)) == NULL) {
-                               DEBUG(0,("string_init: malloc fail for null_string.\n"));
-                               return False;
-                       }
-                       *null_string = 0;
-               }
-               *dest = null_string;
+               *dest = CONST_DISCARD(char*, null_string);
        } else {
                (*dest) = SMB_STRDUP(src);
                if ((*dest) == NULL) {
@@ -1049,7 +1208,7 @@ char *realloc_string_sub(char *string, const char *pattern,
        while ((p = strstr_m(s,pattern))) {
                if (ld > 0) {
                        int offset = PTR_DIFF(s,string);
-                       string = SMB_REALLOC(string, ls + ld + 1);
+                       string = (char *)SMB_REALLOC(string, ls + ld + 1);
                        if (!string) {
                                DEBUG(0, ("realloc_string_sub: out of memory!\n"));
                                SAFE_FREE(in);
@@ -1118,7 +1277,8 @@ char *talloc_string_sub(TALLOC_CTX *mem_ctx, const char *src,
        while ((p = strstr_m(s,pattern))) {
                if (ld > 0) {
                        int offset = PTR_DIFF(s,string);
-                       string = TALLOC_REALLOC(mem_ctx, string, ls + ld + 1);
+                       string = (char *)TALLOC_REALLOC(mem_ctx, string,
+                                                       ls + ld + 1);
                        if (!string) {
                                DEBUG(0, ("talloc_string_sub: out of "
                                          "memory!\n"));
@@ -1302,10 +1462,11 @@ char *string_truncate(char *s, unsigned int length)
 
 char *strchr_m(const char *src, char c)
 {
-       wpstring ws;
-       pstring s2;
+       smb_ucs2_t *ws = NULL;
+       char *s2 = NULL;
        smb_ucs2_t *p;
        const char *s;
+       char *ret;
 
        /* characters below 0x3F are guaranteed to not appear in
           non-initial position in multi-byte charsets */
@@ -1331,13 +1492,25 @@ char *strchr_m(const char *src, char c)
        s = src;
 #endif
 
-       push_ucs2(NULL, ws, s, sizeof(ws), STR_TERMINATE);
+       if (push_ucs2_allocate(&ws, s)==(size_t)-1) {
+               /* Wrong answer, but what can we do... */
+               return strchr(src, c);
+       }
        p = strchr_w(ws, UCS2_CHAR(c));
-       if (!p)
+       if (!p) {
+               SAFE_FREE(ws);
                return NULL;
+       }
        *p = 0;
-       pull_ucs2_pstring(s2, ws);
-       return (char *)(s+strlen(s2));
+       if (pull_ucs2_allocate(&s2, ws)==(size_t)-1) {
+               SAFE_FREE(ws);
+               /* Wrong answer, but what can we do... */
+               return strchr(src, c);
+       }
+       ret = (char *)(s+strlen(s2));
+       SAFE_FREE(ws);
+       SAFE_FREE(s2);
+       return ret;
 }
 
 char *strrchr_m(const char *s, char c)
@@ -1383,17 +1556,30 @@ char *strrchr_m(const char *s, char c)
 
        /* String contained a non-ascii char. Slow path. */
        {
-               wpstring ws;
-               pstring s2;
+               smb_ucs2_t *ws = NULL;
+               char *s2 = NULL;
                smb_ucs2_t *p;
+               char *ret;
 
-               push_ucs2(NULL, ws, s, sizeof(ws), STR_TERMINATE);
+               if (push_ucs2_allocate(&ws,s)==(size_t)-1) {
+                       /* Wrong answer, but what can we do. */
+                       return strrchr(s, c);
+               }
                p = strrchr_w(ws, UCS2_CHAR(c));
-               if (!p)
+               if (!p) {
+                       SAFE_FREE(ws);
                        return NULL;
+               }
                *p = 0;
-               pull_ucs2_pstring(s2, ws);
-               return (char *)(s+strlen(s2));
+               if (pull_ucs2_allocate(&s2,ws)==(size_t)-1) {
+                       SAFE_FREE(ws);
+                       /* Wrong answer, but what can we do. */
+                       return strrchr(s, c);
+               }
+               ret = (char *)(s+strlen(s2));
+               SAFE_FREE(ws);
+               SAFE_FREE(s2);
+               return ret;
        }
 }
 
@@ -1404,17 +1590,30 @@ char *strrchr_m(const char *s, char c)
 
 char *strnrchr_m(const char *s, char c, unsigned int n)
 {
-       wpstring ws;
-       pstring s2;
+       smb_ucs2_t *ws = NULL;
+       char *s2 = NULL;
        smb_ucs2_t *p;
+       char *ret;
 
-       push_ucs2(NULL, ws, s, sizeof(ws), STR_TERMINATE);
+       if (push_ucs2_allocate(&ws,s)==(size_t)-1) {
+               /* Too hard to try and get right. */
+               return NULL;
+       }
        p = strnrchr_w(ws, UCS2_CHAR(c), n);
-       if (!p)
+       if (!p) {
+               SAFE_FREE(ws);
                return NULL;
+       }
        *p = 0;
-       pull_ucs2_pstring(s2, ws);
-       return (char *)(s+strlen(s2));
+       if (pull_ucs2_allocate(&s2,ws)==(size_t)-1) {
+               SAFE_FREE(ws);
+               /* Too hard to try and get right. */
+               return NULL;
+       }
+       ret = (char *)(s+strlen(s2));
+       SAFE_FREE(ws);
+       SAFE_FREE(s2);
+       return ret;
 }
 
 /***********************************************************************
@@ -1566,18 +1765,88 @@ void strupper_m(char *s)
        errno = errno_save;
 }
 
+/**
+ Count the number of UCS2 characters in a string. Normally this will
+ be the same as the number of bytes in a string for single byte strings,
+ but will be different for multibyte.
+**/
+
+size_t strlen_m(const char *s)
+{
+       size_t count = 0;
+
+       if (!s) {
+               return 0;
+       }
+
+       while (*s && !(((uint8_t)*s) & 0x80)) {
+               s++;
+               count++;
+       }
+
+       if (!*s) {
+               return count;
+       }
+
+       while (*s) {
+               size_t c_size;
+               codepoint_t c = next_codepoint(s, &c_size);
+               if (c < 0x10000) {
+                       /* Unicode char fits into 16 bits. */
+                       count += 1;
+               } else {
+                       /* Double-width unicode char - 32 bits. */
+                       count += 2;
+               }
+               s += c_size;
+       }
+
+       return count;
+}
+
+/**
+ Count the number of UCS2 characters in a string including the null
+ terminator.
+**/
+
+size_t strlen_m_term(const char *s)
+{
+       if (!s) {
+               return 0;
+       }
+       return strlen_m(s) + 1;
+}
+
+/*
+ * Weird helper routine for the winreg pipe: If nothing is around, return 0,
+ * if a string is there, include the terminator.
+ */
+
+size_t strlen_m_term_null(const char *s)
+{
+       size_t len;
+       if (!s) {
+               return 0;
+       }
+       len = strlen_m(s);
+       if (len == 0) {
+               return 0;
+       }
+
+       return len+1;
+}
 /**
  Return a RFC2254 binary string representation of a buffer.
  Used in LDAP filters.
  Caller must free.
 **/
 
-char *binary_string(char *buf, int len)
+char *binary_string_rfc2254(char *buf, int len)
 {
        char *s;
        int i, j;
        const char *hex = "0123456789ABCDEF";
-       s = SMB_MALLOC(len * 3 + 1);
+       s = (char *)SMB_MALLOC(len * 3 + 1);
        if (!s)
                return NULL;
        for (j=i=0;i<len;i++) {
@@ -1590,6 +1859,22 @@ char *binary_string(char *buf, int len)
        return s;
 }
 
+char *binary_string(char *buf, int len)
+{
+       char *s;
+       int i, j;
+       const char *hex = "0123456789ABCDEF";
+       s = (char *)SMB_MALLOC(len * 2 + 1);
+       if (!s)
+               return NULL;
+       for (j=i=0;i<len;i++) {
+               s[j]   = hex[((unsigned char)buf[i]) >> 4];
+               s[j+1] = hex[((unsigned char)buf[i]) & 0xF];
+               j += 2;
+       }
+       s[j] = 0;
+       return s;
+}
 /**
  Just a typesafety wrapper for snprintf into a pstring.
 **/
@@ -1621,49 +1906,6 @@ int fstr_sprintf(fstring s, const char *fmt, ...)
        return ret;
 }
 
-
-#if !defined(HAVE_STRNDUP) || defined(BROKEN_STRNDUP)
-/**
- Some platforms don't have strndup.
-**/
-#if defined(PARANOID_MALLOC_CHECKER)
-#undef strndup
-#endif
-
- char *strndup(const char *s, size_t n)
-{
-       char *ret;
-       
-       n = strnlen(s, n);
-       ret = SMB_MALLOC(n+1);
-       if (!ret)
-               return NULL;
-       memcpy(ret, s, n);
-       ret[n] = 0;
-
-       return ret;
-}
-
-#if defined(PARANOID_MALLOC_CHECKER)
-#define strndup(s,n) __ERROR_DONT_USE_STRNDUP_DIRECTLY
-#endif
-
-#endif
-
-#if !defined(HAVE_STRNLEN) || defined(BROKEN_STRNLEN)
-/**
- Some platforms don't have strnlen
-**/
-
- size_t strnlen(const char *s, size_t n)
-{
-       size_t i;
-       for (i=0; i<n && s[i] != '\0'; i++)
-               /* noop */ ;
-       return i;
-}
-#endif
-
 /**
  List of Strings manipulation functions
 **/
@@ -1677,7 +1919,7 @@ static char **str_list_make_internal(TALLOC_CTX *mem_ctx, const char *string, co
        char *s;
        int num, lsize;
        pstring tok;
-       
+
        if (!string || !*string)
                return NULL;
        if (mem_ctx) {
@@ -1690,12 +1932,12 @@ static char **str_list_make_internal(TALLOC_CTX *mem_ctx, const char *string, co
                return NULL;
        }
        if (!sep) sep = LIST_SEP;
-       
+
        num = lsize = 0;
        list = NULL;
-       
+
        str = s;
-       while (next_token(&str, tok, sep, sizeof(tok))) {               
+       while (next_token(&str, tok, sep, sizeof(tok))) {
                if (num == lsize) {
                        lsize += S_LIST_ABS;
                        if (mem_ctx) {
@@ -1725,7 +1967,7 @@ static char **str_list_make_internal(TALLOC_CTX *mem_ctx, const char *string, co
                } else {
                        list[num] = SMB_STRDUP(tok);
                }
-               
+
                if (!list[num]) {
                        DEBUG(0,("str_list_make: Unable to allocate memory"));
                        str_list_free(&list);
@@ -1779,8 +2021,9 @@ BOOL str_list_copy(char ***dest, const char **src)
                                DEBUG(0,("str_list_copy: Unable to re-allocate memory"));
                                str_list_free(&list);
                                return False;
-                       } else
+                       } else {
                                list = rlist;
+                       }
                        memset (&list[num], 0, ((sizeof(char **)) * (S_LIST_ABS +1)));
                }
                
@@ -1873,13 +2116,14 @@ int str_list_count( const char **list )
  for the work
  *****************************************************************************/
  
-BOOL str_list_sub_basic( char **list, const char *smb_name )
+BOOL str_list_sub_basic( char **list, const char *smb_name,
+                        const char *domain_name )
 {
        char *s, *tmpstr;
        
        while ( *list ) {
                s = *list;
-               tmpstr = alloc_sub_basic(smb_name, s);
+               tmpstr = alloc_sub_basic(smb_name, domain_name, s);
                if ( !tmpstr ) {
                        DEBUG(0,("str_list_sub_basic: alloc_sub_basic() return NULL!\n"));
                        return False;
@@ -2012,7 +2256,7 @@ char* ipstr_list_make(char** ipstr_list, const struct ip_service* ip_list, int i
        int i;
        
        /* arguments checking */
-       if (!ip_list && !ipstr_list) return 0;
+       if (!ip_list || !ipstr_list) return 0;
 
        *ipstr_list = NULL;
        
@@ -2199,7 +2443,7 @@ char * base64_encode_data_blob(DATA_BLOB data)
        out_cnt = 0;
        len = data.length;
        output_len = data.length * 2;
-       result = SMB_MALLOC(output_len); /* get us plenty of space */
+       result = (char *)SMB_MALLOC(output_len); /* get us plenty of space */
 
        while (len-- && out_cnt < (data.length * 2) - 5) {
                int c = (unsigned char) *(data.data++);
@@ -2239,15 +2483,23 @@ SMB_BIG_UINT STR_TO_SMB_BIG_UINT(const char *nptr, const char **entptr)
        SMB_BIG_UINT val = -1;
        const char *p = nptr;
        
-       while (p && *p && isspace(*p))
+       if (!p) {
+               if (entptr) {
+                       *entptr = p;
+               }
+               return val;
+       }
+
+       while (*p && isspace(*p))
                p++;
+
 #ifdef LARGE_SMB_OFF_T
        sscanf(p,"%llu",&val);  
 #else /* LARGE_SMB_OFF_T */
        sscanf(p,"%lu",&val);
 #endif /* LARGE_SMB_OFF_T */
        if (entptr) {
-               while (p && *p && isdigit(*p))
+               while (*p && isdigit(*p))
                        p++;
                *entptr = p;
        }
@@ -2255,16 +2507,83 @@ SMB_BIG_UINT STR_TO_SMB_BIG_UINT(const char *nptr, const char **entptr)
        return val;
 }
 
+/* Convert a size specification to a count of bytes. We accept the following
+ * suffixes:
+ *         bytes if there is no suffix
+ *     kK  kibibytes
+ *     mM  mebibytes
+ *     gG  gibibytes
+ *     tT  tibibytes
+ *     pP  whatever the ISO name for petabytes is
+ *
+ *  Returns 0 if the string can't be converted.
+ */
+SMB_OFF_T conv_str_size(const char * str)
+{
+        SMB_OFF_T lval;
+       char * end;
+
+        if (str == NULL || *str == '\0') {
+                return 0;
+        }
+
+#ifdef HAVE_STRTOULL
+       if (sizeof(SMB_OFF_T) == 8) {
+           lval = strtoull(str, &end, 10 /* base */);
+       } else {
+           lval = strtoul(str, &end, 10 /* base */);
+       }
+#else
+       lval = strtoul(str, &end, 10 /* base */);
+#endif
+
+        if (end == NULL || end == str) {
+                return 0;
+        }
+
+        if (*end) {
+               SMB_OFF_T lval_orig = lval;
+
+                if (strwicmp(end, "K") == 0) {
+                        lval *= (SMB_OFF_T)1024;
+                } else if (strwicmp(end, "M") == 0) {
+                        lval *= ((SMB_OFF_T)1024 * (SMB_OFF_T)1024);
+                } else if (strwicmp(end, "G") == 0) {
+                        lval *= ((SMB_OFF_T)1024 * (SMB_OFF_T)1024 *
+                               (SMB_OFF_T)1024);
+                } else if (strwicmp(end, "T") == 0) {
+                        lval *= ((SMB_OFF_T)1024 * (SMB_OFF_T)1024 *
+                               (SMB_OFF_T)1024 * (SMB_OFF_T)1024);
+                } else if (strwicmp(end, "P") == 0) {
+                        lval *= ((SMB_OFF_T)1024 * (SMB_OFF_T)1024 *
+                               (SMB_OFF_T)1024 * (SMB_OFF_T)1024 *
+                               (SMB_OFF_T)1024);
+                } else {
+                        return 0;
+                }
+
+               /* Primitive attempt to detect wrapping on platforms with
+                * 4-byte SMB_OFF_T. It's better to let the caller handle
+                * a failure than some random number.
+                */
+               if (lval_orig <= lval) {
+                       return 0;
+               }
+        }
+
+       return lval;
+}
+
 void string_append(char **left, const char *right)
 {
        int new_len = strlen(right) + 1;
 
        if (*left == NULL) {
-               *left = SMB_MALLOC(new_len);
+               *left = (char *)SMB_MALLOC(new_len);
                *left[0] = '\0';
        } else {
                new_len += strlen(*left);
-               *left = SMB_REALLOC(*left, new_len);
+               *left = (char *)SMB_REALLOC(*left, new_len);
        }
 
        if (*left == NULL) {
@@ -2282,8 +2601,10 @@ BOOL add_string_to_array(TALLOC_CTX *mem_ctx,
 
        *strings = TALLOC_REALLOC_ARRAY(mem_ctx, *strings, const char *, (*num)+1);
 
-       if ((*strings == NULL) || (dup_str == NULL))
+       if ((*strings == NULL) || (dup_str == NULL)) {
+               *num = 0;
                return False;
+       }
 
        (*strings)[*num] = dup_str;
        *num += 1;
@@ -2310,11 +2631,7 @@ void sprintf_append(TALLOC_CTX *mem_ctx, char **string, ssize_t *len,
                if (*bufsize == 0)
                        *bufsize = 128;
 
-               if (mem_ctx != NULL)
-                       *string = TALLOC_ARRAY(mem_ctx, char, *bufsize);
-               else
-                       *string = SMB_MALLOC_ARRAY(char, *bufsize);
-
+               *string = TALLOC_ARRAY(mem_ctx, char, *bufsize);
                if (*string == NULL)
                        goto error;
        }
@@ -2336,13 +2653,8 @@ void sprintf_append(TALLOC_CTX *mem_ctx, char **string, ssize_t *len,
        }
 
        if (increased) {
-               if (mem_ctx != NULL) {
-                       *string = TALLOC_REALLOC_ARRAY(mem_ctx, *string, char,
-                                                      *bufsize);
-               } else {
-                       *string = SMB_REALLOC_ARRAY(*string, char, *bufsize);
-               }
-
+               *string = TALLOC_REALLOC_ARRAY(mem_ctx, *string, char,
+                                              *bufsize);
                if (*string == NULL) {
                        goto error;
                }
@@ -2404,3 +2716,214 @@ BOOL validate_net_name( const char *name, const char *invalid_chars, int max_len
        return True;
 }
 
+
+/**
+return the number of bytes occupied by a buffer in ASCII format
+the result includes the null termination
+limited by 'n' bytes
+**/
+size_t ascii_len_n(const char *src, size_t n)
+{
+       size_t len;
+
+       len = strnlen(src, n);
+       if (len+1 <= n) {
+               len += 1;
+       }
+
+       return len;
+}
+
+/**
+return the number of bytes occupied by a buffer in CH_UTF16 format
+the result includes the null termination
+**/
+size_t utf16_len(const void *buf)
+{
+       size_t len;
+
+       for (len = 0; SVAL(buf,len); len += 2) ;
+
+       return len + 2;
+}
+
+/**
+return the number of bytes occupied by a buffer in CH_UTF16 format
+the result includes the null termination
+limited by 'n' bytes
+**/
+size_t utf16_len_n(const void *src, size_t n)
+{
+       size_t len;
+
+       for (len = 0; (len+2 < n) && SVAL(src, len); len += 2) ;
+
+       if (len+2 <= n) {
+               len += 2;
+       }
+
+       return len;
+}
+
+/*******************************************************************
+ Add a shell escape character '\' to any character not in a known list
+ of characters. UNIX charset format.
+*******************************************************************/
+
+#define INCLUDE_LIST "0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz_/ \t.,"
+#define INSIDE_DQUOTE_LIST "$`\n\"\\"
+
+char *escape_shell_string(const char *src)
+{
+       size_t srclen = strlen(src);
+       char *ret = SMB_MALLOC_ARRAY(char, (srclen * 2) + 1);
+       char *dest = ret;
+       BOOL in_s_quote = False;
+       BOOL in_d_quote = False;
+       BOOL next_escaped = False;
+
+       if (!ret) {
+               return NULL;
+       }
+
+       while (*src) {
+               size_t c_size;
+               codepoint_t c = next_codepoint(src, &c_size);
+
+               if (c == INVALID_CODEPOINT) {
+                       SAFE_FREE(ret);
+                       return NULL;
+               }
+
+               if (c_size > 1) {
+                       memcpy(dest, src, c_size);
+                       src += c_size;
+                       dest += c_size;
+                       next_escaped = False;
+                       continue;
+               }
+
+               /*
+                * Deal with backslash escaped state.
+                * This only lasts for one character.
+                */
+
+               if (next_escaped) {
+                       *dest++ = *src++;
+                       next_escaped = False;
+                       continue;
+               }
+
+               /*
+                * Deal with single quote state. The
+                * only thing we care about is exiting
+                * this state.
+                */
+
+               if (in_s_quote) {
+                       if (*src == '\'') {
+                               in_s_quote = False;
+                       }
+                       *dest++ = *src++;
+                       continue;
+               }
+
+               /* 
+                * Deal with double quote state. The most
+                * complex state. We must cope with \, meaning
+                * possibly escape next char (depending what it
+                * is), ", meaning exit this state, and possibly
+                * add an \ escape to any unprotected character
+                * (listed in INSIDE_DQUOTE_LIST).
+                */
+
+               if (in_d_quote) {
+                       if (*src == '\\') {
+                               /* 
+                                * Next character might be escaped.
+                                * We have to peek. Inside double
+                                * quotes only INSIDE_DQUOTE_LIST
+                                * characters are escaped by a \.
+                                */
+
+                               char nextchar;
+
+                               c = next_codepoint(&src[1], &c_size);
+                               if (c == INVALID_CODEPOINT) {
+                                       SAFE_FREE(ret);
+                                       return NULL;
+                               }
+                               if (c_size > 1) {
+                                       /*
+                                        * Don't escape the next char.
+                                        * Just copy the \.
+                                        */
+                                       *dest++ = *src++;
+                                       continue;
+                               }
+
+                               nextchar = src[1];
+
+                               if (nextchar && strchr(INSIDE_DQUOTE_LIST, (int)nextchar)) {
+                                       next_escaped = True;
+                               }
+                               *dest++ = *src++;
+                               continue;
+                       }
+
+                       if (*src == '\"') {
+                               /* Exit double quote state. */
+                               in_d_quote = False;
+                               *dest++ = *src++;
+                               continue;
+                       }
+
+                       /*
+                        * We know the character isn't \ or ",
+                        * so escape it if it's any of the other
+                        * possible unprotected characters.
+                        */
+
+                       if (strchr(INSIDE_DQUOTE_LIST, (int)*src)) {
+                               *dest++ = '\\';
+                       }
+                       *dest++ = *src++;
+                       continue;
+               }
+
+               /* 
+                * From here to the end of the loop we're
+                * not in the single or double quote state.
+                */
+
+               if (*src == '\\') {
+                       /* Next character must be escaped. */
+                       next_escaped = True;
+                       *dest++ = *src++;
+                       continue;
+               }
+
+               if (*src == '\'') {
+                       /* Go into single quote state. */
+                       in_s_quote = True;
+                       *dest++ = *src++;
+                       continue;
+               }
+
+               if (*src == '\"') {
+                       /* Go into double quote state. */
+                       in_d_quote = True;
+                       *dest++ = *src++;
+                       continue;
+               }
+
+               /* Check if we need to escape the character. */
+
+               if (!strchr(INCLUDE_LIST, (int)*src)) {
+                       *dest++ = '\\';
+               }
+               *dest++ = *src++;
+       }
+       *dest++ = '\0';
+       return ret;
+}