libdns: Properly set ENOMEM