.NET Framework - .NET MVC | HttpWebRequest请求外部api - 《.Net 学习历程》

一、HttpWebRequest简介">一、HttpWebRequest简介
- 1. HttpWebRequest和HttpWebResponse对比">1. HttpWebRequest和HttpWebResponse对比
- 2. HttpWebRequest属性">2. HttpWebRequest属性
二、HttpWebRequest请求接口">二、HttpWebRequest请求接口
- 1. HttpWebRequest的作用： ">1. HttpWebRequest的作用：
- 2. HttpWebRequest提交数据方式： ">2. HttpWebRequest提交数据方式：
四、完整示例">四、完整示例
五、C#通过WebClient/HttpWebRequest实现http的post/get方法">五、C#通过WebClient/HttpWebRequest实现http的post/get方法
六、遇见问题
- 1. post数据时报错：远程服务器返回错误: (400) 错误的请求

一、HttpWebRequest简介

1. HttpWebRequest和HttpWebResponse对比

1、HttpWebRequest和HttpWebResponse类是用于发送和接收HTTP数据的最好选择。 2、命名空间：System.Net 3、HttpWebRequest对象不是利用new关键字创建的（通过构造函数）。
而是利用Create()方法创建的。 4、你可能预计需要显示地调用一个“Send”方法，实际上不需要。 5、调用 HttpWebRequest.GetResponse()方法返回的是一个HttpWebResponse对象 6、你可以把HTTP响应的数据流（stream）绑定到一个StreamReader对象，然后就可以通过ReadToEnd()方法把整个HTTP响应作为一个字符串取回。也可以通过 StreamReader.ReadLine()方法逐行取回HTTP响应的内容。

2. HttpWebRequest属性

下面是HttpWebRequest的一些属性，这些属性对于轻量级的自动化测试程序是非常重要的。

AllowAutoRedirect：获取或设置一个值，该值指示请求是否应跟随重定向响应。
CookieContainer：获取或设置与此请求关联的cookie。
Credentials：获取或设置请求的身份验证信息。
KeepAlive：获取或设置一个值，该值指示是否与 Internet 资源建立持久性连接。
MaximumAutomaticRedirections：获取或设置请求将跟随的重定向的最大数目。
Proxy：获取或设置请求的代理信息。
SendChunked：获取或设置一个值，该值指示是否将数据分段发送到 Internet 资源。
Timeout：获取或设置请求的超时值。
UserAgent：获取或设置 User-agent HTTP 标头的值

二、HttpWebRequest请求接口

HttpWebRequest提交数据方式其实就是GET和POST两种

1. HttpWebRequest的作用：

HttpWebRequest对HTTP协议进行了完整的封装，对HTTP协议中的 Header, Content, Cookie 都做了属性和方法的支持，很容易就能编写出一个模拟浏览器自动登录的程序。

2. HttpWebRequest提交数据方式：

程序使用HTTP协议和服务器交互主要是进行数据的提交，通常数据的提交是通过 GET 和 POST 两种方式来完成，

1. GET 方式。

GET方式通过在网络地址附加参数来完成数据提交，比如在地址http://www.google.com/webhp?hl=zh-CN中，前面部分http://www.google.com/webhp表示数据提交的网址，后面部分<font style="color:rgb(77, 77, 77);"> hl=zh-CN</font> 表示附加的参数，其中 hl 表示一个键(key)， zh-CN 表示这个键对应的值(value)。程序代码如下：

HttpWebRequest req = 
    (HttpWebRequest)HttpWebRequest.Create("http://www.google.com/webhp?hl=zh-CN"); 
req.Method = "GET"; 
using (WebResponse wr = req.GetResponse()) 
{ 
   //在这里对接收到的页面内容进行处理 
}

string htmlStr = string.Empty;
//创建一个客户端的Http请求实例
HttpWebRequest request = WebRequest.Create(requestUrl) as HttpWebRequest;
request.Method = "GET";
//获取当前Http请求的响应实例
HttpWebResponse response = request.GetResponse() as HttpWebResponse;
Stream responseStream = response.GetResponseStream();
using (StreamReader reader = new StreamReader(responseStream, Encoding.GetEncoding("UTF-8")))
{
    htmlStr = reader.ReadToEnd();
}
responseStream.Close();
response.Close();
return htmlStr;

2. POST 方式。

POST 方式通过在页面内容中填写参数的方法来完成数据的提交，参数的格式和 GET 方式一样，是类似于 hl=zh-CN&newwindow=1 这样的结构。程序代码如下：

string param = "hl=zh-CN&newwindow=1";        //参数
byte[] bs = Encoding.ASCII.GetBytes(param);    //参数转化为ascii码
HttpWebRequest req = 
    (HttpWebRequest) HttpWebRequest.Create("http://www.google.com/intl/zh-CN/" );  //创建request
req.Method = "POST";    //确定传值的方式，此处为post方式传值
req.ContentType = "application/x-www-form-urlencoded"; 
req.ContentLength = bs.Length; 
using (Stream reqStream = req.GetRequestStream()) 
{ 
   reqStream.Write(bs, 0, bs.Length); 
} 
using (WebResponse wr = req.GetResponse()) 
{ 
   //在这里对接收到的页面内容进行处理 
}

3. 使用 GET 方式提交中文数据。

GET 方式通过在网络地址中附加参数来完成数据提交，对于中文的编码，常用的有 gb2312 和 utf8 两种，用 gb2312 方式编码访问的程序代码如下：

Encoding myEncoding = Encoding.GetEncoding("gb2312");     //确定用哪种中文编码方式
string address = "http://www.baidu.com/s?"+ HttpUtility.UrlEncode("参数一", myEncoding) +  "=" + HttpUtility.UrlEncode("值一", myEncoding);       //拼接数据提交的网址和经过中文编码后的中文参数
HttpWebRequest req =  
    (HttpWebRequest)HttpWebRequest.Create(address);  //创建request
req.Method = "GET";    //确定传值方式，此处为get方式
using (WebResponse wr = req.GetResponse()) 
{ 
   //在这里对接收到的页面内容进行处理 
}

在上面的程序代码中，我们以 GET 方式访问了网址 http://www.baidu.com/s ，传递了参数“参数一=值一”，由于无法告知对方提交数据的编码类型，所以编码方式要以对方的网站为标准。常见的网站中， www.baidu.com （百度）的编码方式是 gb2312, www.google.com （谷歌）的编码方式是 utf8。

4. 使用 POST 方式提交中文数据。

POST 方式通过在页面内容中填写参数的方法来完成数据的提交，由于提交的参数中可以说明使用的编码方式，所以理论上能获得更大的兼容性。用 gb2312 方式编码访问的程序代码如下：

Encoding myEncoding = Encoding.GetEncoding("gb2312");  //确定中文编码方式。此处用gb2312
string param = HttpUtility.UrlEncode("参数一", myEncoding) +   "=" + HttpUtility.UrlEncode("值一", myEncoding) +   "&" +     HttpUtility.UrlEncode("参数二", myEncoding) +  "=" + HttpUtility.UrlEncode("值二", myEncoding); 
byte[] postBytes = Encoding.ASCII.GetBytes(param);     //将参数转化为assic码
HttpWebRequest req = 
    (HttpWebRequest)  HttpWebRequest.Create( "http://www.baidu.com/s" ); 
req.Method = "POST"; 
req.ContentType =   "application/x-www-form-urlencoded;charset=gb2312"; 
req.ContentLength = postBytes.Length; 
using (Stream reqStream = req.GetRequestStream()) 
{ 
   reqStream.Write(bs, 0, bs.Length); 
} 
using (WebResponse wr = req.GetResponse()) 
{ 
   //在这里对接收到的页面内容进行处理 
}

从上面的代码可以看出， POST 中文数据的时候，先使用 UrlEncode 方法将中文字符转换为编码后的 ASCII 码，然后提交到服务器，提交的时候可以说明编码的方式，用来使对方服务器能够正确的解析。以上列出了客户端程序使用HTTP协议与服务器交互的情况，常用的是 GET 和 POST 方式。现在流行的 WebService 也是通过 HTTP 协议来交互的，使用的是 POST 方法。与以上稍有所不同的是， WebService 提交的数据内容和接收到的数据内容都是使用了 XML 方式编码。所以， HttpWebRequest 也可以使用在调用 WebService 的情况下。 C# HttpWebRequest提交数据方式的基本内容就向你介绍到这里，希望对你了解和学习C# HttpWebRequest提交数据方式有所帮助。

四、完整示例

1. demo

 #region 公共方法
    /// <summary>
    /// Get数据接口
    /// </summary>
    /// <param name="getUrl">接口地址</param>
    /// <returns></returns>
    private static string GetWebRequest(string getUrl)
    {
        string responseContent = "";
        HttpWebRequest request = (HttpWebRequest)WebRequest.Create(getUrl);
        request.ContentType = "application/json";
        request.Method = "GET";
        HttpWebResponse response = (HttpWebResponse)request.GetResponse();
        //在这里对接收到的页面内容进行处理
        using (Stream resStream = response.GetResponseStream())
        {
            using (StreamReader reader = new StreamReader(resStream, Encoding.UTF8))
            {
                responseContent = reader.ReadToEnd().ToString();
            }
        }
        return responseContent;
    }
    /// <summary>
    /// Post数据接口
    /// </summary>
    /// <param name="postUrl">接口地址</param>
    /// <param name="paramData">提交json数据</param>
    /// <param name="dataEncode">编码方式(Encoding.UTF8)</param>
    /// <returns></returns>
    private static string PostWebRequest(string postUrl, string paramData, Encoding dataEncode)
    {
        string responseContent = string.Empty;
        try
        {
            byte[] byteArray = dataEncode.GetBytes(paramData); //转化
            HttpWebRequest webReq = (HttpWebRequest)WebRequest.Create(new Uri(postUrl));
            webReq.Method = "POST";
            webReq.ContentType = "application/x-www-form-urlencoded";
            webReq.ContentLength = byteArray.Length;
            using (Stream reqStream = webReq.GetRequestStream())
            {
                reqStream.Write(byteArray, 0, byteArray.Length);//写入参数
                                                                //reqStream.Close();
            }
            using (HttpWebResponse response = (HttpWebResponse)webReq.GetResponse())
            {
                //在这里对接收到的页面内容进行处理
                using (StreamReader sr = new StreamReader(response.GetResponseStream(), Encoding.Default))
                {
                    responseContent = sr.ReadToEnd().ToString();
                }
            }
        }
        catch (Exception ex)
        {
            return ex.Message;
        }
        return responseContent;
    }
    #endregion

2. post支持cookie

/// <summary>
/// 发起Post请求（采用HttpWebRequest，支持传Cookie）
/// </summary>
/// <param name="strUrl">请求Url</param>
/// <param name="formData">发送的表单数据</param>
/// <param name="strResult">返回请求结果（如果请求失败，返回异常消息）</param>
/// <param name="cookieContainer">随同HTTP请求发送的Cookie信息，如果不需要身份验证可以为空</param>
/// <returns>返回：是否请求成功</returns>
public static bool HttpPost(string strUrl, Dictionary<string, string> formData, CookieContainer cookieContainer, out string strResult)
{
    string strPostData = null;
    if (formData != null && formData.Count > 0)
    {
        StringBuilder sbData = new StringBuilder();
        int i = 0;
        foreach (KeyValuePair<string, string> data in formData)
        {
            if (i > 0)
            {
                sbData.Append("&");
            }
            sbData.AppendFormat("{0}={1}", data.Key, data.Value);
            i++;
        }
        strPostData = sbData.ToString();
    }
    byte[] postBytes = string.IsNullOrEmpty(strPostData) ? new byte[0] : Encoding.UTF8.GetBytes(strPostData);
    return HttpPost(strUrl, postBytes, cookieContainer, out strResult);
}

3. post上传文件

/// <summary>
/// 发起Post文件请求（采用HttpWebRequest，支持传Cookie）
/// </summary>
/// <param name="strUrl">请求Url</param>
/// <param name="strFilePostName">上传文件的PostName</param>
/// <param name="strFilePath">上传文件路径</param>
/// <param name="cookieContainer">随同HTTP请求发送的Cookie信息，如果不需要身份验证可以为空</param>
/// <param name="strResult">返回请求结果（如果请求失败，返回异常消息）</param>
/// <returns>返回：是否请求成功</returns>
public static bool HttpPostFile(string strUrl, string strFilePostName, string strFilePath, CookieContainer cookieContainer, out string strResult)
{
    HttpWebRequest request = null;
    FileStream fileStream = FileHelper.GetFileStream(strFilePath);
    try
    {
        if (fileStream == null)
        {
            throw new FileNotFoundException();
        }
        request = (HttpWebRequest)WebRequest.Create(strUrl);
        request.Method = "POST";
        request.KeepAlive = false;
        request.Timeout = 30000;
        if (cookieContainer != null)
        {
            request.CookieContainer = cookieContainer;
        }
        string boundary = string.Format("---------------------------{0}", DateTime.Now.Ticks.ToString("x"));
        byte[] header = Encoding.UTF8.GetBytes(string.Format("--{0}\r\nContent-Disposition: form-data; name=\"{1}\"; filename=\"{2}\"\r\nContent-Type: application/octet-stream\r\n\r\n",
                                                             boundary, strFilePostName, Path.GetFileName(strFilePath)));
        byte[] footer = Encoding.UTF8.GetBytes(string.Format("\r\n--{0}--\r\n", boundary));
        request.ContentType = string.Format("multipart/form-data; boundary={0}", boundary);
        request.ContentLength = header.Length + fileStream.Length + footer.Length;
        using (Stream reqStream = request.GetRequestStream())
        {
            // 写入分割线及数据信息
            reqStream.Write(header, 0, header.Length);
            // 写入文件
            FileHelper.WriteFile(reqStream, fileStream);
            // 写入尾部
            reqStream.Write(footer, 0, footer.Length);
        }
        strResult = GetResponseResult(request, cookieContainer);
    }
    catch (Exception ex)
    {
        strResult = ex.Message;
        return false;
    }
    finally
    {
        if (request != null)
        {
            request.Abort();
        }
        if (fileStream != null)
        {
            fileStream.Close();
        }
    }
    return true;
}
/// <summary>
/// 获取请求结果字符串
/// </summary>
/// <param name="request">请求对象（发起请求之后）</param>
/// <param name="cookieContainer">随同HTTP请求发送的Cookie信息，如果不需要身份验证可以为空</param>
/// <returns>返回请求结果字符串</returns>
private static string GetResponseResult(HttpWebRequest request, CookieContainer cookieContainer = null)
{
    using (HttpWebResponse response = (HttpWebResponse)request.GetResponse())
    {
        if (cookieContainer != null)
        {
            response.Cookies = cookieContainer.GetCookies(response.ResponseUri);
        }
        using (Stream rspStream = response.GetResponseStream())
        {
            using (StreamReader reader = new StreamReader(rspStream, Encoding.UTF8))
            {
                return reader.ReadToEnd();
            }
        }
    }
}

4. OAuth头部

//构造OAuth头部 
StringBuilder oauthHeader = new StringBuilder();
oauthHeader.AppendFormat("OAuth realm=\"\", oauth_consumer_key={0}, ", apiKey);
oauthHeader.AppendFormat("oauth_nonce={0}, ", nonce);
oauthHeader.AppendFormat("oauth_timestamp={0}, ", timeStamp);
oauthHeader.AppendFormat("oauth_signature_method={0}, ", "HMAC-SHA1");
oauthHeader.AppendFormat("oauth_version={0}, ", "1.0");
oauthHeader.AppendFormat("oauth_signature={0}, ", sig);
oauthHeader.AppendFormat("oauth_token={0}", accessToken);
//构造请求 
StringBuilder requestBody = new StringBuilder("");
Encoding encoding = Encoding.GetEncoding("utf-8");
byte[] data = encoding.GetBytes(requestBody.ToString());
// Http Request的设置 
HttpWebRequest request = (HttpWebRequest)WebRequest.Create(uri);
request.Headers.Set("Authorization", oauthHeader.ToString());
//request.Headers.Add("Authorization", authorization); 
request.ContentType = "application/atom+xml";
request.Method = "GET";

五、C#通过WebClient/HttpWebRequest实现http的post/get方法

1. POST方法(httpWebRequest)

//body是要传递的参数,格式"roleId=1&uid=2"
//post的cotentType填写:"application/x-www-form-urlencoded"
//soap填写:"text/xml; charset=utf-8"
public static string PostHttp(string url, string body, string contentType)
{
    HttpWebRequest httpWebRequest = (HttpWebRequest)WebRequest.Create(url);
    httpWebRequest.ContentType = contentType;
    httpWebRequest.Method = "POST";
    httpWebRequest.Timeout = 20000;
    byte[] btBodys = Encoding.UTF8.GetBytes(body);
    httpWebRequest.ContentLength = btBodys.Length;
    httpWebRequest.GetRequestStream().Write(btBodys, 0, btBodys.Length);
    HttpWebResponse httpWebResponse = (HttpWebResponse)httpWebRequest.GetResponse();
    StreamReader streamReader = new StreamReader(httpWebResponse.GetResponseStream());
    string responseContent = streamReader.ReadToEnd();
    httpWebResponse.Close();
    streamReader.Close();
    httpWebRequest.Abort();
    httpWebResponse.Close();
    return responseContent;
}

2. POST方法(WebClient)

/// <summary>
/// 通过WebClient类Post数据到远程地址，需要Basic认证；
/// 调用端自己处理异常
/// </summary>
/// <param name="uri"></param>
/// <param name="paramStr">name=张三&age=20</param>
/// <param name="encoding">请先确认目标网页的编码方式</param>
/// <param name="username"></param>
/// <param name="password"></param>
/// <returns></returns>
public static string Request_WebClient(string uri, string paramStr, Encoding encoding, string username, string password)
{
    if (encoding == null)
        encoding = Encoding.UTF8;
    string result = string.Empty;
    WebClient wc = new WebClient();
    // 采取POST方式必须加的Header
    wc.Headers.Add("Content-Type", "application/x-www-form-urlencoded");
    byte[] postData = encoding.GetBytes(paramStr);
    if (!string.IsNullOrEmpty(username) && !string.IsNullOrEmpty(password))
    {
        wc.Credentials = GetCredentialCache(uri, username, password);
        wc.Headers.Add("Authorization", GetAuthorization(username, password));
    }
    byte[] responseData = wc.UploadData(uri, "POST", postData); // 得到返回字符流
    return encoding.GetString(responseData);// 解码                  
}

3. Get方法(httpWebRequest)

public static string GetHttp(string url, HttpContext httpContext)
{
    string queryString = "?";
    foreach (string key in httpContext.Request.QueryString.AllKeys)
    {
        queryString += key + "=" + httpContext.Request.QueryString[key] + "&";
    }
    queryString = queryString.Substring(0, queryString.Length - 1);
    HttpWebRequest httpWebRequest = (HttpWebRequest)WebRequest.Create(url + queryString);
    httpWebRequest.ContentType = "application/json";
    httpWebRequest.Method = "GET";
    httpWebRequest.Timeout = 20000;
    //byte[] btBodys = Encoding.UTF8.GetBytes(body);
    //httpWebRequest.ContentLength = btBodys.Length;
    //httpWebRequest.GetRequestStream().Write(btBodys, 0, btBodys.Length);
    HttpWebResponse httpWebResponse = (HttpWebResponse)httpWebRequest.GetResponse();
    StreamReader streamReader = new StreamReader(httpWebResponse.GetResponseStream());
    string responseContent = streamReader.ReadToEnd();
    httpWebResponse.Close();
    streamReader.Close();
    return responseContent;
}

4. basic验证的WebRequest/WebResponse

/// <summary>
/// 通过 WebRequest/WebResponse 类访问远程地址并返回结果，需要Basic认证；
/// 调用端自己处理异常
/// </summary>
/// <param name="uri"></param>
/// <param name="timeout">访问超时时间，单位毫秒；如果不设置超时时间，传入0</param>
/// <param name="encoding">如果不知道具体的编码，传入null</param>
/// <param name="username"></param>
/// <param name="password"></param>
/// <returns></returns>
public static string Request_WebRequest(string uri, int timeout, Encoding encoding, string username, string password)
{
    string result = string.Empty;
    WebRequest request = WebRequest.Create(new Uri(uri));
    if (!string.IsNullOrEmpty(username) && !string.IsNullOrEmpty(password))
    {
        request.Credentials = GetCredentialCache(uri, username, password);
        request.Headers.Add("Authorization", GetAuthorization(username, password));
    }
    if (timeout > 0)
        request.Timeout = timeout;
    WebResponse response = request.GetResponse();
    Stream stream = response.GetResponseStream();
    StreamReader sr = encoding == null ? new StreamReader(stream) : new StreamReader(stream, encoding);
    result = sr.ReadToEnd();
    sr.Close();
    stream.Close();
    return result;
}
#region # 生成 Http Basic 访问凭证 #
private static CredentialCache GetCredentialCache(string uri, string username, string password)
{
    string authorization = string.Format("{0}:{1}", username, password);
    CredentialCache credCache = new CredentialCache();
    credCache.Add(new Uri(uri), "Basic", new NetworkCredential(username, password));
    return credCache;
}
private static string GetAuthorization(string username, string password)
{
    string authorization = string.Format("{0}:{1}", username, password);
    return "Basic " + Convert.ToBase64String(new ASCIIEncoding().GetBytes(authorization));
}
#endregion

六、遇见问题

1. post数据时报错：远程服务器返回错误: (400) 错误的请求

报400说是传的数据格式不对

Content_Type为：application/json，配的数据格式有些麻烦，特别数多层，单层还好。
例如，我本传的数据是这个的json：

{
    "key1": {
        "key11": "value11",
        "key12": "value12"
    },
    "key2": "value2"
}

这时候，postData应该为：{“key1”: {\”key11\”: \”value11\”,\”key12\”: \”value12\”},”key2”: “value2”} c#里赋值写法为：(这里建议将json格式数据通过json工具转义，避免自己转移带来不必要的错误)

{
    \"key1\": {
        \"key11\": \"value11\",
        \"key12\": \"value12\"
    },
    \"key2\": \"value2\"
}

post的方法：

protected string PostUrl(string url, string postData)
{
    try
    {
        HttpWebRequest webrequest = (HttpWebRequest)HttpWebRequest.Create(url);
        webrequest.Method = "post";
        webrequest.ContentType = "application/json;charset=utf-8";
        byte[] postdatabyte = Encoding.UTF8.GetBytes(postData);
        webrequest.ContentLength = postdatabyte.Length;
        Stream stream;
        stream = webrequest.GetRequestStream();
        stream.Write(postdatabyte, 0, postdatabyte.Length);
        stream.Close();
        using (var httpWebResponse = webrequest.GetResponse())
            using (StreamReader responseStream = new StreamReader(httpWebResponse.GetResponseStream()))
        {
            String ret = responseStream.ReadToEnd();
            string result = ret.ToString();
            return result;
        }
    }
    catch (Exception ex)
    {
        HttpContext.Current.Response.Write(ex);
        return "";
    }
}

如果posData的格式写错，运行后报错(using (var httpWebResponse = webrequest.GetResponse()))：System.Net.WebException: 远程服务器返回错误: (400) 错误的请求。在System.Net.HttpWebRequest.GetResponse() 。