這篇文章主要為大家展示了“C#如何使用代理爬蟲網(wǎng)頁的實現(xiàn)方法”,內(nèi)容簡而易懂,條理清晰,希望能夠幫助大家解決疑惑,下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“C#如何使用代理爬蟲網(wǎng)頁的實現(xiàn)方法”這篇文章吧。
專注于為中小企業(yè)提供成都網(wǎng)站建設(shè)、網(wǎng)站設(shè)計服務(wù),電腦端+手機(jī)端+微信端的三站合一,更高效的管理,為中小企業(yè)思禮免費(fèi)做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都,凝聚了一批互聯(lián)網(wǎng)行業(yè)人才,有力地推動了上1000+企業(yè)的穩(wěn)健成長,幫助中小企業(yè)通過網(wǎng)站建設(shè)實現(xiàn)規(guī)模擴(kuò)充和轉(zhuǎn)變。C# 利用代理爬蟲網(wǎng)頁
實現(xiàn)代碼:
// yanggang@mimvp.com // http://proxy.mimvp.com // 2015-11-09 using System; using System.IO; using System.Net; using System.Text; namespace ConsoleApplication1 { class Program { public static void Main(string[] args) { System.Net.WebProxy proxy = new WebProxy("218.21.230.156", 443); // "107.150.96.188", 8080 HttpWebRequest request = (HttpWebRequest)WebRequest.Create("http://proxy.mimvp.com"); request.Proxy = proxy; using (WebResponse response = request.GetResponse()) { using (TextReader reader = new StreamReader(response.GetResponseStream())) { string line; while ((line = reader.ReadLine()) != null) Console.WriteLine(line); } } } public static void Main2() { // your code goes here System.Net.WebProxy proxy = new WebProxy("107.150.96.188", 8080); System.Net.HttpWebRequest req = (HttpWebRequest)WebRequest.Create("http://www.baidu.com"); req.Proxy = proxy; req.Timeout = 30 * 1000; System.Net.HttpWebResponse resp = (HttpWebResponse)req.GetResponse(); Encoding bin = Encoding.GetEncoding("UTF-8"); StreamReader reader = new StreamReader(resp.GetResponseStream(), bin); string str = reader.ReadToEnd(); Console.WriteLine(str); reader.Close(); reader.Dispose(); } } }
以上是“C#如何使用代理爬蟲網(wǎng)頁的實現(xiàn)方法”這篇文章的所有內(nèi)容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內(nèi)容對大家有所幫助,如果還想學(xué)習(xí)更多知識,歡迎關(guān)注創(chuàng)新互聯(lián)成都網(wǎng)站制作公司行業(yè)資訊頻道!
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務(wù)器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應(yīng)用場景需求。