這篇文章主要為大家展示了“如何利用正則表達式抓取博客園列表數(shù)據(jù)”，內(nèi)容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領(lǐng)大家一起研究并學習一下“如何利用正則表達式抓取博客園列表數(shù)據(jù)”這篇文章吧。

站在用戶的角度思考問題，與客戶深入溝通，找到岱山網(wǎng)站設(shè)計與岱山網(wǎng)站推廣的解決方案，憑借多年的經(jīng)驗，讓設(shè)計與互聯(lián)網(wǎng)技術(shù)結(jié)合，創(chuàng)造個性化、用戶體驗好的作品，建站類型包括：網(wǎng)站建設(shè)、成都網(wǎng)站制作、企業(yè)官網(wǎng)、英文網(wǎng)站、手機端網(wǎng)站、網(wǎng)站推廣、域名與空間、網(wǎng)站空間、企業(yè)郵箱。業(yè)務覆蓋岱山地區(qū)。

在抓取博客園數(shù)據(jù)的時候采用了正則表達式，所以有不熟悉正則表達式的朋友可以參考相關(guān)資料，其實很容易掌握，就是在具體的實例中會花些時間。

現(xiàn)在我就來把我抓取博客園數(shù)據(jù)的過程敘述一下，如果有朋友有更好的意見，歡迎提出來。

要使用正則表達式抓取數(shù)據(jù)，首先就要創(chuàng)建一個正則表達式進行匹配，我推薦使用regulator，這個正則表達式工具，我們可以先使用這個工具把我們要使用的正則表達式拼接出來，然后在程序中使用。

我發(fā)現(xiàn)博客園的首頁列表可以通過http://www.cnblogs.com/p1,p2...這種方式來直接訪問，這樣我們就可以直接通過url獲取數(shù)據(jù)，而不用模擬數(shù)據(jù)點擊事件來虛擬的點擊下一頁的那個按鈕獲取數(shù)據(jù)，更加方便。因為我的目的就是抓取一些數(shù)據(jù)，所以就簡單點。

1.首先就是要寫對應的sql Helper類，相信這是很多程序員都會掌握的，無非就是增刪改查的操作。在創(chuàng)建好了sqlhelper類之后，我們就可以開始進行抓取數(shù)據(jù)的邏輯處理。

2.創(chuàng)建BlogRegexController

public class BlogRegexController : Controller
   {
     public void ExecuteRegex()
     {
       string strBaseUrl = "http://www.cnblogs.com/p"; //定義博客園可以訪問的列表數(shù)據(jù)的基地址
       for (int i = ; i <= ; i++)//因為博客園首頁列表最大只有頁，所以我們這個循環(huán)就執(zhí)行次
       {
         string strUrl = strBaseUrl + i.ToString();
         BlogRege blogRegex = new BlogRege(); //定義的具體的Regex類 抓取博客園地址
         string result = blogRegex.SendUrl(strUrl);
         blogRegex.AnalysisHtml(result);
 
         Response.Write("獲取成功");
       }
     }
 
     //
     // GET: /BlogRegex/
 
     public ActionResult Index()
     {
       ExecuteRegex();
       return View();
     }
 
   }

在controller中的ExecuteRegex()方法就是執(zhí)行抓取博客園列表數(shù)據(jù)的功臣。

3.首先就是其中定義的BlogRege類，他負責抓取博客園列表數(shù)據(jù)并將其插入到數(shù)據(jù)庫中

public class BlogRege
   {   //負責把數(shù)據(jù)插入到數(shù)據(jù)庫中 使用到的是sqlhelper類
     public void Insert(string title, string content,string linkurl, int categoryID = )
     {
       SqlHelper helper = new SqlHelper();
       helper.Insert(title, content, categoryID,linkurl);
     }
     /// 

     /// 通過Url地址獲取具體網(wǎng)頁內(nèi)容 發(fā)起一個請求獲得html內(nèi)容
     /// 
     /// 
     /// 
     public string SendUrl(string strUrl)
     {
       try
       {
         WebRequest webRequest = WebRequest.Create(strUrl);
         WebResponse webResponse = webRequest.GetResponse();
         StreamReader reader = new StreamReader(webResponse.GetResponseStream());
         string result = reader.ReadToEnd();
         return result;
       }
       catch (Exception ex)
       {
         throw ex;
       }
     }
     /// 

     /// 分析Html 解析出里面具體的數(shù)據(jù)
     /// 
     /// 
     public void AnalysisHtml(string htmlContent)
     {//這個就是我在regulator正則表達式工具中拼接獲取到的正則表達式 還有一點請注意就是轉(zhuǎn)義字符的問題
       string strPattern = "\\s*.*\\s*.*\\s*.*\\s*.*\\s*.*\\s*.*\\s*.*\\s*\\s*.*)\"\\s*target=\"_blank\">(?