使用CEFSharp获取动态网页源码

CEF 全称是Chromium Embedded Framework（Chromium嵌入式框架），是个基于Google Chromium项目的开源Web browser控件，支持Windows, Linux, Mac平台。CEFSharp就是CEF的C#移植版本。

访问以下链接可以获取CEF的详细介绍

https://bitbucket.org/chromiumembedded/cef/wiki/Home

CEFSharp是开源的，地址https://github.com/cefsharp/CefSharp,CEFSharp支持Winform和WPF，这里我以WPF来进行演示。

1、新建WPF工程，Nuget引入CEFSharp

2、将解决方案平台更改为x64

3、在Xaml中完成界面设计

需要先引入命名空间前缀

xmlns:cefsharp="clr-namespace:CefSharp.Wpf;assembly=CefSharp.Wpf"

 1 <Window x:Class="使用CEFSharp获取动态网页源码.MainWindow"
 2         xmlns="http://schemas.microsoft.com/winfx/2006/xaml/presentation"
 3         xmlns:x="http://schemas.microsoft.com/winfx/2006/xaml"
 4         xmlns:d="http://schemas.microsoft.com/expression/blend/2008"
 5         xmlns:mc="http://schemas.openxmlformats.org/markup-compatibility/2006"
 6         xmlns:local="clr-namespace:使用CEFSharp获取动态网页源码"
 7         xmlns:cefsharp="clr-namespace:CefSharp.Wpf;assembly=CefSharp.Wpf"
 8         mc:Ignorable="d"
 9         Title="MainWindow" Height="450" Width="800">
10     <Grid>
11         <Grid.RowDefinitions>
12             <RowDefinition Height="35"/>
13             <RowDefinition/>
14         </Grid.RowDefinitions>
15 
16         <Grid>
17             <Label Content="请输入网址" VerticalAlignment="Center" HorizontalAlignment="Left"></Label>
18             <TextBox  VerticalAlignment="Center" Margin="80,0,120,0"></TextBox>
19             <Button Content="访问" HorizontalAlignment="Right" Width="100" VerticalAlignment="Center"/>
20         </Grid>
21 
22         <Grid Grid.Row="1">
23             <cefsharp:ChromiumWebBrowser Name="chrome"></cefsharp:ChromiumWebBrowser>
24         </Grid>
25     </Grid>
26 </Window>

4、使用cef获取网页源码

只需要设置ChromiumWebBrowser.Address属性就可以打开网站。

1 chrome.Address = this.tbox_url.Text;

5、处理获取到的网页源码

在ChromiumWebBrowser.FrameLoadEnd事件实现里可以获取到网页的动态源码。这里需要注意的是，当你打开一个动态页面，这个事件可能会触发多次，比如你打开weibo.com，这个事件就会触发多次。

1 private async void Chrome_FrameLoadEnd(object sender, FrameLoadEndEventArgs e)
2         {
3             string source = await chrome.GetSourceAsync();
4         }

使用CEF无法确定一个网站是否已经完全加载完成，我们只能在它每一次加载完成时，处理它的页面源码。(如果需要主动等待网站加载完成，可以试试使用Selenium https://www.cnblogs.com/zhaotianff/p/11330810.html)

比如打开weibo.com时，会获取到多次页面源码，结果如下(这里只贴出前面两次的结果)：

获取到源码以后可以使用HtmlAgilityPack、AngleSharp等解析库来解析HTML，也可以使用CEF执行js实现同样的功能

调用ChromiumWebBrowser.EvaluateScriptAsync函数就可以执行js，函数返回值可以获取到js执行的结果。

示例代码

如果想了解C#爬虫相关的知识，可以访问我的github