C#获取js执行之后的网页源代码（使用线程并设置超时功能）_20200712

共21个文件

cs：5个

config：3个

exe：3个

线程超时

网页源代码

4星 · 超过85%的资源需积分: 49 198 浏览量 2020-07-12 14:06:49 上传评论 1 收藏 47KB RAR 举报

在C#编程中，有时我们需要获取网页的源代码，但有些网页的内容是通过JavaScript动态生成的，单纯使用HttpClient或WebClient等方法无法获取到完整的HTML，因为它们不会执行页面上的JavaScript代码。在这种情况下，我们可以利用`WebBrowser`控件来模拟浏览器行为，使JavaScript得以执行并获取最终的网页源代码。以下将详细介绍这一过程，以及如何结合线程和超时机制来优化这一操作。 1. **WebBrowser控件**：`WebBrowser`控件是.NET Framework提供的一个组件，它模拟了Internet Explorer浏览器的功能，可以加载和显示HTML文档，并支持JavaScript执行。通过`WebBrowser.DocumentText`属性，我们可以在JavaScript执行完毕后获取到完整的HTML源代码。 ```csharp WebBrowser webBrowser = new WebBrowser(); webBrowser.ScriptErrorsSuppressed = true; // 阻止JavaScript错误显示 webBrowser.Navigate("http://example.com"); webBrowser.DocumentCompleted += WebBrowser_DocumentCompleted; ``` 2. **事件处理**：`DocumentCompleted`事件会在页面加载完成后触发，这时JavaScript已经执行完毕。我们可以在该事件的处理函数中获取源代码。 ```csharp private void WebBrowser_DocumentCompleted(object sender, WebBrowserDocumentCompletedEventArgs e) { if (webBrowser.ReadyState == WebBrowserReadyState.Complete) { string htmlSource = webBrowser.DocumentText; // 这里处理htmlSource } } ``` 3. **线程应用**：由于`WebBrowser`控件的加载过程可能会比较耗时，我们通常会将其放在单独的线程中执行，避免阻塞UI线程。 ```csharp private async Task<string> GetHtmlSourceAsync(string url) { var tcs = new TaskCompletionSource<string>(); var thread = new Thread(() => { try { WebBrowser webBrowser = new WebBrowser(); webBrowser.ScriptErrorsSuppressed = true; webBrowser.DocumentCompleted += (s, args) => { if (webBrowser.ReadyState == WebBrowserReadyState.Complete) { tcs.SetResult(webBrowser.DocumentText); } }; webBrowser.Navigate(url); while (webBrowser.IsBusy) { Application.DoEvents(); // 允许UI更新 } } catch (Exception ex) { tcs.SetException(ex); } }); thread.Start(); return await tcs.Task; } ``` 4. **线程超时**：为了防止网页加载时间过长导致程序无响应，我们需要设置一个超时机制。这里可以通过`CancellationToken`来实现。 ```csharp private async Task<string> GetHtmlSourceAsync(string url, int timeoutMilliseconds) { using (var cts = new CancellationTokenSource(timeoutMilliseconds)) { try { var task = GetHtmlSourceAsync(url); if (await Task.WhenAny(task, Task.Delay(timeoutMilliseconds, cts.Token)) == task) { return await task; } else { throw new TimeoutException($"获取网页源代码超时，超过了{timeoutMilliseconds}毫秒"); } } catch (OperationCanceledException) { throw new TimeoutException("获取网页源代码超时"); } } } ``` 总结来说，要获取执行JavaScript后的网页源代码，可以使用C#中的`WebBrowser`控件。将其放在单独线程中执行，以防止阻塞主程序，同时设置超时机制，确保在规定时间内完成加载，避免程序无响应。通过这种方式，我们可以在C#中有效地获取到网页的最终状态，适用于需要动态内容的场景。

资源推荐

资源详情

资源评论

收起资源包目录

C# 获取js执行之后的网页源代码（使用线程并设置超时功能）_20200712_140337.rar （21个子文件）

C# 获取js执行之后的网页源代码（使用线程并设置超时功能）

.vs

ConsoleApplication1

v14

.suo 41KB

ConsoleApplication1

Program.cs 7KB

ConsoleApplication1.csproj 3KB

obj

Debug

TemporaryGeneratedFile_5937a670-0e60-4077-877b-f7221da3dda1.cs 0B

DesignTimeResolveAssemblyReferencesInput.cache 7KB

ConsoleApplication1.csprojResolveAssemblyReference.cache 2KB

TempPE

ConsoleApplication1.exe 8KB

ConsoleApplication1.csproj.FileListAbsolute.txt 1KB

ConsoleApplication1.pdb 18KB

TemporaryGeneratedFile_E7A71F73-0F8D-4B9B-B56E-8E70B10BC5D3.cs 0B

TemporaryGeneratedFile_036C0B5B-1481-4323-8D20-8F5ADCB23D92.cs 0B

bin

Debug

ConsoleApplication1.exe.config 189B

ConsoleApplication1.vshost.exe.config 189B

ConsoleApplication1.vshost.exe.manifest 490B

ConsoleApplication1.exe 8KB

ConsoleApplication1.pdb 18KB

out.txt 4KB

ConsoleApplication1.vshost.exe 22KB

App.config 189B

Properties

AssemblyInfo.cs 1KB

ConsoleApplication1.sln 1024B

Link list: <A href="doc/shortcut.htm">加入桌面</A> <A href="worldtime.htm">世界时间</A> <A href="shicha/">国内时差</A> <A href="bazi.htm">真太阳时</A> <A href="riqi/">日期计算</A> <A href="software/time.htm">校时软件</A> <A href='javascript:opentool("xbb.htm",500,300)' target=_self>小白板</A> <A href='javascript:opentool("jsq.htm",940,480)' target=_self>计算器</A> <A href="javascript:loadsearch()" target=_self>﹀搜索</A> <A href="riqi/daojishi.htm">倒计时</A> <A href="fangjiaanpai.htm">放假安排</A> <A href="user/login.asp"><FONT size=+0>→ 网络记事日历登录</FONT></A> <A href="user/newuser.asp">注册</A> <A style="COLOR: orange" href="javascript:info();stl()" target=_self>刷新时间</A> <A style="COLOR: orange" href="alarm.htm">闹钟</A> <A href="javascript:loadcld()" target=_self>点此查看日历<BR>﹀</A> <A href="doc/contact.htm">联系本站</A> <A href="doc/donate.htm">赞助本站</A> <A href="post/">留言簿</A> <A href="doc/friendlinks.htm">友情链接</A> <A href="info/">站长日志</A> <A href="http://www.beian.miit.gov.cn">京ICP备05006023号-4</A> Image List: <IMG border=0 src="logo.gif"> Html Body: <TABLE id=ttl> <TBODY> <TR> <TD width="18%" align=center><IMG border=0 src="logo.gif"> <DIV><A href="doc/shortcut.htm">加入桌面</A> </DIV></TD> <TD vAlign=middle align=center></TD></TR></TBODY></TABLE> <CENTER> <TABLE class=mnt> <TBODY> <TR> <TD class=spl><A href="worldtime.htm">世界时间</A> </TD> <TD class=spl><A href="shicha/">国内时差</A> </TD> <TD class=spl><A href="bazi.htm">真太阳时</A> </TD> <TD class=spl><A href="riqi/">日期计算</A> </TD> <TD><A href="software/time.htm">校时软件</A> </TD></TR></TBODY></TABLE> <TABLE class=mnt style="MARGIN-TOP: 1px"> <TBODY> <TR> <TD class=spl><A href='javascript:opentool("xbb.htm",500,300)' target=_self>小白板</A> <TD class=spl><A href='javascript:opentool("jsq.htm",940,480)' target=_self>计算器</A> </TD> <TD id=scmd class=spl><A href="javascript:loadsearch()" target=_self>﹀搜索</A> </TD> <TD class=spl><A href="riqi/daojishi.htm">倒计时</A> </TD> <TD class=spl><A href="fangjiaanpai.htm">放假安排</A> </TD></TR></TBODY></TABLE> <DIV id=search></DIV> <DIV id=lgn><A href="user/login.asp"><FONT size=+0>→ 网络记事日历登录</FONT></A>   <A href="user/newuser.asp">注册</A>    </DIV> <TABLE id=tmt> <TBODY> <TR> <TD width=220 align=center><B><FONT id=y></FONT></B>年<B><FONT id=m></FONT></B>月<BR><FONT id=n></FONT><BR>星期<FONT id=w></FONT> <TD vAlign=middle align=center><A style="COLOR: orange" href="javascript:info();stl()" target=_self>刷新时间</A> <BR><SPAN id=tcl><FONT id=hrs></FONT>: <FONT id=min></FONT>: <FONT id=sec></FONT></SPAN><BR><A style="COLOR: orange" href="alarm.htm">闹钟</A> <TD width=220 align=center><SPAN id=ly></SPAN><SPAN id=lm></SPAN>月<SPAN id=ld></SPAN> <BR><FONT id=jq></FONT><BR><FONT id=sanjiu></FONT></TR></TBODY></TABLE> <SCRIPT type=text/javascript src="stm.js"></SCRIPT> </CENTER> <CENTER> <P id=cld><A href="javascript:loadcld()" target=_self>点此查看日历<BR>﹀</A> </P> <DIV> <SCRIPT src="https://pagead2.googlesyndication.com/pagead/js/adsbygoogle.js" async></SCRIPT> <INS class=adsbygoogle style="DISPLAY: block" data-full-width-responsive="true" data-ad-format="auto" data-ad-slot="9136298983" data-ad-client="ca-pub-2872916894005511"></INS> <SCRIPT> (adsbygoogle = window.adsbygoogle || []).push({}); </SCRIPT> </DIV> <DIV id=foo><A href="doc/contact.htm">联系本站</A>  |  <A href="doc/donate.htm">赞助本站</A>  |  <A href="post/">留言簿</A> <BR><A href="doc/friendlinks.htm">友情链接</A>  |  <A href="info/">站长日志</A> <BR><BR><A href="http://www.beian.miit.gov.cn">京ICP备05006023号-4</A>  京公网安备110102003328 <BR><BR><SMALL style="COLOR: #0586d7">北京时间是东经120º的地方太阳时。本站不保证提供的时间100%准确。 <BR>© 久久时间网 </SMALL><BR><BR></DIV></CENTER>

评论收藏

内容反馈