ruby – 使用open-uri和nokogiri在完全加载之前读取HTML

Ruby 前端之家
前端之家收集整理的这篇文章主要介绍了ruby – 使用open-uri和nokogiri在完全加载之前读取HTML，前端之家小编觉得挺不错的，现在分享给大家，也给大家做个参考。
我正在使用open-uri和nokogiri和 ruby来做一些简单的webcraw.
有一个问题,有时html在完全加载之前被读取.在这种情况下,我无法获取加载图标和导航栏以外的任何内容.
告诉open-uri或nokogiri等到页面完全加载的最佳方法是什么？

目前我的脚本看起来像：

require 'nokogiri'
require 'open-uri'

url = "https://www.the-page-i-wanna-crawl.com"
doc = Nokogiri::HTML(open(url,ssl_verify_mode: OpenSSL::SSL::VERIFY_NONE)) 
puts doc.at_css("h2").text

解决方法

你所描述的是不可能的. open的结果只会在open方法之后传递给HTML,因为返回了完整的值.

我怀疑页面本身使用AJAX加载其内容,如评论中所建议的那样,在这种情况下,您可以使用Watir使用浏览器获取页面

require 'nokogiri'
require 'watir'

browser = Watir::Browser.new
browser.goto 'https://www.the-page-i-wanna-crawl.com'

doc = Nokogiri::HTML.parse(browser.html)

这可能会打开浏览器窗口.

原文链接：https://www.f2er.com/ruby/264521.html

猜你在找的Ruby相关文章

Ruby increment(=)为nil：NilClass引发错误未定义方法”
以下代码导致我的问题： class Foo def initialize(n=0) @n = n end attr_acce...
ruby-on-rails – 为什么这个Rspec测试返回“已经发送电子邮件”
这是我的spec文件,当为上下文添加测试“而不是可单独更新用户余额”时,我得到以下错误. re...
ruby-on-rails – 仅针对特定邮件程序的Rails邮件拦截器
我有一个拦截器：DevelopmentMailInterceptor和一个启动拦截器的inititializer setup_mail...
ruby-on-rails – 如何将YAML文件递归展平为JSON对象,其中键是以点分隔的字符串？
例如,如果我有YAML文件 en: questions: new: 'New Question' other: ...
ruby – RSpec – 如果我避免使用let,let和before,如何实现相同的功能？
我听说在RSpec中避免它,let,let !,指定,之前和主题是最佳做法. 关于让,让！之前,如果不使用...
ruby-on-rails – .save上的Rails NoMethodError
我运行了代码@transaction = Transaction.new然后我给了它一些值： <Transaction id: n...
ruby-on-rails – 为什么我会得到“未定义的方法`编码’”？
为什么我会得到“未定义的方法`编码’”？ 我怎样才能解决这个问题？ 错误信息 NoMethodEr...
ruby-on-rails – ActionMailer错误的参数个数错误
我有一个rails应用程序,允许您请求邀请注册.根据要求,我保存您的电子邮件并向您发送一封电...
ruby-on-rails – 将Active Record集转换为哈希数组
我看到了这个… How to convert activerecord results into a array of hashes 并且想要创...
ruby – 如何将数组值与散列数组合？
我有一系列哈希： [{:foo => 1, :bar => 2}, {:foo => 2, :bar => 4} ...] 和...
PHPJavaJava SEPythonC#C&C++RubyVBasp.NetGoPerlnettyDjangoDelphiJsp.NET CoreSpringFlaskSpringbootSpringMVCLuaLaravelMybatisAspGroovyThinkPHPYiiswoole
文件时间pythonm相等性PHP Warning时间问题问题解决pcntl_signal采样点wav模块动态文本调用频率限制对外暴露多个访问请求更新数据表模型结构type()方法比较速度手写体sobel算子保存模型Image类nn.Conv2dpytorch1.0kaggleDCGAN交并比range()用法打印模型反卷积卷积