当前位置:首页 > 科技  > 软件

一日一技:爬虫如何解析JavaScript Object?

来源: 责编: 时间:2023-10-28 16:30:17 414观看
导读我们在开发爬虫的过程中,经常发现有一些网站,会直接把数据放到HTML中的<script>标签里面。这些数据长得有点像JSON,但又有差异,如下图所示:图片这种格式,我们叫做JavaScript Object。长得很像Python的字典,又很像是JSON。但

我们在开发爬虫的过程中,经常发现有一些网站,会直接把数据放到HTML中的<script>标签里面。这些数据长得有点像JSON,但又有差异,如下图所示:Py028资讯网——每日最新资讯28at.com

图片图片Py028资讯网——每日最新资讯28at.com

这种格式,我们叫做JavaScript Object。长得很像Python的字典,又很像是JSON。但是这个格式在Python里面,无论直接当字典解析,还是当JSON解析,都会报错,如下图所示:Py028资讯网——每日最新资讯28at.com

图片图片Py028资讯网——每日最新资讯28at.com

遇到这种情况,有同学准备使用正则表达式来解析,又有同学直接放弃。Py028资讯网——每日最新资讯28at.com

但实际上,这种数据结构,使用Yaml是可以直接解析成Python的字典。我们首先来安装一下Yaml:Py028资讯网——每日最新资讯28at.com

pip install pyyaml

然后直接像解析JSON一样解析:Py028资讯网——每日最新资讯28at.com

import yamldata = '''{    name: '青南',    salary: 999999999,    address: '上海',    pro: true}'''info = yaml.safe_load(data)

运行效果如下图所示,已经直接解析成了Python的字典:Py028资讯网——每日最新资讯28at.com

图片图片Py028资讯网——每日最新资讯28at.com

Yaml格式是JSON格式的超集,因此,使用pyyaml库也能直接解析正常的JSON:Py028资讯网——每日最新资讯28at.com

图片图片Py028资讯网——每日最新资讯28at.com

甚至各种复杂的混合格式也能正常解析:Py028资讯网——每日最新资讯28at.com

图片图片图片Py028资讯网——每日最新资讯28at.com

本文链接:http://www.28at.com/showinfo-26-15576-0.html一日一技:爬虫如何解析JavaScript Object?

声明:本网页内容旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。邮件:2376512515@qq.com

上一篇: 开始学习Go编程

下一篇: Go的单元测试进阶:Mock与Stub的使用

标签:
  • 热门焦点
  • 太卷!Redmi MAX 100英寸电视便宜了:12999元买Redmi史上最大屏

    8月5日消息,从小米商城了解到,Redmi MAX 100英寸巨屏电视日前迎来官方优惠,到手价12999元,比发布价便宜了7000元,在大屏电视市场开卷。据了解,Redmi MAX 100
  • 跑分安卓第一!Redmi K60至尊版8月发布!卢伟冰:目标年度性能之王

    8月5日消息,Redmi K60至尊版将于8月发布,在此前举行的战略发布会上,官方该机将搭载搭载天玑9200+处理器,安兔兔V10跑分超177万分,是目前安卓阵营最高的分数
  • 从 Pulsar Client 的原理到它的监控面板

    背景前段时间业务团队偶尔会碰到一些 Pulsar 使用的问题,比如消息阻塞不消费了、生产者消息发送缓慢等各种问题。虽然我们有个监控页面可以根据 topic 维度查看他的发送状态,
  • 十个简单但很有用的Python装饰器

    装饰器(Decorators)是Python中一种强大而灵活的功能,用于修改或增强函数或类的行为。装饰器本质上是一个函数,它接受另一个函数或类作为参数,并返回一个新的函数或类。它们通常用
  • 从零到英雄:高并发与性能优化的神奇之旅

    作者 | 波哥审校 | 重楼作为公司的架构师或者程序员,你是否曾经为公司的系统在面对高并发和性能瓶颈时感到手足无措或者焦头烂额呢?笔者在出道那会为此是吃尽了苦头的,不过也得
  • 为什么你不应该使用Div作为可点击元素

    按钮是为任何网络应用程序提供交互性的最常见方式。但我们经常倾向于使用其他HTML元素,如 div span 等作为 clickable 元素。但通过这样做,我们错过了许多内置浏览器的功能。
  • 每天一道面试题-CPU伪共享

    前言:了不起:又到了每天一到面试题的时候了!学弟,最近学习的怎么样啊 了不起学弟:最近学习的还不错,每天都在学习,每天都在进步! 了不起:那你最近学习的什么呢? 了不起学弟:最近在学习C
  • 大厂卷向扁平化

    来源:新熵作者丨南枝 编辑丨月见大厂职级不香了。俗话说,兵无常势,水无常形,互联网企业调整职级体系并不稀奇。7月13日,淘宝天猫集团启动了近年来最大的人力制度改革,目前已形成一
  • 华为举行春季智慧办公新品发布会 首次推出电子墨水屏平板

    北京时间2月27日晚,华为在巴塞罗那举行春季智慧办公新品发布会,在海外市场推出之前已经在中国市场上市的笔记本、平板、激光打印机等办公产品,并首次推出搭载
Top