python爬虫-持仓排名数据爬取!-dat文件如何打开
摘要:笔记记录爬取上期所持仓数据的过程,本次爬取使用的工具是python,使用的IDE是pycharm
进群:864573496 获取源码!
一、查看网页属性,分析数据结构
在浏览器中打开上期所网页,按F12或者选择表格文字-右键-审查元素,调出控制台:
在Network中可以看到目标数据:http://www.shfe.com.cn/data/dailydata/kx/pm20190110.dat,其中 20190110 是数据代表的日期:
二、将数据下载到本地文件夹
1.在pycharm中新建一个python文档,将目标dat文件下载到本地文件夹,需要用到的包可以在CMD控制台中通过 ‘pip install [包名]’ 安装:
import xlwt
import requests
import os
mydate = "20190111" #指定需要的数据日期
url = "http://www.shfe.com.cn/data/dailydata/kx/pm" + mydate + ".dat"
root = "F://py//SQ//"
path = root + url.split('/')[-1] + ".txt" #指定下载的目录,保存为txt文件
r = requests.get(url)
with open(path, 'wb') as f:
f.write(r.content)
f.close()
print("文件保存成功")
2.运行代码后,可以看到文件夹中多了个pm20190111.dat.txt文件,用记事本打开文件,可以看到文件是Json格式的表格,接下来用json包将其解析成python的dataframe格式:
代码:
import json
file = open("F://py//SQ//pm" + mydate + ".dat.txt", 'r', encoding='UTF-8')
js = file.read()
dic = json.loads(js)
file.close()
3.接下来将数据存储到excel表中,使用的是xlwt包,运行代码,至此,上期所的每日持仓数据已成功爬取
def WriteExcel(data):
pm = xlwt.Workbook()
sheet = pm.add_sheet('Sheet1', cell_overwrite_ok=True)
title = ['品种代码', '序号', '排名', '期货公司会员号', '会员类别', '总成交量', '比上交易日增减', '期货公司会员号', '会员类别', '总持买单量', '比上交易日增减', '期货公司会员号',
'会员类别', '总持卖单量', '比上交易日增减', '品种']
for i in range(len(title)): # 创建表头
sheet.write(0, i, title[i])
j = 0
for line in data["o_cursor"]: # 写入数据
dataV = list(data["o_cursor"][j].values())
j = j + 1
for k in range(len(dataV)):
if isinstance(dataV[k], str):
dataV[k] = dataV[k].strip()
sheet.write(j, k, dataV[k])
pm.save("F://py//SQ//demo" + mydate + ".xls")
WriteExcel(dic)
相关内容
-
在wps中粘贴保留原格式化|wps中复制文件保留原
在wps中粘贴保留原格式化|wps中复制文件保留原有格式,格式化,...
-
什么是boot.ini文件错误ini的非法解决方案
什么是boot.ini文件错误ini的非法解决方案,,千奇百怪的电脑问...
-
鼠标不能拖动文件了
鼠标不能拖动文件了,鼠标,拖动,本文目录鼠标不能拖动文件了电...
-
icloud设置哪些该打开|icloud在设置哪里打开
icloud设置哪些该打开|icloud在设置哪里打开,,icloud设置哪些...
-
电脑网页打开页面不全怎么办|电脑网页打开后显
电脑网页打开页面不全怎么办|电脑网页打开后显示不全,,1. 电脑...
-
计算机不能打开网页发送更多的数据包,但很少收到
计算机不能打开网页发送更多的数据包,但很少收到(解决方案)。,,问...
-
Outlook的PST文件损坏的修复方法
Outlook的PST文件损坏的修复方法,文件, ...
-
电脑打开lol就死机是怎么回事|电脑一玩lol就死
电脑打开lol就死机是怎么回事|电脑一玩lol就死机什么原因,,电...
-
手提电脑上怎么打开|手提电脑上怎么打开键盘
手提电脑上怎么打开|手提电脑上怎么打开键盘,,手提电脑上怎么...
-
电脑wlan自动断开|电脑打开wlan自动关
电脑wlan自动断开|电脑打开wlan自动关,,1. 电脑打开wlan自动关...
-
wps默认打开如何关闭|如何取消WPS的默认打开方
wps默认打开如何关闭|如何取消WPS的默认打开方式?,WPS教程,1....
-
手提电脑打开蓝牙耳机|怎么打开手提电脑蓝牙
手提电脑打开蓝牙耳机|怎么打开手提电脑蓝牙,,怎么打开手提电...
-
联想电脑硬盘怎么打开|联想电脑硬盘怎么打开启
联想电脑硬盘怎么打开|联想电脑硬盘怎么打开启,,1. 联想电脑硬...
-
电脑什么文件不能删除文件|电脑中哪些文件不能
电脑什么文件不能删除文件|电脑中哪些文件不能删除,,电脑中哪...
-
电脑上怎样打文件|电脑上怎样打文件符号
电脑上怎样打文件|电脑上怎样打文件符号,,电脑上怎样打文件符...