请选择 进入手机版 | 继续访问电脑版

数据家园

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
查看: 34|回复: 0

股票日线数据 增量更新入MySQL库

[复制链接]

51

主题

54

帖子

289

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
289
发表于 6 天前 | 显示全部楼层 |阅读模式
  1. # -*- coding: utf-8 -*-
  2. """
  3. Created on Fri Oct 23 21:36:03 2020
  4. @author: Administrator
  5. 每天下午4 点,数据可以增量更新,不需要每天必须4点来点击
  6. """

  7. from sqlalchemy import create_engine
  8. import pandas as pd
  9. import tushare as ts
  10. pro = ts.pro_api('7322d9b3de6e6f0a650c5f3a70ca121cb35006a52a1c8c46ee7f0c63')
  11. import time

  12. engine3 = create_engine("mysql+pymysql://{}:{}@{}/{}?charset={}".format('root', 'root@123', 'localhost:3306', 'fund','utf8'))
  13. con3 = engine3.connect()#创建连接      

  14. #如果第一次插入数据,获取开始时间                     
  15. try:
  16.     sta  = pd.read_sql(sql='SELECT MAX(  `trade_date`) as sta FROM  `stock_daily_temp`', con=engine3) #read data to DataFrame 'df
  17.     sta = sta.iloc[0,0]
  18. except:
  19.     sta = '20201010'

  20. #获取结束时间
  21. temp1 = pro.daily(ts_code='000001.SZ', start_date='20201010')
  22. end = max(temp1['trade_date'])

  23. #获取爬数据周期
  24. OpenList = pro.trade_cal(start_date=sta, end_date=end )
  25. kk = OpenList[OpenList.is_open ==1]['cal_date']

  26. if end > sta:
  27.     # 获取数据入库
  28.     te = pd.DataFrame()
  29.     for i in kk[1:]:
  30.         print(i)
  31.         df = pro.daily(trade_date=i)
  32.         

  33.         te = te.append(df)
  34.         time.sleep(2)
  35.                
  36.     te['code'] = te['ts_code'].str.split('.',expand=True)[0]
  37.     te['end_pct_chg'] = te['pct_chg']   
  38.     te['amount'] = te['amount'] * 1000    # 数据有问题,需要*1000 单位元

  39.     te.to_sql(name='stock_daily_temp', con=con3, if_exists='append', index=False)
  40.     print('当天数据已经更新')
  41. else:
  42.     print('日线数据已经是最新,库 - 外网: ' ,sta,end)
复制代码


爬虫效果:
微信图片_20210219204405.png

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|数据家园 ( 蜀ICP备13007024号 )

GMT+8, 2021-2-25 18:50 , Processed in 0.042333 second(s), 21 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表