股票日线数据 增量更新入MySQL库

admin

1. # -*- coding: utf-8 -*-
   
2. """
   
3. Created on Fri Oct 23 21:36:03 2020
   
4. @author: Administrator
   
5. 每天下午4 点，数据可以增量更新，不需要每天必须4点来点击
   
6. """
   
7. 
   
8. from sqlalchemy import create_engine
   
9. import pandas as pd
   
10. import tushare as ts
    
11. pro = ts.pro_api('7322d9b3de6e6f0a650c5f3a70ca121cb35006a52a1c8c46ee7f0c63')
    
12. import time
    
13. 
    
14. engine3 = create_engine("mysql+pymysql://{}:{}@{}/{}?charset={}".format('root', 'root@123', 'localhost:3306', 'fund','utf8'))
    
15. con3 = engine3.connect()#创建连接      
    
16. 
    
17. #如果第一次插入数据，获取开始时间                     
    
18. try:
    
19.     sta  = pd.read_sql(sql='SELECT MAX(  `trade_date`) as sta FROM  `stock_daily_temp`', con=engine3) #read data to DataFrame 'df
    
20.     sta = sta.iloc[0,0]
    
21. except:
    
22.     sta = '20201010'
    
23. 
    
24. #获取结束时间
    
25. temp1 = pro.daily(ts_code='000001.SZ', start_date='20201010')
    
26. end = max(temp1['trade_date'])
    
27. 
    
28. #获取爬数据周期
    
29. OpenList = pro.trade_cal(start_date=sta, end_date=end )
    
30. kk = OpenList[OpenList.is_open ==1]['cal_date']
    
31. 
    
32. if end > sta:
    
33.     # 获取数据入库
    
34.     te = pd.DataFrame()
    
35.     for i in kk[1:]:
    
36.         print(i)
    
37.         df = pro.daily(trade_date=i)
    
38.         
    
39. 
    
40.         te = te.append(df)
    
41.         time.sleep(2)
    
42.                
    
43.     te['code'] = te['ts_code'].str.split('.',expand=True)[0]
    
44.     te['end_pct_chg'] = te['pct_chg']   
    
45.     te['amount'] = te['amount'] * 1000    # 数据有问题，需要*1000 单位元
    
46. 
    
47.     te.to_sql(name='stock_daily_temp', con=con3, if_exists='append', index=False)
    
48.     print('当天数据已经更新')
    
49. else:
    
50.     print('日线数据已经是最新，库 - 外网: ' ,sta,end)

复制代码

爬虫效果：