博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
想知道Python的 数据驱动编程框架 Da0tabot 是怎么运行?
阅读量:7098 次
发布时间:2019-06-28

本文共 1197 字,大约阅读时间需要 3 分钟。

前言

Da0tabot是用于 Web 爬虫、ETL、数据管道任务开发的高性能 Python 数据驱动编程框架。

**
特性:**

  • 数据驱动编程框架
  • 基于协程的并行
  • 基于类型和内容的函数路由

安装:

pip install -U databot

Databot is...

简单

每2秒加载一次CoinDesk比特币价格. 高级价格聚合案例参见 here.

from databot.flow import Pipe, Timerfrom databot.botframe import BotFramefrom databot.http.http import HttpLoaderdef main():    Pipe(        Timer(delay=2),  # send timer data to pipe every 2 sen        "http://api.coindesk.com/v1/bpi/currentprice.json",  # send url to pipe when timer trigger        HttpLoader(),  # read url and load http response        lambda r: r.json['bpi']['USD']['rate_float'],  # read http response and parese as json        print,  # print out    )    BotFrame.render('simple_bitcoin_price')    BotFrame.run()main()```流程图形化databot 生成的流程图:  ![](https://yqfile.alicdn.com/bf817f05db212da5438a3d02eb60c10b304a0862.png)>小编推荐一个学python的学习qun 740322234无论你是大牛还是小白,是想转行还是想入行都可以来了解一起进步一起学习!裙内有开发工具,很多干货和技术资料分享!**快速**节点并行运行可以很好的处理流数据**可视化**执行函数: BotFrame.render('bitcoin_arbitrage') Databot 将会把数据处理流程生成为 graphviz 图片:https://github.com/kkyon/databot/blob/master/examples/bitcoin_arbitrage.png**可重放**配置可重放模式: config.replay_mode=True 异常发生在第N步的时候,不用从第一步执行到第N步,Databot可以从完成的最近点(通常是第N-1步)重新开始执行,在开发阶段可以节约很多时间。

转载地址:http://cneql.baihongyu.com/

你可能感兴趣的文章
Linux 网络编程之 Select
查看>>
Gym 101194H 2016 ecfinal H题
查看>>
upper_bound()与lower_bound()的使用
查看>>
Aix项目_shell_rsh_01
查看>>
SOFARPC —— Generic Service (泛化调用) 解析
查看>>
C 语言学习资源
查看>>
Sql笔记-查询数据仅出现过一次、小数据位不为零、删除表及序列、ifnull函数
查看>>
caffe官网的部分翻译及NG的教程
查看>>
windows安装apache系统中无apache2服务解决方案
查看>>
常见弱点和常用端口扫描
查看>>
.Net Core建站(4):FTP发布项目及连接服务器数据库
查看>>
[K/3Cloud] 如何代码中动态设置当前活动页签
查看>>
BOS中如何扩展标准产品的功能
查看>>
第216天:Angular---自定义指令(二)
查看>>
Cannot cast from View to Text Switcher 报错
查看>>
CSS学习笔记2--超级炫酷的进度条
查看>>
hdu 3923 Invoker polya 定理
查看>>
文件下载--getRequestDispatcher以及文件流输出的方式
查看>>
jmeter后置处理器JSON Extractor
查看>>
旋转测试
查看>>