ZhihuTrend, 知乎大数据分析与热点生成。

分享于 

1分钟阅读

GitHub

  繁體
知乎大数据分析与热点生成。
  • 源代码名称:ZhihuTrend
  • 源代码网址:http://www.github.com/hating/ZhihuTrend
  • ZhihuTrend源代码文档
  • ZhihuTrend源代码下载
  • Git URL:
    git://www.github.com/hating/ZhihuTrend.git
    Git Clone代码到本地:
    git clone http://www.github.com/hating/ZhihuTrend
    Subversion代码到本地:
    $ svn co --depth empty http://www.github.com/hating/ZhihuTrend
    Checked out revision 1.
    $ cd repo
    $ svn up trunk
    
    ZhihuTrend

    知乎大数据分析与热点生成。

    这是我在分析知乎用户数据时候写的爬虫,能爬到知乎用户公开信息以及个人回答。关于爬取分析结果可以看这篇文章:知乎核心用户大数据报告:你知道知乎的男女比例是多少吗?

    使用方法
    • 安装Python
    • 安装Scrapy
    • 配置数据库
    • 运行如下命令

    scrapy crawl user

    该命令可爬取知乎用户信息,想要爬取对应用户的回答,需要运行如下命令。

    scrapy crawl activity

    Enjoy Crawling ~

    声明

    本项目只用于研究技术使用,请勿将爬取数据分享到互联网。如因此出现法律以及纠纷问题,后果自负。


    相关文章