开始打造一个 Elixir 爬虫 欢迎来拍砖

作者 fredwu 所属板块 学习资料
一年前的时候当时想要建个爬虫,一是练手(特别是当时 GenStage 刚出炉),二是想要一个自己的爬虫去爬澳洲的一些房产网站。后来由于种种原因,爬虫被搁置了。 过几个星期后会去一家新公司开始写 Elixir,于是这几天又把一年前的代码翻出来,慢慢堆砖。用到了 Elixir 1.4 的 Registry,也许不会用到 GenStage 但说不定可以用到 Flow... 这个库还在打造中,我会慢慢开始实现 README 里面写的这些功能。 代码在这边: https://github.com/fredwu/crawler 另外昨晚顺便也把一年多前发布的两个 machine learning 库小小的更新了一下,感兴趣的同学可以来看看: - https://github.com/fredwu/stemmer - https://github.com/fredwu/simple_bayes
4 回复
  • genkin 发表
    支持大神!!!
  • 谁的眼在下雨 发表
    板凳~膜拜大神
  • dragonszy 发表
    请问爬虫爬取中文网页时乱码问题如何解决,谢谢! http://elixir-cn.com/posts/264
  • dragonszy 发表
    已解决