天问的个人博客

数据准备： 1、爬所有网贷品牌。 约6000多品牌！可见网贷十分繁荣。 数据来源： http://www.p2peye.com/platform/all/ 说明： 抓取每个平台的信息，包括以下(25个维度)信息：平台名称，注册天眼评级、数据排名、综合利率、期限范围、平台实力（银行存管、加入协会等把里面的内容弄下来）、用户点评、好评度、点评人数、...

今天在拉钩网爬了1124个数学-计算机相关职位，数据如下： [table id=6 /]   由于数据量太大，故表格中只有50条 信息，查看完整结果可以点下面下载我整理好的pdf文件。 点我下载

  在银行做了两年的数据分析和挖掘工作，较少接触互联网的应用场景，因此，一直都在思考一个问题，“互联网和金融，在数据挖掘上，究竟存在什么样的区别”。在对这个问题的摸索和理解过程中，发现数据挖掘本身包含很多层次。并且模型本身也是存在传统和时髦之分的。本文就想聊聊这些话题。 一、数据挖掘的层次 一直...

                            。 听了这么多年民谣，我有一种感觉，就是很多歌都似曾相识，但是仔细一想，又哪一首都想不起来，为了搞清楚这群流浪在祖国大地的现代游吟诗人们都在唱些什么，我做了一些数据分析的工作。 我选取了大约30个覆盖从程序员，朋克，基佬到女权主义者，中国大妈，穆斯林的能够覆盖所有...

一、先来扯扯大数据 互联网+概念的兴起，中国的创业者几乎把互联网+这趟车开进了所有领域，传统领域的商家人心惶惶，言必谈互联网+，仿佛不套点互联网的概念都不好意思宣传自家产品；而赶在这波潮流之前的正是燥热至今的“ 大数据 ”。 在这个上到各界研究机构、管理部门、企业，下到各大论坛、媒体、甚至商贩都能跟你聊...

小科说 【不周山之数据挖掘】系本文作者小土刀（微博@小土刀）的系列文章，该系列旨在结合原理与实践，在弄懂数据挖掘理论的前提下，用实例和分析应用数据挖掘。小科选取了该系列的第二篇，和大家一起对互联网搜索与挖掘进行宏观上的了解。 作者简介 小土刀，本科就读于中山大学，研究生就读于卡耐基梅隆大学，...

      前言 作者在去参加了两个数据挖掘相关的竞赛，分别是物电学院举办的“亮剑杯”，以及第三届 “泰迪杯”全国大学生数据挖掘竞赛。很碰巧的是，两个比赛中，都有一题主要涉及到中文情感分类工作。经过这两次的竞赛，我已经基本了解深度学习的思想，并且用深度学习的算法实现了文本情感分类模型。因此，作者...

连续成功举办九届的中国大数据大会见证了中国大数据技术生态系统的建立、发展和演变，目前已成为国内最具影响力、规模最大的大数据领域技术盛会。作为极具实战价值的专业交流平台，中国大数据技术大会已经成为国内外中高级技术精英最期待的深度分享会。   2016中国大数据技术大会将于12月8日-10日在北京举行，大会...

11月11日的凌晨1点多左右，阿里云安全护航团队接到一个用户非常着急的工单需求，称其大促页面非常不稳定，“快打不开了“…… 阿里云护航专家团队通过日志分析，发现了疑似CC攻击的特征。在10秒内开始响应和处置。配合云上Web应用防火墙的能力，最终在3-5分钟之内，将多次变着花样来的CC攻击瓦解，让网站最终回复了稳定。 ...

项目地址： https://github.com/scrapy/scrapy/ pip install scrapy HTML, XML源数据 选择及提取 的内置支持 提供了一系列在spider之间共享的可复用的过滤器(即 Item Loaders)，对智能处理爬取数据提供了内置支持。 通过 feed导出 提供了多格式(JSON、CSV、XML)，多存储后端(FTP、S3、本地文件系统)的内置支持 提供了med...