天问的个人博客

▼ 大家好哇 我是实习僧，我又来了 今天是万圣节 我们不讲技术只搞怪 hia hia hia ，来打我啊！ ▼ ▼ 如果你实在气不过被俺骗了 可以点击下面的文章温习一下哦！ ▼ Docker，改变程序世界的箱子 原来，Docker和这货有一腿…… 连Docker都不懂，你还敢说自己是做云计算的？ 点击阅读原文，了解“ 华...

小编导读 尽管每个人都知道“多一个朋友多一条路”的道理，但是，总有人不愿意交新的朋友而更喜欢待在熟知的圈子里。穷人想变成富人，却对富人的一些行为不甚理解。科学家对富人和穷人的“人脉关系”用最新的大数据技术进行了收集处理，绘制出了有趣的“穷人富人人脉关系图谱”。   究其原因，一方面，人们做出一个行为...

本文以Spark实践经验和Spark原理为依据，总结了Spark性能调优的一些方法。这些总结基于Spark-1.0.0版本。对于最近推出的Spark-1.1.0版本，本文介绍了几个版本增强。   Spark性能调优   Executor和分区   Executor是一个独立的JVM进程，每个任务会有独立的线程来执行，Executor最大可并发任务数量与其...

Spark是一个分布式的内存计算框架，其特点是能处理大规模数据，计算速度快。Spark延续了Hadoop的MapReduce计算模型，相比之下Spark的计算过程保持在内存中，减少了硬盘读写，能够将多个操作进行合并后计算，因此提升了计算速度。同时Spark也提供了更丰富的计算API。 MapReduce是Hadoop和Spark的计算模型，其特点是Map...

  前言   数据可视化是大数据领域非常倚重的一项技术，但由于业内浮躁的大环境影响，这项技术的地位渐渐有些尴尬。尤其是在诸如态势感知、威胁情报等应用中，简陋的可视化效果太丑，过于华丽的可视化效果只能忽悠忽悠外行，而给内行的感觉就是刻意为之、华而不实。   曾几何时，可视化技术不过是一种数据分析...

在12月8日-10日举办的2016中国大数据技术大会上，中国科学院院士陈润生、滴滴出行高级副总裁章文嵩、联想集团高级副总裁兼CTO芮勇等都将带来主题分享。 作为国内大数据领域的顶级大会，中国大数据技术大会从2008年至今已近十年，超过一万名大数据开发者参与其中，完整地见证了中国大数据技术与应用的变革，忠实地描...

SVHN is a real-world image dataset for developing machine learning and object recognition algorithms with minimal requirement on data preprocessing and formatting. It can be seen as similar in flavor to MNIST (e.g., the images are of small cropped digits), but incorporates an order of...

本环境在自己的dellpc上，通过visualbox虚拟出三个centos7虚拟机搭建而成。 注意： Visualbox网络设置为 桥接方式 Centos7安装选择server no deskptop 磁盘大一点，每个设置至少50G左右。 安装主要分以下几个步骤： 1、创建用户组 groupadd hadoop  添加一个组 useradd hadoop -g hadoop  添加用户 2、jdk的安装 这里安...

table,th,td { border-collapse:collapse; border:2px solid black; } 十、吉安市（村点608个，其中省级村点202个、自建村点406个，省级贫困村点412个） （一）吉州区（村点14个，其中省级村点4个、自建村点10个，省级贫困村点10个） 序号 乡镇 行政村 自然村名称 户数 人口数 村点数（个） 是否贫困村 省...