不积跬步,无以至千里;不积小流,无以成江海。

Dean's blog

  • Join Us on Facebook!
  • Follow Us on Twitter!
  • LinkedIn
  • Subcribe to Our RSS Feed

Hadoop 集群实现重新格式化

Hadoop的集群搭建过程相对复杂,很容易就会导出错误,例如不小心重复格式化集群,就会影响集群的正常使用。要想解决这个问题,首先要搞清楚Hadoop在格式化和启动datanode时的相关过程,这样就可以轻松解决了。 [更多...]

搭建 Hadoop 完全分布式环境

在上一篇安装 Hadoop 伪分布式环境中,详细记录了伪分布式的环境搭建过程。Hadoop完全分布式环境的搭建与伪分布式还是有比较大的区别,这里记录使用Cent OS 7 服务器进 [更多...]

Linux source 命令的奇怪行为

在Linux系统中,使用source可以在修改了配置文件后,不重启服务器的情况下使用配置生效。但如果因为配置方式不正确,source后,依然无法使用最新的配置。本篇记录发现这个问题的过程并提出相应的处理方法。 [更多...]

ansible 使用测试

ansible是一款deops运维工具,使用它可以方便的管理多个主机。目前参照网上的使用教程,记录下使用的方式。 [更多...]

CentOS 7配置固定IP

本篇记录如何在CentOS 7环境下配置固定IP,相比Windows,Linunx上配置网卡要复杂不少,对像我这种Linux小白,还是需要费不少时间。现在整理配置过程,以备后时之需。 [更多...]

Scrapy 下载图片和文件

Scrapy内置了FilesPipeline和ImagesPipeline,使用它可以简化载图片、文件的下载过程。我们只需要对爬虫做简单调整,即可实现,甚于还可以在下载图片的同时生成所需要的缩略图,如果对默认生成的文件名不注意,还可以自定义Pipeline重新定义。本篇记录这些需求的开发过程。 [更多...]

Hadoop Shell命令

本篇记录HDFS日常运维中常用的命令。演练了包含查看文件、创建文件夹、上传文件、下载文件和统计目录各文件大小、删除文件和目录等相操作。 [更多...]
粤ICP备17049187号-1