Python 模拟用户操作Windows应用程序 10 二月 2020 07:06 dean Python, 爬虫 (0) 通过模拟鼠标和键盘操作,实现从某店通的桌面应用程序自动点击、输入搜索条件和下载数据的爬数据应用的主要技术关键点。简要介绍pyWin32、PyUserInput、pyHook、psutil等相关库的使用。 [更多...]
解决SQLServer还原数据时出现的无独占访问权和正在还原的问题 10 二月 2020 07:03 dean (0) 在开发过程中,经常需要还原一个新库作为测试或其它用途,一般的做法都是,将原数据库备份成.bak文件,再将.bak文件还原为一个新的数据库。一般理解,还原为新的数据库,对原有数据不会有影响,但是在实践过 [更多...]
Hadoop 集群实现重新格式化 02 二月 2020 05:01 dean Hadoop (0) Hadoop的集群搭建过程相对复杂,很容易就会导出错误,例如不小心重复格式化集群,就会影响集群的正常使用。要想解决这个问题,首先要搞清楚Hadoop在格式化和启动datanode时的相关过程,这样就可以轻松解决了。 [更多...]
Hadoop 集群启动与停止 02 二月 2020 04:42 dean Hadoop (0) 记录Hadoop集群启动和停止的方式,如果遇到某些进程没能正常启动时,还可以单独启动对应的进程。 [更多...]
搭建 Hadoop 完全分布式环境 01 二月 2020 10:13 dean Hadoop (0) 在上一篇安装 Hadoop 伪分布式环境中,详细记录了伪分布式的环境搭建过程。Hadoop完全分布式环境的搭建与伪分布式还是有比较大的区别,这里记录使用Cent OS 7 服务器进 [更多...]
Hadoop 3端口号 01 二月 2020 12:38 dean Hadoop (0) Hadoop 3.x后,应用的端口有所调整,本篇记录Hadoop2.x和Hadoop3.x的端口列表。 [更多...]
Linux source 命令的奇怪行为 01 二月 2020 11:47 dean (0) 在Linux系统中,使用source可以在修改了配置文件后,不重启服务器的情况下使用配置生效。但如果因为配置方式不正确,source后,依然无法使用最新的配置。本篇记录发现这个问题的过程并提出相应的处理方法。 [更多...]
Cent OS 7下配置环境变量 30 一月 2020 11:32 dean (0) 记录在Cent OS 7下配置环境变量的方式,当/etc/profile配置错误且已经刷新的情况下,记录如何挽救的办法。 [更多...]
Cent OS下压缩和解压文件 30 一月 2020 10:43 dean (0) yum provides zip 已加载插件:fastestmirror Loading mirror speeds from cached hostfile * base: mirrors.aliy [更多...]
ansible 使用测试 28 一月 2020 11:11 dean (0) ansible是一款deops运维工具,使用它可以方便的管理多个主机。目前参照网上的使用教程,记录下使用的方式。 [更多...]
ssh: Could not resolve hostname data1: Name or service not known 21 一月 2020 09:55 dean (0) 记录出现ssh: Could not resolve hostname xxx: Name or service not known时的解决办法。 [更多...]
CentOS 7配置固定IP 21 一月 2020 07:12 dean (0) 本篇记录如何在CentOS 7环境下配置固定IP,相比Windows,Linunx上配置网卡要复杂不少,对像我这种Linux小白,还是需要费不少时间。现在整理配置过程,以备后时之需。 [更多...]
在Windows下将 Redis 安装成服务 19 一月 2020 08:33 dean (0) 如果是以.msi包安装,Redis直接安装为Windows服务。如果希望更改设置,需要更改redis.window-service.conf文件并重启Redis服务。 [更多...]
将Windows下的 InfluxDB 做成Windows服务 19 一月 2020 08:34 dean (0) 从网上下载的Windows下的InfluxDB、Grafana,都是控制台程序,打开窗口后,很容易被别人给关掉,因此考虑做成Windows服务,nssm正是解决该问题的利器。 [更多...]
Scrapy 下载图片和文件 18 一月 2020 01:20 dean Python, Scrapy (0) Scrapy内置了FilesPipeline和ImagesPipeline,使用它可以简化载图片、文件的下载过程。我们只需要对爬虫做简单调整,即可实现,甚于还可以在下载图片的同时生成所需要的缩略图,如果对默认生成的文件名不注意,还可以自定义Pipeline重新定义。本篇记录这些需求的开发过程。 [更多...]
使用 Scrapy Pipeline将数据保存到JSON文件 17 一月 2020 11:00 dean Python, Scrapy (0) 使用Scrapy中,提供了Pipeline技术,实现数据提取和保存的分离。使用Pipeline管道可以让代码结构再清晰,可读性更高。本篇演练Pipeline管道的开发过程,记录如果有多个管道时,如何协调管道的执行。 [更多...]
Hadoop Shell命令 15 一月 2020 10:39 dean Hadoop (0) 本篇记录HDFS日常运维中常用的命令。演练了包含查看文件、创建文件夹、上传文件、下载文件和统计目录各文件大小、删除文件和目录等相操作。 [更多...]