GooSeeker

　　GooSeeker(集搜客网络爬虫软件)是一款大数据软件，该应用程序主要针对采集网页文字、图片、表格、超链接等多种网页元素，为用户提供一个把互联网数据与表格以及数据库进行某种数据连接的平台，用户在使用过程中就可以把网页内容进行语义标注和结构化转换，用户也可以不限深度和广度抓取网页数据，网页采集是针对网页结构（HTML)进行提取数据，掌握html基础能更好地理解和掌握GooSeeker爬虫，从而轻松获取网页数据，集搜客爬虫软件把网页数据抓下来就是生成一个个XML数据文件，抓到的除了网页数据，还有当前网页的网址、时间等关键字段，本次培训就教大家看懂XML语言的组成要素、集搜客爬虫采集到的XML数据文件的组成以及如何转换为excel格式。强大又实用，需要的用户可以下载体验

软件功能

　　1、直观点选 海量采集：用鼠标点选就能采集数据，不需要技术基础，爬虫群并发抓取海量网页，适合大数据场景，无论动态或静态网页，ajax和html一样采集，文本和图片一站采集，不再需要下图软件

　　2、整理报表：从公司年报摘录数据、从政府报告摘录数据、从政策文件摘录数据、从PDF文件摘录数据、生成结构化的excel报表

　　3、摘录笔记：为学术论文收集素材、为研究报告收集素材、为市场营销准备弹药、随想随记拓展知识

软件特色

　　1、集搜客网络爬虫：功能强大、免编程、 大批量网页抓取、 国内外网站通用、自己动手丰衣足食

　　2、微博采集工具箱：关键词、评论、转发、粉丝、 博主、话题、覆盖全微博、 输入网址即可采集，一键输出EXCEL表格

　　3、全网采集工具箱：一键数据采集，输入网址即可、 电商、房产、论坛， 新闻、点评、图片，更多网站可定制添加

安装步骤

　　1、需要的用户可以点击本网站提供的下载路径下载得到对应的程序安装包

　　2、通过解压功能将压缩包打开，找到主程序，双击主程序即可进行安装

　　3、用户可以根据自己的需要点击浏览按钮将应用程序的安装路径进行更改

　　4、快捷键选择可以根据自己的需要进行选择，也可以选择不创建

　　5、现在准备安装主程序。点击“安装”按钮开始安装或点击“上一步”按钮重新输入安装信息

　　6、等待应用程序安装进度条加载完成即可，需要等待一小会儿

　　7、根据提示点击安装，弹出程序安装完成界面，点击完成按钮即可

　　8、程序安装完成后，双击程序打开，会弹出一个程序登录界面，输入对应的程序用户即可登录

　　9、没有账号的用户可以通过注册一个号码即可登录

　　10、登录后就可以进入主程序界面

使用说明

　　如何使用快捷采集采集数据

　　步骤一：选择想要的数据类型

　　打开快捷采集页面

　　选择"类别->网站->页面"，例如：

　　选择"社交->微信->微信文章列表采集"。

　　步骤二：输入网址或者输入关键词

　　按照提示输入网址或者输入关键词。

　　步骤三：启动采集

　　点击“获取数据”按钮，使用集搜客软件的话，就会看到弹出爬虫窗口开始采数据。还没安装的话请看底部的附注。

　　步骤四：下载数据

　　采集状态为"已采集"时，点击"打包"按钮就可以下载数据。

　　附注：安装集搜客爬虫软件

　　在“产品”页面，下载安装“集搜客网络爬虫”，用它来访问快捷采集页面。

　　去资源库下载规则，轻松抓数据

　　海量规则模板，免去做规则烦恼。

　　如果你不会做规则但又非常想直接抓取数据，可以到集搜客的资源库直接下载规则模板，直接抓取数据。

　　集搜客的资源库拥有大量成熟的规则模板，提供微信、微博、电商、新闻、论坛、行业等多种网站的采集规则模板，可以满足大多数人的数据需求，

　　下载规则

　　1. 运行Gooseeker爬虫浏览器

　　双击桌面上的

　　2. 点击 官网首页 资源-》规则市场

　　3. 进入规则市场页面 http://www.jisouke.com/res/crawl_rule.html?operate=view&resType=-1

　　4. 进入规则下载页面。我们就以亚马逊商品列表-1为例。在上述页面点击它，进入这个规则的下载页面。

　　详细阅读规则介绍，包括采集内容，样本网址。尤其注意这个规则是否有配套的规则，是否有特殊的操作步骤。可以点击样本网址，了解这个规则能采集的页面。

　　点击下载，下载这个规则。下载完毕有提示，点击会员中心，进入会员中心页面。

　　三、运行规则

　　1. 在会员中心，点击 规则管理

　　2. 在规则管理页面，点击 亚马逊商品列表-11的启动采集

　　3. 打数机就会运行起来，开始采集样本页面的数据。

　　4. 采集下来的数据，保存在哪里？

　　样本页面采集完毕后，打数机会显示采集完成。

　　在打数机，查看数据存储路径：文件-》存储路径。一般来说，如果没有特别的设置，系统指定的存储路径为datascraperworks \ 亚马逊商品列表-11 \ ，你也可以在打数机运行期间，就打开这个文件夹，会看到XML文件一个一个生成。

　　5. 把采集下来的数据XML转EXCEL

　　采集下来的数据，是XML形式，一个页面生成一个XML文件，在这个例子里，因为样本页面只有一页，所以只得到了一个XML文件。一般会有很多个XML文件。

　　5.1 把这些XML压缩成ZIP文件

　　得到一个ZIP文件：

　　5.2 在会员中心导入/导出数据

　　进入会员中心，点击规则管理，点击 亚马逊商品列表-11的管理。

　　进入这个规则的管理页面，点击导入数据

　　把刚才的ZIP文件导入。

　　然后，点击导出数据

　　导出成功后，点击下载。

　　一般，这个ZIP文件会保存在本地的下载目录里。在本地下载目录里查看这个文件

　　点击这个ZIP文件，得到解压的EXCEL文件

　　四、添加网址，用规则采更多的网址和数据

　　一般下载了规则，可不光是用来采集样本页面的。我们要用这个规则来采集一大批类似的页面。

　　对于亚马逊商品列表-11这个规则，样本页面是：

　　点击页面上21-40，就会到下一页，红框内是对应的网址。

　　同样点击后面的41-60，61-80，81-100，我们会得到四个新的网址。显然，抓取规则也适用于这四个网址。

　　在DS打数机里，右击主题名，出现选择菜单，选择管理线索->添加。把要采集的网址加入。

　　添加网址，保存。

　　点击“单搜”，要求输入多少线索数，其实就是要采集的网址数，刚才输入了4条网址，所以输入4，点确定。打数机开始采集数据。采集完成后，可以按上面的步骤，查看数据，把数据从XML转EXCLE。

　　怎样使用搜狐新闻搜索列表快捷工具抓取关键词搜索结果

　　2019-4-27 11:45| 发布者: Fuller| 查看: 1711| 评论: 0

　　针对常用的网站采集需求，集搜客网络爬虫用一系列快捷采集工具满足这些需求，这样，用户就不用花时间学习网络爬虫的使用方法，只需按照快捷工具的要求，输入要采集的网址并设置要采集的网页数量，把爬虫群窗口启动起来，爬虫就能自动运行，最后把采集到的结果打包下载出来excel文件即可。

　　下面，以搜狐新闻搜索列表快捷采集工具为例，介绍怎样根据关键词，利用这些新闻类的快捷采集工具，把需要的新闻搜索到。

　　1，进入快捷采集界面

　　进入快捷采集界面的网址是：

　　https://www.gooseeker.com/res/datadiy.html?category=%E7%83%AD%E9%97%A8%E7%BD%91%E7%AB%99&web=%E6%96%B0%E6%B5%AA%E5%BE%AE%E5%8D%9A&rule=%20TA%E7%82%B9%E8%B5%9E%E8%BF%87%E7%9A%84%E5%BE%AE%E5%8D%9A%E6%95%B0%E6%8D%AE

　　如下图，是从集搜客首页的顶部菜单进入的

　　2，选择合适的快捷采集工具

　　集搜客发布了一系列常用的采集工具，而且会根据用户提出的需求，把更多采集工具分享给大家使用。那么用户首先要在一个快捷采集工具列表中找到自己需要的。这个查找过程是分成3级筛选的：

　　第一级：筛选类别，我们选择了“新闻”

　　第二级：筛选网站，我们从新闻类网站中选出“搜狐新闻”

　　第三级：筛选页面，我们从搜狐新闻网站中选出来“搜狐新闻搜索列表”，因为我们想根据关键词搜索到相关的新闻

　　选择了这三级以后，可以观察到快捷采集界面刷新了，出现输入地址的界面，需要用户把要采集的目标网址输入进来，告诉网络爬虫去爬这个网页

　　2，怎样生成目标网址

　　生成目标网址的方法有两种，根据关键字数量多少进行选择。

　　2.1，手工逐条生成目标网址

　　如果只需要搜索几个关键字，那么手工找到搜索网址就行了，方法如下：

　　2.1.1，点击样本网址

　　每个快捷采集工具都有样本网址，点击即可打开这个网页，在这个网页上换上自己需要的关键词。点击如线图红框中的网址

　　2.1.2，替换关键词

　　如下图，在搜索结果列表网页中，把关键词替换成“00后”，可观察到地址输入栏的网址变化了，把这个网址拷贝出来，你就得到了要爬的目标网址。请看下面两图，对比替换关键词前和替换后的网页，替换后红框中的网址就是目标网址。

　　2.2，批量生成目标网址

　　如果关键词很多，像2.1那样一条条生成太慢了。其实这些网址都有规律，关键词是包含在网址中的，只需把网址中的关键词替换掉就行。那么在Excel中做这个事情是最方便的。

　　如上图，红框的C列是要替换的关键词，把每个关键词占一行往下存。注意，这个案例除了关键词以外，还有前面一部分，那是表示在搜狗搜索中只搜索搜狐网站的内容。

　　而B列和C列都是固定的内容，为每一行拷贝相同的内容即可。

　　最后，在A列用公式 =CONCAT(B1,C1,D1)，把3列串接起来，而且把这个串接公式复制给所有行，那么就得到了所有关键字的目标网址。

　　3，添加网址启动采集

　　如下图，左箭头指向的输入框可以添加单条网址，右箭头指向的按钮可以添加多条网址，可以把excel中生成的网址全部拷贝过来。

　　中间箭头指向的是需要选择爬多少页，也就是为每个关键词爬多少页，可以选择全部，或者几页。

　　4，打包和下载数据

　　前3步完成后，会提示运行两个爬虫群窗口，这两个窗口一个用来爬数据，一个用来打包数据，都不要关掉。请注意：运行的时候不要缩小他们，要尽量大，如果你还想并行做其他事情，这些窗口上面可以覆盖别的窗口，但是不能缩小他们。

　　运行一段时间，这些窗口就不再显示网页内容了，而是提示说采集完成了，这个时候，就可以到会员中心的快捷采集界面上去打包和下载数据了。

　　请注意：爬虫采集完成以后，还需要一点时间转换成excel，如果没有转换完就去打包，会提示打包数量是0或者很少，你可以多等几分钟。

　　打包就是把采集到的数据压缩成zip文件供你下载，而下载就是下载这个zip文件。每采集完一个任务，只需打包一次，而下载可以下载很多次。

　　下图是打包页面

　　在快捷采集的数据管理那里，可以看到任务列表，每个任务都有打包按钮。另外，点击一个任务，可以看到采集到的结果统计和一部分作为样本的数据。

　　下图是下载页面：

　　5，哪里去找下载下来的数据

　　下载下来的数据放在“下载”文件夹，请到那里去找

更新日志

     1、解决Mac版菜单失灵问题

　　2、连续打码增强成高仿真输入

　　3、连续打码处理图片功能增加适应性