网络矿工数据采集软件

　　网络矿工数据采集器是一款面向个人及专业用户提供的一款专业的数据采集软件,软件功能性非常好，既可以在简单的场所进行操作，也可以应对那些较为复杂的数据进行信息的采集；软件使用自身独有的采集信息机制，可以有效地解决被屏蔽网站无法采集信息的问题，同时软件还加入了网络雷达扫描的功能，可以用来监控网络平台的数据流量动向，软件也采用了分布式的多线程搜索功能，用户在使用的时候可以搜索的资源更多，下载信息量更大，节约用户的工作时间，提高用户的工作效率；有喜欢想要体验的用户赶快下载使用吧

软件功能

　　数据采集：以数据采集为核心提供了导航、多页、代理采集、跨层采集、文件下载、编码解码、参数配置等功能，确保在数据采集时可应对各种复杂的采集配置需求；

　　强大的采集能力：支持各种编码、压缩采集，可实现U码转换、HTML代码转换，支持cookie、自定义HTTP Header，支持代理轮询、采集延时等多种设置，支持各种排重，具备断点续采能力；

　　可视化及智能：全面支持可视化配置，从导航、翻页及数据采集规则，都支持可视化的配置；

　　数据加工：提供了各种字符串的加工方式，可边采集边进行数据加工，同时也提供了专用的数据加工工具，可进行数据表合并、创建列、数据格式化等多种方式，最终可获取到高质量的数据信息；提供OCR识别能力，图片水印功能；

　　数据发布：数据可发布到数据库（Access、mssqlserver、MySql），也可直接发布数据到网站，同时还提供了直接入库的模式，适应采集海量数据；

软件特色

　　对编码解码的功能进行快速的支持、也对正则飞分析器进行支持

　　对字典进行快速的管理、也可对插件进行管理、快速的即可导入、备份采集任务

　　也支持对同义词库管理支持、也可升级采集任务的版本

　　数据加工发布工具、日志工具、HTTP嗅探器、编解码助手、正则分析器、配置助手，全面辅助您完成配置工作

　　支持。net插件，用户可基于接口扩展自己个性化的功能，网络矿工提供了cookie获取、数据加工及数据发布的接口操作

　　支持灵活的定时采集策略、数据监控、静默运行等多种附加功能，不仅可以方便用户的采集工作，也从数据采集实用角度大大丰富的软件的功能应用；当前版本为免费版本，可放心使用，部分功能在免费版本中会有限制

安装步骤

　　1、获取安装包：需要的需要使用的用户可以再本站的下载链接进行安装包的下载获取

　　2、软件可以直接双击进行打开，无需更多的安装步骤

使用方法

　　1、打开软件，在安装完成的时候勾选立即运行软件，或者使用鼠标双击桌面快捷方式打开软件即可，打开软件之后用户将会看到如下画面

　　2、参数设置是网络矿工数据采集软件（以下简称：网络矿工）运行的核心配置内容，通过对此的修改，可以改变网络矿工的运行方式。但对于一般用户而言，无需对此进行修改，系统会按照默认方式运行。

　　3、系统启动时用户可以选择运行的模式，系统默认为常规运行，即系统运行过程会全程与用户进行交互，静默运行是一种服务器运行模式，系统仅在后台进行操作，操作过程中的信息只存入日志，不进行界面显示，即为不打扰的运行模式。

　　4、用户在此设置系统启动时，是否自动启动雷达服务，启动雷达服务后，系统可根据用户设定的规则自动对网络数据进行监控。雷达监控中，处理方式支持保存网页地址，网页地址保存的数据库在此指定，当前系统仅支持Access、和MSSqlServer；

　　5、雷达监控中处理方式、预警规则中的电子邮件发送人在此指定；注意：电子邮件账号的密码将以明文存储。

　　6、在此可选择是否自动保存运行日志，日志的目录不可修改，一般情况下，请选择自动保存日志信息，尤其是在静默运行的模式下。为了确保系统运行的流畅性，避免界面缓存无限增大，系统提供了设置日志界面输出的选项，默认情况下是2000，即如果界面日志窗口的日志信息超过2000将自动清空，重新输出。

　　7、查看正在运行的采集任务、点击树形菜单任务运行区“正在采集”即可查看到正在运行的任务；

　　8、手动导出采集数据、查看采集数据后，可点击鼠标右键选择导出数据的类型，注意：手工导出只能导出文件数据，如果需要导出数据库或发布到网站，请通过网络矿工数据加工及发布套件来进行；

　　9、新建采集任务分类、我们建议您可按照自己的需求对采集任务进行分类管理。创建采集任务分类也非常简单，打开网络矿工软件，在树形菜单中点击鼠标右键弹出菜单，选择“添加分类”

　　10、编辑采集任务、选中一个采集任务，点击鼠标右键：选择“编辑”，或者双击您需要编辑的采集任务；

　　11、选中“多页采集”即可打开多页采集配置信息，点击“增加”按钮可以打开多页采集配置页面，如下图所示

　　12、配置采集网址时，有时我们可能无法找到其真正采集数据的网址（通常使用了ajax、iframe情况下），无法找到真正的网址意思是我们无法通过网页源码找到我们所要采集的数据，我们可以通过嗅探器来侦测隐藏的地址

　　13、点击“嗅探器”启动网络矿工嗅探器，输入无法找到源码的网址，并点击“转到”，系统会自动打开此网址，同时在打开此网址的同时所有的请求都会被监测到

　　14、输入我们需要采集的数据并点击查找，系统会在所有的http请求中查找此信息，并自动定位到相关的请求地址

　　15、配置助手是网络矿工提供的便捷化配置工具，可以通过配置助手自动生成采集规则，也可以通过配置助手来帮助我们配置采集规则。启动配置助手，并输入我们需要配置采集数据的网页

　　16、点击“匹配”，然后再野蛮中勾选需要采集的数据，即可实现规则的自动生成，规则生成我们也提供了两种方式，可视化的规则和前后标志的规则，根据用户的实际情况选择即可，配置完成后，我们可以点击“测试”来查看测试的数据效果