Octoparse(多功能数据信息采集工具)

　　Octoparse是一款多功能数据采集工具，可将网站转换为结构化的数据表，而无需进行编码；可以在几分钟之内自动从站点中提取Web数据；它是一个很棒的Web搜寻工具和适用于PC的免费Web爬网程序；该软件模拟网络浏览行为，例如打开网页、登录帐户、输入文本、指向并单击Web元素等；此工具可让用户通过单击内置的信息轻松获取数据，网络浏览器，以您喜欢的任何格式导出数据；不要浪费您的时间进行复制和粘贴；支持单击任何Web数据以进行提取Octoparse应用高级机器学习算法以在单击数据时立即准确定位数据，在内置浏览器中打开一个网站，然后单击并拖动以启动抓取任务；该程序可以为用户处理屏幕后面的所有杂乱工作！

新版功能

　　使用方便：只需点击一下即可刮除所有数据，无需编码。

　　处理所有网站：通过无限滚动，登录，下拉，AJAX刮擦网站。

　　下载结果：将抓取的数据下载为CSV，Excel，API 或保存到数据库。

　　云服务：在Octoparse Cloud Platform 24/7上刮取和访问数据。

　　进度刮：安排任务在任何特定时间，每小时，每天，每周抓取...

　　IP旋转:自动IP轮换以防止IP被阻止。

软件功能

　　指向和单击界面

　　选择要通过鼠标单击抓取的数据，无需编码，使用X路径和正则表达式准确地收集数据。

　　各种数据加载

　　从各种数据加载技术（例如AJAX或JavaScript）中抓取数据。

　　完善的内置浏览器，可从不同来源加载数据。

　　云服务

　　使用该应用以匿名方式抓取数据，支持代理和API，自动IP轮换以防止IP被阻止。

　　价格监控

　　跟踪和监控价格，从竞争对手那里提取数据，几次单击即可刮取实时数据。

　　潜在客户生成

　　轻松提取大量潜在客户并在几分钟内建立您的销售清单。完全不需要编码。

　　市场营销

　　使用抓取的网络数据来改善您的营销策略，做出更好的预测和决策。

　　研究

　　提取在线数据以支持您的研究或数据模型，立即进行研究。

软件特色

　　用于PC的Octoparse支持Windows XP，7、8和10。

　　它既适用于静态网站，也适用于动态网站，包括使用Ajax的网页。

　　要导出数据，可以选择各种数据格式

　　例如CSV，EXCEL，HTML，TXT和数据库（通过API的MySQL，SQL Server和Oracle）。

　　它模拟人为操作以与网页交互。

　　永远不要被任何复杂的网站吓到。JavaScript，AJAX或任何动态网站，涵盖了所有人。

　　轻松地抓取登录名，填写表格，输入搜索词，点击式不定式滚动，切换下拉菜单等等。

　　捕获网页中的任何内容，例如文本，链接，图像URL或HTML代码...

　　不再担心高成本的硬件维护或网络中断。

　　Octoparse的Cloud平台可将数据提取速度提高6至20倍，以24/7的速度运行提取任务。

　　数据被抓取并存储在云中，并且可以从任何计算机访问。

　　数以百计的云服务器支持该应用程序云服务，每个服务器都有一个唯一的IP地址。

　　将提取任务设置为在云中执行时，将通过各种IP在目标网站上执行请求

　　从而最大程度地减少了被跟踪和阻止的机会。

安装步骤

　　1、用户可以点击本网站提供的下载路径下载得到对应的程序安装包

　　2、只需要使用解压功能将压缩包打开，双击主程序即可进行安装，弹出程序安装界面

　　3、可以根据自己的需要点击浏览按钮将应用程序的安装路径进行更改

　　4、弹出应用程序安装进度条加载界面，只需要等待加载完成即可

　　5、根据提示点击安装，弹出程序安装完成界面，点击完成按钮即可

使用教程

　　获取数据-从页面捕获文本

　　现在，您已经在PC上下载了Octoparse 并了解了用户界面 ，然后就可以开始自己的Web抓取项目了。

　　网络上的大多数信息都以文本形式表示 ，例如产品信息，新闻文章，博客，职位描述等。

　　在本课程中，我将介绍如何使用简单的点和点击从网页中捕获简单的文本数据。

　　基本的文本提取技能，再结合其他技术（例如分页，列表构建），为实现各种网页上的数据抓取奠定了基础。

　　因此，让我们开始学习如何从单个网页捕获文本。

　　1）创建一个新任务

　　登录后，通过单击“高级模式”下的“ +任务”按钮来创建新任务。

　　1.什么是任务

　　任务是用于从任何网站抓取数据的搜寻器。每个任务包含一组特定于从特定网站爬网数据的指令。

　　除非网站共享完全相同的页面布局，否则您将需要创建一个唯一的任务，告诉Octoparse在该特定网页上执行抓取操作

　　2.为什么要使用高级模式

　　高级模式是一种功能极其强大的模式，它提供了扩展的灵活性，可以适应抓取所有不同类型的网站。

　　它允许您自定义执行提取所需的单个操作，包括关键字搜索，登录身份验证，打开下拉列表等。

　　对于此示例，我们将采用其中一篇博客文章，向您展示如何从单个网页获取数据。

　　假设我们的目标是从页面中提取博客信息。

　　将目标URL粘贴并粘贴到提取URL文本框中，然后单击“保存URL”。Octoparse将在内置浏览器中加载指定的网页。

　　1.切换“工作流程”按钮 以预览创建的工作流程。

　　2.可以通过在自动生成的名称上方键入内容来直接编辑任务名称。不要忘记单击以保存更改

　　2）选择要捕获的数据

　　现在，让我们通过直接单击各种信息来开始捕获数据。

　　单击标题，发布日期和帖子内容。正确选择数据后，选择将以绿色突出显示。

　　注意，您刚刚选择的数据现在显示在“操作提示”中。

　　您现在可以通过单击或直到以后再编辑来编辑字段名称。

　　选择“提取数据”以完成文本提取操作。

　　3）获取数据

　　现在，您已经完成了创建第一个抓取任务的工作。

　　从操作提示中单击保存并运行，或者单击左上角的“开始提取”以运行任务。

　　Octoparse提供两种提取方式：局部提取和云提取。

　　使用本地提取来测试您的任务。选择“本地提取”，您的任务将开始运行。