网站引擎-产品论坛-SiteEngine-安装使用-采集功能使用教程[链接已修复]-|企业级内容管理系统(CMS)|网站建设|管理|运营|WAP手机网站|建站软件|建站工具|建站系统--Powered By SiteEngine

以下内容转自“天下布武” 的回帖
希望有点帮助：
我想这位朋友已经了解了咱们"采集"的原理我说说我的看法

首先获取新闻列表是在一个真正的标题页面地址分析它的代码
然后从中取出带有咱们设定的 "必含字符" 的所有连接(规则大概是第二个"采集路径"+"必含字符") 作为采集列表
然后在从这些列表中的所有连接指向的新闻页面再进行分析获得"开始标记"和"结束标记" 的语句去掉用不上的代码
最后就生成了采集到的新闻了

那么由于的这位朋友的环境是在内网没法亲自试验只能谈些个人看法
首先如果不是文章开始和结束的标识设置不当的话
那么只能是采集路径的问题了大部分的网页我们遇到的都是直接在页面源代码中就存在的新闻列表
当然很容易分析出所有列表
这位朋友遇到是的list型的列表页面我们只要找到真正的页面地址就可以继续我们的工作了

但是有些列表是分页的就不一定能保证咱们的第一个"采集路径"的正确性导致工作的无法完成这或许就能解释这位朋友提出的第二个问题了

第一个问题就比较怪异了但是原因无非采集的要求咱们要达到
首先列表地址的真实性
第二连接到新闻页面的地址的真实性和规则性
第三文章"起始位置"和"结束位置"的准确性,通用性和唯一性

30个列表中的16个之外的连接或许指向的不是真实的地址? 这个有一定的可能性

您可以单独采集一个不能批量采集的连接然后在分析下这个连接指向的新闻页面的源代码
在列表直接点击也在浏览器地址栏直接输入看是否是已经采集过的新闻
同时检查下"起始位置"和"结束位置"的准确性和唯一性

这就是我个人的看法没有真正解决问题仅供大家一起讨论

==========================================================
可能有些人会迷糊什么第一个采集路径第二个采集路径.......
可以参见楼主上传的图片有两个文本框都叫"采集路径"
在这里我称最上面一个叫 "第一个采集路径"
在"文章开始标记"上面那个叫 "第二个采集路径"