帝国cms采集图文教程(上,中,下)全集
发布时间：2012-05-21 10:50:22 作者：佚名 
我要评论
我要评论帝国cms采集图文教程,现在把上,中,下全部都发来.给大家方便的看.
（福利推荐：你还在原价购买阿里云服务器？现在阿里云0.8折限时抢购活动来啦！4核8G企业云服务器仅2998元/3年，立即抢购>>>：9i0i.cn/aliyun）
上一页我们介绍了帝国cms采集基本流程，那么我们这一讲介绍帝国cms如何采集内容分页。不少的同学在采集过程中，列表页和内容页都能可以很好地设定正则，但往往失败在内容分页正则上，主要是对内容分页正则不了解。帝国的内容分页形式有两种：(1)全部列出式(2)上下页导航式，但是这两种内容分页形式有什么区别，采集内容分页时该用哪种，官方说得比较模糊，对此有些同学感到很头大，好的，我们先看下例子：
一、全部列出式
全部列表式只需看第一页的页面HTML代码，这一页的所有分页链接都列出来了。
1、我们以“中华网内容分页(http://auto.china.com/dongtai/yejie/11012724/20120309/17081442.html)”为例：
可以看到这条新闻总共有3条分页。
2、查看源代码：
这一页里除了已经采集到的第1条分页外，还包括了第2条和第3条分页，所有的分页都列出来了。
3、取得 分页区域正则([!--smallpageallzz--])：
4、取得 分页链接正则([!--pageallzz--])：
二、上下页导航式
上下页导航式是分页采集的难点，他需要所有页面都符合分页正则才行，在不熟悉的情况下，我们可以用第1页和第2页的代码来进行对比分析然后确定分页正则。
1、我们以“爱丽网内容分页(http://fashion.aili.com/76/445845.html)”为例：
可以看到这条新闻总共有20条分页。
2、查看源代码：
这一页里除了已经采集到的第1条分页外，还包括了第2，第3，第4，第5，第6，第7，第8，第20条分页，但是第9到第19条分页并没有列出来，这时候我们拿用第1页和第2页的代码来进行对比分析，来确定分页正则:
(1)第1页代码：
(2)第2页代码：
从这两幅图片可以看到他们有着相同的“分页区域开始代码”，“分页链接”格式，“分页区域结束代码”,那么就可以确定“分页区域正则”，“分页链接正则”。
3、取得 分页区域正则([!--smallpageallzz--])：
4、取得 分页链接正则([!--pageallzz--])：
5、为了方便教程显示，newstext我采集了标题而不是采集内容，预览结果：
注意事项：
第一、在第一页的页面HTML代码里，内容分页链接全部列出来的情况下我们使用“全部列出式”。在第一页的页面HTML代码里，内容分页链接没有全部列出来的情况下我们使用“上下页导航式”。
第二、用全部列出式时，采集规则正确但是莫名其妙的出现重复的分页，这时可以利用替换法把它过滤掉(下一讲我们再说)。
第三、用上下页导航式时，老是采到第1页，其他页连个影子都没有见过，这是因为分页区域正则([!--smallpagezz--])截取错误。
第四、用上下页导航式时，可以采集到前几页了，但是接下来这前几页全部重复循环到底，这也是因为分页区域正则([!--smallpagezz--])截取错误，截取范围过大，导致重复截取前几个分页链接。
好的，这一讲就到这里，下一页我们主要介绍帝国cms采集过滤和替换。
相关文章
帝国CMS根据内容正文字段[newstext]批量获取描述简介字段[smalltext]的
这篇文章主要介绍了帝国CMS根据内容正文字段[newstext]批量重新生成简介字段[smalltext]的方法,需要的朋友可以参考下2023-06-26
帝国CMS 7.2和7.5适用的火车头采集免登陆发布模块配置方法详解(亲测可
帝国cms7.2版本开始增加了金刚模式，登录发布有难度。亲测可用的帝国CMS 7.2/7.5适用免登陆新闻发布模块插件配合火车采集器，可以解决这类问题。堪称完美2022-04-21帝国cms高危SQL注入漏洞(盲注)系统自带RepPIntvar过滤函数使用方法
帝国cms开发的时候要注意一些危险的注入漏洞,防止被黑,RepPIntvar为系统自带函数可以起到过滤字符的作用，下面就为大家介绍一下使用方法2021-07-26
帝国cms后台启用SESSION验证所有的登录信息都是保存在服务器端的，尤其是公共场所登录用默认的cookies是不安全的2021-07-26
最近需要将老版本的帝国cms将7.2升级到7.5版本，参考这篇文章完美升级，特分享一下给需要的朋友2020-08-02
整理了一些常用的帝国CMS调用，灵动标签和万能标签的调用方法举例,包括幻灯片、标题、一级栏目、二级栏目、带模版的友情链接（下拉菜单）、判断内容页字段为空时是如何调用2020-02-04
这篇文章主要介绍了帝国cms网站地图sitemap.xml的制作方法,需要的朋友可以参考下2020-02-04
在使用帝国cms的时候有时候需要把前台数据都更新一下，那么就可以参考下面的文章了，要不漏掉了部分就达不到更新的目地了2020-02-04
今天接到网友询问怎么修改后台登录界面及后台界面，特把方法分享出来需要的朋友可以参考下2020-02-04
最近仿站团队接到很多仿站客户订单，这里面有一个这样的功能，表单提交，今天花时间写个教程给大家,需要的朋友可以参考下2020-02-02
最新评论