DEDECMS分页采集事例(转,老杨的)
时间:2007-04-12 来源:w3g8
原帖的地址也写上呀:
http://www.im286.com/viewthread.php?tid=1924121
搜索了整个论坛,有不少人求分页采集规则,看了多篇帖子也没有一个具体回答的!这里我就将分页采集的方法帖不来!以及将自己的整个规则贴出来!希望对大家有用!写的不对的地方希望大家执政!
先贴规则(带分页采集),后再说明(在二楼和三楼):
{!-- 节点基本信息 --}
{dede:item name='新浪游戏功略'
imgurl='/upimg' imgdir='../upimg' language='gb2312'
isref='no' refurl='' exptime='10'
typeid='1' macthtype='string'}
{/dede:item}
{!-- 采集列表获取规则 --}
{dede:list source='var' sourcetype='list'
varstart='1' varend='10'}
{dede:url value='http://games.sina.com.cn/glmj/gl/index[var:分页].shtml'}{/dede:url}
{dede:need}/h/{/dede:need}
{dede:cannot}{/dede:cannot}
{dede:linkarea}[var:区域]{/dede:linkarea}
{/dede:list}
{!-- 网页内容获取规则 --}
{dede:art}
{dede:sppage sptype='full'}[var:分页区域]{/dede:sppage}
{dede:note field='dede_archives.title' value='[var:内容]' comment='文章标题'
isunit='' isdown=''}
{dede:match}[var:内容]0_新浪游戏_新浪网{/dede:match}
{dede:function}{/dede:function}
{/dede:note}
{dede:note field='dede_archives.sortrank' value='[var:内容]' comment='排序级别'
isunit='' isdown=''}
{dede:match}{/dede:match}
{dede:function}@me = time();{/dede:function}
{/dede:note}
{dede:note field='dede_archives.writer' value='[var:内容]' comment='文章作者'
isunit='' isdown=''}
{dede:match}{/dede:match}
{dede:function}{/dede:function}
{/dede:note}
{dede:note field='dede_archives.litpic' value='[var:内容]' comment='缩略图'
isunit='' isdown=''}
{dede:match}{/dede:match}
{dede:function}@me = @litpic;{/dede:function}
{/dede:note}
{dede:note field='dede_archives.pubdate' value='[var:内容]' comment='发布时间'
isunit='' isdown=''}
{dede:match}{/dede:match}
{dede:function}if(@me!="") @me = GetMkTime(@me);
else @me = time();{/dede:function}
{/dede:note}
{dede:note field='dede_archives.senddate' value='[var:内容]' comment='录入时间'
isunit='' isdown=''}
{dede:match}{/dede:match}
{dede:function}@me = time();{/dede:function}
{/dede:note}
{dede:note field='dede_addonarticle.body' value='[var:内容]' comment='文章内容'
isunit='1' isdown=''}
{dede:match}[var:内容]{/dede:match}
{dede:trim}{dede:teim}(.*){/dede:trim}
{dede:function}{/dede:function}
{/dede:note}
{dede:note field='dede_archives.source' value='[var:内容]' comment='文章来源'
isunit='' isdown=''}
{dede:match}{/dede:match}
{dede:function}{/dede:function}
{/dede:note}
{/dede:art}
分页匹配规则:
"[var:分页区域]"就是目标网页中分页链接的部分。右边的两个单选框,分别对应的是全部列出的分页列表形式,比如:"[1] [2] [3] 下一页";上下页形式的分页列表形式,比如:"[上一页] [下一页]"。容易看出:
http://games.sina.com.cn/j/h/2006-11-23/13334316.shtml
我们的目标网页是属于第一种情况,即所有的分页地址都已经列出来了。
那么我们的分页匹配规则写为:
[var:分页区域]
文章内容中的过滤规则:
我们主要讲一将把目标网页中的分页链接地址去掉,不然的话,那些分页链接也会作为文章内容采集过来。因为我们要过滤的是分页链接地址,所以一定记得要把旁边的“分页内容字段”选上,不然在采集的时候会出错。如果是过滤其他内容的时候,可以不用选。
还有一个要注意的地方就是:过滤规则里面的内容都是正则表达式,而匹配区域里面的不是,前面说的分页匹配规则里面的也不是。
所下所谓的正则表达式,就是有 {dede:match}{/dede:match}之类的字段
我们这个的文章过滤规则:
{dede:teim}(.*){/dede:trim}
注意一定要有:{dede:teim}和{/dede:teim}
http://www.im286.com/viewthread.php?tid=1924121
搜索了整个论坛,有不少人求分页采集规则,看了多篇帖子也没有一个具体回答的!这里我就将分页采集的方法帖不来!以及将自己的整个规则贴出来!希望对大家有用!写的不对的地方希望大家执政!
先贴规则(带分页采集),后再说明(在二楼和三楼):
{!-- 节点基本信息 --}
{dede:item name='新浪游戏功略'
imgurl='/upimg' imgdir='../upimg' language='gb2312'
isref='no' refurl='' exptime='10'
typeid='1' macthtype='string'}
{/dede:item}
{!-- 采集列表获取规则 --}
{dede:list source='var' sourcetype='list'
varstart='1' varend='10'}
{dede:url value='http://games.sina.com.cn/glmj/gl/index[var:分页].shtml'}{/dede:url}
{dede:need}/h/{/dede:need}
{dede:cannot}{/dede:cannot}
{dede:linkarea}[var:区域]{/dede:linkarea}
{/dede:list}
{!-- 网页内容获取规则 --}
{dede:art}
{dede:sppage sptype='full'}[var:分页区域]{/dede:sppage}
{dede:note field='dede_archives.title' value='[var:内容]' comment='文章标题'
isunit='' isdown=''}
{dede:match}[var:内容]0_新浪游戏_新浪网{/dede:match}
{dede:function}{/dede:function}
{/dede:note}
{dede:note field='dede_archives.sortrank' value='[var:内容]' comment='排序级别'
isunit='' isdown=''}
{dede:match}{/dede:match}
{dede:function}@me = time();{/dede:function}
{/dede:note}
{dede:note field='dede_archives.writer' value='[var:内容]' comment='文章作者'
isunit='' isdown=''}
{dede:match}{/dede:match}
{dede:function}{/dede:function}
{/dede:note}
{dede:note field='dede_archives.litpic' value='[var:内容]' comment='缩略图'
isunit='' isdown=''}
{dede:match}{/dede:match}
{dede:function}@me = @litpic;{/dede:function}
{/dede:note}
{dede:note field='dede_archives.pubdate' value='[var:内容]' comment='发布时间'
isunit='' isdown=''}
{dede:match}{/dede:match}
{dede:function}if(@me!="") @me = GetMkTime(@me);
else @me = time();{/dede:function}
{/dede:note}
{dede:note field='dede_archives.senddate' value='[var:内容]' comment='录入时间'
isunit='' isdown=''}
{dede:match}{/dede:match}
{dede:function}@me = time();{/dede:function}
{/dede:note}
{dede:note field='dede_addonarticle.body' value='[var:内容]' comment='文章内容'
isunit='1' isdown=''}
{dede:match}[var:内容]{/dede:match}
{dede:trim}{dede:teim}(.*){/dede:trim}
{dede:function}{/dede:function}
{/dede:note}
{dede:note field='dede_archives.source' value='[var:内容]' comment='文章来源'
isunit='' isdown=''}
{dede:match}{/dede:match}
{dede:function}{/dede:function}
{/dede:note}
{/dede:art}
分页匹配规则:
"[var:分页区域]"就是目标网页中分页链接的部分。右边的两个单选框,分别对应的是全部列出的分页列表形式,比如:"[1] [2] [3] 下一页";上下页形式的分页列表形式,比如:"[上一页] [下一页]"。容易看出:
http://games.sina.com.cn/j/h/2006-11-23/13334316.shtml
我们的目标网页是属于第一种情况,即所有的分页地址都已经列出来了。
那么我们的分页匹配规则写为:
[var:分页区域]
文章内容中的过滤规则:
我们主要讲一将把目标网页中的分页链接地址去掉,不然的话,那些分页链接也会作为文章内容采集过来。因为我们要过滤的是分页链接地址,所以一定记得要把旁边的“分页内容字段”选上,不然在采集的时候会出错。如果是过滤其他内容的时候,可以不用选。
还有一个要注意的地方就是:过滤规则里面的内容都是正则表达式,而匹配区域里面的不是,前面说的分页匹配规则里面的也不是。
所下所谓的正则表达式,就是有 {dede:match}{/dede:match}之类的字段
我们这个的文章过滤规则:
{dede:teim}(.*){/dede:trim}
注意一定要有:{dede:teim}和{/dede:teim}
相关阅读 更多 +
排行榜 更多 +