苹果CMS v10 采集接入实录:日志说成功,数据丢了 95%

环境:甲骨文云 Ubuntu aarch64 + php-fpm(www-data)
站点:苹果CMS v10,自定义模板 momo2026
目标:接入一个新资源站的短剧板块,新建独立分类,且该分类仅管理员可见
耗时:采集 36 页约 221 秒,封面本地化 697 张

缘起

手上这个影视站跑的是苹果CMS v10。最近接了个新的采集源,对方给的信息很标准:列表接口 ?ac=list、详情接口 ?ac=detail、播放器编码 jpm3u8、解析地址 https://jp998.vip/?url=。

本来以为是”后台点几下就完事”的活,结果一路踩到采集模型的一个设计陷阱:每页 20 条,只入库 1 条,而日志还显示正常。这篇把整个过程记一下,重点是那几个不看源码根本发现不了的坑。

一、先把接口摸清楚

第一步不是急着进后台,而是用 curl 把数据看清楚。

curl -s --compressed 'https://jp98.vip/api.php/provide/vod/?ac=detail&t=57&pg=1'
小贴士
第一次直接 curl 拿到的是一堆乱码,因为服务端返回 gzip 且没按 Content-Encoding 处理。加 --compressed 就正常了。这个坑每次接新采集源都会遇到,先加上再说。

确认到的关键参数:

项 值
远程分类 ID t=57(短剧板块)
总条数 701
分页 36 页(每页 20)
播放源编码 jpm3u8
播放地址格式 第01集$url#第02集$url(标准格式)

详情接口带 t=57 时只返回该分类,说明过滤正常,不用本地再筛。

二、建分类、建采集点、绑播放器

1. 分类

直接写 mac_type,但这里有个容易整批回滚的坑:

注意
mac_type 的 type_extend、type_logo、type_pic 等列是 NOT NULL 且无默认值。只填 type_id / type_name / type_pid 会报 ERROR 1364,而且整条 INSERT 失败。必须把所有 NOT NULL 列显式补空串。

2. 采集点的绑定关系

苹果CMS 的采集绑定不是存在 mac_collect 里,而是 application/extra/bind.php,键的构造方式是:

md5(采集地址) + "_" + 远程分类ID  =>  本地分类ID

这里的第一个大坑是:md5() 里到底含不含查询参数。

  • 后台添加采集点时填 ...?t=57,cjflag 是 md5('...?t=57')
  • 而命令行脚本通常用基础 URL,cjflag 是 md5('...')

两个 md5 完全不同,只有一个绑定就会有一半场景失效。稳妥做法是把两种都绑上:

'68a4f2f05294528a2a06f66b2db07717_57' => 63,  // 带 ?t=57
'8656a661de9ff8da7999544f691583c8_57' => 63,  // 基础 URL

3. 播放器与解析接口

写 application/extra/vodplayer.php 新增 jpm3u8:

'jpm3u8' => array(
  'status'=>'1','from'=>'jpm3u8','show'=>'98精品M3U8',
  'target'=>'_self','ps'=>'1',
  'parse'=>'https://jp998.vip/?url=','sort'=>'997','id'=>'jpm3u8'
),

改完还差一步:前台播放器配置是编译产物,存在 static/js/playerconfig.js。不重建的话后台能看到播放器、前台却不认。

提示
重建逻辑在 admin/controller/Base.php 的 _cache_clear() 里,按 config('vodplayer') 重新生成。改完 vodplayer.php 必须触发一次,否则播放页会提示”播放器不存在”。

三、真正的坑:每页只进 1 条

试采第一页,脚本打印”处理 20 条、0 错误”,但数据库里只多了 1 条。

一开始我怀疑去重规则($config['inrule'] 按片名+年份判重)、怀疑黑名单过滤、怀疑 ID 冲突,查了三轮都不是。最后去读 application/common/model/Collect.php 的 vod_data(),才发现问题出在函数自己的分支设计上:

if($show==1) {
    mac_echo(...);          // 批量模式:继续循环
} else {
    return ['code'=>..., 'msg'=>$des];   // 单条模式:第一条就 return
}

$show=0 是给”单条 AJAX 采集”用的,处理完第一条直接 return。而 batch_collect_v3.php 传的正是 $show=0,所以每页 20 条只处理第一条,剩下 19 条被静默丢弃。

至于日志里那个”累计 20 条”,其实是 count($data['data']),统计的是收到的条数,不是入库条数。所以看起来一切正常。

修复

不用改核心模型(升级会覆盖),复制一份脚本,改成逐条调用:

foreach ($data['data'] as $one) {
    $single = $data;
    $single['data'] = [$one];
    model('Collect')->vod_data($param, $single, 0);
}

这样每条都走”第一条即返回”的路径,既复用了模型的全部归一化/绑定/去重逻辑,又不会卡在最后的分页跳转上。

改完重跑:该分类从 2 条直接跳到 20 条,36 页跑完 221 秒、0 错误。

四、完整性核对

采完不能只看”跑了没报错”,要按源站条数反查。

环节 数量 说明
源站总条数 701 接口 reported total
去重后唯一标题 699 站内有 2 条同名片
实际入库 697 见下方说明

差额的 2 条:源站这两个条目 vod_play_from 就是 no、vod_play_url 为空,属于死链,采进来也只是空壳,直接删掉。

另外发现一个隐蔽现象:某部片子的标题里带一对尖括号(形如 xxx<yyy>zzz),入库后尖括号连同中间内容一起消失,只剩前半段。因为苹果CMS 的 formatDataBeforeDb 会走 XSS 过滤,把 <...> 当 HTML 标签剥掉了。

提示
这不是 bug,是预期行为。要保留原始标题得先做 HTML 实体转义(&lt;/&gt;),但影视站一般无所谓,反而更安全。

五、封面本地化

资源站的图片域名说没就没,建议采集后立刻把封面落到本地。

思路很简单:读 vod_pic 远程地址 → 下载到 upload/vod/private/ → 把数据库字段改成相对路径。要点有三个:

  1. 文件名用 vod_id + 原扩展名,天然去重、可断点续传(先判断文件存不存在再下)
  2. 目标目录必须 chown www-data:www-data,否则 php 写不进去
  3. 数据库里存相对路径(upload/vod/private/xxx.jpg),由 mac_url_img() 拼域名,换域名时不用改数据

697 张全部落地后核对:远程 URL 剩 0 条,本地路径 697 条。

六、分类只给管理员看

这是整件事里最需要克制的地方:不能只藏导航。藏了导航,别人换个 URL 还是能进。

三层拦截

第一层,控制器入口。苹果CMS 所有分类页、详情页、播放页最终都会经过 application/common/controller/All.php 的两个方法:

label_type()        // 分类页 / 列表页
label_vod_detail()  // 详情页 / 播放页

在这两处插一个判定,等于一次覆盖所有入口:

function mac_private_block($info) {
    $tid = <目标分类ID>;
    $top  = intval($info['type_id_1'] ?? 0);
    $leaf = intval($info['type_id']   ?? 0);
    if (($top === $tid || $leaf === $tid) && !mac_is_admin()) {
        mac_private_deny();
    }
}

注意 type_id_1 也要判——叶子分类的父级 ID 挂在 type_id_1 上,只判 type_id 会漏掉子分类。

第二层,模板隐藏。首页导航、页脚、周表三处循环里加条件,避免出现分类名和链接:

{if condition="mac_is_admin() || $navvo.type_id != <目标分类ID>"}

第三层,兜底。就算前两层都失效,控制器 404 也拦得住直接访问。

管理员判定怎么写

苹果CMS 有两套登录态:后台用 cookie(admin_id / admin_name / admin_check),前台用 session。前台要判管理员,得两个都试:

function mac_is_admin() {
    static $ok = null;
    if ($ok !== null) return $ok;
    $r = model('Admin')->checkLogin2();   // cookie 方式
    if (!empty($r['code']) && $r['code'] == 1) return $ok = true;
    $r = model('Admin')->checkLogin();    // session 方式
    return $ok = (!empty($r['code']) && $r['code'] == 1);
}

checkLogin2() 的校验式是:

md5(admin_random + '-' + admin_name + '-' + admin_id + '-' + 客户端IP)

abort(404) 的坑

本来想直接 abort(404),结果访客拿到的是 HTTP 200 + 0 字节空白页——因为这个站的自定义异常模板没接管,直接吐空 body。

改成自己输出:

http_response_code(404);
echo file_get_contents(模板目录 . '/public/404.html');
exit;

访客看到的就是正常的”404 页面不存在”,914 字节,状态码也对。

怎么验证”管理员确实能看”

难点在于不能为了测试去改管理员密码。既然 cookie 算法是公开的,直接从数据库反推就行:

check = md5(admin_random + '-' + admin_name + '-' + str(admin_id) + '-' + '127.0.0.1')
cookie = f'admin_id={admin_id}; admin_name={admin_name}; admin_check={check}'

带着这个 cookie curl 前台,就是管理员身份。不改密码、不碰 session,测完没有任何残留。

对照结果:

身份 分类页 详情页 首页导航
管理员 200,正常出片 200 出现该分类
访客 404(914B) 404(914B) 无该分类、无链接

七、让分类进导航

分类建好后首页导航里没有它。原因不是权限,是排序:

导航模板用 {maccms:type num="N" ... order="asc" by="sort"},只取按 sort 排序的前 N 个。这个分类的 type_sort 是建站时按 ID 生成的(63),在所有父级分类里排最后,永远挤不进前 N。

而 N 不在模板里写死,是主题配置项:

// application/extra/mctheme_momo.php
'nav_num' => '8',

所以要做两件事:把 type_sort 调到目标位置,把 nav_num 放到够用的值。

小贴士
调 sort 时故意设成和其他分类相同的值,让它的 ID 决定先后,这样是”插入”而不是”替换”——不会把任何现有分类挤出导航。

改完的效果:导航依次是 电影片 · 连续剧 · 综艺片 · 动漫片 · 电影解说 · 体育 · 新分类 · 演员,原有分类一个没少。

另外顺带一提:分类名是在 mac_type.type_name 里改的,改完全站统一生效(导航、页脚、分类页标题、面包屑)。因为权限判定走的是 type_id 不是名字,改名不影响任何逻辑。

注意
nav_num 现在刚好卡在包含该分类的临界值。以后若再新建分类或调整 sort,记得回头确认它还在前 N 位内,否则又会”莫名其妙消失”。

复盘:这次踩的坑

现象 真实原因 解法
接口返回乱码 响应 gzip 未解压 curl 加 --compressed
INSERT 整批失败 type_extend 等列 NOT NULL 无默认值 补全所有列
绑定一半不生效 md5() 含不含 ?t=57 是两个值 两种 cjflag 都绑
后台有播放器、前台不认 播放器配置是编译产物 重建 playerconfig.js
每页只进 1 条 vod_data($show=0) 第一条就 return 改成逐条调用
访客看到空白页 自定义模板未接管 abort(404) 手动 http_response_code + 输出模板
导航里没有新分类 type_sort 排最后 + nav_num 限制 调 sort + 放 nav_num

最后

这次最值钱的不是采集本身,而是那句”日志说成功,数据说没有”的差异。

苹果CMS 的采集日志统计的是收到条数,不是入库条数;vod_data() 的单条模式又设计成静默返回。两者叠加,就成了一个”看起来一切正常、实际丢了 95% 数据”的假象。

遇到这种量级对不上的情况,唯一的办法是拿源站条数反查数据库,一行 SQL 定生死:

SELECT count(*) FROM mac_vod WHERE type_id = <目标分类ID>;

数字对不上,就去读源码,别信日志。

© 版权声明
THE END
喜欢就支持一下吧
点赞9 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容