环境:甲骨文云 Ubuntu aarch64 + php-fpm(www-data)
站点:苹果CMS v10,自定义模板 momo2026
目标:接入一个新资源站的短剧板块,新建独立分类,且该分类仅管理员可见
耗时:采集 36 页约 221 秒,封面本地化 697 张
缘起
手上这个影视站跑的是苹果CMS v10。最近接了个新的采集源,对方给的信息很标准:列表接口 ?ac=list、详情接口 ?ac=detail、播放器编码 jpm3u8、解析地址 https://jp998.vip/?url=。
本来以为是”后台点几下就完事”的活,结果一路踩到采集模型的一个设计陷阱:每页 20 条,只入库 1 条,而日志还显示正常。这篇把整个过程记一下,重点是那几个不看源码根本发现不了的坑。
一、先把接口摸清楚
第一步不是急着进后台,而是用 curl 把数据看清楚。
curl -s --compressed 'https://jp98.vip/api.php/provide/vod/?ac=detail&t=57&pg=1'
Content-Encoding 处理。加 --compressed 就正常了。这个坑每次接新采集源都会遇到,先加上再说。确认到的关键参数:
| 项 | 值 |
|---|---|
| 远程分类 ID | t=57(短剧板块) |
| 总条数 | 701 |
| 分页 | 36 页(每页 20) |
| 播放源编码 | jpm3u8 |
| 播放地址格式 | 第01集$url#第02集$url(标准格式) |
详情接口带 t=57 时只返回该分类,说明过滤正常,不用本地再筛。
二、建分类、建采集点、绑播放器
1. 分类
直接写 mac_type,但这里有个容易整批回滚的坑:
mac_type 的 type_extend、type_logo、type_pic 等列是 NOT NULL 且无默认值。只填 type_id / type_name / type_pid 会报 ERROR 1364,而且整条 INSERT 失败。必须把所有 NOT NULL 列显式补空串。2. 采集点的绑定关系
苹果CMS 的采集绑定不是存在 mac_collect 里,而是 application/extra/bind.php,键的构造方式是:
md5(采集地址) + "_" + 远程分类ID => 本地分类ID
这里的第一个大坑是:md5() 里到底含不含查询参数。
- 后台添加采集点时填
...?t=57,cjflag 是md5('...?t=57') - 而命令行脚本通常用基础 URL,cjflag 是
md5('...')
两个 md5 完全不同,只有一个绑定就会有一半场景失效。稳妥做法是把两种都绑上:
'68a4f2f05294528a2a06f66b2db07717_57' => 63, // 带 ?t=57
'8656a661de9ff8da7999544f691583c8_57' => 63, // 基础 URL
3. 播放器与解析接口
写 application/extra/vodplayer.php 新增 jpm3u8:
'jpm3u8' => array(
'status'=>'1','from'=>'jpm3u8','show'=>'98精品M3U8',
'target'=>'_self','ps'=>'1',
'parse'=>'https://jp998.vip/?url=','sort'=>'997','id'=>'jpm3u8'
),
改完还差一步:前台播放器配置是编译产物,存在 static/js/playerconfig.js。不重建的话后台能看到播放器、前台却不认。
admin/controller/Base.php 的 _cache_clear() 里,按 config('vodplayer') 重新生成。改完 vodplayer.php 必须触发一次,否则播放页会提示”播放器不存在”。三、真正的坑:每页只进 1 条
试采第一页,脚本打印”处理 20 条、0 错误”,但数据库里只多了 1 条。
一开始我怀疑去重规则($config['inrule'] 按片名+年份判重)、怀疑黑名单过滤、怀疑 ID 冲突,查了三轮都不是。最后去读 application/common/model/Collect.php 的 vod_data(),才发现问题出在函数自己的分支设计上:
if($show==1) {
mac_echo(...); // 批量模式:继续循环
} else {
return ['code'=>..., 'msg'=>$des]; // 单条模式:第一条就 return
}
$show=0 是给”单条 AJAX 采集”用的,处理完第一条直接 return。而 batch_collect_v3.php 传的正是 $show=0,所以每页 20 条只处理第一条,剩下 19 条被静默丢弃。
至于日志里那个”累计 20 条”,其实是 count($data['data']),统计的是收到的条数,不是入库条数。所以看起来一切正常。
修复
不用改核心模型(升级会覆盖),复制一份脚本,改成逐条调用:
foreach ($data['data'] as $one) {
$single = $data;
$single['data'] = [$one];
model('Collect')->vod_data($param, $single, 0);
}
这样每条都走”第一条即返回”的路径,既复用了模型的全部归一化/绑定/去重逻辑,又不会卡在最后的分页跳转上。
改完重跑:该分类从 2 条直接跳到 20 条,36 页跑完 221 秒、0 错误。
四、完整性核对
采完不能只看”跑了没报错”,要按源站条数反查。
| 环节 | 数量 | 说明 |
|---|---|---|
| 源站总条数 | 701 | 接口 reported total |
| 去重后唯一标题 | 699 | 站内有 2 条同名片 |
| 实际入库 | 697 | 见下方说明 |
差额的 2 条:源站这两个条目 vod_play_from 就是 no、vod_play_url 为空,属于死链,采进来也只是空壳,直接删掉。
另外发现一个隐蔽现象:某部片子的标题里带一对尖括号(形如 xxx<yyy>zzz),入库后尖括号连同中间内容一起消失,只剩前半段。因为苹果CMS 的 formatDataBeforeDb 会走 XSS 过滤,把 <...> 当 HTML 标签剥掉了。
</>),但影视站一般无所谓,反而更安全。五、封面本地化
资源站的图片域名说没就没,建议采集后立刻把封面落到本地。
思路很简单:读 vod_pic 远程地址 → 下载到 upload/vod/private/ → 把数据库字段改成相对路径。要点有三个:
- 文件名用
vod_id+ 原扩展名,天然去重、可断点续传(先判断文件存不存在再下) - 目标目录必须
chown www-data:www-data,否则 php 写不进去 - 数据库里存相对路径(
upload/vod/private/xxx.jpg),由mac_url_img()拼域名,换域名时不用改数据
697 张全部落地后核对:远程 URL 剩 0 条,本地路径 697 条。
六、分类只给管理员看
这是整件事里最需要克制的地方:不能只藏导航。藏了导航,别人换个 URL 还是能进。
三层拦截
第一层,控制器入口。苹果CMS 所有分类页、详情页、播放页最终都会经过 application/common/controller/All.php 的两个方法:
label_type() // 分类页 / 列表页
label_vod_detail() // 详情页 / 播放页
在这两处插一个判定,等于一次覆盖所有入口:
function mac_private_block($info) {
$tid = <目标分类ID>;
$top = intval($info['type_id_1'] ?? 0);
$leaf = intval($info['type_id'] ?? 0);
if (($top === $tid || $leaf === $tid) && !mac_is_admin()) {
mac_private_deny();
}
}
注意 type_id_1 也要判——叶子分类的父级 ID 挂在 type_id_1 上,只判 type_id 会漏掉子分类。
第二层,模板隐藏。首页导航、页脚、周表三处循环里加条件,避免出现分类名和链接:
{if condition="mac_is_admin() || $navvo.type_id != <目标分类ID>"}
第三层,兜底。就算前两层都失效,控制器 404 也拦得住直接访问。
管理员判定怎么写
苹果CMS 有两套登录态:后台用 cookie(admin_id / admin_name / admin_check),前台用 session。前台要判管理员,得两个都试:
function mac_is_admin() {
static $ok = null;
if ($ok !== null) return $ok;
$r = model('Admin')->checkLogin2(); // cookie 方式
if (!empty($r['code']) && $r['code'] == 1) return $ok = true;
$r = model('Admin')->checkLogin(); // session 方式
return $ok = (!empty($r['code']) && $r['code'] == 1);
}
checkLogin2() 的校验式是:
md5(admin_random + '-' + admin_name + '-' + admin_id + '-' + 客户端IP)
abort(404) 的坑
本来想直接 abort(404),结果访客拿到的是 HTTP 200 + 0 字节空白页——因为这个站的自定义异常模板没接管,直接吐空 body。
改成自己输出:
http_response_code(404);
echo file_get_contents(模板目录 . '/public/404.html');
exit;
访客看到的就是正常的”404 页面不存在”,914 字节,状态码也对。
怎么验证”管理员确实能看”
难点在于不能为了测试去改管理员密码。既然 cookie 算法是公开的,直接从数据库反推就行:
check = md5(admin_random + '-' + admin_name + '-' + str(admin_id) + '-' + '127.0.0.1')
cookie = f'admin_id={admin_id}; admin_name={admin_name}; admin_check={check}'
带着这个 cookie curl 前台,就是管理员身份。不改密码、不碰 session,测完没有任何残留。
对照结果:
| 身份 | 分类页 | 详情页 | 首页导航 |
|---|---|---|---|
| 管理员 | 200,正常出片 | 200 | 出现该分类 |
| 访客 | 404(914B) | 404(914B) | 无该分类、无链接 |
七、让分类进导航
分类建好后首页导航里没有它。原因不是权限,是排序:
导航模板用 {maccms:type num="N" ... order="asc" by="sort"},只取按 sort 排序的前 N 个。这个分类的 type_sort 是建站时按 ID 生成的(63),在所有父级分类里排最后,永远挤不进前 N。
而 N 不在模板里写死,是主题配置项:
// application/extra/mctheme_momo.php
'nav_num' => '8',
所以要做两件事:把 type_sort 调到目标位置,把 nav_num 放到够用的值。
sort 时故意设成和其他分类相同的值,让它的 ID 决定先后,这样是”插入”而不是”替换”——不会把任何现有分类挤出导航。改完的效果:导航依次是 电影片 · 连续剧 · 综艺片 · 动漫片 · 电影解说 · 体育 · 新分类 · 演员,原有分类一个没少。
另外顺带一提:分类名是在 mac_type.type_name 里改的,改完全站统一生效(导航、页脚、分类页标题、面包屑)。因为权限判定走的是 type_id 不是名字,改名不影响任何逻辑。
nav_num 现在刚好卡在包含该分类的临界值。以后若再新建分类或调整 sort,记得回头确认它还在前 N 位内,否则又会”莫名其妙消失”。复盘:这次踩的坑
| 现象 | 真实原因 | 解法 |
|---|---|---|
| 接口返回乱码 | 响应 gzip 未解压 | curl 加 --compressed |
| INSERT 整批失败 | type_extend 等列 NOT NULL 无默认值 |
补全所有列 |
| 绑定一半不生效 | md5() 含不含 ?t=57 是两个值 |
两种 cjflag 都绑 |
| 后台有播放器、前台不认 | 播放器配置是编译产物 | 重建 playerconfig.js |
| 每页只进 1 条 | vod_data($show=0) 第一条就 return |
改成逐条调用 |
| 访客看到空白页 | 自定义模板未接管 abort(404) |
手动 http_response_code + 输出模板 |
| 导航里没有新分类 | type_sort 排最后 + nav_num 限制 |
调 sort + 放 nav_num |
最后
这次最值钱的不是采集本身,而是那句”日志说成功,数据说没有”的差异。
苹果CMS 的采集日志统计的是收到条数,不是入库条数;vod_data() 的单条模式又设计成静默返回。两者叠加,就成了一个”看起来一切正常、实际丢了 95% 数据”的假象。
遇到这种量级对不上的情况,唯一的办法是拿源站条数反查数据库,一行 SQL 定生死:
SELECT count(*) FROM mac_vod WHERE type_id = <目标分类ID>;
数字对不上,就去读源码,别信日志。











暂无评论内容