泛先知库存采集器 v34 注册者:www.hkwced.cn(与 login_design.php 保持一致)
根项目:wcedprwww.hkwced.cninventory 外网爬虫:Bing 搜索 + 网页抓取 + 黑白名单循环 + 分类档案 + CLI 后台守护
采集模式:
← 返回 login_design.php
▸ 注册者设置参数(v18 读取)
值名称 id(参数名)当前值(value_now)
wcedvcwww.hkwced.cnvalueproject_class_structurewww.hkwced.cn
WeChathowlinking
qq3045587751
Alipay15871753903
dd丁丁
emailhkwcedcn@163.com
weibohkwced
baiduhkwced
tele18162548419
websitepanelwww.hkwced.cn
username_veeker_grade1
username_faqiren_grade1
username_xiezuozhe_num0
username_project_shouquan_num0
username_flow_shouquan_num0
username_value_shouquan_num0
usernameid_name武汉曲面元科技有限公司
usernameid_name_id91420100MABQAFM14F
usernameid_name_type有限责任公司
usernameid_name_date2022年06月24日
usernameid_address武汉东湖新技术开发区关东街道高新大道路197号保利。莱莉公馆4栋2单元2201室
usernameid_name_class网络技术服务;软件开发;信息技术咨询服务;技术 服务、技术开发、技术咨询、技术交流、技术转让、技术推广;物联网 技术服务;物联网技术开发;信息技术集成服务;数据处理服务(除许可 业务外,可自主依法经营法律法规非禁止或限制的项目)
usernameid_photo../images/www.hkwced.cn/ 公司.jpeg
usernameid_faren苗译尹
shangbiao_username泛先知
ISO9001ISO9001:
ISO14001ISO14001:
ISO 45001ISO 45001:
username_zhizhao执照:
username_photo公司办公照:
tele218471948269
money1腾讯服务器:270元
money2腾讯服务器2:104元
money3www.hkwced.cn域名费年:90元
money4howlinking.com域名年费:90元
money5hkwced.com域名年费:90元
money6曲面元财务费年:2400元
money73域名https年费:450元
money84电话月费:240元
money9飞流AI月费:90元
money10workbuddy月费:198元
money11豆包投喂月基本费:80元
money12千问投喂月基本费:80元
money13deepseek投喂费:80元
money14文心投喂月基本费:80元
money15人力费月:50000元
money_in1店商设计月:240元
money_in2店商投喂月:750元
money_in3销售月:50000元,按5%计算佣金
wechat218471948269
faming_zhuanli_username发明专利:
shiyongxinxing_zhuanli_username实用新型专利:
ruanzhu_banquan_username软件版权:
shape_design_username外观设计:
ISO 27001ISO 27001 信息安全管理体系认证:
ISO 20000ISO 20000 信息技术服务管理体系认证:
ISO 50001ISO 50001 能源管理体系认证:
GB/T 50430GB/T 50430 工程施工质量管理体系认证:
ISO 14064 / ISO 14068ISO 14064 / ISO 14068:碳核查与碳中和认证:
ISO 26000ISO 26000:社会责任指南:
ISO 22000ISO 22000 食品安全管理体系认证:
ISO 13485ISO 13485 医疗器械质量管理体系认证:
IATF 16949IATF 16949 汽车工业质量管理体系认证:
shape武汉曲面元科技有限公司
func武汉曲面元科技有限公司商标是泛先知
connwww.hkwced.cn,www.howlinking.com
par互联网,云服务器
name武汉曲面元科技有限公司
com_num1
classidi
powerid武汉曲面元科技有限公司
flow项目流程
value项目值
image项目图片
video项目视频
websitehttps://www.hkwced.cn
website_2www.howlinking.com
website_3www:
taobaoshophttps://www.taobao.com/?spm=a2e1u.27659560.1581860521.1.76a3ae1bObJ4rL
doudianshop抖店
jingdongshophttps://re.m.jd.com/page/homelike?re_dcp=2y8&cu=true&utm_source=daohang.qq.com&utm_medium=tuiguang&utm_campaign=t_1000003625_qqmz&utm_term=101907145441453821788830668242;cu=true&utm_source=daohang.qq.com&utm_medium=tuiguang&utm_campaign=t_1000003625_qqmz&utm_term=101907145441453821788830668242
pinduoduoshop拼多多店
usernameid_yunshu运输
today_crawler_log_num今日爬虫日志数
cum_crawler_log_num累计爬虫日志数
today_browler_human_num今日浏览数
cum_browler_human_num累计浏览数
now_web_num当前桩数
now_chain_num系统分部数
now_chain_clerk_num系统职员数
now_chain_xiezuo_num系统协作数
now_china_zi_num当前汉字数
now_china_word_num当前词语数
now_china_flow_num当前流程数
now_class_num当前分类数
registanter_num当前注册数
now_crawler_num当前爬虫数
This_month_gifts本月馈赠
daili_shangbiao_username代理商标(证书)
daili_shangbiao_buchon_username代理商标(补充书)
daili_shangbiao_授权书代理商标授权书
daili_usernameid_address代理(制造)商地址
使用说明:参数中的 http/https 网址会被识别为推荐知名网站/优质数据源,候选网址命中该主机时额外加分;非网址文本行会作为额外搜索词,在分类档案默认搜索词用尽后参与 URL 发现;未配置时不影响原有采集逻辑。
v11 商品过滤:库存子项目共 67 条 → 判定为商品 23 个(已去掉不是商品的项目 44 条)(条件:stated_1 无下级 且 get_project_com_id_true_or_false=='com')
项目名称 项目图 数量 采集策略 采集按钮 查看采集值按钮 输入采集值 输入采集按钮
城市集市
wcedprcitysellinventorywww.hkwced.cn
数据授权
wcedprdatapoweridinventorywww.hkwced.cn
学生手册封面1-探索之路-1
wcedprlinghangxingd_xueshengshouceidinventorywww.hkwced.cn
封面1-综合主题-1
wcedprlinghang_chuzh_jiashiidinventorywww.hkwced.cn
探索者包装箱1
wcedprlinghang_xingdon_tszidinventorywww.hkwced.cn
linking
wcedprlinkinginventorywww.hkwced.cn
难度
wcedprnanduinventorywww.hkwced.cn
寿命
wcedprshouminginventorywww.hkwced.cn
无电网微型风力发电系统探索
wcedprtsz_ww_flfdxtidinventorywww.hkwced.cn
分类法
wcedprwww_hkwced_cninventoryenvir_designer
锚连接器
wcedprwww_hkwced_cninventorypan_pseudo_anchor
版权
wcedprwww_hkwced_cninventorypan_pseudo_Chain_stores
汉字软件
wcedprwww_hkwced_cninventorypan_pseudo_chinese
分类法
wcedprwww_hkwced_cninventorypan_pseudo_class
协作者
wcedprwww_hkwced_cninventorypan_pseudo_Collaborator_Alliance
社区
wcedprwww_hkwced_cninventorypan_pseudo_community
公司
wcedprwww_hkwced_cninventorypan_pseudo_company
泛先知县
wcedprwww_hkwced_cninventorypan_pseudo_county
数据授权
wcedprwww_hkwced_cninventorypan_pseudo_data_empower
html
wcedprwww_hkwced_cninventorypan_pseudo_HTML1
机构
wcedprwww_hkwced_cninventorypan_pseudo_institutional
店商
wcedprwww_hkwced_cninventorypan_pseudo_Shopkeeper
TQM
wcedprwww_hkwced_cninventorypan_pseudo_TQM
指定商品ID(v30,可选)
换个思路:先找一个商品(如皮沙发P-911B),把这个商品的ID填进来,点击「采集分类文本」就直接对这一个商品读-比-写,不受库存列表筛选影响。留空则按下方分类名称筛选库存。
输入分类名称(筛选用)
仅当"指定商品ID"留空时生效:商品名称(compositionname)中包含该分类名称的即视为相关商品。留空时自动取下方分类文本里的“名称”值。
输入分类文本
文本标签支持(值id 或 值名称均可):名称:xxx / name: xxx / name=xxx / 【名称】xxx;无标签行自动续行到上一个值。11 个值标签:名称/分类/授权/外观/连接/寄生/功能/流程/值/图片/视频。
单个商品采集(外网爬虫):人工选择商品 → 点击「开始采集」→ PHP 爬虫执行循环采集:
 ① 循环发现网址:依据商品信息(名称)和 11 个值的关键词,多轮构造搜索词(商品名 / 参数报价 / 功能评测 / 视频 / 型号+品牌 / 白名单页面内链),Bing 搜索得到候选网址,按型号命中/名称词命中/详情页特征/电商参数站打分排序;
 ② 黑白名单测试:逐个抓取候选网址(自动转码 GBK→UTF-8),能爬取且内容相关的加入白名单,不能爬取或不相关的加入黑名单,然后继续找寻新网址,循环往复直到采够有效内容;
 ③ 采集 11 个值:从白名单页面提取——名称(标题清洗)、分类/授权/外观/连接/寄生/功能/流程(关键词行提取+噪声过滤)、值(价格正则优先)、图片(<img> 地址提取)、视频(视频平台网址+页面嵌入);
 ④ 比较去重更新:爬取值与当前值(pseudo_china_value_com.value_now)逐值比较去重合并后写回。
查看采集值:显示该商品 11 个值(结构(值)名称id / 当前结构值 / 采集值文本)。
采集文本:粘贴描述文本到「输入采集值」→ 点击「采集输入文本」→ 完成 11 个值分类(没有其中 1 个值,该值为空保持原值),与当前 11 个值去重合并更新。
分类采集(库存表内,v30):商品库存表内底部的"分类采集"行——含「指定商品ID」(v30 新增)、「输入分类名称」(文本框)、「输入分类文本」(大文本框)与「采集分类文本」(按钮)。换个思路:先找一个商品(如皮沙发P-911B),把它的 ID(如 wcedprP-911Binventorylzx123583)填进「指定商品ID」,点击「采集分类文本」就直接对这一个商品查询比较写入——不依赖当前加载的库存列表、不受筛选影响。「指定商品ID」留空时才回退:用「输入分类名称」(留空时自动取分类文本里的“名称”值)作为筛选关键词遍历当前库存商品(循环读取在表 pseudo_registant_com,根 wcedpr{username}inventory),商品名称含该分类名称的即相关。对目标商品按正统流程处理:$project_valueid=query_make_standard_class_project_value_id($link,$compositionid)、$com_strid=query_make_standard_class_project_structure_id($link,$compositionid);用 select * from pseudo_china_value_com where projectid='$project_valueid' and compositionid='$com_strid' 逐行读取该商品参数,每行 value_name 为参数id、value_now 为当前值;有效判断 stated_1($row['stated'])=='2' 或 '0'(无下级)才处理;采集值从 json 数据(把分类文本解析的 11 个值组织成 {"value_name":"采集值"})按 value_name 获取;当前值 $value_now 与采集值按自然语言去重合并得到 $value_now_new,用 update_china_value_com($link,$project_valueid,$com_strid,$value_name,'value_now',$value_now_new) 更新(数据更新只在表 pseudo_china_value_com)。结果会显示更新情况。同一个注册者可有多个分类,各自填分类名称即可处理不同一批商品。商品库存表其余行列保持不变。
v10 分类档案:不同类型商品自动使用不同采集策略——实物商品(默认:参数/报价/评测类搜索词,目标站点 zol/jd/苏宁等电商参数站)、软件/平台(官网/功能介绍/使用教程类搜索词,目标站点 oschina/csdn/github 等)、人员/服务(服务内容/职责/流程类搜索词,目标站点文库/百科类站点)。可在商品列表「采集策略」列手动指定(存 SESSION,优先于自动识别)。档案配置在 inventory_crawl_core.php 的 $CRAWL_PROFILES。
v11 后台守护:服务器上双击 inventory_auto_install.bat 注册 Windows 计划任务后,inventory_auto_cli.php 每分钟自动接力采集(flock 单实例、状态与进度落盘断点续采),关闭浏览器照常 7×24;自动采集模式下的「后台守护」卡实时显示其运行情况。卸载:schtasks /delete /tn "InventoryAutoCollect" /f。
v11 商品过滤:库存商品循环时去掉不是商品的项目——子项目需同时满足 条件一(stated_1(stated)=='2' 或 '0',无下级;不能是 9)与 条件二(get_project_com_id_true_or_false(...)=='com',是商品项目)才算商品,才进入采集循环(www.hkwced.cn 实际商品 23 个)。过滤逻辑在 inventory_crawl_core.php 的 inventory_goods_list(),面板与 CLI 共用;商品列表上方的绿色统计条显示"总条数 → 商品数(去掉数)"。
v18 注册者设置参数:读取站点后台中注册者为 wcedvc{username}value 项目的设置参数(value_name → value_now),在面板折叠卡中显示;参数中的 http/https 网址作为推荐知名网站/优质数据源(候选网址命中该主机时额外 +5 分),非网址文本行作为额外搜索词在档案默认词用尽后参与 URL 发现;未配置时不影响原有逻辑。读取代码严格按用户给出的模式:$project_valueid='wcedvc'.$username.'value';$com_strid=$project_valueid.'project_class_structure';select * from pseudo_china_value_com where projectid='$project_valueid' and compositionid='$com_strid';有效值条件 stated_1(stated)=='2' 或 '0'。
可调参数(inventory_crawl_core.php 顶部 $CRAWL 数组):搜索引擎域名 / 搜索次数 / 抓取页数 / 超时 / 搜索与抓取间隔(防反爬)/ 缓存有效期 / 最低得分;$CRAWL_KW:11 值提取关键词。
防卡死机制(v9.1):所有 AJAX 请求后端最多执行约 8 秒就返回(分片推进),页面每秒刷新进度,不会长时间无响应;前端请求 25 秒无响应会明确报错而不再无限等待。若仍感觉整站卡住:多开采集会占满 phpStudy 的 PHP-FPM 进程数,请避免同时运行多个采集页,或调大 phpStudy 中 PHP 的 max_workers / 进程数。
常见问题:采不到值时看进度面板日志——搜索引擎偶尔限流(换时间重试)、部分网站拒绝爬虫(百度百科/知乎返回 403,属正常,已进黑名单不再重试)、服务器需可访问外网且 PHP 开启 curl 扩展。
文本标签支持(值id 或 值名称均可):名称:xxx / name: xxx / name=xxx / 【名称】xxx;无标签行自动续行到上一个值。