2 篇博文 含有标签「机器学习」

“如果我当年去问顾客他们想要什么，他们肯定会告诉我：一匹更快的马” -- 亨利•福特

前言​

当我初入职场时，作为数据分析师的我，偶然体验到了网络爬虫（Web Crawler）自动化提取网页数据的能力，自此我一直对这个神奇的技术充满好奇。随着后来我不断钻研爬虫技术，逐渐了解到网络爬虫的核心技术，其中就包括网页解析（Parsing），即通过分析网页 HTML 结构而构建基于 XPath 或 CSS Selector 数据提取规则的过程。这个过程长期以来都需要人工介入，虽然对于爬虫工程师来说相对简单，但如果需要大规模抓取，这个过程是非常消耗时间的，而且随着网页结构变化会增加爬虫维护成本。本篇文章将介绍我开发的基于**大语言模型（LLM）**的智能爬虫产品：Crawlab AI。虽然它还处于早期开发阶段，但已经展现出强大的潜力，有望让数据从业者轻松获取数据。

相关工作​

作为爬虫管理平台 Crawlab 的创始人，一直都热衷于让数据获取变得简单和轻松。跟数据从业者不断交流，我意识到智能爬虫（或通用爬虫）的大量需求，即不用人工编写解析规则就可以抓取任何网站的目标数据。当然，也不止我一个人在研究和试图解决这个问题：2020年1月，青南大佬发布了基于标点密度的通用文章解析库 GeneralNewsExtractor，可以 4行代码实现通用新闻爬虫；2020年7月，崔庆才大佬发布了 GerapyAutoExtractor，基于 SVM 算法实现了列表页数据抓取；2023年4月，我通过高维度向量聚类算法，开发了 Webspot，同样可以自动提取列表页。这些开源软件的主要问题在于，识别的精准度与人工编写的爬虫规则有一定差距。

此外，商业爬虫软件 Diffbot 和 八爪鱼 通过自研的机器学习算法，也实现了部分通用数据抓取的功能。但可惜的是它们的使用成本相对较高。例如，Diffbot 的最低套餐就需要每月支付 299 美元的订阅费。

引子​

Kaggle 是一个面向数据科学家、机器学习工程师和数据分析师的在线社区和数据科学竞赛平台，上面有很多带有奖励的数据科学竞赛（Competition）以及数据集（Dataset）。Kaggle 社区在数据科学领域非常出名，很多互联网业界大厂也在上面发布有奖竞赛，竞赛金额从几万到百万美元不等。本文介绍的是最近参与的 Kaggle 一个入门 NLP 竞赛，没有现金奖励，但可以学习到 NLP 相关的机器学习知识。

竞赛简介​

这个数据科学竞赛是希望竞赛参与者通过给定 Twitter 上的一条推文（Tweet），来判断推文是否是关于一场真实的灾害（Disaster）。下图是某一条推文的情况，推文中有 "ABLAZE"（燃烧的）关键词，预示着该推文是说有房子燃起来了。