本文共 2073 字，大约阅读时间需要 6 分钟。

Node.js 小爬虫实践

爬虫是网络世界中的“探索者”，通过抓取网页代码获取各种数据。Node.js 生态中，利用 http 模块可以轻松实现简单的爬虫功能。

示例一：基础爬虫

var http = require('http');var url = "http://www.imooc.com/learn/348";http.get(url, function(res) {    var html = '';    res.on('data', function(data) {        html += data;    });    res.on('end', function() {        console.log(html);    });}).on('error', function() {    console.log('请求出错');});

将代码保存为 imooc-crawler.js，运行命令：

node imooc-crawler.js

注意：确保脚本路径正确。

示例二：增强功能

为了更好地抓取结构化数据，我们需要 cheerio 库，它类似于 jQuery，支持 DOM 操作。

安装依赖：

npm install cheerio

完成后，修改爬虫代码：

var http = require('http');var cheerio = require('cheerio');var url = "http://www.imooc.com/learn/348";function filterChapters(html) {    var $ = cheerio.load(html);    var courseData = [];        $('.learnchapter').each(function(item) {        var chapter = $(this);        var chapterTitle = chapter.find('strong').text();        var videos = chapter.find('.video').children('li');                var chapterData = {            title: chapterTitle,            videos: []        };                videos.each(function(item) {            var video = $(this).find('.studyvideo');            var videoTitle = video.text();            var id = video.attr('href').split('video/')[1];                        chapterData.videos.push({                title: videoTitle,                id: id            });        });                courseData.push(chapterData);    });        return courseData;}function printCourseInfo(courseData) {    courseData.forEach(function(item) {        console.log(item.title);        item.videos.forEach(function(video) {            console.log(' [' + video.id + '] ' + video.title);        });    });}http.get(url, function(res) {    var html = '';    res.on('data', function(data) {        html += data;    });    res.on('end', function() {        var courseData = filterChapters(html);        printCourseInfo(courseData);    });}).on('error', function() {    console.log('请求出错');});

将代码保存为 crawler.js，运行命令：

node crawler.js

个人总结

本次实践主要体验了 Node.js 爬虫开发的基础流程。通过 cheerio 学习了如何操作 DOM 结构，掌握了爬取网页内容的基础方法。

转载地址：http://xvjfk.baihongyu.com/