一罐可乐

网络信息资源与信息组织#

• 概念：网络信息资源是以数字化多媒体形式存储并可通过网络通讯传递的信息集合。
• 组织方式：
  • 超文本 (Hypertext)：以节点为单位，通过网状链接进行非线性信息排列。
  • Web 2.0：强调用户交互，形式包括博客 (Blog)、维基 (Wiki)、标签 (Tag)、RSS 和社交网络 (SNS) 等。

网络搜索引擎的应用#

搜索引擎是获取网络资源的核心工具，其工作原理包括数据采集、分析标引和检索反馈。

• 核心组件：采集器（Spider/Robot）、分析器、索引器、检索器、用户接口。
• 分类：可按检索语言（关键词、分类）、检索功能（目录型、全文型）及搜索方式（独立、元搜索引擎）等划分。
• 百度高级搜索语法：
  • intitle: 限定网页标题中包含关键词。
  • site: 限定在特定站点内搜索。
  • filetype: 专门文档搜索。
  • inurl: 限定在 URL 链接中搜索。
  • 双引号和书名号用于精确匹配。

免费学术信息与开放存取 (OA)#

• 获取途径：涵盖教育、政府网站，以及各类免费工具书、图书、期刊、学位论文及专利标准数据库。
• 开放存取 (Open Access)：
  • 定义：用户可通过网络免费获取、下载、传播数字化学术信息，不受经济和技术限制（采用作者付费模式）。
  • 发布形式：OA 期刊（如 DOAJ）、OA 知识库（如预印本系统 arXiv）、OA 门户网站（如 Google Scholar、OALib）。

看不见的网络 (Deep Web)#

看不见的网络指的是由于技术限制（如动态网页、数据库、需输入检索条件的页面）或特殊设置，无法被通用搜索引擎索引的高质量信息资源。

• 成因：搜索引擎抓取机制的局限（如 Spider 陷阱、无文本线索）、访问限制（如 robots.txt 协议）及用户检索技能不足。
• 利用策略：可利用专业主题目录指南、专业搜索引擎（如 Scirus）或“深网”导航网站进行深度挖掘。

信息的搜集、整理与分析#

• 信息搜集：包括直接获取（实验、考察）和间接获取（一次文献如专著与期刊，二次文献如题录与文摘）。
• 信息整理：遵循相关性、新颖性、准确性原则，通过比较、核查与分析进行筛选，并使用汇编法、摘要法或综述法进行提炼。
• 信息分析：利用逻辑分析法（分析综合、抽象概括）和统计分析法揭示事物规律。

学术论文的撰写#

• 论文形式：主要包括期刊论文、会议论文和学位论文。
• 选题原则：应关注科技前沿的“热点”，兼顾作者的知识背景与兴趣，并确保具备完成课题的客观条件（如资料和实验环境）。

网络爬虫技术基础#

• 核心库：
  • requests：用于发送 HTTP GET/POST 请求，处理响应内容。
  • Beautiful Soup：用于解析 HTML/XML 文档，利用 find() 等方法提取数据。
  • Scrapy：强大的 Python 爬虫框架。
• 数据提取语言：使用 XPath 或 CSS Selector 精确定位网页元素。

1
# 简单的requests与BeautifulSoup示例
2
import requests
3
from bs4 import BeautifulSoup
4

5
headers = {'User-Agent': 'Mozilla/5.0'}
6
response = requests.get('http://example.com', headers=headers)
7
soup = BeautifulSoup(response.text, 'html.parser')
8
# 提取数据
9
title = soup.find('h1').text

爬虫进阶与动态网页处理#

• 代理 IP：用于隐藏真实 IP，避免被目标网站封禁。
• 动态网页：针对 JavaScript 渲染的网页，可使用浏览器自动化工具（如 Selenium）模拟真实用户行为。
• 数据存储：可存储至本地（CSV/JSON）、数据库（MySQL/MongoDB）或云存储。

道德、法律与规范#

• 遵守 robots.txt：尊重网站的抓取规则，避免抓取受保护内容。
• 控制抓取频率：避免对目标服务器造成过载压力。
• 隐私与版权保护：严格遵守相关法规（如 GDPR），不泄露个人隐私数据。