1. 起篇

正则表达式（Regular Expression，通常简称为regex或regexp）是处理字符串的强大工具，它提供了一种灵活的方式来搜索、匹配和操作文本。由于其强大的功能和在文本处理中的普遍应用，正则表达式成为了每个程序员和数据科学家必备的技能之一。

正则表达式的概念

正则表达式是由字符和特殊符号组成的字符串，它们共同构成了一种模式，用于描述或匹配一系列符合某个句法规则的字符串。这种模式可以非常简单，如匹配文本文件中的单词“cat”，也可以非常复杂，用以识别电子邮件地址或网页URL等。

正则表达式的重要性

  1. 效率：通过编写一个简单的正则表达式，可以快速匹配或替换大量文本中的特定数据，而不需要编写大量的代码。

  2. 灵活性：正则表达式能够处理极其复杂的文本模式匹配问题，为文本处理提供了无与伦比的灵活性。

  3. 广泛应用：从简单的文本编辑器到复杂的编程语言和数据库，正则表达式几乎在所有需要文本处理的地方都找到了它的应用。

  4. 跨平台：正则表达式几乎被所有的现代编程语言支持，学习它可以让你在不同的开发环境中受益。

这篇笔记的目标和期待读者能和我一起从中学到有用的内容

  • 正则表达式的起源和发展历程

  • 正则表达式的作用和价值

  • 基础正则表达式语法和使用方法。

  • 高级正则表达式技巧

  • 实践应用和练习

  • 常见问题和注意事项

2. 正则表达式的起源和历史

正则表达式的起源和发展是计算机科学史上一个引人入胜的篇章，它从理论研究逐步演化成为今天广泛应用于文本处理、编程语言和数据验证等领域的强大工具。

起源

正则表达式的概念最早可以追溯到20世纪50年代，由美国数学家斯蒂芬·科尔·克莱尼（Stephen Cole Kleene）提出。他在1956年的一篇论文中引入了所谓的“正规集”（Regular Sets）概念，用以描述神经网络和自动机（自动执行操作的抽象机器）的行为模式。科尔·克莱尼的这项工作是正则表达式理论基础的一部分，他通过定义一种代数系统来表示和操作这些正规集，这就是现代正则表达式的雏形。

发展

尽管正则表达式的基础理论在20世纪50年代就已经提出，但它直到1960年代末到1970年代初，才开始在文本编辑和模式匹配领域得到应用。Unix操作系统的发展对正则表达式的普及起到了关键作用。Ken Thompson，Unix的共同创造者之一，将正则表达式集成到了ed文本编辑器中，这是第一次将正则表达式应用于计算机程序中进行实际的文本处理。

随后，在1970年代，正则表达式的概念被引入到了grep工具中，这是一个用于搜索文本中匹配特定模式字符串的命令行工具。grep的名字来源于ed编辑器中的命令g/re/p（全局搜索正则表达式并打印），它的设计大大增强了正则表达式在文本搜索和处理中的应用能力。

关键人物和时间节点

  • 斯蒂芬·科尔·克莱尼（Stephen Cole Kleene，1956年）：提出了正规集的概念，为正则表达式的理论基础奠定了石。

  • Ken Thompson（1960年代末）：在ed编辑器中实现了对正则表达式的支持，这是正则表达式在计算机程序中的第一次实际应用。

  • 1970年代：正则表达式被引入grep工具，极大地推动了其在文本处理领域的应用。

3. 正则表达式的作用和价值

正则表达式在文本处理中扮演着至关重要的角色，其强大的模式匹配能力使其成为数据分析、软件开发和系统管理中不可或缺的工具。通过灵活的语法规则，正则表达式提供了一种高效的方法来搜索、匹配和操作字符串。

正则表达式在文本处理中的作用

  1. 搜索（Search）：正则表达式可以用来在大量文本中快速查找包含特定模式的字符串。例如，在日志文件中查找特定日期格式的条目，或在文档中搜索包含特定关键词的段落。

  2. 替换（Replace）：除了搜索文本，正则表达式还常用于替换文本中的字符串。这使得修改文件内容、重构代码或更新数据变得简单高效。例如，批量修改文档中的日期格式，或者更新代码中的变量命名风格。

  3. 数据校验（Validation）：正则表达式广泛应用于表单验证和数据校验，确保用户输入或数据满足特定格式。例如，检查电子邮件地址、电话号码或身份证号码的格式是否正确。

  4. 文本分割（Splitting）：利用正则表达式分割字符串是处理和分析文本数据的常见需求。例如，将一段文本分割成句子或单词，或根据特定分隔符将字符串分割成数组。

  5. 数据提取（Extraction）：正则表达式还可以用于从文本中提取信息。这在从日志文件、文档或网页中抽取特定数据时尤其有用。例如，从HTML中提取链接或从日志文件中提取特定事件的详细信息。

学习正则表达式的价值

  1. 提高开发效率：掌握正则表达式可以极大地提高文本处理任务的开发效率。复杂的字符串操作可以通过简短的正则表达式完成，减少编码时间和代码量。

  2. 增强代码的灵活性：正则表达式的强大匹配能力使得代码能够处理各种文本格式和数据结构，提高了代码的适用性和灵活性。

  3. 改善数据清洗和预处理：在数据分析和机器学习项目中，正则表达式是清洗和预处理文本数据的有力工具，帮助快速清除噪声数据，提取有用信息。

  4. 促进学习其他编程技能：正则表达式的概念和模式匹配策略在很多高级编程概念中也有应用，如算法设计、编译原理等。掌握正则表达式有助于深入理解这些领域。

  5. 跨语言应用：几乎所有的现代编程语言和许多工具和框架都支持正则表达式，学会了正则表达式，你就拥有了一项在多种环境下都能使用的技能。

总之，正则表达式不仅在日常的文本处理中显得强大无比，而且对提高开发效率、增强代码质量和加深对编程语言理解都有着不可估量的价值。尽管学习曲线可能略显陡峭，但一旦掌握，它将成为你宝贵的技能之一。

4. 正则表达式的基本组成

正则表达式的基础语法元素构成了它的核心，理解这些元素是掌握正则表达式的关键。这些元素包括字符类别、量词、位置锚点等，它们共同作用于文本，执行搜索、匹配和替换操作。下面详细介绍这些基础语法元素及其使用方法，并通过示例加深理解。

1. 字符类别

字符类别用于匹配一组字符中的任何一个字符。

  • .：匹配除换行符之外的任何单个字符。

  • [abc]：字符集合。匹配括号内的任一字符（此处为"a", "b", 或 "c"）。

  • [^abc]：否定的字符集合。匹配不在括号中的任一字符。

  • \d：匹配任何数字，等价于[0-9]。

  • \w：匹配任何字母数字字符，包括下划线，等价于[A-Za-z0-9_]。

2. 量词

量词指定一个元素必须出现的次数。

  • *：匹配前面的元素零次或多次。

  • +：匹配前面的元素一次或多次。

  • ?：匹配前面的元素零次或一次。

  • {n}：匹配前面的元素恰好n次。

  • {n,}：匹配前面的元素n次或更多次。

  • {n,m}：匹配前面的元素至少n次，但不超过m次。

3. 位置锚点

位置锚点用于匹配字符串中特定位置的字符。

  • ^：匹配输入字符串的开始位置。

  • $：匹配输入字符串的结束位置。

  • \b：匹配一个单词边界，即字与空格间的位置。

示例

为了更好地理解这些基础语法元素，让我们通过一些示例来看看它们是如何工作的：

  • . 示例：".at" 可以匹配 "cat", "bat", "hat"。

  • [abc] 示例："[cb]at" 可以匹配 "cat" 和 "bat"。

  • \d 示例："\d" 可以匹配 "1", "2", "3" 等数字。

  • * 示例："lo*l" 可以匹配 "ll", "lol", "loool"。

  • ^ 示例："^Hello" 匹配以 "Hello" 开头的字符串。

  • \b 示例："\bcat\b" 匹配单词 "cat"，但不匹配 "catalog" 中的 "cat"。

基础语法元素表

元素

描述

示例

示例匹配

.

匹配任意单个字符

.at

"cat", "bat"

[abc]

匹配任一括号内字符

[cb]at

"cat", "bat"

[^abc]

匹配任一不在括号内的字符

[^b]at

"cat", "hat"

\d

匹配任何数字

\d

"1", "2"

*

匹配前面元素零次或多次

lo*l

"ll", "lol"

+

匹配前面元素一次或多次

lo+l

"lol", "lool"

?

匹配前面元素零次或一次

colou?r

"color", "colour"

^

匹配输入字符串开始

^Hello

"Hello World"

$

匹配输入字符串结束

end$

"The end"

\b

匹配单词边界

\bcat\b

"cat", "wildcat"

通过掌握这些基础语法元素和它们的组合使用，你可以构建出复杂的正则表达式来执行各种文本处理任务，从而大大提高工作效率。

5. 使用方法和技巧

因为本人能力有限，所以一下代码仅使用了我个人比较熟悉的Python、Javascript、Java、C#、C、C++以及Rust

构建有效的正则表达式通常遵循一系列步骤，从简单到复杂逐步构建，并测试以确保其满足需求。以下是构建有效正则表达式的一般过程：

步骤

  1. 明确目标：确定你想要正则表达式完成什么任务（比如数据验证、搜索或分割）。

  2. 识别模式：分析你想要匹配的字符串，找出固定的文本、变量文本、可选元素等。

  3. 编写正则表达式：使用基础语法元素开始构建正则表达式。开始时，关注于匹配一个简单的案例。

  4. 测试和调整：在实际数据上测试正则表达式，并根据需要调整。使用在线工具（如RegExr、Regex101等）进行测试可以节省很多时间。

  5. 优化：对正则表达式进行优化，确保它既高效又易于理解。避免过度复杂的表达式，可能会导致性能问题。

常见使用场景和示例

1. 邮箱验证

  • 正则表达式：^[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}$

  • 解释：匹配由字母、数字、点、下划线、百分号、加号或减号组成的邮箱用户名，后面跟有@符号、域名、点和域名后缀。

2. 密码强度检查

  • 正则表达式：^(?=.*[a-z])(?=.*[A-Z])(?=.*\d)[a-zA-Z\d]{8,}$

  • 解释：要求密码至少8位，包含至少一个小写字母、一个大写字母和一个数字。

示例演示

以下是在不同编程语言中使用上述正则表达式的示例。

Python（邮箱验证）

import re
email_regex = r"^[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}$"
if re.match(email_regex, "example@email.com"):
    print("Valid email")
else:
    print("Invalid email")

JavaScript（邮箱验证）

let emailRegex = /^[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}$/;
if (emailRegex.test("example@email.com")) {
    console.log("Valid email");
} else {
    console.log("Invalid email");
}

Java（密码强度检查）

import java.util.regex.*;
public class Main {
    public static void main(String[] args) {
        String passwordRegex = "^(?=.*[a-z])(?=.*[A-Z])(?=.*\\d)[a-zA-Z\\d]{8,}$";
        String password = "Example1";
        Pattern pattern = Pattern.compile(passwordRegex);
        Matcher matcher = pattern.matcher(password);
        if (matcher.matches()) {
            System.out.println("Valid password");
        } else {
            System.out.println("Invalid password");
        }
    }
}

C#（密码强度检查）

C#可以使用.NET框架的System.Text.RegularExpressions命名空间，这个语言我并不熟，有说错的地方请见谅，并自行查找使用方法，我的工作除了unity外几乎不涉及C#

using System;
using System.Text.RegularExpressions;

class Program {
    static void Main() {
        string passwordRegex = "^(?=.*[a-z])(?=.*[A-Z])(?=.*\\d)[a-zA-Z\\d]{8,}$";
        string password = "Example1";
        if (Regex.IsMatch(password, passwordRegex)) {
            Console.WriteLine("Valid password");
        } else {
            Console.WriteLine("Invalid password");
        }
   

 }
}

构建有效的正则表达式需要练习和经验。开始时，专注于解决具体问题，并随着时间积累知识和技巧。使用现成的正则表达式时要谨慎，确保它们适用于你的具体需求，并且在你的数据集上进行充分测试。

C、C和Rust等语言通常不直接在语言层面支持正则表达式，而是通过库函数来实现。例如，C、C和Rust则分别有各自的正则表达式库，如std::regex、PCRE库、regex crate等。

在C、C++和Rust等语言中，正则表达式的支持并不是内置的，而是通过标准库或第三方库来提供。下面是这些语言中正则表达式使用的一些示例。

C++ 使用 std::regex

C++11及之后的版本通过标准库中的<regex>提供了正则表达式的支持。std::regex库提供了一系列与正则表达式相关的类和函数，可以用来进行正则表达式的匹配、搜索和替换操作。

#include <iostream>
#include <regex>
using namespace std;

int main() {
    string text = "example@email.com";
    regex email_regex("[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\\.[a-zA-Z]{2,}");
    
    bool match = regex_match(text, email_regex);
    
    cout << (match ? "Valid email" : "Invalid email") << endl;
    
    return 0;
}

C 使用 PCRE 库

PCRE（Perl Compatible Regular Expressions）是一个C语言库，提供了一套兼容Perl的正则表达式API。PCRE库需要单独安装，并在编译时链接。

#include <pcre.h>
#include <stdio.h>

int main() {
    const char *error;
    int erroffset;
    pcre *re;
    int ovector[30]; // 输出向量，用于存储匹配位置
    
    re = pcre_compile(
        "^[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\\.[a-zA-Z]{2,}$", // 正则表达式
        0,                // 选项
        &error,          // 错误信息
        &erroffset,      // 错误偏移量
        NULL);           // 使用默认字符表
    
    if (re == NULL) {
        printf("PCRE compilation failed at offset %d: %s\n", erroffset, error);
        return 1;
    }
    
    char *subject = "example@email.com";
    int subject_length = (int)strlen(subject);
    int rc = pcre_exec(
        re,              // 编译好的正则表达式
        NULL,            // 没有额外的study数据
        subject,         // 要匹配的字符串
        subject_length,  // 要匹配的字符串长度
        0,               // 开始位置
        0,               // 选项
        ovector,         // 输出向量
        30);             // 输出向量的最大大小
    
    if (rc < 0) {
        printf("Match not found\n");
    } else {
        printf("Match found\n");
    }
    
    pcre_free(re); // 释放编译正则表达式的PCRE空间
    
    return 0;
}

Rust 使用 regex crate

Rust通过regex crate提供了对正则表达式的支持。首先，你需要在Cargo.toml文件中添加regex作为依赖。

[dependencies]
regex = "1"

然后，你可以使用regex crate来编译和匹配正则表达式。

use regex::Regex;

fn main() {
    let email_regex = Regex::new(r"^[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}$").unwrap();
    let email = "example@email.com";
    
    if email_regex.is_match(email) {
        println!("Valid email");
    } else {
        println!("Invalid email");
    }
}

在这些示例中，我们使用了相同的正则表达式来验证电子邮件地址的格式。每种语言都有自己的方式来处理正则表达式，但基本的思想和流程是相似的：编译正则表达式，执行匹配操作，然后根据匹配结果进行相应的处理。

6. 常见的陷阱和如何避免

使用正则表达式虽然强大且灵活，但在实际应用中也可能遇到各种问题，特别是性能问题和过度匹配。了解这些问题及其解决方案对于编写高效且准确的正则表达式至关重要。

常见问题

  1. 性能问题：复杂的正则表达式可能会导致性能下降，尤其是在处理大量数据时。性能问题主要来源于回溯（Backtracking），即正则表达式引擎尝试所有可能的匹配方式，直到找到匹配项或确定无匹配项为止。

  2. 过度匹配（Greedy Matching）：正则表达式的贪婪模式会尽可能多地匹配字符，有时这会导致意料之外的匹配结果。例如，使用.+可能会匹配整个字符串，而不是预期的一小部分。

  3. 复杂性和可读性：高度复杂的正则表达式可能难以理解和维护，特别是对于没有编写该表达式的人来说。

最佳实践和技巧

解决性能问题

  1. 避免使用“.”操作符：尽可能使用更具体的字符类别，如\d、\w等，因为“.”操作符匹配任何字符（除了换行符），可能导致大量不必要的匹配尝试。

  2. 使用非贪婪量词：非贪婪量词*?、+?可以用来替代贪婪量词*、+，以减少匹配的字符数，提高性能。

  3. 优化表达式结构：尽可能地将最具限制性的条件放在前面，以早期剪枝失败的匹配尝试。

避免过度匹配

  1. 使用非贪婪量词：如上所述，非贪婪量词有助于避免过度匹配，确保匹配尽可能紧凑。

  2. 具体化字符集：使用字符集（如[a-zA-Z]）明确指定允许的字符，避免无意间匹配过多内容。

提高复杂性和可读性

  1. 分解复杂正则：将复杂的正则表达式分解为多个简单的表达式，或使用注释和空白字符（在支持的环境中）提高可读性。

  2. 使用命名捕获组：在支持的编程语言中，使用命名捕获组而不是数字索引，可以提高正则表达式的可读性和易维护性。

通用建议

  1. 充分测试：在不同的输入上测试正则表达式，确保它既准确又高效。

  2. 使用工具和库：利用在线正则表达式测试工具和优化库，这些工具可以帮助你理解正则表达式的行为，并指出可能的性能瓶颈。

  3. 持续学习：正则表达式是一个深入的主题，随着经验的积累，你将更好地理解其内部工作机制和如何避免常见问题。

通过遵循这些最佳实践和技巧，你可以更有效地使用正则表达式，同时避免一些常见的陷阱和问题。

7. 工具和资源

使用正则表达式是文本处理中一个强大且不可或缺的工具，但如果不当使用，可能会遇到一些问题，比如性能问题和过度匹配。同时，有许多在线工具和资源可以帮助你更好地学习和实践正则表达式。

推荐的在线正则表达式测试工具

  1. Regex101：提供了强大的正则表达式测试功能，支持多种编程语言的正则表达式风格，并有详细的匹配信息和解释。

  2. RegExr：用户友好的界面和丰富的示例库，便于学习和测试正则表达式。

  3. Regex Tester - RegexPlanet：支持多种编程语言，可以测试和学习正则表达式。

学习资源

1. 书籍：

  • 《精通正则表达式》（《Mastering Regular Expressions》），Jeffrey E.F. Friedl 著，深入讲解了正则表达式的原理和应用。

2. 网站：

  • RegexOne：提供了一系列逐步的教程，适合正则表达式的初学者。

  • Learn Regex The Hard Way：适合那些喜欢“硬核”学习方式的读者。

3. 教程：

  • 菜鸟教程：提供了正则表达式的基础知识和示例，适合中文读者。

这些工具和资源可以帮助你从零开始学习正则表达式，通过实践加深理解，最终熟练运用正则表达式解决实际问题。

8. 结语

正则表达式是现代编程中不可或缺的工具，其重要性体现在多个方面：

1. 强大的文本处理能力

正则表达式提供了一种灵活、高效的方式来搜索、匹配和操作字符串。它可以简化复杂的字符串处理任务，使得代码更加简洁和高效。

2. 广泛的应用场景

从数据验证、日志分析、数据抓取到复杂的文本转换和处理，正则表达式在软件开发的各个领域都有着广泛的应用。它是处理文本、编写脚本和开发复杂软件系统不可或缺的工具。

3. 提高开发效率

通过使用正则表达式，开发者可以用极少的代码完成复杂的文本分析和处理任务，大大提高了开发效率和工作效率。

4. 跨语言支持

几乎所有的现代编程语言都支持正则表达式，学习它可以让你跨语言工作，增加你的技能可移植性。

5. 促进精确的数据处理

正则表达式的精确匹配能力确保了数据处理的准确性，对于数据清洗、预处理等任务尤其重要，这对于后续的数据分析和机器学习模型构建至关重要。

我非常建议继续实践和深入学习

虽然正则表达式的语法一开始可能看起来有些复杂和令人困惑，但通过持续的实践和学习，你会逐渐掌握它，并发现它在解决实际问题时的强大能力。鼓励读者：

  • 持续实践：通过解决实际的文本处理问题来提高你的正则表达式技能。

  • 使用在线工具：利用在线正则表达式测试工具进行实验，这些工具可以帮助你快速理解正则表达式的行为。

  • 阅读和研究：深入阅读关于正则表达式的书籍和在线资源，理解其背后的原理。

  • 参与社区：加入编程和正则表达式相关的社区和论坛，与他人交流心得和遇到的问题。

正则表达式是每个程序员工具箱中的利器。通过掌握它，你不仅能提高自己的编程能力，还能在处理复杂的文本处理任务时更加自如。继续实践，不断学习，你会发现正则表达式带给你的不仅是技能上的提升，更是对数据世界更深层次的理解和掌控。

免责声明

本文仅用于技术讨论与学习，利用此文所提供的信息而造成的任何直接或者间接的后果及损失，均由使用者本人负责，本平台和发布者不为此承担任何责任。