首页 > 编程笔记 > Go语言笔记

Go语言找出重复行

用于文件复制、打印、检索、排序、统计的程序通常有一个相似的结构:在输入接口上循环读取,然后对每一个元素进行一些计算,在运行时或者在最后输出结果,下面我们通过三个版本的 dup 程序,来演示如何使用Go语言来找出输入内容中重复的行,它受 UNIX 的 uniq 命令启发来找到相邻的重复行。

第一个版本的 dup1 程序输出标准输入中出现次数大于 1 的行,前面是次数,这个程序引入 if 语句、map 类型和 bufio 包。
// dup1 输出标准输入中出现次数大于1的行,前面是次数
package main

import (
    "bufio"
    "fmt"
    "os"
)
func main() {
    counts := make(map[string]int)
    input := bufio.NewScanner(os.Stdin)
    for input.Scan() {
        counts[input.Text()]++
    }
    //注意:忽略 input.Err() 中可能的错误
    for line, n := range counts {
        if n > 1 {
            fmt.Printf("%d\t%s\n", n, line)
        }
    }
}
像 for 一样,if 语句中的条件部分也从不放在小括号里面,但是程序体中需要用到大括号,这里还可以有一个可选的 else 部分,当条件为 false 的时候执行。

map 存储一个键/值对集合,并且提供常量时间的操作来存储、获取或测试集合中的某个元素,键可以是其值能够进行相等(==)比较的任意类型,字符串是最常见的例子,值可以是任意类型,这个例子中,键的类型是字符串,值是 int,内置的函数 make 可以用来新建 map。

每次 dup 从输入读取一行内容,这一行就作为 map 中的键,对应的值递增 1。语句 counts[input.Text()]++ 等价于下面的两个语句:

line := input.Text()
counts[line] = counts[line] + 1

键在 map 中不存在时也是没有问题的,当一个新的行第一次出现时,右边的表达式 counts[line] 根据值类型被推演为零值,int 的零值是 0。

为了输出结果,我们使用基于 range 的 for 循环,这次在 map 类型的 counts 变量上遍历,每次迭代输出两个结果分别是 map 里面一个元素对应的键和值,map 里面键的迭代顺序通常是随机的,每次运行都不一致,这是有意设计的,以防止程序依赖某种特定的序列,此处不对排序做任何保证。

下面讨论 bufio 包,使用它可以简便、高效地处理输入和输出,其中一个最有用的特性是称为扫描器(Scanner)的类型,它可以读取输入,以行或者单词为单位断开,这是处理以行为单位输入内容的最简单方式。

程序使用短变量的声明方式,新建一个 bufio.Scanner 类型 input 变量:

input := bufio.NewScarmer(os.Stdin)

扫描器从程序的标准输入进行读取。每一次调用 input.Scan() 读取下一行,并且将结尾的换行符去掉,通过调用 input.Text() 来获取读到的内容,Scan 函数在读到新行的时候返回 true,在没有更多内容的时候返回 false。

像C语言或其他语言中的 printf 一样,函数 fmt.Printf 从一个表达式列表生成格式化的输出,它的第一个参数是格式化指示字符串,由它指定其他参数如何格式化,每一个参数的格式是一个转义字符、一个百分号加一个字符,例如:%d 将一个整数格式化为十进制的形式,%s 把参数展开为字符串变量的值。

Printf 函数有超过 10 个这样的转义字符,Go 程序员称为 verb,下表列出了一些常用的转义字符:

verb 描述
%d 十进制整数
%x, %o, %b 十六进制、八进制、二进制整数
%f, %g, %e 浮点数:如 3.141593, 3.141592653589793, 3.141593e+00
%t 布尔型:true 或 false
%c 字符(Unicode 码点)
%s 字符串
%q 带引号字符串(如 "abc")或者字符(如 'c')
%v 内置格式的任何值
%T 任何值的类型
%% 百分号本身(无操作数)

程序 dup1 中的格式化字符串还包含一个制表符 \t 和一个换行符 \n,字符串字面量可以包含类似转义序列(escape sequence)来表示不可见字符,Printf 默认不换行。

按照约定,诸如 log.Printf 和 fmt.Errorf 之类的格式化函数以 f 结尾,使用和 fmt.Printf 相同的格式化规则,而那些以 ln 结尾的函数(如 Println)则使用 %v 的方式来格式化参数,并在最后追加换行符。

许多程序既可以像 dup 一样从标准输入进行读取,也可以从具体的文件读取,下一个版本的 dup 程序可以从标准输入或一个文件列表进行读取,使用 os.Open 函数来逐个打开:
// dup2 打印输入中多次出现的行的个数和文本
//它从 stdin 或指定的文件列表读取
package main

import (
    "bufio"
    "fmt"
    "os"
)

func main() {
    counts := make(map[string]int)
    files := os.Args[1:]
    if len(files) == 0 {
        countLines(os.Stdin, counts)
    } else {
        for _, arg := range files {
            f, err := os.Open(arg)
            if err != nil {
                fmt.Fprintf(os.Stderr, "dup2: %v\n", err)
                continue
            }
            countLines(f, counts)
            f.Close()
        }
    }
    for line, n := range counts {
        if n > 1 {
            fmt.Printf("%d\t%s\n", n, line)
        }
    }
}
func countLines(f *os.File, counts map[string]int) {
    input := bufio.NewScanner(f)
    for input.Scan() {
        counts[input.Text()]++
    }
    //注意:忽略 input.Err() 中可能的错误
}
函数 os.Open 返回两个值,第一个是打开的文件(*os.File),该文件随后被 Scanner 读取。

第二个返回值是一个内置的 error 类型的值,如果 err 等于 nil,则表示文件成功打开,文件在被读到结尾的时候,使用 Close 函数关闭文件,然后释放相应的资源(内存等)。

另一方面,如果 err 不等于 nil,说明出错了,这时,error 的值为描述错误原因,简单的错误处理是使用 Fprintf 和 %v 在标准错误流上输出一条消息,%v 可以使用默认格式显示任意类型的值;错误处理后,dup 开始处理下一个文件;continue 语句让循环进入下一个迭代。

为了保持示例代码简短,这里对错误处理有意进行了一定程度的忽略。很明显,必须检查 os.Open 返回的错误;但是,我们忽略了使用 input.Scan 读取文件的过程中出现概率很小的错误。我们将标记所跳过的错误检查。

值得注意的是,对 countLines 的调用出现在其声明之前。函数和其他包级别的实体可以以任意次序声明。

map 是一个使用 make 创建的数据结构的引用。当一个 map 被传递给一个函数时,函数接收到这个引用的副本,所以被调用函数中对于 map 数据结构中的改变对函数调用者使用的 map 引用也是可见的。在示例中,countLines 函数在 counts map 中插入的值,在 main 函数中也是可见的。

这个版本的 dup 使用“流式”模式读取输入,然后按需拆分为行,这样原理上这些程序可以处理海量的输入。一个可选的方式是一次读取整个输入到大块内存,一次性地分割所有行,然后处理这些行。接下去的版本 dup3 将以这种方式处理。这里引入一个 ReadFile 函数(从 io/ioutil 包),它读取整个命名文件的内容,还引入一个 strings.Split 函数,它将一个字符串分割为一个由子串组成的 slice。(Split 是前面介绍过的 strings.Join 的反操作。)

我们在某种程度上简化了 dup3:第一,它仅读取指定的文件,而非标准输入,因为 ReadFile 需要一个文件名作为参数;第二,我们将统计行数的工作放回 main 函数中,因为它当前仅在一处用到。
package main
import (
    "fmt"
    "io/ioutil"
    "os"
    "strings"
)

func main() {
    counts := make(map[string]int)
    for _, filename := range os.Args[1:] {
        data, err := ioutil.ReadFile(filename)
        if err != nil {
            fmt.Fprintf(os.Stderr, "dup3: %v\n", err)
            continue
        }
        for _, line := range strings.Split(string(data), "\r") {
            counts[line]++
        }
    }
    for line, n := range counts {
        if n > 1 {
            fmt.Printf("%d\t%s\n", n, line)
        }
    }
}
ReadFile 函数返回一个可以转化成字符串的字节 slice,这样它可以被 strings.Split 分割。

实际上,bufio.Scanner、ioutil.ReadFile 以及 ioutil.WriteFile 使用 *os.File 中的 Read 和 Write 方法,但是大多数程序员很少需要直接访问底层的例程。像 bufio 和 io/ioutil 包中上层的方法更易使用。

所有教程

优秀文章