5.6. 匿名函数

拥有函数名的函数只能在包级语法块中被声明，通过函数字面量（function literal），我们可绕过这一限制，在任何表达式中表示一个函数值。函数字面量的语法和函数声明相似，区别在于func关键字后没有函数名。函数值字面量是一种表达式，它的值被称为匿名函数（anonymous function）。

函数字面量允许我们在使用函数时，再定义它。通过这种技巧，我们可以改写之前对strings.Map的调用：

  1. strings.Map(func(r rune) rune { return r + 1 }, "HAL-9000")

更为重要的是，通过这种方式定义的函数可以访问完整的词法环境（lexical environment），这意味着在函数中定义的内部函数可以引用该函数的变量，如下例所示：

gopl.io/ch5/squares

  1. // squares返回一个匿名函数。
  2. // 该匿名函数每次被调用时都会返回下一个数的平方。
  3. func squares() func() int {
  4.     var x int
  5.     return func() int {
  6.         x++
  7.         return x * x
  8.     }
  9. }
  10. func main() {
  11.     f := squares()
  12.     fmt.Println(f()) // "1"
  13.     fmt.Println(f()) // "4"
  14.     fmt.Println(f()) // "9"
  15.     fmt.Println(f()) // "16"
  16. }

函数squares返回另一个类型为 func() int 的函数。对squares的一次调用会生成一个局部变量x并返回一个匿名函数。每次调用匿名函数时，该函数都会先使x的值加1，再返回x的平方。第二次调用squares时，会生成第二个x变量，并返回一个新的匿名函数。新匿名函数操作的是第二个x变量。

squares的例子证明，函数值不仅仅是一串代码，还记录了状态。在squares中定义的匿名内部函数可以访问和更新squares中的局部变量，这意味着匿名函数和squares中，存在变量引用。这就是函数值属于引用类型和函数值不可比较的原因。Go使用闭包（closures）技术实现函数值，Go程序员也把函数值叫做闭包。

通过这个例子，我们看到变量的生命周期不由它的作用域决定：squares返回后，变量x仍然隐式的存在于f中。

接下来，我们讨论一个有点学术性的例子，考虑这样一个问题：给定一些计算机课程，每个课程都有前置课程，只有完成了前置课程才可以开始当前课程的学习；我们的目标是选择出一组课程，这组课程必须确保按顺序学习时，能全部被完成。每个课程的前置课程如下：

gopl.io/ch5/toposort

  1. // prereqs记录了每个课程的前置课程
  2. var prereqs = map[string][]string{
  3.     "algorithms": {"data structures"},
  4.     "calculus": {"linear algebra"},
  5.     "compilers": {
  6.         "data structures",
  7.         "formal languages",
  8.         "computer organization",
  9.     },
  10.     "data structures":       {"discrete math"},
  11.     "databases":             {"data structures"},
  12.     "discrete math":         {"intro to programming"},
  13.     "formal languages":      {"discrete math"},
  14.     "networks":              {"operating systems"},
  15.     "operating systems":     {"data structures", "computer organization"},
  16.     "programming languages": {"data structures", "computer organization"},
  17. }

这类问题被称作拓扑排序。从概念上说，前置条件可以构成有向图。图中的顶点表示课程，边表示课程间的依赖关系。显然，图中应该无环，这也就是说从某点出发的边，最终不会回到该点。下面的代码用深度优先搜索了整张图，获得了符合要求的课程序列。

  1. func main() {
  2.     for i, course := range topoSort(prereqs) {
  3.         fmt.Printf("%d:\t%s\n", i+1, course)
  4.     }
  5. }
  7. func topoSort(m map[string][]string) []string {
  8.     var order []string
  9.     seen := make(map[string]bool)
  10.     var visitAll func(items []string)
  11.     visitAll = func(items []string) {
  12.         for _, item := range items {
  13.             if !seen[item] {
  14.                 seen[item] = true
  15.                 visitAll(m[item])
  16.                 order = append(order, item)
  17.             }
  18.         }
  19.     }
  20.     var keys []string
  21.     for key := range m {
  22.         keys = append(keys, key)
  23.     }
  24.     sort.Strings(keys)
  25.     visitAll(keys)
  26.     return order
  27. }

当匿名函数需要被递归调用时，我们必须首先声明一个变量（在上面的例子中，我们首先声明了 visitAll），再将匿名函数赋值给这个变量。如果不分成两步，函数字面量无法与visitAll绑定，我们也无法递归调用该匿名函数。

  1. visitAll := func(items []string) {
  2.     // ...
  3.     visitAll(m[item]) // compile error: undefined: visitAll
  4.     // ...
  5. }

在topsort中，首先对prereqs中的key排序，再调用visitAll。因为prereqs映射的是切片而不是更复杂的map，所以数据的遍历次序是固定的，这意味着你每次运行topsort得到的输出都是一样的。 topsort的输出结果如下:

  1. 1: intro to programming
  2. 2: discrete math
  3. 3: data structures
  4. 4: algorithms
  5. 5: linear algebra
  6. 6: calculus
  7. 7: formal languages
  8. 8: computer organization
  9. 9: compilers
  10. 10: databases
  11. 11: operating systems
  12. 12: networks
  13. 13: programming languages

让我们回到findLinks这个例子。我们将代码移动到了links包下，将函数重命名为Extract，在第八章我们会再次用到这个函数。新的匿名函数被引入，用于替换原来的visit函数。该匿名函数负责将新连接添加到切片中。在Extract中，使用forEachNode遍历HTML页面，由于Extract只需要在遍历结点前操作结点，所以forEachNode的post参数被传入nil。

gopl.io/ch5/links

  1. // Package links provides a link-extraction function.
  2. package links
  3. import (
  4.     "fmt"
  5.     "net/http"
  6.     "golang.org/x/net/html"
  7. )
  8. // Extract makes an HTTP GET request to the specified URL, parses
  9. // the response as HTML, and returns the links in the HTML document.
  10. func Extract(url string) ([]string, error) {
  11.     resp, err := http.Get(url)
  12.     if err != nil {
  13.         return nil, err
  14.     }
  15.     if resp.StatusCode != http.StatusOK {
  16.     resp.Body.Close()
  17.         return nil, fmt.Errorf("getting %s: %s", url, resp.Status)
  18.     }
  19.     doc, err := html.Parse(resp.Body)
  20.     resp.Body.Close()
  21.     if err != nil {
  22.         return nil, fmt.Errorf("parsing %s as HTML: %v", url, err)
  23.     }
  24.     var links []string
  25.     visitNode := func(n *html.Node) {
  26.         if n.Type == html.ElementNode && n.Data == "a" {
  27.             for _, a := range n.Attr {
  28.                 if a.Key != "href" {
  29.                     continue
  30.                 }
  31.                 link, err := resp.Request.URL.Parse(a.Val)
  32.                 if err != nil {
  33.                     continue // ignore bad URLs
  34.                 }
  35.                 links = append(links, link.String())
  36.             }
  37.         }
  38.     }
  39.     forEachNode(doc, visitNode, nil)
  40.     return links, nil
  41. }

上面的代码对之前的版本做了改进，现在links中存储的不是href属性的原始值，而是通过resp.Request.URL解析后的值。解析后，这些连接以绝对路径的形式存在，可以直接被http.Get访问。

网页抓取的核心问题就是如何遍历图。在topoSort的例子中，已经展示了深度优先遍历，在网页抓取中，我们会展示如何用广度优先遍历图。在第8章，我们会介绍如何将深度优先和广度优先结合使用。

下面的函数实现了广度优先算法。调用者需要输入一个初始的待访问列表和一个函数f。待访问列表中的每个元素被定义为string类型。广度优先算法会为每个元素调用一次f。每次f执行完毕后，会返回一组待访问元素。这些元素会被加入到待访问列表中。当待访问列表中的所有元素都被访问后，breadthFirst函数运行结束。为了避免同一个元素被访问两次，代码中维护了一个map。

gopl.io/ch5/findlinks3

  1. // breadthFirst calls f for each item in the worklist.
  2. // Any items returned by f are added to the worklist.
  3. // f is called at most once for each item.
  4. func breadthFirst(f func(item string) []string, worklist []string) {
  5.     seen := make(map[string]bool)
  6.     for len(worklist) > 0 {
  7.         items := worklist
  8.         worklist = nil
  9.         for _, item := range items {
  10.             if !seen[item] {
  11.                 seen[item] = true
  12.                 worklist = append(worklist, f(item)...)
  13.             }
  14.         }
  15.     }
  16. }

就像我们在章节3解释的那样，append的参数“f(item)…”，会将f返回的一组元素一个个添加到worklist中。

在我们网页抓取器中，元素的类型是url。crawl函数会将URL输出，提取其中的新链接，并将这些新链接返回。我们会将crawl作为参数传递给breadthFirst。

  1. func crawl(url string) []string {
  2.     fmt.Println(url)
  3.     list, err := links.Extract(url)
  4.     if err != nil {
  5.         log.Print(err)
  6.     }
  7.     return list
  8. }

为了使抓取器开始运行，我们用命令行输入的参数作为初始的待访问url。

  1. func main() {
  2.     // Crawl the web breadth-first,
  3.     // starting from the command-line arguments.
  4.     breadthFirst(crawl, os.Args[1:])
  5. }

让我们从 https://golang.org 开始，下面是程序的输出结果：

  1. $ go build gopl.io/ch5/findlinks3
  2. $ ./findlinks3 https://golang.org
  3. https://golang.org/
  4. https://golang.org/doc/
  5. https://golang.org/pkg/
  6. https://golang.org/project/
  7. https://code.google.com/p/go-tour/
  8. https://golang.org/doc/code.html
  9. https://www.youtube.com/watch?v=XCsL89YtqCs
  10. http://research.swtch.com/gotour

当所有发现的链接都已经被访问或电脑的内存耗尽时，程序运行结束。

练习5.10： 重写topoSort函数，用map代替切片并移除对key的排序代码。验证结果的正确性（结果不唯一）。

练习5.11： 现在线性代数的老师把微积分设为了前置课程。完善topSort，使其能检测有向图中的环。

练习5.12： gopl.io/ch5/outline2（5.5节）的startElement和endElement共用了全局变量depth，将它们修改为匿名函数，使其共享outline中的局部变量。

练习5.13： 修改crawl，使其能保存发现的页面，必要时，可以创建目录来保存这些页面。只保存来自原始域名下的页面。假设初始页面在golang.org下，就不要保存vimeo.com下的页面。

练习5.14： 使用breadthFirst遍历其他数据结构。比如，topoSort例子中的课程依赖关系（有向图）、个人计算机的文件层次结构（树）；你所在城市的公交或地铁线路（无向图）。

5.6.1. 警告：捕获迭代变量

本节，将介绍Go词法作用域的一个陷阱。请务必仔细的阅读，弄清楚发生问题的原因。即使是经验丰富的程序员也会在这个问题上犯错误。

考虑这样一个问题：你被要求首先创建一些目录，再将目录删除。在下面的例子中我们用函数值来完成删除操作。下面的示例代码需要引入os包。为了使代码简单，我们忽略了所有的异常处理。

  1. var rmdirs []func()
  2. for _, d := range tempDirs() {
  3.     dir := d // NOTE: necessary!
  4.     os.MkdirAll(dir, 0755) // creates parent directories too
  5.     rmdirs = append(rmdirs, func() {
  6.         os.RemoveAll(dir)
  7.     })
  8. }
  9. // ...do some work…
  10. for _, rmdir := range rmdirs {
  11.     rmdir() // clean up
  12. }

你可能会感到困惑，为什么要在循环体中用循环变量d赋值一个新的局部变量，而不是像下面的代码一样直接使用循环变量dir。需要注意，下面的代码是错误的。

  1. var rmdirs []func()
  2. for _, dir := range tempDirs() {
  3.     os.MkdirAll(dir, 0755)
  4.     rmdirs = append(rmdirs, func() {
  5.         os.RemoveAll(dir) // NOTE: incorrect!
  6.     })
  7. }

问题的原因在于循环变量的作用域。在上面的程序中，for循环语句引入了新的词法块，循环变量dir在这个词法块中被声明。在该循环中生成的所有函数值都共享相同的循环变量。需要注意，函数值中记录的是循环变量的内存地址，而不是循环变量某一时刻的值。以dir为例，后续的迭代会不断更新dir的值，当删除操作执行时，for循环已完成，dir中存储的值等于最后一次迭代的值。这意味着，每次对os.RemoveAll的调用删除的都是相同的目录。

通常，为了解决这个问题，我们会引入一个与循环变量同名的局部变量，作为循环变量的副本。比如下面的变量dir，虽然这看起来很奇怪，但却很有用。

  1. for _, dir := range tempDirs() {
  2.     dir := dir // declares inner dir, initialized to outer dir
  3.     // ...
  4. }

这个问题不仅存在基于range的循环，在下面的例子中，对循环变量i的使用也存在同样的问题：

  1. var rmdirs []func()
  2. dirs := tempDirs()
  3. for i := 0; i < len(dirs); i++ {
  4.     os.MkdirAll(dirs[i], 0755) // OK
  5.     rmdirs = append(rmdirs, func() {
  6.         os.RemoveAll(dirs[i]) // NOTE: incorrect!
  7.     })
  8. }

如果你使用go语句（第八章）或者defer语句（5.8节）会经常遇到此类问题。这不是go或defer本身导致的，而是因为它们都会等待循环结束后，再执行函数值。