今天写个简单的golang程序,根据指定的 URL 来抓取相应的网页内容,然后存入本地文件。这个程序会涉及到网络请求和文件操作等知识点,下面是golang实现代码:

    1. package main
    2. import (
    3. "os"
    4. "fmt"
    5. "net/http"
    6. "io/ioutil"
    7. )
    8. func main() {
    9. url := os.Args[1]
    10. // 根据URL获取资源
    11. res, err := http.Get(url)
    12. if err != nil {
    13. fmt.Fprintf(os.Stderr, "fetch: %v\n", err)
    14. os.Exit(1)
    15. }
    16. // 读取资源数据 body: []byte
    17. body, err := ioutil.ReadAll(res.Body)
    18. // 关闭资源流
    19. res.Body.Close()
    20. if err != nil {
    21. fmt.Fprintf(os.Stderr, "fetch: reading %s: %v\n", url, err)
    22. os.Exit(1)
    23. }
    24. // 控制台打印内容 以下两种方法等同
    25. fmt.Printf("%s", body)
    26. fmt.Printf(string(body))
    27. // 写入文件
    28. ioutil.WriteFile("site.txt", body, 0644)
    29. }

    上面的代码中,我们引入了 net/http 网络包,然后调用 http.Get(url) 方法获取 URL 对应的资源,之后读取出资源数据,然后在控制台打印,并将内容写入到本地文件中。

    需要注意的是,在读取资源数据完毕后,应该及时将资源流关闭,避免出现内存资源的泄露。

    另外,在处理异常时,我们使用了 fm.Fprintf() 这个方法,它是格式化三大方法之一:

    1. Printf: 格式化字符串并输出到 os.Stdout 中。
    2. Fprintf: 格式化字符串并输出到指定文件设备中,所以参数比 Printf 多一个文件指针 FILE*。
    3. Sprintf: 格式化字符串并输出到指定字符串中,所以参数比 Printf 多一个 char*,那就是目标字符串地址。

    编译后运行程序,并指定一个 URL 参数,这里暂时指定为百度吧,还是希望 Google 近期能够回归:

    $ ./fetch http://www.radios.com

    运行完程序,在当前目录中会生成一个 site.txt 文件。