格物

MySQL 源码阅读 —— 问题 CMake：SSL version must be at least 1.1.1

Tue, 27 Jun 2023 00:00:00 +0000

问题描述

/Users/jioby/Applications/CLion.app/Contents/bin/cmake/mac/aarch64/bin/cmake -DCMAKE_BUILD_TYPE=Debug -DCMAKE_MAKE_PROGRAM=/Users/jioby/Applications/CLion.app/Contents/bin/ninja/mac/aarch64/ninja -DWITH_DEBUG=1 -DDOWNLOAD_BOOST=1 -DWITH_BOOST=boost -DDOWNLOAD_BOOST_TIMEOUT=60000 -DCMAKE_INSTALL_PREFIX=build_out -DMYSQL_DATADIR=build_out/data -DSYSCONFDIR=build_out/etc -DMYSQL_TCP_PORT=3307 -DMYSQL_UNIX_ADDR=mysql-debug.sock -G Ninja -S /Users/jioby/code/mysql-annotated-5.7.35 -B /Users/jioby/code/mysql-annotated-5.7.35/cmake-build-debug
CMake Deprecation Warning at CMakeLists.txt:30 (CMAKE_MINIMUM_REQUIRED):
  Compatibility with CMake < 3.5 will be removed from a future version of
  CMake.

···

-- suffixes <.a;.so;.dylib;.tbd>
-- OPENSSL_INCLUDE_DIR = /opt/homebrew/include
-- OPENSSL_LIBRARY = /opt/homebrew/lib/libssl.a
-- CRYPTO_LIBRARY = /opt/homebrew/lib/libcrypto.a
-- OPENSSL_MAJOR_VERSION = 
-- OPENSSL_MINOR_VERSION = 
-- OPENSSL_FIX_VERSION = 
CMake Error at cmake/ssl.cmake:247 (MESSAGE):
  SSL version must be at least 1.1.1
Call Stack (most recent call first):
  CMakeLists.txt:568 (MYSQL_CHECK_SSL)


-- Configuring incomplete, errors occurred!

解决方案

本机同时安装有 openssl@1.1 和 openssl@3，默认是 openssl@3。而默认配置是 -DWITH_SSL=system，即系统默认的 SSL。

CMake 选项手动指定 WITH_SSL 并指定路径：

`1`	`-DWITH_SSL=/opt/homebrew/Cellar/openssl@1.1/1.1.1w`

如果本机并未安装有 openssl@1.1.1，那么使用 Brew 安装一个即可，这样可以保证多版本共存且不影响其他软件。

`1`	`brew install openssl@1.1`

参考资料

MySQL 5.7 Reference Manual :: 2.8.6 Configuring SSL Library Support

Homebrew 安装指定版本的三种方式

Tue, 11 Oct 2022 00:00:00 +0000

方式一：官方多版本 formula

以 MySQL 为例

先搜索软件

brew search mysql
```shell

```shell
==> Formulae
automysqlbackup          mysql-client             mysql-sandbox            mysql@5.7 ✔
mysql                    mysql-client@5.7         mysql-search-replace     mysqltuner
mysql++                  mysql-connector-c++      mysql@5.6                qt-mysql

==> Casks
mysql-connector-python            mysqlworkbench                    sqlpro-for-mysql
mysql-shell                       navicat-for-mysql

发现可用的版本有 mysql、mysql@5.7、mysql@5.6，那么我们可以安装的就是这几个大版本：

`1`	`brew install mysql@5.7`

缺点：多数软件是没有提供历史版本专属 formula，且每个都是大版本、无法具体版本号。

方式二：Formula Git 历史版本

以 hugo 为例。

查看软件的信息，获得其在 homebrew/core 仓库的文件路径：Formula/hugo.rb

`1`	`➜ brew info htop`

==> htop: stable 3.2.1 (bottled), HEAD
Improved top (interactive process viewer)
https://htop.dev/
/opt/homebrew/Cellar/htop/3.2.1 (12 files, 347KB) *
  Poured from bottle on 2022-07-30 at 10:33:22
From: https://mirrors.tuna.tsinghua.edu.cn/git/homebrew/homebrew-core.git/Formula/htop.rb

查看 homebrew/core 的仓库路径：

`1`	`➜ brew tap-info homebrew/core`

1
2
3

homebrew/core: 3 commands, 6331 formulae
/opt/homebrew/Library/Taps/homebrew/homebrew-core (7,031 files, 514.4MB)
From: https://mirrors.tuna.tsinghua.edu.cn/git/homebrew/homebrew-core.git

切换到 homebrew/core 的仓库路径下。

找到你需要 Checkout 至的 Commit。怎么找 Commit 呢？这介绍一种通过搜索 Git log 的方式：

`1`	`➜ git:(master) git log -p -- Formula/hugo.rb \| grep -e ^commit -e 'url "http'`

commit 9e99a2778112fca08dad62b916cdbf3b2117135e
commit e2ba0778070f8c5fc5dc8f81c20923e7c45fc634
-  url "https://github.com/gohugoio/hugo/archive/v0.104.2.tar.gz"
+  url "https://github.com/gohugoio/hugo/archive/v0.104.3.tar.gz"
commit 366f6fc756ce9ee434fb2af5fdc4c33697f8b24b
commit 0f7d523aff3152de4d64a17010bc17d10f9935cc
-  url "https://github.com/gohugoio/hugo/archive/v0.104.1.tar.gz"
+  url "https://github.com/gohugoio/hugo/archive/v0.104.2.tar.gz"

比如想安装 hugo v0.104.2，那么切换到指定 Commit 即可：

`1`	`git checkout 366f6f`

开始安装指定版本的软件：

HOMEBREW_NO_AUTO_UPDATE=1 环境变量是为了关闭 brew update 被执行

`1`	`HOMEBREW_NO_AUTO_UPDATE=1 brew install hugo`

==> Downloading https://mirrors.tuna.tsinghua.edu.cn/homebrew-bottles/hugo-0.104.2.arm64_monterey.bo
curl: (22) The requested URL returned error: 404

Warning: Bottle missing, falling back to the default domain...
==> Downloading https://ghcr.io/v2/homebrew/core/hugo/manifests/0.104.2
######################################################################## 100.0%
==> Downloading https://ghcr.io/v2/homebrew/core/hugo/blobs/sha256:fb7f6d0b49f7c7248c820665cfed5b0b9
==> Downloading from https://pkg-containers.githubusercontent.com/ghcr1/blobs/sha256:fb7f6d0b49f7c72
######################################################################## 100.0%
==> Pouring hugo--0.104.2.arm64_monterey.bottle.tar.gz
==> Caveats
zsh completions have been installed to:
  /opt/homebrew/share/zsh/site-functions
==> Summary
🍺  /opt/homebrew/Cellar/hugo/0.104.2: 48 files, 55.8MB
==> Running `brew cleanup hugo`...
Disable this behaviour by setting HOMEBREW_NO_INSTALL_CLEANUP.
Hide these hints with HOMEBREW_NO_ENV_HINTS (see `man brew`).

然后，别忘了切回 Git 到最新：

`1`	`➜ git:(366f6fc756c) git checkout master`

1
2

Previous HEAD position was 366f6fc756c hugo: update 0.104.2 bottle.
Switched to branch 'master'

方式三：自定义本地 Formula

创建本地 Tap（如已创建过，可跳过）：

`1`	`➜ brew tap-new $USER/local-tap`

Initialized empty Git repository in /opt/homebrew/Library/Taps/jioby/homebrew-local-tap/.git/
[main (root-commit) d4dac7f] Create jioby/local-tap tap
 3 files changed, 90 insertions(+)
 create mode 100644 .github/workflows/publish.yml
 create mode 100644 .github/workflows/tests.yml
 create mode 100644 README.md
==> Created jioby/local-tap
/opt/homebrew/Library/Taps/jioby/homebrew-local-tap

When a pull request making changes to a formula (or formulae) becomes green
(all checks passed), then you can publish the built bottles.
To do so, label your PR as `pr-pull` and the workflow will be triggered.

在 /usr/local/Homebrew/Library/Taps/ 下生成一个 Tap 模板 jioby/homebrew-local-tap。

基于软件的特定版本创建 Formula 副本：

`1`	`➜ brew extract --version=0.104.2 hugo $USER/local-tap`

1
2
3

==> Searching repository history
==> Writing formula for hugo from revision 366f6fc to:
/opt/homebrew/Library/Taps/jioby/homebrew-local-tap/Formula/hugo@0.104.2.rb

搜索 hugo

`1`	`➜ brew search hugo`

1
2

==> Formulae
hugo                                               jioby/local-tap/hugo@0.104.2

安装 hugo@0.104.2

`1`	`HOMEBREW_NO_AUTO_UPDATE=1 brew install jioby/local-tap/hugo@0.104.2`

不想再要这个临时 Formula，可手动删除：

`1`	`/opt/homebrew/Library/Taps/jioby/homebrew-local-tap/Formula/hugo@0.104.2.rb`

如果 Homebrew 中没有想要的具体版本，可以创建 Formula 副本后，自行用文本编辑器打开 .rb 文件（或使用 brew edit jioby/local-tap/hugo@0.104.2，修改其中的 url、sha256 等，然后再执行 brew install xxx 进行安装。

转载协议

Wed, 27 Jul 2022 00:00:00 +0000

转载协议

欢迎各位朋友转载本站的原创文章。

本作品采用知识共享署名 4.0 国际许可协议进行许可，转载时请注明原文链接，图片在使用时请保留全部内容，可适当缩放并在引用处附上图片所在的文章链接。

转载申请

转载申请：在文章评论区按格式留言申请即可，无需等待确认

申请格式：

- 申请人：格物
- 原文章：macOS Big Sur 解决系统文件不可修改
- 原链接：https://shockerli.net/post/macos-big-sur-mod-sys-file/
- 转载到：https://your.blog.domain/xxx/xxx

macOS Big Sur 解决系统文件不可修改

Sat, 09 Apr 2022 00:00:00 +0000

起因

本是为了删除 macOS 11.4 自带的 PHP，经历了一下步骤：

先关闭 SIP

`1`	`csrutil disable`

再删除 PHP 相关文件

cd /private/etc/ && sudo rm -rf php-fpm.conf.defaultphp.ini php.ini.default

cd /usr/bin/ && sudo rm -rf php php-config phpdoc phpize

cd /usr/include && sudo rm -rf php  // 10.14之后没有此目录

cd /usr/lib && sudo rm -rf php

cd /usr/sbin && sudo rm -rf php-fpm

cd /usr/share && sudo rm -rf php

cd /usr/share/man/man1 && sudo rm -rf php-config.1 php.1 phpize.1

cd /usr/share/man/man8 && sudo rm -rf php-fpm.8

却报错文件只读

`1`	`rm: php: Read-only file system`

按老办法挂载分区

`1`	`sudo mount -uw /`

却又报错分卷被保护，无法挂载

1
2

mount_apfs: volume could not be mounted: Permission denied
mount: / failed with 66

环境

macOS Big Sur 11.4

解决方案

将系统分区重新挂载在一个有读写权限的新目录下，在该目录下修改系统文件，生成快照并重启。

关闭 SIP

关机，再开机，并按住 Command+R 进入恢复模式，然后在 实用工具 - 终端 中运行：

1
2
3

csrutil disable
csrutil authenticated-root disable
sudo reboot

重新开机后，查看是否关闭，显示 disable 则表示已关闭：

# csrutil status
System Integrity Protection status: unknown (Custom Configuration).

Configuration:
	Apple Internal: disabled
	Kext Signing: disabled
	Filesystem Protections: disabled
	Debugging Restrictions: disabled
	DTrace Restrictions: disabled
	NVRAM Protections: disabled
	BaseSystem Verification: enabled

This is an unsupported configuration, likely to break in the future and leave your machine in an unknown state.


# authenticated-root status
Authenticated Root status: disabled

查看系统分区

# mount
/dev/disk1s1s1 on / (apfs, sealed, local, read-only, journaled)
devfs on /dev (devfs, local, nobrowse)
/dev/disk1s4 on /System/Volumes/VM (apfs, local, noexec, journaled, noatime, nobrowse)
/dev/disk1s2 on /System/Volumes/Preboot (apfs, local, journaled, nobrowse)
/dev/disk1s6 on /System/Volumes/Update (apfs, local, journaled, nobrowse)
/dev/disk1s5 on /System/Volumes/Data (apfs, local, journaled, nobrowse)
map auto_home on /System/Volumes/Data/home (autofs, automounted, nobrowse)

本机的系统分区为 /dev/disk1s1，disk1s1s1 是其快照，挂载的是根目录 /。

重新挂载

在用户目录下创建一个新目录，如 /Users/jioby/mount-data。

将系统分区挂载到该新目录：

`1`	`sudo mount -o nobrowse -t apfs /dev/disk1s1 /Users/jioby/mount-data`

（注意是 disk1s1，而非 disk1s1s1）

访问并修改文件

此时，mount-data 目录相当于系统的根目录，并可对其进行访问和修改。

比如原来需要删除 /usr/bin/php 文件，则直接删除 /Users/jioby/mount-data/usr/bin/php 即可。

生成快照并重启

操作完对应的系统文件后，生成快照并重启系统，然后系统文件就被修改了。

1
2
3

sudo bless --folder /Users/jioby/mount-data/System/Library/CoreServices --bootefi --create-snapshot

sudo reboot

友链

Wed, 02 Mar 2022 00:00:00 +0000

朋友小站

以下为格物小站的友情站点，按互链时间先后排序

CrazyCodes - Mr.Zhang 的小站
极客兔兔 - 致力于分享有趣的技术实践
一树一溪 - MySQL 源码研究

申请友链

先添加本站到贵站点，再按下述格式在评论区留言。

拒绝采集、转载等站点。

格式：

站点名称: 格物
站点描述: 做有进步的分享
站点地址: https://shockerli.net
已加友链: https://shockerli.net/link/

Proxyman CFErrorDomainLaunchd error 9

Fri, 18 Feb 2022 00:00:00 +0000

Proxyman 是一款原生高性能的 HTTP/HTTPS 抓包工具。

Proxyman 提示升级 Proxy Helper Tool：

但点击 Install Helper Tool 却报错 The operation couldn’t be completed. (CFErrorDomainLaunchd error 9.)：

参考此文，原因是该帮助工具已从系统服务中被禁用。

查看已禁用的系统服务：

`1`	`launchctl print-disabled system`

disabled services = {
	"com.apple.CSCSupportd" => true
	"com.apple.ftpd" => true
	"com.apple.mdmclient.daemon.runatboot" => true
	"fans" => false
	"com.proxyman.NSProxy.HelperTool" => true
}

如果为 true，即已被禁用。

启用服务（注意 system/ 前缀）：

`1`	`sudo launchctl enable system/com.proxyman.NSProxy.HelperTool`

再去安装帮助工具，就可以了。

参考资料

Mac 开光指南 [2023.03.01更新]

Mon, 22 Nov 2021 00:00:00 +0000

💻 一份新 macOS 快速食用方法，普适新 Mac 或重装系统。

本指南基于 MBP 14寸 12.5 系统（主）和 MBP 13寸 11.4 系统。

系统和软件的更新频繁，本项目不一定及时更新，故操作界面或步骤会略有差别，但影响不大。

本指南涉及内容较广，请选择适合自己的操作。

请善用 TOC 目录导航内容，GitHub 中 README.md 左侧的按钮更方便。

本指南遵循许可协议 CC BY-NC-ND 4.0（请看转载要求）

博客原文地址: https://shockerli.net/post/mac-initialize

长期更新地址: https://github.com/shockerli/mac-initialize

最后更新于 2023-11-06

应用安装

安装软件

软件下载途径

App Store 搜索或排行榜
软件的官网，都会提供下载
第三方网站（不一定安全，需自行甄别）

有一些软件，是没有上架应用商店（如搜狗输入法）、或应用商店里的是阉割版本（如柠檬清理），就需要去官网下载。

下载软件时，尽量选择与架构匹配的，不要选 Universal，因为 Universal 会同时包含两个架构的软件包，体积更大但却没啥用。以下图 VSCode 为例，如果是 M1/M2 等苹果芯片则选 Apple Silicon，反之则选 Intel Chip。

当然，目前绝大多数的软件是不支持这么选择的，也就是只提供了一个 Universal 通用版本，那安装后，电脑里就会多一个架构的软件，可以使用柠檬清理进行查找清理掉，不影响正常使用。

桌面上的安装包图标怎么去除？

方法①：桌面上右键安装包图标，选择「推出“XXX”」。

方法②：Finder（访达）左栏的「位置」处也有对应安装包，点按应用名称右侧的推出图标即可。
方法③：重启系统后，安装包镜像会自动取消，对应的图标也会自动消失。

关闭软件更新

为何要关闭软件更新？因为默认会自动下载更新，也就会偷偷跑流量，而苹果系统更新都是几个G起步。不信看看 /Library/Updates 目录有多大。

关闭自动更新：

系统偏好设置 → 软件更新 → 自动保持我的 Mac 运行最新版本（取消勾选）
系统偏好设置 → 软件更新 → 高级... → 取消所有勾选（主要是下载可用的更新）
App Store → 偏好设置 → 自动更新（取消勾选）、自动下载站其他设备上购买的App（取消勾选）

删除已下载的文件：

关闭 SIP、删除目录 /Library/Updates 下的内容、再开启 SIP。

进程 nsurlsessiond 会偷偷跑流量，有几个原因：

正在下载系统或软件更新文件
iCloud 正在同步数据

键盘符号与快捷键

符号映射

符号	按键
⌘	Command
⇧	Shift
⇪	Caps Lock
⌥	Option = Alt
⌃	Control
Fn	功能键
↩	Enter
⌫	Delete
⌦	Fn + Delete
↑	上箭头
↓	下箭头
←	左箭头
→	右箭头
⇞	Fn + ↑ = Page Up
⇟	Fn + ↓ = Page Down
Home	Fn + ←
End	Fn + →
⇥	Tab = 右制表符
⇤	Shift + Tab = 左制表符
⎋	Esc = Escape
⏏	电源开关键
`	反引号（ESC 下面）

一定要熟记前 5 个符号的按键位置！！！

常用快捷键

大部分情况下，Command 键等同于 Windows 的 Ctrl 键，以下仅列出部分常用或与 Windows 不一样的快捷键，更多参考官方 Mac 键盘快捷键以及对应软件的快捷键。

快捷键	说明
Command + Z	撤销，`Shift + Command + Z`：重做
Command + 逗号 (`,`)	打开当前窗口应用的偏好设置
Control + Command + Q	立即锁定屏幕
Command + D	复制所选文件
Option + Command + D	显示或隐藏“程序坞”
Control + Command + D	显示或隐藏所选字词的定义
Control + A	移至行或段落的开头
Control + E	移至行或段落的末尾
Control + U	终端软件里，直接清除行
Control + 空格	切换输入法
Command + Q	退出当前应用

访达

快捷键	说明
Command + 上箭头	打开包含当前文件夹的文件夹
Command + 左中括号 (`[`)	前往上一文件夹
Command + 右中括号 (`]`)	前往下一个文件夹
Command + Delete	将所选项移到废纸篓
Option + Command + C	复制当前目录的全路径

窗口

快捷键	说明
Command + Tab	在多个打开的 App 之间切换到下一个最近使用的 App
Command + Shift + Tab	在多个打开的 App 之间切换到上一个最近使用的 App
Command + `（反引号）	同一个应用的不同窗口间切换，已被最小化的窗口无法恢复
Command + M	最小化当前窗口，但无法通过快捷键切换回来，只能手动去菜单栏或程序坞重新打开
Command + H	隐藏当前应用，即该应用的所有窗口，可通过快捷键切换回来
Command + Option + H	隐藏其他应用
F3	显示当前桌面的所有已打开窗口（不含最小化或已隐藏）
Control + 上箭头	同上
触控板：四指向上轻扫	同上（如已设置`触控板 → 更多手势 → 调度中心`）
Control + 下箭头	显示当前应用的所有已打开窗口（不含最小化或已隐藏）
触控板：四指向下轻扫	同上（如已设置`触控板 → 更多手势 → App Expose`）

桌面

快捷键	说明
Control + 右箭头	向右切换桌面
触控板：四指向右轻扫	同上
Control + 左箭头	向左切换桌面
触控板：四指向左轻扫	同上

其他快捷键：选取苹果菜单 > “系统偏好设置”，点按“键盘”，然后点按“快捷键”。

基础设置

触控板设置

触控板的设置及使用教程，可查看 系统偏好设置 > 触控板。

让你的触控板变的跟鼠标不同，治疗你的手指关节炎😄

系统偏好设置 > 触控板 > 光标与点按
- 轻点来点按（勾选）
- 可单指轻点=鼠标左键点击，可双指轻点=鼠标右键点击
系统偏好设置 > 触控板 > 光标与点按
- 查询与数据检测器（勾选）
- 三指轻点
- 对着词汇三指轻点，直接调用Mac自带词典查询，与右键中的「查询」一样
系统偏好设置 > 触控板 > 更多手势
- App Expose（勾选）
- 在全屏幕显示的App之间轻扫（四指左右轻扫）
- 以上两个选项，将三指操作改为四指操作，是为了给「三指拖移」让路
系统偏好设置 > 辅助功能 > 指针控制 > 鼠标与触控板 > 触控板选项
- 启动拖移（勾选）> 三指拖移
- 与鼠标左键按住拖动一样，三个手指同时在触控板滑动，可拖动任何窗口的菜单栏进行移动，也可以选择范围内容

学习触控板设置中的各个手势操作示范视频，别再跟鼠标一样用触控板啦。

开启任何来源

为何要「任何来源」权限？因为不开启就无法安装 App Store 以外的软件，比如从网站直接下载的 dmg 安装包。

被认可的开发者 指的是购买了苹果企业证书对应用进行签名、且提交给苹果审核通过的软件。而大部分免费开源的应用是不会去购买此证书的。另外，破解应用因为会修改应用的文件从而导致签名失效而无法运行。所以，想安装第三方应用，需要开启 任何来源 这个权限。

macOS 默认隐藏了 任何来源 选项，需要在终端执行以下命令显示此选项：

`1`	`sudo spctl --master-disable`

然后在 系统偏好设置 > 安全性与隐私 > 通用 > 任何来源 打开：

修改主机名

就是为了好看点，默认的太丑，隔空投送的显示名字和终端都会用到

参考文章: https://shockerli.net/post/macos-hostname-scutil/

设置路径：系统偏好设置 > 共享 => 修改电脑名称、编辑本地主机名

也可通过命令修改：

# 修改主机名
sudo scutil --set HostName 自定义主机名

# 修改电脑名称
sudo scutil --set ComputerName 自定义电脑名

拼写辅助

当你输入英文单词时，默认会提示你更正首字母为大写，烦人的很。

系统偏好设置 > 键盘 > 文本 > 自动大写字词的首字母（取消勾选）

同理，如果不想「自动纠正拼写」或其他输入相关的功能，也可在此面板一并调整。

程序坞（Dock）

程序坞(Dock) 是 macOS 桌面上日常 APP 和功能的便利管理，与 Windows 任务栏类似。

系统偏好设置 > 程序坞与菜单栏 > 程序坞 - > 将窗口最小化至应用程序图标（勾选） - > 在程序坞中显示最近使用的应用程序（取消勾选）

从程序坞中挨个移除你不行要的应用图标，以及添加你希望常驻的图标。

移除：右键程序坞中应用图标 > 选项 > 从程序坞中移除

或者将程序坞中的图标拖到废纸篓中也能删除图标。

添加：从启动台（应用全列表）拖动图标到程序坞指定位置

显示器

夜览

夜览与 f.lux 功能类似，根据时间来自动调节显示器色温的护眼程序。不过系统自带夜览只支持内置显示器，外接显示器不会生效，此时可关闭夜览并使用 f.lux。

`1`	`系统偏好设置 > 显示器 > 夜览... > 设定时间 > 日落到日出`

菜单栏

菜单栏中的系统图标尽量少一点，多留空间给应用图标，尤其是小屏、刘海屏。

时钟

默认时间格式太长，去除不必要的。

`1`	`系统偏好设置 > 程序坞与菜单栏 > 时钟 > 显示日期（取消勾选）、显示星期（取消勾选）、在时间中显示秒钟（勾选）`

聚焦

不需要在菜单栏展示，有快捷键 ⌘ + 空格。

`1`	`系统偏好设置 > 程序坞与菜单栏 > 聚焦 > 在菜单栏中显示（取消勾选）`

Siri

不需要在菜单栏展示，可配置快捷键或语音指令。

系统偏好设置 > Siri，自行配置「听取“嘿Siri”」、快捷键等。

访达（Finder）

访达(Finder) 是 macOS 中文件可视化管理程序。

访达 → 偏好设置 → 通用 → 开启新“访达”窗口时打开：「下载」

设置一个访达启动时的默认打开目录。
访达 → 偏好设置 → 通用 → 在标签页中打开文件夹（勾选）

开启多标签页功能。（旧版系统不支持，可自行安装 Path Finder 或 TotalFinder 以使用该功能）
访达 → 偏好设置 → 高级 → 执行搜索时：「搜索当前文件夹」

默认是搜全电脑文件，但绝大多数我们期望的是搜索当前文件夹下的文件。
开启 退出访达 功能

一般都应用都能退出（⌘ + Q），但访达默认是不行的，需手动开启。
1 2 3

defaults write com.apple.finder QuitMenuItem -bool true killall Finder
显示目录全路径

Finder 顶栏默认显示的是当前目录的名称，如需跟 Windows 一样显示全路径，需手动开启。
1 2 3

defaults write com.apple.finder _FXShowPosixPathInTitle -bool true killall Finder

服务

服务 是 macOS 中服务提供者程序为服务请求者程序提供的便捷服务（便捷入口、且支持设置快捷键）。

例如，iTerm 就在 Finder

`1`	`系统偏好设置 → 键盘 → 快捷键 → 服务`

可开启所需服务，及设置其快捷键。

密码长度限制

macOS 10.14 后不允许设置 4 位数以下的密码。下面的命令可关闭这个策略的限制：

`1`	`pwpolicy -clearaccountpolicies`

开机自启管理

用户级别的开机自启应用管理，可在 系统偏好设置 → 用户与群组 → 登录项 列表中查看和开关。

系统级别的，比如 Docker，可用 柠檬清理 等系统工具进行管理。

如果是通过 Homebrew 安装的服务，那可用 brew services 命令管理。

也可以通过命令 launchctl 进行管理。

关闭输入法切换时的提示图标

自 macOS 14 Sonoma 开始，默认会在切换输入法时，光标处有个提示图标。

在终端类软件中，执行以下指令，并按提示输入电脑密码，然后重启电脑后关闭该提示。

`1`	`sudo defaults write /Library/Preferences/FeatureFlags/Domain/UIKit.plist redesigned_text_cursor -dict-add Enabled -bool NO`

关于 SIP

SIP（System Integrity Protection，系统完整性保护）是 macOS 所采用的一项安全技术，能够帮助防止潜在恶意软件修改 macOS 上受保护的文件和文件夹。系统完整性保护可以限制 root 用户帐户，以及 root 用户能够在 macOS 的受保护部分完成的操作。

为了安全，强烈不建议关闭 SIP 保护。

如果一个应用需要关闭 SIP 才可运行，这意味着此应用本身也不安全，可直接放弃。

如果是临时性的需要（如上文提到的删除系统更新文件），可以先关闭、操作完后再立即开启。

基础设施

Xcode Command Line Tools

macOS 系统很多软件都需要用到的依赖工具，不安装的话连 Git 都没法用🙄

`1`	`xcode-select --install`

同意协议后会全程自动下载安装，文件比较大，需要等待一会。

Homebrew

开源免费、强大易用的软件安装管理器。

官网: https://brew.sh

GitHub: https://github.com/Homebrew/brew

因国内访问 GitHub 不稳定，可以直接参考清华大学镜像站的安装教程，简单快速、此处不做复述。

清华大学开源软件镜像站及安装、镜像教程: https://mirrors.tuna.tsinghua.edu.cn/help/homebrew/

iTerm2

开源免费、美观高效的最强终端工具。

官网下载: https://www.iterm2.com

或 brew install --cask iterm2

颜色配置

颜色列表: https://iterm2colorschemes.com

颜色选择: Profiles -> Colors -> Color Presets 选择 Solarized Dark

背景图

Profiles → Default → Window → Background Image → Enabled（勾选，会弹窗让选择图片

还可调节透明度、缩放模式。

Profiles Command

Profiles 用于配置新建 Tab 的默认行为，而 Profiles 中的 Command 则可用于配置新建 Tab 时自动执行的命令，一般用于 SSH 远程连接的场景较多。

Profiles Command 配置：

注意：自定义的 Profile 会继承 Default 的配置，故自定义的 Profile 无需重复去配置颜色、主题、快捷键等。

Profiles 使用及快捷键：

Status Bar

配置左右键前后单词跳转

按住 option + → or ← 键，在命令的开始和结尾跳转切换

Profiles → Default → Keys → Key Mappings，点击 +：

Keyboard shortcut: option + → Action: Send Escape Sequence Esc + f

Keyboard shortcut: option + ← Action: Send Escape Sequence Esc + b

iTerm2 快速隐藏和显示

Keys → Hotkey，勾选 Show/hide all windows with a system-wide hotkey，并设置快捷键，比如 ⌥ + ⌘ + .（option + command + 句点）。

在 Finder 中打开当前目录

在终端中使用 open 命令即可：

open .

粘贴自动转义

从剪切板粘贴 URL 到 iTerm2 时会被转义。参考官方 Wiki。打开配置文件 ~/.zshrc：

`1`	`DISABLE_MAGIC_FUNCTIONS=true`

Finder 中使用 iTerm 打开当前目录

可在 Finder 中快捷的使用 iTerm 打开当前目录，避免手动的在 iTerm 中输入路径。

`1`	`Finder → 文件右键 → 服务 → New iTerm2 Tab Here`

Oh My Zsh

Oh My Zsh 让 zsh 变得更好用、配置更简单。（macOS 10.15 后已使用 zsh 作为默认 Shell）

GitHub: https://github.com/ohmyzsh/ohmyzsh

通过curl安装

`1`	`sh -c "$(curl -fsSL https://raw.githubusercontent.com/ohmyzsh/ohmyzsh/master/tools/install.sh)"`

设置 zsh 为当前用户的默认 Shell

`1`	`chsh -s /bin/zsh`

配置文件

.zshenv 中存放的环境变量配置项在任何场景下都能被读取，这里通常把$PATH等变量写在这里，这样无论是在交互 shell，或者运行程序都会读取此文件

.zshrc 主要用在交互 shell，上篇文章中就是对这个文件进行修改。对终端交互shell有用。

.zlogin 在 login shell 的时候读取，比如系统启动的时候会读取此文件

.zprofile 是.zlogin的替代品，如果使用了 .zlogin 就不必再关心此文件

.zlogout退出终端的时候读取，用于做一些清理工作

读取顺序
.zshenv → [.zprofile if login] → [.zshrc if interactive] → [.zlogin if login] → [.zlogout sometimes]

配置

禁用自动更新

默认会每次新开 Tab 时检查更新，编辑 ~/.zshrc，取消该行内容的注释：
1

zstyle ':omz:update' mode disabled

插件

zsh-autosuggestions

输入命令时可提示自动补全（灰色部分），按键 → 即可补全

https://github.com/zsh-users/zsh-autosuggestions

通过 Brew 安装：

`1`	`brew install zsh-autosuggestions`

安装完后，根据提示，打开 ~/.zshrc 添加：

// 以下内容可能 Homebrew 版本不一样，以 brew 的提示为准
// 比如以前是 /usr/local/share/xxx
// 可直接用 brew info zsh-autosuggestions 查看
source /opt/homebrew/share/zsh-autosuggestions/zsh-autosuggestions.zsh

zsh-syntax-highlighting

日常用的命令会高亮显示，命令错误显示红色

https://github.com/zsh-users/zsh-syntax-highlighting

通过 Brew 安装：

`1`	`brew install zsh-syntax-highlighting`

安装完后，根据提示，打开 ~/.zshrc 添加：

// 以下内容可能 Homebrew 版本不一样，以 brew 的提示为准
// 比如以前是 /usr/local/share/xxx
// 可直接用 brew info zsh-syntax-highlighting 查看
source /opt/homebrew/share/zsh-syntax-highlighting/zsh-syntax-highlighting.zsh

autojump

实现目录间快速跳转，想去哪个目录直接 j + 目录名

https://github.com/wting/autojump

通过 Brew 安装：

`1`	`brew install autojump`

安装完后，根据提示，打开 ~/.zshrc 添加：

`1`	`[ -f /opt/homebrew/etc/profile.d/autojump.sh ] && . /opt/homebrew/etc/profile.d/autojump.sh`

主题

主题列表: https://github.com/ohmyzsh/ohmyzsh/wiki/Themes

内置主题: $ZSH/themes（$HOME/.oh-my-zsh/themes）

修改 ~/.zshrc 配置文件：

`1`	`ZSH_THEME="robbyrussell"`

可在 $ZSH/custom/themes 下自定义主题。

Git

GitHub 配置 SSH

终端执行命令 ssh-keygen，一路回车，生成密钥。

读取并拷贝密钥文本。

`1`	`cat ~/.ssh/id_rsa.pub`

打开 GitHub SSH key 配置页面（个人头像 > Settings > Access > SSH and GPG keys > New SSH Key），将拷贝的 ssh-rsa 密钥内容添加到 GitHub。

Git 配置 user

终端执行命令 git config --global -e 打开 Git 全局配置文件，修改或添加 [user] 内容：

1
2
3

[user]
    name = jioby
    email = jioby@example.com

或者使用命令行方式：

1
2

git config --global user.name "jioby"
git config --global user.email "jioby@example.com"

设置 lg 别名

git config --global -e 打开配置文件：

1
2

[alias]
    lg = log --graph --pretty=format:'%Cred%h%Creset | %ad | %Cblue%d%Creset %s %Cgreen(%an)%Creset' --abbrev-commit --date=short

或者使用命令行方式：

`1`	`git config --global alias.lg "log --graph --pretty=format:'%Cred%h%Creset \| %ad \| %Cblue%d%Creset %s %Cgreen(%an)%Creset' --abbrev-commit --date=short"`

接着可使用 git lg 清爽看日志：

* 5864617 | 2022-07-31 |  (HEAD -> master, origin/master, origin/HEAD) update license to CC 4.0 (Jioby)
* 3d8de53 | 2022-07-31 |  关闭自动更新，解决nsurlsessiond偷偷跑流量 (shockerli)
* a0c313e | 2022-07-30 |  vscode install code command (shockerli)
* 8ebffa3 | 2022-07-30 |  全新指南，支持macOS 12.x系统 (shockerli)

默认分支

设置 Git 项目初始化时的默认分支，一般为 master 或 main。

`1`	`git config --global init.defaultBranch <name>`

Vim

在 macOS 上 Vim 使用较浅，故配置够用即可，不装扩展。直接 vim ~/.vimrc：

" 推荐设置
colorscheme desert  " 颜色显示方案
syntax on           " 打开语法高亮
set tabstop=4       " TAB 字符的显示宽度

" 以下自选
set nocompatible    " 不兼容 Vi
set nu              " 显示行号
set showmatch       " 自动高亮匹配括号
set cursorline      " 高亮光标所在行
set hlsearch        " 高亮搜索匹配结果
set incsearch       " 跟随输入，即时搜索
set ignorecase      " 搜索忽略大小写
set history=1000    " 历史操作记录次数
set autoread        " 文件发生外部变更时提示
set wildmenu        " 命令模式，底部按 Tab 自动补全
set smartindent     " 智能缩进
set expandtab       " 按 Tab 键时，使用空格替代制表符（不影响已有制表符）
set shiftwidth=4    " 自动缩进时，缩进长度
set softtabstop=-1  " Tab 转为多少空格，负数表示与shiftwidth一致
set laststatus=2    " 是否显示状态栏, 0:不显示, 1:多窗口时显示, 2:显示
set ruler           " 这状态栏显示光标的当前位置（行数&列数）
set wrap            " 自动换行

colorscheme 可选项在 /usr/share/vim/vim*/colors 目录下，自己选。

系统工具

柠檬清理

腾讯出品开源免费的清理、卸载、流量、监控、磁盘空间分析、开机启动管理等系统工具。

官网下载: https://lemon.qq.com

开源地址: https://github.com/Tencent/lemon-cleaner

最值得使用的功能，莫过于清理与当前芯片不同版本的二进制文件：

输入法

拼音输入法推荐 搜狗输入法，简单易用、词库齐全、安装即用。

官网下载: https://pinyin.sogou.com/mac/

输入法配置：系统偏好设置 > 键盘 > 输入法：删除无用的输入法（ABC 别删）

同步原配置：偏好设置 > 登录账户 > 同步 > 配置同步 > 下载配置

Chrome

官网下载: https://www.google.cn/intl/zh-CN/chrome/

扩展

Infinity New Tab Pro: 新标签页
iTab New Tab: 新标签页
FeHelper: 前端工具集（内含 JSON 美化对比、时间转换、编码转换等十几个小工具）
Adblock Plus: 广告净化
SimpRead: 最佳阅读体验
Tampermonkey: 油猴脚本管理
ImageAssistant: 图片助手，网页图片提取下载
SourceGraph: GitHub 源码浏览神器

油猴脚本

油猴脚本（用户脚本）是一段代码，它们能够优化您的网页浏览体验。安装之后，有些脚本能为网站添加新的功能，有些能使网站的界面更加易用，有些则能隐藏网站上烦人的部分内容。

Tampermonkey 是一个可运行在 Chrome、Firefox、Safari、Edge 等浏览器的用户脚本管理扩展。

Greasy Fork 则是一个油猴脚本免费商店，绝大部分用户脚本都在上面有发布，方便查找、安装使用。

安装方式：

从 Greasy Fork 安装例如 CSDNGreener，打开后会显示安装按钮和界面
从 URL 安装例如 Bilibili-Evolved 的脚本 URL 是 https://raw.githubusercontent.com/the1812/Bilibili-Evolved/master/dist/bilibili-evolved.user.js 直接在 Tampermonkey 管理面板 > 实用工具 > 从 URL 安装，粘贴脚本 URL，点击安装即可

推荐脚本：

Bilibili-Evolved - B站增强 [脚本 URL]
CSDNGreener - CSDN 网站绿化 [Greasy Fork]

Alfred

效率工具神器，可以快速的搜索本地应用、搜索本地文件、执行终端命令、浏览器搜索、打开网址、剪切板管理、翻译、文件管理、音乐控制等，也可以自定义工作流，与其他软件深度配合。

软件小巧、性能强悍、高级功能需付费，配置同步可用 iCloud 或 Git 或自己想办法。

官网: https://www.alfredapp.com

常用配置

Features > Web Search > 新增自定义搜索、关闭不需要的搜索
Features > Default Results > Setup fallback results > 设置使用搜索方式
Features > Clipboard History > 勾选需要剪贴板存储的内容（文本、图片、文件）及保留时间
Appearance > 选择 Alfred macOS 切换主题样式，也可以自定义
Appearance > Options > Show Alfred on：选择 active screen 或 mouse screen，因为默认为 default screen 即在默认显示屏打开 Alfred 窗口，多屏或多显示器时默认设置不够贴心。

Workflows

可参考下面两个收藏集合内的配置：

Shell Alias

以下是常用命令，设置别名，使用更方便。添加到 ~/.zshrc。

alias ll='ls -Alh'
alias al='ls | sed "s:^:`pwd`/:"'
alias egrep='ps -ef | grep'
alias grep='grep --color=auto --exclude-dir={.bzr,CVS,.git,.hg,.svn}'

autossh

一个简单管理远程 SSH 账号的脚本工具

安装

1
2

curl -o /usr/local/bin/autossh https://raw.githubusercontent.com/FeeiCN/autossh/master/autossh
chmod +x /usr/local/bin/autossh

配置

1
2

$ cat ~/.autosshrc
server_name|192.168.1.110|root|password|port|is_bastion

开发软件

SourceTree: Git 可视化（免费）
Navicat Premium: 多种数据库管理工具
Sourcetrail: 源码阅读神器（开源）
Jetbrains IDE 系列
Postman: 接口调试（免费）
htop: 增强版 top 命令（开源）
Visual Studio Code: 强大的编辑器（开源）
Proxyman: 代理抓包工具（免费）

Visual Studio Code

官网下载: https://code.visualstudio.com

配置终端 code 快捷打开

安装 code 命令，支持在终端快捷打开 VSCode。

快捷键 ⌘ + ⇧ + P 打开命令面板，输入 shell，选择 Shell Command: Install 'code' command in PATH。

然后在终端输入 code . 或者 code [path] 直接在 VSCode 打开文件或目录。

扩展

扩展	说明
`Chinese Language Pack for Visual Studio Code`	中文语言包
`IntelliJ IDEA Keybindings`	IntelliJ IDEA 快捷键绑定
`Code Runner`	快捷运行代码文件
`EditorConfig for VS Code`	`EditorConfig` 配置扩展，根据配置统一格式化风格
`PPZ`	关系型数据库图形管理

Sublime Text

安装 Package Control: https://packagecontrol.io/installation

中文插件: ChineseLocalizations

配置 subl 命令行打开文件

在 ~/.zshrc 添加如下配置:

`1`	`alias subl="'/Applications/Sublime Text.app/Contents/SharedSupport/bin/subl'"`

然后就可以使用 subl [path] 快捷打开文件或目录。

其他软件

f.lux：自动调整屏幕色温的护眼程序（免费）
MonitorControl：开源 显示器亮度、音量控制，支持外接显示器
万年历：日历（免费）
网易有道词典：翻译（免费）
iShot：截图、长截图、录屏（基础免费）
嘀嗒清单：时间与日程管理（基础免费）
MWeb / Typora / FSNotes：Markdown 笔记管理
FastZip/MacZip：解压缩（免费）
NTFS Disk by Omi：免费的 NTFS 磁盘读写管理器（支持 M1）
OmniGraffle Pro：图表/流程图等矢量图绘制
Reeder：RSS 订阅
IINA：开源音视频播放器
Beyond Compare：文件/文本对比
Rectangle - 开源窗口整理/分屏
uTools：类似 Alfred 的效率工具，跨平台（免费）
Brave Browser：基于 Chromium 的开源浏览器，号称能更好的保护隐私
Bitwarden：开源 密码管理器
Maccy：开源剪切板管理工具
FlyKey - 应用快捷键展示（免费）
Parallels Desktop - 虚拟机
AlDente - 电源管理，让电池更耐用（基础免费）
warp - 号称下一代终端神器（免费）
Bartender - 菜单栏图标管理

还有很多优秀软件没有推荐，后续单开一个专门介绍。

开发环境

Java

JDK

JVM：Java Virtual Machine
JRE：Java Runtime Environment
JDK：Java SE Development Kit
SDK：Software Development Kit

  ┌─    ┌──────────────────────────────────┐
  │     │     Compiler, debugger, etc.     │
  │     └──────────────────────────────────┘
 JDK ┌─ ┌──────────────────────────────────┐
  │  │  │                                  │
  │ JRE │      JVM + Runtime Library       │
  │  │  │                                  │
  └─ └─ └──────────────────────────────────┘
        ┌───────┐┌───────┐┌───────┐┌───────┐
        │Windows││ Linux ││ macOS ││others │
        └───────┘└───────┘└───────┘└───────┘

图源自：https://www.liaoxuefeng.com/wiki/1252599548343744/1255876875896416

OracleJDK

仅 JDK 17 及以上版本才支持 Apple Silicon。

JDK 8 需登录 Oracle 账户才能下载，且没有 ARM 版本。（虽然 x64 版本也可以安装使用，但不清楚是否存在问题）

不是很推荐使用 OracleJDK，因为其协议已改为 OTN

下载地址: https://www.oracle.com/java/technologies/downloads

根据 CPU 选择包：

Intel: x64 DMG Installer
Apple Silicon: Arm 64 DMG Installer

下载安装，然后验证：

➜  ~ java -version
java version "1.8.0_311"
Java(TM) SE Runtime Environment (build 1.8.0_311-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.311-b11, mixed mode)

配置 JAVA_HOME 环境变量：

`1`	`export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_311.jdk/Contents/Home`

OpenJDK

OpenJDK 是 Sun 在 2006 年开源的 Java SE 免费开源版本，采用 GPLv2+CE 许可协议。该项目由 Oracle 主导，IBM、红帽、微软等均有参与。

官网: https://openjdk.org

Homebrew 安装

// 搜索
brew search openjdk

// 安装
// 苹果芯片不一定支持老版本，失败则可考虑安装 Zulu 版本
brew install openjdk@8

// 配置
sudo ln -sfn /opt/homebrew/opt/openjdk@8/libexec/openjdk.jdk /Library/Java/JavaVirtualMachines/openjdk-8.jdk

Zulu 安装

下载对应版本: https://www.azul.com/downloads/?version=java-8-lts&os=macos&architecture=arm-64-bit&package=jdk

对应的安装教程: https://docs.azul.com/core/zulu-openjdk/install/macos

➜ java -version
openjdk version "1.8.0_342"
OpenJDK Runtime Environment (Zulu 8.64.0.15-CA-macos-aarch64) (build 1.8.0_342-b07)
OpenJDK 64-Bit Server VM (Zulu 8.64.0.15-CA-macos-aarch64) (build 25.342-b07, mixed mode)

对应的 JAVA_HOME 在 /Library/Java/JavaVirtualMachines/zulu-8.jdk/Contents/Home

SDKMAN

一个专门安装、管理 SKD 的跨平台 Shell 脚本软件，支持几乎所有厂商的 JDK 及常用 SDK。

官网及教程: https://sdkman.io

以 JDK 为例，其他 SDK 类似。

安装 SDKMAN

1
2

curl -s "https://get.sdkman.io" | bash
source "$HOME/.sdkman/bin/sdkman-init.sh"

安装目录 $HOME/.sdkman

查看支持的 JDK 版本列表


================================================================================
Available Java Versions for macOS ARM 64bit
================================================================================
 Vendor        | Use | Version      | Dist    | Status     | Identifier
--------------------------------------------------------------------------------
 Java.net      |     | 20.ea.9      | open    |            | 20.ea.9-open
               |     | 20.ea.8      | open    |            | 20.ea.8-open
               |     | 19.ea.34     | open    |            | 19.ea.34-open
               |     | 19.ea.33     | open    |            | 19.ea.33-open
               |     | 18.0.2       | open    |            | 18.0.2-open
               |     | 18.0.1.1     | open    |            | 18.0.1.1-open
 Microsoft     |     | 17.0.4       | ms      |            | 17.0.4-ms
               |     | 17.0.3       | ms      |            | 17.0.3-ms
               |     | 11.0.16      | ms      |            | 11.0.16-ms
               |     | 11.0.15      | ms      |            | 11.0.15-ms
 Oracle        |     | 18.0.2       | oracle  |            | 18.0.2-oracle
               |     | 18.0.1       | oracle  |            | 18.0.1-oracle
               |     | 17.0.4       | oracle  |            | 17.0.4-oracle
               |     | 17.0.3       | oracle  |            | 17.0.3-oracle

安装 JDK

// OracleJDK
sdk install java x.y.z-oracle

// OpenJDK
sdk install java x.y.z-open

查看切换默认 JDK 版本

// 查看当前版本
sdk current java

// 切换默认版本
sdk default java x.y.z-open

IDEA

IntelliJ IDEA 提供了 JDK 管理功能，可添加已存在的 JDK，也可代为下载安装所需 JDK。

操作步骤：MenuBar → File → Project Structure...(⌘ + ;) → SDKs → + → Download JDK

JAVA_HOME

查看已安装版本的 JAVA_HOME：

/usr/libexec/java_home

/Library/Java/JavaVirtualMachines/zulu-8.jdk/Contents/Home
/Library/Java/JavaVirtualMachines/zulu-11.jdk/Contents/Home

查看指定版本的 JAVA_HOME：

1
2
3

/usr/libexec/java_home -v8

/Library/Java/JavaVirtualMachines/zulu-8.jdk/Contents/Home

单个版本配置（~/.zshrc）：

`1`	`export JAVA_HOME=$(/usr/libexec/java_home -v8)`

多版本配置：

# Java Home
export JAVA_HOME=$(/usr/libexec/java_home -v11)
export JAVA_8_HOME=$(/usr/libexec/java_home -v8)
export JAVA_11_HOME=$(/usr/libexec/java_home -v11)

alias java8='export JAVA_HOME=$JAVA_8_HOME'
alias java11='export JAVA_HOME=$JAVA_11_HOME'

# 默认为 Java 8
java8

Maven

安装

`1`	`brew install maven`

如果只使用 IDEA，可无需安装，直接使用 IDE 内置的 Maven 即可。

国内镜像配置

以阿里云 Maven 为例。打开或创建配置文件：$HOME/.m2/settings.xml，并修改：

<?xml version="1.0" encoding="UTF-8"?>
<settings xmlns="http://maven.apache.org/SETTINGS/1.0.0"
          xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
          xsi:schemaLocation="http://maven.apache.org/SETTINGS/1.0.0 http://maven.apache.org/xsd/settings-1.0.0.xsd">
    <mirrors>
        <mirror>
            <!-- 文档: https://developer.aliyun.com/mvn/guide -->
            <id>aliyunmaven</id>
            <mirrorOf>*</mirrorOf>
            <name>阿里云公共仓库</name>
            <url>https://maven.aliyun.com/repository/public</url>
        </mirror>
    </mirrors>
</settings>

PHP

安装

第三方源

由于官方维护的 PHP 版本都是最新的几个，对于比较老的版本，无法直接安装，如果需要可 Tap 第三方源

强烈推荐: shivammathur/php

添加 Tap

`1`	`brew tap shivammathur/php`

安装 PHP

此处示例安装 PHP 7.4

`1`	`brew install php@7.4`

将此版本替换为命令行默认版本

`1`	`brew link --overwrite --force php@7.4`

添加到 PATH

1
2

echo 'export PATH="/opt/homebrew/opt/php@7.4/bin:$PATH"' >> ~/.zshrc
echo 'export PATH="/opt/homebrew/opt/php@7.4/sbin:$PATH"' >> ~/.zshrc

配置

打开配置文件修改默认时区

`1`	`date.timezone = PRC`

Composer

安装

通过 brew 安装：

`1`	`brew install composer`

或者手动安装：

curl -o composer https://getcomposer.org/download/latest-stable/composer.phar
chmod +x composer
[ ! -d "/usr/local/bin" ] && sudo mkdir /usr/local/bin
sudo mv composer /usr/local/bin

降级

如果一些老项目不支持 Composer V2，那么需要回退到 V1 版本

`1`	`composer self-update --1`

镜像

// 设置镜像
composer config -g repo.packagist composer [mirrors-url]

// 取消镜像
composer config -g --unset repos.packagist

// 阿里云
官网: https://developer.aliyun.com/composer
镜像: https://mirrors.aliyun.com/composer/

// 腾讯云
// 出现过composer.lock文件中dist.reference与dist.url下载不一致的情况
// 即reference是最新commit，但镜像url下载的包却不非最新
官网: https://mirrors.cloud.tencent.com/help/composer.html
镜像: https://mirrors.cloud.tencent.com/composer/

其他镜像不是很稳定、或不是很全（一些下载量小的会 404），如有问题，轮换着试试。

Go

安装

安装最新版本

`1`	`brew install go`

或者指定版本

`1`	`brew install go@1.13`

非最新版本，需要建立个链接，这样才能用到 Go 命令

`1`	`brew link --overwrite --force go@1.13`

配置

环境变量

export GO111MODULE=on
export GOPATH=/Users/jioby/gowork
export PATH="$GOPATH/bin:$PATH"
export GOPROXY=https://goproxy.cn,https://goproxy.io,direct
export GOPRIVATE=*.your-private-git.com

私有仓库

终端运行命令 git config --global -e，添加如下类似配置并保持：

1
2

[url "ssh://git@git.example.com:8182/"]
        insteadOf = https://git.example.com/

分析解决本地开发 Java 项目启动速度慢

Mon, 11 Oct 2021 00:00:00 +0000

启动日志

以下是个 Spring Boot 项目启动日志（已刨除无关部分）

...
10:30:10.110 INFO  [background-preinit] org.hibernate.validator.internal.util.Version --- HV000001: Hibernate Validator 5.4.1.Final
10:30:15.135 WARN  [main] org.springframework.boot.StartupInfoLogger --- InetAddress.getLocalHost().getHostName() took 5001 milliseconds to respond. Please verify your network configuration (macOS machines may need to add entries to /etc/hosts).
10:30:20.142 INFO  [main] com.example.test.Application --- Starting Application on jioby.local with PID 67279 (/XXX/target/classes started by jioby in /XXX)
...

原因分析

上述日志均有个特点，每个涉及 DNS 解析的都会花费 5 秒钟左右。

然后根据日志提示，看看 InetAddress.getLocalHost() 需要执行多久：

import java.net.InetAddress;

public class Demo {

    public static void main(String[] args) {
        System.out.printf("Start: %tT%n", System.currentTimeMillis());
        try {
            System.out.println(InetAddress.getLocalHost());
            System.out.printf("Mid: %tT%n", System.currentTimeMillis());
            System.out.println(InetAddress.getLocalHost());
        } catch (Exception e) {
            System.out.println(e.getMessage());
        }
        System.out.printf("End: %tT%n", System.currentTimeMillis());
    }
}

输出结果：

Start: 17:27:58
jioby.local/192.168.131.48
Mid: 17:28:03
jioby.local/192.168.131.48
End: 17:28:08

再看看 InetAddress.getLocalHost() 的源码：

public static InetAddress getLocalHost() throws UnknownHostException {

    SecurityManager security = System.getSecurityManager();
    try {
        // 本地返回的是 hostname，比如我的就是 jioby.local
        String local = impl.getLocalHostName();

        if (security != null) {
            security.checkConnect(local, -1);
        }

        // 不与 localhost 匹配，故没法走回环地址
        if (local.equals("localhost")) {
            return impl.loopbackAddress();
        }

        InetAddress ret = null;
        synchronized (cacheLock) {
            long now = System.currentTimeMillis();
            if (cachedLocalHost != null) {
                // 缓存 local 的 IP 地址 5 秒钟
                if ((now - cacheTime) < maxCacheTime) // Less than 5s old?
                    ret = cachedLocalHost;
                else
                    cachedLocalHost = null;
            }

            // we are calling getAddressesFromNameService directly
            // to avoid getting localHost from cache
            if (ret == null) {
                InetAddress[] localAddrs;
                try {
                    // 慢在此处 DNS 解析
                    localAddrs =
                        InetAddress.getAddressesFromNameService(local, null);
                } catch (UnknownHostException uhe) {
                    // Rethrow with a more informative error message.
                    UnknownHostException uhe2 =
                        new UnknownHostException(local + ": " +
                                                 uhe.getMessage());
                    uhe2.initCause(uhe);
                    throw uhe2;
                }
                cachedLocalHost = localAddrs[0];
                cacheTime = now;
                ret = localAddrs[0];
            }
        }
        return ret;
    } catch (java.lang.SecurityException e) {
        return impl.loopbackAddress();
    }
}

解决办法

设置本机 hosts，让主机名走回环地址即可。

hosts 添加如下一行：

1
2

127.0.0.1       localhost   jioby.local
::1             localhost   jioby.local

此处的 jioby.local 即主机名，macOS 或 Linux 可通过 hostname 查看。

如果你想改 macOS 主机名，可参考这篇文章：搞懂 macOS 上的主机名/hostname/ComputerName

如何不靠运气致富

Wed, 08 Sep 2021 00:00:00 +0000

美国风险投资家 Naval Ravikant 有一个很有名的长推特，一共40条，题目叫做《如何致富，不靠运气》，谈了他的商业观。

Naval Ravikant 后来还有一篇长文，详细解释这些观点。

中文版翻译

以下为和菜头翻译的中文版

Seek wealth, not money or status. Wealth is having assets that earn while you sleep. Money is how we transfer time and wealth. Status is your place in the social hierarchy.

去寻求财富，而非金钱或地位。财富就是你拥有资产，而资产在你睡觉的时候都还在为你赚钱；金钱是我们转换时间和财富的工具；身份是你在社会等级体系里所处的位置。
Understand that ethical wealth creation is possible. If you secretly despise wealth, it will elude you.

要明白一件事：一个人完全可以不靠坑蒙拐骗站着赚取财富。如果你在暗中鄙视财富，那么财富也会躲着你。
Ignore people playing status games. They gain status by attacking people playing wealth creation games.

别去理会那些热衷于玩身份游戏的人，他们通过攻击那些创造财富的人以获得自己的身份。

You’re not going to get rich renting out your time. You must own equity — a piece of a business — to gain your financial freedom.

你不会通过出租自己的时间而变得富有。你必须拥有产权，也就是生意的一部分，以此才能赢得个人财务自由。
You will get rich by giving society what it wants but does not yet know how to get. At scale.

提供社会大众想要但是他们还不知道如何获取的东西，你就会因此而致富。但有一点：你必须规模化地供应社会。
Pick an industry where you can play long term games with long term people.

选择一个你可以长期从事的产业，寻找一批可以一起长期共事的人。
The Internet has massively broadened the possible space of careers. Most people haven’t figured this out yet.

互联网极大拓展了一个人职业生涯的可能性。绝大多数人对此毫无认知。
Play iterated games. All the returns in life, whether in wealth, relationships, or knowledge, come from compound interest.

玩就玩复利游戏。无论是财富，人际关系或者是知识，所有你人生里获得的回报，都来自复利。
Pick business partners with high intelligence, energy, and, above all, integrity.

在选择商业合作伙伴的时候，选择那些高智商、精力旺盛的家伙，但在这一切之上，他应该是个正直诚实的人。
Don’t partner with cynics and pessimists. Their beliefs are self-fulfilling.

不要和愤世嫉俗者和悲观主义者合作，因为他们会任由坏事发生，以此证明他们的负面看法是正确的。
Learn to sell. Learn to build. If you can do both, you will be unstoppable.

学会如何销售，学会如何创建。如果你同时能做到这两件事，你的成功将无可阻挡。
Arm yourself with specific knowledge, accountability, and leverage.

用独到知识，责任感和杠杆武装自己。
Specific knowledge is knowledge that you cannot be trained for. If society can train you, it can train someone else, and replace you.

独到知识是那种不可以通过培训而获得的知识。这是因为，如果这种知识可以经由培训而得，那么其他人同样也可以，并且以此取代你。
Specific knowledge is found by pursuing your genuine curiosity and passion rather than whatever is hot right now.

在真正的好奇心和热情驱使你前进的路上，你更有可能获得独到知识，而不是在追逐潮流热点的闻风起舞脚步里。
Building specific knowledge will feel like play to you but will look like work to others.

创建独到知识的过程对于你就像是在玩，而对于别人则像是工作。
When specific knowledge is taught, it’s through apprenticeships, not schools.

不能通过学校教育教会一个人独到知识，它只能通过学徒制口传身教。
Specific knowledge is often highly technical or creative. It cannot be outsourced or automated.

独到知识通常极富技术性和创造性，因此它不能被外包或自动实现。
Embrace accountability, and take business risks under your own name. Society will reward you with responsibility, equity, and leverage.

拥抱责任感，押上自己的声誉以承担商业风险。社会也会以责任，产权和杠杆作为回报。
The most accountable people have singular, public, and risky brands: Oprah, Trump, Kanye, Elon.

最具责任感的人都具有独一无二的、世人皆知的、敢于冒险的个性特征，如奥普拉、川普、坎耶、埃隆。
“Give me a lever long enough, and a place to stand, and I will move the earth."— Archimedes

只要给我一根足够长的杠杆，一处可以立足的地方，我就能撬起地球。——阿基米德
Fortunes require leverage. Business leverage comes from capital, people, and products with no marginal cost of replication (code and media).

财富增长需要使用杠杆。商业杠杆有三个来源：1、资本；2、人力；3、复制起来边际成本为零的产品（如：代码和媒体）。
Capital means money. To raise money, apply your specific knowledge, with accountability, and show resulting good judgment.

资本的意思就是钱。想要融资，那就运用你的独到知识，配合你责任感，展示出你良好的判断力。
Labor means people working for you. It’s the oldest and most fought-over form of leverage. Labor leverage will impress your parents, but don’t waste your life chasing it.

人力指的就是为你干活的人，它是最古老也是争夺最激烈的杠杆。人力杠杆会让你父母因为你手下有许多人为你工作而感到骄傲，但你不要浪费生命去追求这一点。
Capital and labor are permissioned leverage. Everyone is chasing capital, but someone has to give it to you. Everyone is trying to lead, but someone has to follow you.

资本和劳动力是需要征得许可才能使用的杠杆。每个人都在追逐资本，但总得有个什么人给你才行；每个人都想要领导其它人，但总得有什么人愿意跟着你才行。
Code and media are permissionless leverage. They’re the leverage behind the newly rich. You can create software and media that works for you while you sleep.

代码和媒体是无需要许可即可使用的杠杆。它们是新贵人群背后的杠杆，你可以通过自己创建的软件和媒体，在睡觉时仍然为你干活。
An army of robots is freely available — it’s just packed in data centers for heat and space efficiency. Use it.

一支机器人军团已经集结待命，只是为了节约空间和热效能，它们被打包放进数据中心。去用吧。
If you can’t code, write books and blogs, record videos and podcasts.

如果你不会编程，那你还可以写书和博客，或者做视频或者音频节目。
Leverage is a force multiplier for your judgement.

杠杆能够成倍地放大你的判断力（所产生的效能）。
Judgement requires experience, but can be built faster by learning foundational skills.

判断力需要经验，但它可以通过学习基本技能的方法更快速地建立起来。
There is no skill called “business.” Avoid business magazines and business classes.

并不存在一种叫做 “商业” 的能力。尽量避开商业杂志和商业课程。
Study microeconomics, game theory, psychology, persuasion, ethics, mathematics, and computers.

去学习微观经济学、博弈论、心理学、说服术、伦理学、数学和计算机科学。
Reading is faster than listening. Doing is faster than watching.

读比听快，做比看快。
You should be too busy to “do coffee”, while still keeping an uncluttered calendar.

你应该忙得没有社交的时间才对，与此同时你应该始终保证日程安排井井有条。
Set and enforce an aspirational personal hourly rate. If fixing a problem will save less than your hourly rate, ignore it. If outsourcing a task will cost less than your hourly rate, outsource it.

你应该为自己设定一个有抱负的个人时薪数，并且坚持执行。如果解决一个问题所能节省下来的成本低于你的个人时薪，那就忽略这个问题好了；如果一项任务的外包成本低于你的个人时薪，就把它外包出去。
Work as hard as you can. Even though who you work with and what you work on are more important than how hard you work.

尽管你跟谁一起工作、做什么工作，要远比你的努力程度更加重要。但还是要倾尽全力去工作。
Become the best in the world at what you do. Keep redefining what you do until this is true.

你所做的事情，要努力做到世界最好。不断重新定义你在做什么，直到真的做到世界最好。
There are no get rich quick schemes. That’s just someone else getting rich off you.

这个世界上并没有快速赚钱致富的方法，如果你想要找寻这种方法，那它只会让别人从你身上赚钱致富。
Apply specific knowledge, with leverage, and eventually you will get what you deserve.

运用你的独到知识，配合上杠杆，最终你会得到你应该得到的东西。
When you’re finally wealthy, you’ll realize that it wasn’t what you were seeking in the first place. But that’s for another day.

终有一天当你变得富有，你会发现那一切并不是你最开始想要的东西。但是那就是另外一回事了。

译者注释

财富就是你睡着觉，你的资产也在为你继续赚钱。这是一个越来越被广泛接受的定义。Naval Ravikant 是硅谷狂热的数字货币支持者，所以，他的话另有所指。从前后文来看，他所谓的资产并不等于是传统意义上的房产、股票、收藏，而是偏向于他反复提及的：软件和媒体。
出租时间概念，许多人理解为打工，认为打工就是出租自己的时间以换取金钱。其实并非如此，Naval 所指的出租时间概念，指的是一个人的财富增长，是否直接关系到他的时间。一个小卖部的老板，他并不为谁打工，但是他的财富增长需要他长时间守在店里，因此，他依然是出租时间换钱。但一个淘宝点卡店老板则不同，他的点卡销售是全自动的，不需要 24 小时守着，而且也不需要只做这一样生意。这就是 Naval 所谓互联网拓宽了个人职业生涯的一个例子。
equity 我翻译为产权，不是一个很好的翻法。但是 Naval 前文提到 assets，很明显，作为投资人他非常清楚地知道这两个字眼之间的区别。equity 无论是翻译为股票、权益或者是资产，原文说 “You must own equity — a piece of a business — to gain your financial freedom.”，这是和出租时间概念做对应的。出租时间的人，在商业链条里作为生产资料出现，不拥有任何产权，也就无法通过商业行为获利，所以，我这里勉强翻译为产权。
specific knowledge 我翻译为独到知识，没有翻译为特定知识、专业知识或者是特殊知识。原因是在我的理解中，specific knowledge 不是书本知识，也不是学校教授的知识，更不可能在网上免费获取。一方面，它只能提供自己实践来获取；另一方面，它只能通过前人口耳相传。这种知识是做成一件事情的关键，属于知识体系中不共的那一部分。所以，我翻译为独到知识。

“Give me a lever long enough, and a place to stand, and I will move the earth.” — Archimedes 这话不像是阿基米德说的。更像是一次抬杠的结果：

“给我一个支点，我就能撬起地球！”

“那么，您站在哪儿呢？”

“好吧，给我一个支点，再给我一个站立的地方，我就能撬起地球。”

“那么，您用空气就能撬起地球了？”

“好吧，给我一根足够长的杠杆，一处可以立足的地方，我就可以翘起地球！”

“那么，阿基米德先生，支点又不需要了吗？”

“滚！”

accountability 我本想翻译为“靠谱程度”，想想还是算了。
号称是 “四十条语录”，但是我就找见了 39 条。
结合上下文看，Leverage 一词始终翻译为“杠杆”，其实也不大对头。Naval 一再强调代码、博客、播客、视频节目，我觉得 Leverage 在他那里，有些时候应该相当于是个人影响力的代名词，或者可以简单理解为放大器。

阮一峰的分享

以下观点来自 阮一峰 的分享：

Naval Ravikant 认为，致富其实只需要两步。

第一步：找到“个人-市场-产品”这三者交叉的那个定位。 你问问自己，你的竞争力在哪里？市场需要的哪一种产品，可以用到你的这种竞争力？这就是你的定位。

第二步：使用各种杠杆（leverage），使得你的产品可以服务尽可能大的市场。

只要做到上面这二步，就会赚到大钱。

我觉得，他总结得很精辟。赚大钱的奥秘就是定位和杠杆这两件事。当市场需要你的产品时，如果有办法"放大"产品，服务更多的人，你就成功了。

Naval Ravikant 说，传统的杠杆是劳动力和资本。通过雇佣更多的员工和借贷更多的钱，把业务放大。但是，互联网时代，新的杠杆出现了，那就是软件和自媒体。

只要服务器开着，软件（包括网站和 App）就能帮你开展业务，服务更多的人。媒体杠杆更简单，只要写文章、拍视频、录播客，放到网上就可以了。只要别人看到这些内容，就等于帮你放大了业务。

这两种新杠杆，成本更低，限制条件更少（不需要大量雇人，也不需要跟银行打交道），因此是更好的杠杆。如果你把四种杠杆结合起来，就能发挥最大的威力。事实上，那些互联网巨头都是这四种杠杆的结合，难怪它们都赚到了大钱。

版权说明

本文为转载，非原创。已在文中引用处注明作者及原链接。感谢以上三位作者的分享。

MySQL 源码阅读 —— macOS VSCode 编译调试 MySQL 5.7

Fri, 27 Aug 2021 00:00:00 +0000

最开始用的 CLion，但电脑扛不住，最终换成 VSCode，世界瞬间清净了😁

macOS + CLion 版本看这里

环境

macOS Big Sur 11.5.2
VSCode 1.59.1
MySQL 5.7.35

依赖

如果以下软件未安装或版本不符合，使用 brew 安装即可

CMake
g++
openssl 1.1

VSCode 插件

在 VSCode 应用商店搜索并安装以下插件

C/C++
C/C++ Clang Command Adapter
CodeLLDB
CMake Tools

下载源码

从官网下载携带 boost 版本源码

下载链接：https://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-boost-5.7.35.tar.gz

也可以从 GitHub 上克隆代码，切换到指定 TAG 或分支。

解压源码：

1
2

tar -zxf mysql-boost-5.7.35.tar.gz
cd mysql-5.7.35

Patch 源码

如果 MySQL <= 8.0.21，则需要执行以下脚本 Patch 源码：

1
2

mv VERSION MYSQL_VERSION
sed -i '' 's|${CMAKE_SOURCE_DIR}/VERSION|${CMAKE_SOURCE_DIR}/MYSQL_VERSION|g' cmake/mysql_version.cmake

具体原因，可参考文章：MySQL 源码 —— 问题 expanded from macro MYSQL_VERSION_MAJOR

创建目录

编译、安装、数据、配置等都统一到 cmake-build-debug 目录，方便管理、不与其他冲突

`1`	`mkdir -p cmake-build-debug/{data,etc}`

编译

有 2 种方式，命令行、CMake Tools

推荐 CMake Tools，因为后续 Debug 都在 VSCode 中，重新编译或切换编译目标也方便

CMake Tools

关于 CMake Tools 的详细配置和用法，参考官方文档：CMake Tools for Visual Studio Code documentation

配置

创建文件 .vscode/settings.json，并写入配置：

{
    "cmake.buildBeforeRun": true,
    "cmake.buildDirectory": "${workspaceFolder}/cmake-build-debug/build",
    "cmake.configureSettings": {
        "WITH_DEBUG": "1",
        "CMAKE_INSTALL_PREFIX": "${workspaceFolder}/cmake-build-debug",
        "MYSQL_DATADIR": "${workspaceFolder}/cmake-build-debug/data",
        "SYSCONFDIR": "${workspaceFolder}/cmake-build-debug/etc",
        "MYSQL_TCP_PORT": "3307",
        "MYSQL_UNIX_ADDR": "${workspaceFolder}/cmake-build-debug/data/mysql-debug.sock",
        "WITH_BOOST": "${workspaceFolder}/boost",
        "DOWNLOAD_BOOST": "1",
        "DOWNLOAD_BOOST_TIMEOUT": "600"
    }
}

查看 > 命令面板，搜索CMake，找到CMake: Configure并回车运行：

等待配置完成，输出以下日志：

[main] Configuring folder: mysql-5.7.35 
[proc] Executing command: /usr/local/bin/cmake --no-warn-unused-cli -DWITH_DEBUG:STRING=1 -DCMAKE_INSTALL_PREFIX:STRING=/path/to/mysql-5.7.35/cmake-build-debug -DMYSQL_DATADIR:STRING=/path/to/mysql-5.7.35/cmake-build-debug/data -DSYSCONFDIR:STRING=/path/to/mysql-5.7.35/cmake-build-debug/etc -DMYSQL_TCP_PORT:STRING=3307 -DMYSQL_UNIX_ADDR:STRING=/path/to/mysql-5.7.35/cmake-build-debug/data/mysql-debug.sock -DWITH_BOOST:STRING=/path/to/mysql-5.7.35/boost -DDOWNLOAD_BOOST:STRING=1 -DDOWNLOAD_BOOST_TIMEOUT:STRING=600 -DCMAKE_EXPORT_COMPILE_COMMANDS:BOOL=TRUE -DCMAKE_BUILD_TYPE:STRING=Debug -H/path/to/mysql-5.7.35 -B/path/to/mysql-5.7.35/cmake-build-debug/build -G "Unix Makefiles"

···中间日志省略···

[cmake] -- Configuring done
[cmake] -- Generating done
[cmake] -- Build files have been written to: /path/to/mysql-5.7.35/cmake-build-debug/build

编译

查看 > 命令面板，搜索CMake，找到CMake: Build Target并回车运行：

查看 > 命令面板，搜索mysqld，找到mysqld EXECUTABLE并回车运行：

然后，就开始编译了，最终输出日志：

[main] Building folder: mysql-5.7.35 mysqld
[build] Starting build
[proc] Executing command: /usr/local/bin/cmake --build /path/to/mysql-5.7.35/cmake-build-debug/build --config Debug --target mysqld -j 6 --

···中间日志省略···

[build] [100%] Built target mysqld
[build] Build finished with exit code 0

命令行

切换到 cmake-build-debug 目录：

`1`	`cd cmake-build-debug`

配置

cmake .. \
-B./build \
-DWITH_DEBUG=1 \
-DCMAKE_INSTALL_PREFIX=. \
-DMYSQL_DATADIR=./data \
-DSYSCONFDIR=./etc \
-DMYSQL_TCP_PORT=3307 \
-DMYSQL_UNIX_ADDR=mysql-debug.sock \
-DWITH_BOOST=../boost \
-DDOWNLOAD_BOOST=1 \
-DDOWNLOAD_BOOST_TIMEOUT=60000

编译

-j 3 表示3个线程，提高速度

--build build 表示构建build目录，此处与-B./build保持一致

--target mysqld 表示只构建mysqld

`1`	`cmake --build build --target mysqld -j 3`

Tips: make 命令会编译所有目标

初始化数据库

以下步骤切换到 cmake-build-debug 目录下执行：

MySQL 配置文件

cat > etc/my.cnf <<EOF
[mysqld]
port=3307
socket=mysql.sock
innodb_file_per_table=1
EOF

修改 port 和 socket 是为了避免与本机数据库冲突。

初始化数据库

# 不携带配置文件，因为CMake时指定了SYSCONFDIR
build/sql/mysqld --initialize-insecure

# 也可携带文件路径
build/sql/mysqld --defaults-file=etc/my.cnf --initialize-insecure

配置调试参数

创建文件 .vscode/launch.json，并写入配置：

{
    // 使用 IntelliSense 了解相关属性。 
    // 悬停以查看现有属性的描述。
    // 欲了解更多信息，请访问: https://go.microsoft.com/fwlink/?linkid=830387
    "version": "0.2.0",
    "configurations": [
        {
            "type": "lldb",
            "request": "launch",
            "name": "Debug mysqld",
            "program": "${workspaceFolder}/cmake-build-debug/build/sql/mysqld",
            "args": [
                "--defaults-file=${workspaceFolder}/cmake-build-debug/etc/my.cnf"
            ],
            "cwd": "${workspaceFolder}"
        },
        {
            "type": "lldb",
            "request": "launch",
            "name": "Debug mysql",
            "program": "${workspaceFolder}/cmake-build-debug/build/client/mysql",
            "args": [
                "-uroot",
                "-P3307",
                "-h127.0.0.1"
            ],
            "cwd": "${workspaceFolder}"
        }
    ]
}

启动调试

启动 mysqld

左侧导航栏 > 运行与调试，选择 Debug mysqld，开始调试。

终端中会输出 mysqld 服务器的启动日志：

[Warning] TIMESTAMP with implicit DEFAULT value is deprecated. Please use amp server option (see documentation for more details).
[Note] --secure-file-priv is set to NULL. Operations related to importing and exporting data 
[Note] /path/to/mysql-5.7.35/cmake-build-debug/build/sql/mysqld (mysqld ess 70489 ...
[ERROR] Can't find error-message file '/path/to/mysql-5.7.35/cmake-build-debug/shareage file location and 'lc-messages-dir' configuration directive.
[Warning] Setting lower_case_table_names=2 because file system for /path/to/data/ is case insensitive
[Note] InnoDB: !!!!!!!! UNIV_DEBUG switched on !!!!!!!!!
[Note] InnoDB: Mutexes and rw_locks use GCC atomic builtins
[Note] InnoDB: Uses event mutexes
[Note] InnoDB: GCC builtin __atomic_thread_fence() is used for memory barrier
[Note] InnoDB: Compressed tables use zlib 1.2.11
[Note] InnoDB: Number of pools: 1
[Note] InnoDB: Using CPU crc32 instructions
[Note] InnoDB: Initializing buffer pool, total size = 128M, instances = 1, chunk size = 128M
[Note] InnoDB: Completed initialization of buffer pool
[Note] InnoDB: Highest supported file format is Barracuda.
[Note] InnoDB: Log scan progressed past the checkpoint lsn 2748488
[Note] InnoDB: Doing recovery: scanned up to log sequence number 2748497
[Note] InnoDB: Database was not shutdown normally!
[Note] InnoDB: Starting crash recovery.
[Note] InnoDB: Removed temporary tablespace data file: "ibtmp1"
[Note] InnoDB: Creating shared tablespace for temporary tables
[Note] InnoDB: Setting file './ibtmp1' size to 12 MB. Physically writing the file full; 
[Note] InnoDB: File './ibtmp1' size is now 12 MB.
[Note] InnoDB: 96 redo rollback segment(s) found. 96 redo rollback segment(s) are active.
[Note] InnoDB: 32 non-redo rollback segment(s) are active.
[Note] InnoDB: Waiting for purge to start
[Note] InnoDB: 5.7.35 started; log sequence number 2748497
[Note] InnoDB: Loading buffer pool(s) from /path/to/mysql-5.7.35/cmake-build-debug/
[Note] Plugin 'FEDERATED' is disabled.
[Note] InnoDB: Buffer pool(s) load completed at 210826 21:45:37
[Note] Found ca.pem, server-cert.pem and server-key.pem in data directory. Trying to enable 
[Note] Skipping generation of SSL certificates as certificate files are present in data 
[Warning] 
[Warning] 
[Warning] CA certificate ca.pem is self signed.
[Note] Skipping generation of RSA key pair as key files are present in data directory.
[Note] Server hostname (bind-address): '*'; port: 3307
[Note] IPv6 is available.
[Note]   - '::' resolves to '::';
[Note] Server socket created on IP: '::'.
[Note] Event Scheduler: Loaded 0 events
[Note]

连接数据库

以同样的方式，先编译 mysql，然后启动 mysql 客户端，连接到刚刚启动的服务端 mysqld：

这样就可以在一个窗口下，既 Debug 源码，也能看到输出。

当然，也可以通过其他 mysql 客户端，或 Navicat 连接：

`1`	`mysql -uroot -P3307 -h127.0.0.1`

Debug 界面

小技巧

代码蒙灰

C/C++ 扩展有个 C_Cpp.dimInactiveRegions 参数，控制非活动区域代码变灰。

参考资料

MySQL 源码阅读 —— 问题 expanded from macro MYSQL_VERSION_MAJOR

Thu, 26 Aug 2021 00:00:00 +0000

问题描述

在执行 make 构建时可能会报错

Building C object storage/myisam/CMakeFiles/myisam.dir/mi_rfirst.c.o
In file included from /path/to/mysql-5.7.35/storage/perfschema/cursor_by_account.cc:28:
In file included from /path/to/mysql-5.7.35/include/my_global.h:57:
In file included from /Library/Developer/CommandLineTools/SDKs/MacOSX11.3.sdk/usr/include/c++/v1/math.h:309:
In file included from /Library/Developer/CommandLineTools/SDKs/MacOSX11.3.sdk/usr/include/c++/v1/type_traits:417:
In file included from /Library/Developer/CommandLineTools/SDKs/MacOSX11.3.sdk/usr/include/c++/v1/cstddef:37:
/path/to/mysql-5.7.35/version:1:1: error: expected unqualified-id
MYSQL_VERSION_MAJOR=5
^
/path/to/mysql-5.7.35/include/my_config.h:404:29: note: expanded from macro 'MYSQL_VERSION_MAJOR'
#define MYSQL_VERSION_MAJOR 5
                            ^

原因排查

通过 Homebrew 的 mysql@5.7.rb，找到了一个 PATCH。

在 MySQL 的 Commit 记录 Bug #31466846 RENAME THE VERSION FILE TO MYSQL_VERSION 找到了答案：

Bug #31466846 RENAME THE VERSION FILE TO MYSQL_VERSION
With new versions of boost, the build is broken on windows.
<version> is a header file which is part of C++11, but on win we
include our own VERSION instead, and the build breaks.

The solution is 'git mv VERSION MYSQL_VERSION', and adapt
cmake code accordingly.

Change-Id: I5211cf41fa83e879a25d4110dbb8933cd58da2f9
 8.0
 mysql-cluster-8.0.26  mysql-cluster-8.0.25 mysql-cluster-8.0.24 mysql-cluster-8.0.23 mysql-cluster-8.0.22 mysql-8.0.26 mysql-8.0.25 mysql-8.0.24 mysql-8.0.23 mysql-8.0.22
Tor Didriksen committed on 10 Jun 2020 
1 parent 6653b43 commit 51675ddb41661163c23e802a3e5eedb1344ce023

大概意思是：

version 是 C++11 的一个头文件，但 MySQL 以往都是用 VERSION 表示的版本号，在引入文件时又因 macOS 不区分文件大小写，产生了冲突，导致编译时报错中断。

在 macOS Big Sur 11.5 中的 SDK 是 MacOSX11.3.sdk，确实在 include 下存在 version 这么个头文件：

`1`	`/Library/Developer/CommandLineTools/SDKs/MacOSX11.3.sdk/usr/include/c++/v1/version`

但在 MacOSX11.1.sdk 及更老版本中，却没有这个文件。

每个版本的 Mac SDK 情况，可以参考下这个项目：

https://github.com/phracker/MacOSX-SDKs

所以产生问题的条件是：

MacOSX11.1.sdk 及以下系统中编译 MySQL 8.0.21 及更老版本（包括5.7.*）时，没问题；
MacOSX11.3.sdk 及以上版本中编译 MySQL 8.0.22 及更新版本时，没问题；
但 MacOSX11.3.sdk 及以上版本中编译 MySQL 8.0.21 及更老版本（包括5.7.*）时，有问题；

SDK 版本与 XCode 或 xcode-select 有关系。

可以通过 /Library/Developer/CommandLineTools/SDKs 目录来判断 SDK 版本。

解决方案

MySQL 8.0.22 及更新版本，官方已经修改了，但老版本怎么办？就按官方的方式修改下即可。

在执行 cmake 前，先修改2个地方：

文件 VERSION 重命名为 MYSQL_VERSION
文件 cmake/mysql_version.cmake 中 2 处代码，VERSION 替换为 MYSQL_VERSION

diff --git a/cmake/mysql_version.cmake b/cmake/mysql_version.cmake
index 43d731e..3031258 100644
--- a/cmake/mysql_version.cmake
+++ b/cmake/mysql_version.cmake
@@ -31,7 +31,7 @@ SET(DOT_FRM_VERSION "6")

 # Generate "something" to trigger cmake rerun when VERSION changes
 CONFIGURE_FILE(
-  ${CMAKE_SOURCE_DIR}/VERSION
+  ${CMAKE_SOURCE_DIR}/MYSQL_VERSION
   ${CMAKE_BINARY_DIR}/VERSION.dep
 )

@@ -39,7 +39,7 @@ CONFIGURE_FILE(

 MACRO(MYSQL_GET_CONFIG_VALUE keyword var)
  IF(NOT ${var})
-   FILE (STRINGS ${CMAKE_SOURCE_DIR}/VERSION str REGEX "^[ ]*${keyword}=")
+   FILE (STRINGS ${CMAKE_SOURCE_DIR}/MYSQL_VERSION str REGEX "^[ ]*${keyword}=")
    IF(str)
      STRING(REPLACE "${keyword}=" "" str ${str})
      STRING(REGEX REPLACE  "[ ].*" ""  str "${str}")

写好的脚本直接用：

1
2

mv VERSION MYSQL_VERSION
sed -i '' 's|${CMAKE_SOURCE_DIR}/VERSION|${CMAKE_SOURCE_DIR}/MYSQL_VERSION|g' cmake/mysql_version.cmake

参考资料

MySQL 源码阅读 —— macOS CLion 编译调试 MySQL 5.7

Wed, 25 Aug 2021 00:00:00 +0000

macOS + VSCode 版本看这里

环境信息

macOS Big Sur 11.5.2
CLion 2021.2
MySQL 5.7.35
CMake 3.21.1
openssl 1.1

2024.06 更新环境

macOS Sonama 14.5
CLion 2024.1
MySQL 5.7.35
CMake 3.28.1
openssl 1.1.1w

下载源码

从官网下载携带 boost 版本源码

下载链接：https://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-boost-5.7.35.tar.gz

也可以从 GitHub 上克隆代码，切换到指定 TAG 或分支。

Patch 源码

如果 MySQL <= 8.0.21，则需要执行以下脚本 Patch 源码：

1
2

mv VERSION MYSQL_VERSION
sed -i '' 's|${CMAKE_SOURCE_DIR}/VERSION|${CMAKE_SOURCE_DIR}/MYSQL_VERSION|g' cmake/mysql_version.cmake

具体原因，可参考文章：MySQL 源码 —— 问题 expanded from macro MYSQL_VERSION_MAJOR

创建目录

编译、安装、数据、配置等都统一到 cmake-build-debug 目录，方便管理、不与其他冲突。

为何是 cmake-build-debug 前缀，因为 CLion 中 CMake 的 Build directory 就是 cmake-build-debug，可自行修改。

`1`	`mkdir -p cmake-build-debug/{data,etc}`

配置 CMake

CMake options 配置如下：

-DWITH_DEBUG=1
-DDOWNLOAD_BOOST=1
-DDOWNLOAD_BOOST_TIMEOUT=60000
-DWITH_BOOST=boost
-DCMAKE_INSTALL_PREFIX=build_out
-DMYSQL_DATADIR=build_out/data
-DSYSCONFDIR=build_out/etc
-DMYSQL_TCP_PORT=3307
-DMYSQL_UNIX_ADDR=mysql-debug.sock

解释下上面的参数：

-DWITH_DEBUG=1                     # 开启DEBUG模式
-DDOWNLOAD_BOOST=1                 # boost不存在时自动下载
-DDOWNLOAD_BOOST_TIMEOUT=60000     # 下载boost的超时时间
-DWITH_BOOST=boost                 # boost目录，不存在时会自动下载到该目录
-DCMAKE_INSTALL_PREFIX=build_out   # MySQL安装目录，可在启动时指定`--basedir`覆盖
-DMYSQL_DATADIR=build_out/data     # MySQL数据目录，可在启动时指定`--datadir`覆盖
-DSYSCONFDIR=build_out/etc         # `my.cnf`默认目录，可在启动时指定`--defaults-file=file_name`覆盖
-DMYSQL_TCP_PORT=3307              # 如果本机已安装过MySQL，避免冲突换个别的
-DMYSQL_UNIX_ADDR=mysql-debug.sock # 默认/tmp/mysql.sock，避免冲突，此处相对与`--datadir`目录会自动创建

如果本机默认 OpenSSL 版本不是 1.1.1，需要在 CMake 选项中额外指定 openssl@1.1.1 版本的安装路径，比如：

`1`	`-DWITH_SSL=/opt/homebrew/Cellar/openssl@1.1/1.1.1w`

参考 MySQL 源码阅读 —— 问题 CMake：SSL version must be at least 1.1.1。

所有可选参数：MySQL Source-Configuration Options

运行 CMake

方法一：Tools > CMake > Reset Cache and Reload Project
方法二：View > Tool Windows > CMake > Reset Cache and Reload Project

执行完后，CMake 窗口输出如下内容表示执行成功，否则即失败：

/Applications/CLion.app/Contents/bin/cmake/mac/bin/cmake -DCMAKE_BUILD_TYPE=Debug -DWITH_DEBUG=1 -DDOWNLOAD_BOOST=1 -DDOWNLOAD_BOOST_TIMEOUT=60000 -DWITH_BOOST=boost -DCMAKE_INSTALL_PREFIX=build_out -DMYSQL_DATADIR=build_out/data -DSYSCONFDIR=build_out/etc -DMYSQL_TCP_PORT=3307 -DMYSQL_UNIX_ADDR=mysql-debug.sock -DCMAKE_DEPENDS_USE_COMPILER=FALSE -G "CodeBlocks - Unix Makefiles" /path/to/mysql-5.7.35

······
-- Configuring done
-- Generating done
-- Build files have been written to: /path/to/mysql-5.7.35/cmake-build-debug

编译 mysqld

点击 CLion 窗口右上角 Build 按钮或快捷键 ⌘+F9：

首次编译会比较慢，编译完成后输出如下内容：

====================[ Build | mysqld | Debug ]==================================
/Applications/CLion.app/Contents/bin/cmake/mac/bin/cmake --build /path/to/mysql-5.7.35/cmake-build-debug --target mysqld -- -j 3
[  0%] Built target regex
··· 中间日志省略 ···
[100%] Built target mysqld

Build finished

配置 my.cnf

如有其他定制化配置需要，可添加/修改 my.cnf

在 CMake 配置的 -DSYSCONFDIR=build_out/etc 目录下，创建 my.cnf 文件，并编辑：

1
2

[mysqld]
innodb_file_per_table = 1

初始化 mysqld

点击 CLion 窗口右上角 Edit Configurations...：

找到 mysqld，并配置 Program arguments：

Program arguments 配置内容：

`1`	`--initialize-insecure`

点击 CLion 窗口右上角 Run 图标或快捷键 ⌃+R，进行初始化：

初始化后，输出如下内容：

/path/to/mysql-5.7.35/cmake-build-debug/sql/mysqld --initialize-insecure
2021-08-25T05:35:14.403520Z 0 [Warning] TIMESTAMP with implicit DEFAULT value is deprecated. Please use --explicit_defaults_for_timestamp server option (see documentation for more details).
2021-08-25T05:35:14.403970Z 0 [ERROR] Can't find error-message file '/path/to/mysql-5.7.35/cmake-build-debug/build_out/share/errmsg.sys'. Check error-message file location and 'lc-messages-dir' configuration directive.
2021-08-25T05:35:14.405823Z 0 [Warning] Setting lower_case_table_names=2 because file system for /path/to/mysql-5.7.35/cmake-build-debug/build_out/data/ is case insensitive
2021-08-25T05:35:14.658572Z 0 [Warning] InnoDB: New log files created, LSN=45790
2021-08-25T05:35:15.068077Z 0 [Warning] InnoDB: Creating foreign key constraint system tables.
2021-08-25T05:35:15.214272Z 0 [Warning] No existing UUID has been found, so we assume that this is the first time that this server has been started. Generating a new UUID: 398f5a88-0566-11ec-9fc8-c1b33e1edaea.
2021-08-25T05:35:15.218653Z 0 [Warning] Gtid table is not ready to be used. Table 'mysql.gtid_executed' cannot be opened.
2021-08-25T05:35:16.089766Z 0 [Warning] 
2021-08-25T05:35:16.089804Z 0 [Warning] 
2021-08-25T05:35:16.090612Z 0 [Warning] CA certificate ca.pem is self signed.
2021-08-25T05:35:16.385026Z 1 [Warning] root@localhost is created with an empty password ! Please consider switching off the --initialize-insecure option.

此时，MySQL 已自动创建一个 root@localhost 账号，密码为空！

再将 Program arguments 配置中的 --initialize-insecure 删除！！！

因为初始化只需执行一次，后续的执行或 Debug 都会用到这里的配置，不删除就会报错。

开始 DEBUG

点击 CLion 窗口右上角 Debug 图标或快捷键 ⌃+D，开始 Debug：

通过已有客户端连接到 MySQL 服务器，比如：

`1`	`mysql -uroot -P3307 -h127.0.0.1`

也可以通过 Navicat 连接：

然后在客户端输入一条 SQL，CLion Debug 窗口就会提示：

常见问题

Warning 级别的错误，可忽略

CMake Error at cmake/boost.cmake

错误描述

此错误在执行 cmake 时会报错

CMake Error at cmake/boost.cmake:88 (MESSAGE):
  You can download it with -DDOWNLOAD_BOOST=1 -DWITH_BOOST=<directory>

  This CMake script will look for boost in <directory>.  If it is not there,
  it will download and unpack it (in that directory) for you.

  If you are inside a firewall, you may need to use an http proxy:

  export http_proxy=http://example.com:80

Call Stack (most recent call first):
  cmake/boost.cmake:245 (COULD_NOT_FIND_BOOST)
  CMakeLists.txt:536 (INCLUDE)

编译 MySQL 源码，CMake 需要配置 -DWITH_BOOST=<directory> 选项。

确认源码是否携带 `boost`

区分源码中是否携带有 boost 的方式有2种：

通过下载 URL 或源码文件名区分

1
2

https://cdn.mysql.com/Downloads/MySQL-5.7/mysql-5.7.35.tar.gz
https://cdn.mysql.com/Downloads/MySQL-5.7/mysql-boost-5.7.35.tar.gz

从 GitHub 下载的源码是不含 boost 的

带 `boost` 的源码安装

`1`	`cmake . -DWITH_BOOST=boost`

不带 `boost` 的源码安装

1
2
3

cmake . \
-DDOWNLOAD_BOOST=1 \
-DWITH_BOOST=<directory>

这是 MySQL 建议的构建方式。CMake 会到 <directory> 下查找符合版本要求的 boost，如果不存在则会下载并解压到该目录下。

执行构建后的输出示例：

...
-- MySQL 5.7.35
-- Packaging as: mysql-5.7.35-osx10.16-x86_64
-- DTRACE is enabled
-- Downloading boost_1_59_0.tar.gz to /path/to/mysql-server-mysql-5.7.35/boost
-- cd /path/to/mysql-server-mysql-5.7.35/boost; tar xfz /path/to/mysql-server-mysql-5.7.35/boost/boost_1_59_0.tar.gz
-- Found /path/to/mysql-server-mysql-5.7.35/boost/boost_1_59_0/boost/version.hpp
-- BOOST_VERSION_NUMBER is #define BOOST_VERSION 105900
-- BOOST_INCLUDE_DIR /path/to/mysql-server-mysql-5.7.35/boost/boost_1_59_0
...

或者手动下载并解压到某个目录，再在 WITH_BOOST 参数中指定 boost 目录：

wget https://nchc.dl.sourceforge.net/project/boost/boost/1.59.0/boost_1_59_0.tar.gz
tar -zxf boost_1_59_0.tar.gz
cmake . \
-DWITH_BOOST=<directory>

如果下载很慢，推荐提前手动下载 boost。

Warning: define bzero please_use_memset_rather_than_bzero

在构建过程中，可能会报如下 Warning

[ 31%] Building C object storage/myisammrg/CMakeFiles/myisammrg.dir/myrg_records.c.o
In file included from /path/to/mysql-5.7.35/storage/myisam/mi_page.c:25:
In file included from /path/to/mysql-5.7.35/storage/myisam/myisamdef.h:26:
In file included from /path/to/mysql-5.7.35/include/myisam.h:34:
/path/to/mysql-5.7.35/include/m_string.h:32:9: warning: 'bzero' macro redefined [-Wmacro-redefined]
#define bzero please_use_memset_rather_than_bzero
        ^
/Library/Developer/CommandLineTools/SDKs/MacOSX11.3.sdk/usr/include/secure/_strings.h:52:9: note: previous definition is here
#define bzero(dest, ...) \
        ^
In file included from /path/to/mysql-5.7.35/storage/myisammrg/myrg_records.c:24:
In file included from /path/to/mysql-5.7.35/storage/myisammrg/myrg_def.h:25:
In file included from /path/to/mysql-5.7.35/storage/myisammrg/../myisam/myisamdef.h:26:
In file included from /path/to/mysql-5.7.35/include/myisam.h:34:
/path/to/mysql-5.7.35/include/m_string.h:32:9: warning: 'bzero' macro redefined [-Wmacro-redefined]
#define bzero please_use_memset_rather_than_bzero
        ^
/Library/Developer/CommandLineTools/SDKs/MacOSX11.3.sdk/usr/include/secure/_strings.h:52:9: note: previous definition is here
#define bzero(dest, ...) \
        ^
1 warning generated.

MacOSX11.3.sdk 中定义 bzero 时的提示：

/Library/Developer/CommandLineTools/SDKs/MacOSX11.3.sdk/usr/include/secure/_strings.h:52:9: note: previous definition is here

#define bzero(dest, ...) \
		__builtin___memset_chk (dest, 0, __VA_ARGS__, __darwin_obsz0 (dest))
#endif

意思是 bzero 这个宏已经在 mysql 引入的文件中定义过了：

1
2
3

/path/to/mysql-5.7.35/include/m_string.h:32:9: warning: 'bzero' macro redefined [-Wmacro-redefined]

#define bzero please_use_memset_rather_than_bzero

而 mysql 中的宏定义却并非函数代码，反而提示应该用 memset 函数，而非 bzero 函数，此意是提示 MySQL 开发者后续要修改代码了。此处是用 redefined 来提示，并不对实际运行产生影响。在 MySQL 8.0 中已经没了此类提示。

所以，此类 Warning 我们可忽略。

expanded from macro MYSQL_VERSION_MAJOR

参考 MySQL 源码 —— 问题 expanded from macro MYSQL_VERSION_MAJOR

Cannot find appropriate system libraries for WITH_SSL=system

Cannot find appropriate system libraries for WITH_SSL=system.
Make sure you have specified a supported SSL version. 
Valid options are : 
system (use the OS openssl library), 
yes (synonym for system), 
</path/to/custom/openssl/installation>

CMake Error at cmake/ssl.cmake:63 (MESSAGE):
  Please install the appropriate openssl developer package.

Call Stack (most recent call first):
  cmake/ssl.cmake:280 (FATAL_SSL_NOT_FOUND_ERROR)
  CMakeLists.txt:568 (MYSQL_CHECK_SSL)

CMake 没找到 openssl 开发包。系统可能自带了 openssl，但却仅有软件，而没有开发包。故需要手动补上，本文使用 Brew 快速安装。

// 先检查是否已安装
// 为啥先检查？因为可能装其他软件的时候已经安装上此依赖了
brew list | grep openssl

// 如果没安装，则先安装（已安装则跳过此步）
brew install openssl@1.1

// 强行链接到 brew 安装的 openssl
brew link openssl@1.1 --force

// 再根据提示，配置环境变量
echo 'export PATH="/opt/homebrew/opt/openssl@1.1/bin:$PATH"' >> ~/.zshrc

CMake: SSL version must be at least 1.1.1

原因：系统默认 openssl 版本不是 1.1.1，需额外安装个 openssl@1.1，比如使用 brew install openssl@1.1。

然后 CMake 配置选项，增加 -DWITH_SSL=/opt/homebrew/Cellar/openssl@1.1/1.1.1w 以指定安装路径。

这样就可以使得 OpenSSL 多版本共存而不影响其他软件。

可参考文章 MySQL 源码阅读 —— 问题 CMake：SSL version must be at least 1.1.1。

编译 mysql 等工具

此前，我们只编译了 mysqld 服务器这一个软件。但我们需要 mysql 客户端，或 mysqldump 等其他工具时，也可以选择配置其他项，并点击 Build 就可以。

参考资料

MySQL 慢查询 —— 值类型与字段类型不一致的隐式转换

Tue, 24 Aug 2021 00:00:00 +0000

示例慢 SQL

`1`	`SELECT * FROM task_engine_base_data WHERE outer_task_id = 1001871`

场景上下文

数据表结构现状

为减少阅读干扰，已去除与本案例无关的字段及索引定义

CREATE TABLE `task_engine_base_data` (
  `id` bigint(20) unsigned NOT NULL AUTO_INCREMENT COMMENT '主键ID',
  `task_type_id` int(11) NOT NULL DEFAULT '0' COMMENT '任务类型ID',
  `outer_task_id` varchar(64) NOT NULL DEFAULT '' COMMENT '外部任务ID',
  PRIMARY KEY (`id`),
  KEY `idx_outer_id_type_id` (`outer_task_id`,`task_type_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='子任务规则表';

原因分析

慢SQL的EXPLAIN

表中存在索引 idx_outer_id_type_id(outer_task_id,task_type_id)。

字段定义 outer_task_id varchar(64) NOT NULL DEFAULT ''。

字段类型为字符串，但查询条件的值为整型，导致 MySQL 隐式转换。

列值会被转换成浮点数类型，即 CAST(col_name AS DOUBLE) = XXX，对列值进行了计算，无法使用索引。

解决方案

程序中强制转换值的类型，与数据库字段类型保持完全一致，避免隐式转换。

`1`	`SELECT * FROM task_engine_base_data WHERE outer_task_id = '1001871'`

或者使用 CAST 转换查询值：

`1`	`SELECT * FROM task_engine_base_data WHERE outer_task_id=CAST(1001871 AS CHAR)`

优化后的 SQL

`1`	`SELECT * FROM task_engine_base_data WHERE outer_task_id = '1001871'`

再看优化后的EXPLAIN

知识总结

两个需要比较的值，基本类型不一样时，会发生转换。

整型与字符串的比较，两个值都会被转换成浮点数后再比较。

对索引列进行计算，会导致无法使用索引。

参考资料

《MySQL 5.7 Reference Manual》Type Conversion in Expression Evaluation

MySQL 全局配置 --secure-file-priv

Thu, 19 Aug 2021 00:00:00 +0000

一则问题

在执行导出 INFORMATION_SCHEMA.OPTIMIZER_TRACE 内容到本地文件时：

`1`	`SELECT TRACE INTO DUMPFILE "optimizer_trace.txt" FROM INFORMATION_SCHEMA.OPTIMIZER_TRACE;`

报错提示如下：

`1`	`(1290, 'The MySQL server is running with the --secure-file-priv option so it cannot execute this statement')`

原因分析

查看系统变量 secure_file_priv：

SHOW VARIABLES LIKE "secure_file_priv";

+------------------+-------+
| Variable_name    | Value |
+------------------+-------+
| secure_file_priv | NULL  |
+------------------+-------+

MySQL 对于导入导出的目录是有限制的，只允许指定的目录才能导入导出。

此处变量值为 NULL，即没设置允许操作的目录，所以没法导出到文件。

知识解读

名词	含义
Command-Line Format	`--secure-file-priv=dir_name`
System Variable	`secure_file_priv`
Scope	`Global`
Dynamic	`No`
Type	`String`
Default Value	`platform specific`
Valid Values	`empty string`、`dirname`、`NULL`

secure_file_priv 这个变量被用于限制导入和导出的数据目录，比如 LOAD DATA 和 SELECT ... INTO OUTFILE 语句，以及 LOAD_FILE() 函数。这些操作限制了哪些用户拥有文件操作权限。

secure_file_priv 有些设置选项:

如果为空，不做目录限制，即任何目录均可以。
如果指定了目录，MySQL 会限制只能从该目录导入、或导出到该目录。目录必须已存在，MySQL 不会自动创建该目录。
如果设置为 NULL，MySQL 服务器禁止导入与导出功能。

该变量的默认值，是由编译时的 CMake 选项而定，具体可参考官方文档。

MySQL 服务器在启动时，会检查 secure_file_priv 变量值，如果值不安全会在错误日志中写一个 WARNING 级别的日志。以下情况属于不安全的设置：

值为空
值为--datadir目录或其子目录
所有用户均有权限访问的目录

比如当我设置为空时，错误日志中就多了这么条：

`1`	`[Warning] Insecure configuration for --secure-file-priv: Current value does not restrict location of generated files. Consider setting it to a valid, non-empty path.`

如果配置的目录并不存在，MySQL 服务器也会写一条错误日志。例如：

`1`	`[ERROR] Failed to access directory for --secure-file-priv. Please make sure that directory exists and is accessible by MySQL Server. Supplied value : /path/not/exist`

解决方案

如果变量值为 NULL，那么只能修改服务器配置：

修改 my.cnf 文件，在 [mysqld] 块下，如果没有 secure_file_priv 则新增

指定目录：secure_file_priv=/path/to/data

不限目录：secure_file_priv=

禁止操作：secure_file_priv=NULL
如果变量值为具体目录，则可以考虑导出到指定目录，或者从指定目录导出。
如果变量值为空，则可以使用任意目录。

参考资料

MySQL 5.7 Reference Manual: Server System Variables

PHP Homebrew 版本问题 dyld: Library not load

Mon, 16 Aug 2021 00:00:00 +0000

环境

macOS、Homebrew、PHP 7.1.x

问题

执行 php 时报错：

dyld: Library not loaded: /usr/local/opt/openldap/lib/libldap-2.4.2.dylib
  Referenced from: /usr/local/opt/php@7.1/bin/php
  Reason: image not found
[1]    24650 abort      php

起因

通过 brew 更新了其他有依赖此 Library 的软件

原因

更新其他软件时，也一并更新了依赖，导致 PHP 依赖的软件版本不符。

比如此案例中，PHP 依赖的 openldap 版本是 2.4.2，而实际最新安装的是 2.5.6。

解决

重新安装 PHP。例：

`1`	`brew reinstall shivammathur/php/php@7.1`

优秀内容分享

Thu, 12 Aug 2021 00:00:00 +0000

文章

软件幻灭（译） - by tonsky
[译] 管理源码分支的模式 - by ryougifujino
Go错误处理最佳实践 - by mohuishou
Golang 单元测试详尽指引 - by yukkizhang
Golang 汇编入门知识总结 - by ivansli
详解圈复杂度 - by Kaelzhang
变化驱动：正交设计 - by 袁英杰
为什么数据库会丢失数据 - by draveness

关于

Tue, 10 Aug 2021 00:00:00 +0000

关于我

Jioby

物理学不会，编程混饭吃。

记录是为了让自己没那么懒。

无善无恶心之体，有善有恶意之动。知善知恶是良知，为善去恶是格物。

联系我

Email: c2hvY2tlcmxpW2F0XWZveG1haWwuY29t
GitHub
SegmentFault
Stack Overflow
评论区

分享过

ETCQ - 轻量、美观、全功能 ETCD 跨平台桌面客户端，支持 macOS、Windows、Linux
Juggler - 小巧但功能实用的 PHP MySQL 操作库
Upfor - PHP 实现的轻量级 API 框架
ForkMan - 基于 pipe 实现的轻量级 PHP 多进程任务管理器
Spiker - 纯 Go 无依赖的实时规则计算引擎
cvt - Go 语言简单、安全的转换任意类型值，支持自定义类型
dingtalk - 钉钉 Go SDK（群机器人）

好资源

go-awesome - Go 教程、文档、大佬、包、工具等一千多个优秀资源
php-awesome - PHP 教程、文章、开源库、工具等近千个优秀资源

Go 语言规范 - 编码风格（2020）

Fri, 06 Nov 2020 00:00:00 +0000

当前版本: v1.0.20201106

GitHub: shockerli/go-code-guide

命名规则

站在调用者的角度，包不是给你自己用的
简洁、且见名知义
采用通用、大众熟知的缩写命名。比如buf而不是bufio
如果缩写的名字会产生歧义，则放弃或换个

文件名

整个应用或包的主入口文件应当是 main.go，或与应用名称简写相同。

比如：spiker 包的主入口文件是 spiker.go，应用的主入口文件是 main.go

包名

包名与目录名一致

如果一个目录下同时出现多个 package，则编译失败：
1

found packages pkg (a.go) and pb (b.go) in XXX
大多数使用命名导入的情况下，不需要重命名

少让调用者去起别名，除非名字太烂
全部小写，没有下划线、大写。错误示例MyPackage、my_package、myPackage
不用复数。例如net/url，而不是net/urls
不用信息量不足的名字。错误示例common、lib、util

导入包

如果程序包名称与导入路径的最后一个元素不匹配，则必须使用导入别名

import (
    client "example.com/client-go"
    trace "example.com/trace/v2"
)

在所有其他情况下，除非导入之间有直接冲突，否则应避免导入别名

import (
    "net/http/pprof"
    gpprof "github.com/google/pprof"
)

如遇重名，请保留标准包而别名自定义或第三方包
在非测试文件（*_test.go）中，禁止使用 . 来简化导入包的对象调用
禁止使用相对路径导入（./subpackage），所有导入路径必须符合 go get 标准

驼峰命名法

常量、变量、类型、结构体、接口、函数、方法、属性等，全部使用驼峰法 MixedCaps 或 mixedCaps。

下划线开头的命名更不允许，Go 语言的公私有统一用大小写开头来区分。

但有个例外，为了对相关的测试用例进行分组，函数名可能包含下划线，如：TestMyFunction_WhatIsBeingTested。

Bad:

`1`	`const ROLE_NAME = 10`

Good:

`1`	`const RoleName = 10`

常量

如果是枚举类型的常量，需要先创建相应类型

type Scheme string

const (
    Http  Scheme = "http"
    Https Scheme = "https"
)

如果模块的功能较为复杂、常量名称容易混淆的情况下，为了更好地区分枚举类型，可以使用完整的前缀

type Symbol string

const (
    SymbolAdd Symbol = "+"
    SymbolSub Symbol = "-"
)

变量

在相对简单的环境（对象数量少、针对性强）中，可以将一些名称由完整单词简写为单个字母
- user 可以简写为 u
- userId 可以简写 uid
若变量类型为 bool 类型，则名称应以 Has、Is、Can 或 Allow 开头

var isExist bool
var hasConflict bool
var canManage bool
var allowGitHook bool

URL

URL 命名全部小写
用正斜杠 / 表明层级关系
使用连字符 - 来提高长路径中名称的可读性
不得在 URL 中使用下划线 _
URL 结尾不应包含正斜杠 /
文件扩展名不应包含在 URL 中
URL 需见名知意，但不可暴露服务器架构

Bad:

/GetUserInfo
/photos_path
/My-Folder/my-doc/
/user/user-list

Good:

1
2

/user/list
/user/operator-logs

函数/方法名

不要画蛇添足
长命名并不会使其更具可读性，一份有用的说明文档通常比额外的长名更有价值

Bad:

`1`	`once.DoOrWaitUntilDone(f)`

Good:

`1`	`once.Do(f)`

在 pkg 包中名为 New 的函数会返回一个 pkg.Pkg 类型的值

`1`	`q := list.New() // q is a *list.List`

当 pkg 包中某个函数的返回值类型为 pkg.Pkg （或 *pkg.Pkg ）时，函数名应省略类型名

1
2

start := time.Now()                                  // start is a time.Time
t, err := time.Parse(time.Kitchen, "6:06PM")         // t is a time.Time

当函数返回的值类型为 pkg.T 且 T 不为 Pkg 时，函数名应包含 T 以便让用户代码更易理解

1
2

ticker := time.NewTicker(d)          // ticker is a *time.Ticker
timer := time.NewTimer(d)            // timer is a *time.Timer

获取器/设置器

Go 并不对获取器（getter）和设置器（setter）提供自动支持。针对某个变量或字段，获取器名字无需携带 Get，设置器名字以 Set 开头。

若你有个名为 owner （小写，未导出）的字段，其获取器应当名为 Owner（大写，可导出）而非 GetOwner。

Bad:

owner := obj.GetOwner()
if owner != user {
    obj.SettingOwner(user)
}

Good:

owner := obj.Owner()
if owner != user {
    obj.SetOwner(user)
}

若函数或方法为判断类型（返回值主要为 bool 类型），则名称应以 Has、Is、Can 或 Allow 等判断性动词开头

func HasPrefix(name string, prefixes []string) bool { ... }
func IsEntry(name string, entries []string) bool { ... }
func CanManage(name string) bool { ... }
func AllowGitHook() bool { ... }

接口名

按照约定，只包含一个方法的接口应当以该方法的名称加上 -er 后缀来命名，如 Reader、Writer、Formatter/CloseNotifier 等。

名词用于接口名，动词用于接口的方法名。

1
2
3

type Reader interface {
	Read(p []byte) (n int, err error)
}

Error

Error 类型的命名以 Error 结尾

1
2
3

type ParseError struct {
    Line, Col int
}

Error 类型的变量，以 Err开头

`1`	`var ErrBadAction = errors.New("somepkg: a bad action was performed")`

返回类型为 Error 的变量缩写采用 err

func foo() {
    res, err := somepkgAction()
    if err != nil {
        if err == somepkg.ErrBadAction {
        }
        if pe, ok := err.(*somepkg.ParseError); ok {
             line, col := pe.Line, pe.Col
             // ....
        }
    }
}

其他

包内容的名字不可以包名开头，因为无需重复包名

http 包提供的 HTTP 服务名为 http.Server ，而非 HTTPServer 。用户代码通过 http.Server 引用该类型，因此没有歧义。

不同包中的类型名可以相同，因为客户端可通过包名区分它们

例如，标准库中含有多个名为 Reader 的类型，包括 jpeg.Reader 、 bufio.Reader 和 csv.Reader。每个包名搭配 Reader 都是个不错的类型名。

名词缩写表

缩写名	说明
`ctx`	`Context` 或相关，比如 `gin.Context`

分号

Go 其实也是用分号（;）来结束语句，但 Go 与 JavaScript 一样不建议给单一语句末尾加分号，因为编译器会自动加分号。

像如下语句是完全可以的：

`1`	`go func() { for { dst <- <-src } }()`

通常 Go 程序只在诸如 for 循环子句这样的地方使用分号，以此来将初始化器、条件及增量元素分开。如果你在一行中写多个语句，也需要用分号隔开。

1
2
3

if err := f(); err != nil {
    g()
}

也是因为这个原因，函数或控制语句的左大括号绝不能放在下一行。

if i < f()  // 报错
{           // 报错
    g()
}

圆括号

控制结构（if、for 和 switch）不需要圆括号，语法上就不需要

文档

README、项目文档、接口文档等，中文文档的排版参考：中文文案排版指北

注释

所有导出对象必须注释说明其用途，非导出对象根据情况进行注释
如果对象可数且无明确指定数量的情况下，一律使用单数形式和一般进行时描述，否则使用复数形式
包、函数、方法和类型的注释说明都是一个完整的句子
句子类型的注释首字母均需大写，短语类型的注释首字母需小写
注释的单行长度不能超过 80 个字符，超过请强制换行
可导出对象的注释，必须以对象的名称作为开头

// FileInfo is the interface that describes a file and is returned by Stat and Lstat
type FileInfo interface { ...

// HasPrefix returns true if name has any string in given slice as prefix
func HasPrefix(name string, prefixes []string) bool { ...

单行注释&多行注释

两种注释风格，单行注释 //，多行注释 /* ... */
多行注释仅用于包级别的文档注释，除此之外请用单行注释。包注释一般放置到 doc.go 文件，且该文件仅包含文档注释内容
单行注释符号与内容之间，请用一个空格隔开

Bad:

`1`	`//Comments`

Good:

`1`	`// Comments`

GoLand 可设置自动格式化：

Preferences > Editor > Code Style > Go > Other 勾选上 Add leading space to comments

包注释

包级别的注释就是对包的介绍，只需在同个包的任一源文件中说明即可有效
对于 main 包，一般只有一行简短的注释用以说明包的用途，且以项目名称开头

1
2

// Write project description
package main

对于一个复杂项目的子包，一般情况下不需要包级别注释，除非是代表某个特定功能的模块
对于简单的非 main 包，也可用一行注释概括
对于相对功能复杂的非 main 包，一般都会增加一些使用示例或基本说明，且以 Package <name> 开头

/*
Package http provides HTTP client and server implementations.
...
*/
package http

特别复杂的包说明，可单独创建 doc.go 文件来加以说明

函数与方法

如果一句话不足以说明全部问题，则可换行继续进行更加细致的描述

1
2

// Copy copies file from source to target path.
// It returns false and error when error occurs in underlying function calls.

若函数或方法为判断类型（返回值主要为 bool 类型），则以 <name> returns true if 开头

1
2

// HasPrefix returns true if name has any string in given slice as prefix.
func HasPrefix(name string, prefixes []string) bool { ...

结构、接口及其它类型

类型的定义一般都以单数形式描述：

1
2

// Request represents a request to run a command.
type Request struct { ...

如果为接口，则一般以以下形式描述：

1
2

// FileInfo is the interface that describes a file and is returned by Stat and Lstat.
type FileInfo interface { ...

如果结构体属性较多，需对属性添加注释

// Var variable for expression
type Var struct {
    Key   string      `json:"key"`   // variable key
    Value interface{} `json:"value"` // value
    Desc  string      `json:"desc"`  // variable description
}

其他说明

当某个部分等待完成时，可用 TODO: 开头的注释来提醒维护人员。
当某个部分存在已知问题进行需要修复或改进时，可用 FIXME: 开头的注释来提醒维护人员。
当需要特别说明某个问题时，可用 NOTE: 开头的注释：

1
2
3

// NOTE: os.Chmod and os.Chtimes don't recognize symbolic link,
// which will lead "no such file or directory" error.
return os.Symlink(target, dest)

格式化

我们没有太多可选的余地，因为 Go 已经规范好了，在 Go 世界没有此类战争。

缩进

缩进统一采用4个空格，禁用制表符。

EditorConfig 设置：

1
2
3

[{Makefile,go.mod,go.sum,*.go}]
indent_style = tab
indent_size = 4

或 GoLand 设置：

Preferences > Editor > Code Style > Go > Tabs and Indents

空行

适当增加空行以保持代码段落清晰

其他

函数分组与顺序

函数应按粗略的调用顺序排序

同一文件中的函数应按接收者分组

导出的函数应先出现在文件中，放在 struct、const 和 var 定义的后面。
在定义类型之后，但在接收者的其余方法之前，可能会出现一个 newXYZ() / NewXYZ()。
由于函数是按接收者分组的，因此普通工具函数应在文件末尾出现。
因此，一般一个 struct 及相关方法组织为一个文件。

Bad:

func (s *something) Cost() {
    return calcCost(s.weights)
}

type something struct{ ... }

func calcCost(n int[]) int {...}

func (s *something) Stop() {...}

func newSomething() *something {
    return &something{}
}

Good:

type something struct{ ... }

func newSomething() *something {
    return &something{}
}

func (s *something) Cost() {
    return calcCost(s.weights)
}

func (s *something) Stop() {...}

func calcCost(n int[]) int {...}

减少嵌套

Bad:

for _, v := range data {
    if v.F1 == 1 {
        v = process(v)
        if err := v.Call(); err == nil {
            v.Send()
        } else {
            return err
        }
    } else {
        log.Printf("Invalid v: %v", v)
    }
}

Good:

for _, v := range data {
    if v.F1 != 1 {
        log.Printf("Invalid v: %v", v)
        continue
    }

    v = process(v)
    if err := v.Call(); err != nil {
        return err
    }
    v.Send()
}

不必要的 else

多数时候，我们可以把 else 分支里的代码提取为初始化。

Bad:

var a int
if b {
    a = 100
} else {
    a = 10
}

Good:

a := 10
if b {
    a = 100
}

全局变量声明

全局变量，必须使用 var 关键字
请勿指定类型，除非它与表达式的类型不同

Bad:

var a string = "abc"
var s string = F()
    
func F() string { return "A" }

Good:

var a = "abc"
// 由于 F() 已经明确了返回一个字符串类型，因此我们没有必要显式指定 s 的类型
var s = F()
    
func F() string { return "A" }

如果表达式的类型与所需的类型不完全匹配，请指定类型

type myError struct{}

func (myError) Error() string { return "error" }

func F() myError { return myError{} }

var err error = F()
// F() 返回一个 myError 类型的实例，但是我们要 error 类型

局部变量声明

如果将变量明确设置为某个值，则应使用短变量声明形式（:=）

Bad:

`1`	`var s string = "abc"`

Good:

`1`	`s := "abc"`

如果变量专用于引用，则使用 var 关键字更合适

func s() {
    var s string
    f(&s)
}

如果变量是返回值，则定义在函数返回类型中

func f(list []int) (filtered []int) {
    for _, v := range list {
        if v > 10 {
            filtered = append(filtered, v)
        }
    }
    return
}

import 包导入分组与排序

同一文件，如果导入多个包，对其进行分组
标准包、第三方包、自定义包，分别分组、空行分隔、排序

Bad:

import "a"
import "golang.org/x/sys"
import "runtime"
import "github.com/gin-gonic/gin"
import "b"
import "fmt"

Good:

import (
    "fmt"
    "runtime"

    "a"
    "b"

    "github.com/gin-gonic/gin"
    "golang.org/x/sys"
)

GoLand 设置如下：

相似的声明进行分组

对于 var、const、type 等声明语句：

将相似的声明放在一个组内

Bad:

const a = 1
const b = 2

var a = 1
var b = 2

type Area float64
type Volume float64

Good:

const (
    a = 1
    b = 2
)

var (
    a = 1
    b = 2
)

type (
    Area float64
    Volume float64
)

仅将相关的声明放在一组，不要将不相关的声明放在一组

Bad:

type Operation int

const (
    Add Operation = iota + 1
    Subtract
    Multiply
    RoleName = "Role Name"
)

Good:

type Operation int

const (
    Add Operation = iota + 1
    Subtract
    Multiply
)

const RoleName = "Role Name"

分组使用的位置没有限制，函数内也可使用分组

Bad:

func f() string {
    var red = color.New(0xff0000)
    var green = color.New(0x00ff00)
    var blue = color.New(0x0000ff)

    // ...
}

Good:

func f() string {
    var (
        red   = color.New(0xff0000)
        green = color.New(0x00ff00)
        blue  = color.New(0x0000ff)
    )

    // ...
}

函数/方法的参数/返回类型顺序

简单类型优先于复杂类型

Bad:

`1`	`func F(u User, n int) {}`

Good:

`1`	`func F(n int, u User) {}`

尽可能将同种类型的参数放在相邻位置，则只需写一次类型

Bad:

`1`	`func F(a int, c string, b int) {}`

Good:

`1`	`func F(a, b int, c string) {}`

error 永远在最后一个返回类型

Bad:

`1`	`func F() (error, int) {}`

Good:

`1`	`func F() (int, error) {}`

结构体属性顺序

我们先看下示例：

结构体A - 定义：

struct {
	a string
	c string
	b bool
	d bool
}

结构体A - 大小为40，内存布局图：

对比，结构体B - 定义：

struct {
	a string
	b bool
	c string
	d bool
}

结构体B - 大小为48，内存布局图：

我们发现，结构体的属性顺序不同，占用的内存大小和布局是完全不同的。

那我们因此约定：将相同类型的属性尽量放置在一起。即，推荐结构体A中的定义顺序。

结构体中的嵌入

嵌入式类型（例如mutex）应位于结构体内的字段列表的顶部，并且必须有一个空行将嵌入式字段与常规字段分隔开。

Bad:

type Client struct {
    version int
    http.Client
}

Good:

type Client struct {
    http.Client

    version int
}

初始化结构体时必须指定字段名

必须在初始化结构体时指定字段名，否则相关工具和 Review 都不给过。如果不指定，会对代码重构造成不可预期的后果。

Bad:

`1`	`k := User{"John", "Doe", true}`

Good:

k := User{
    FirstName: "John",
    LastName: "Doe",
    Admin: true,
}

唯一例外：如果有3个或更少的字段，则可以在测试表中省略字段名

tests := []struct{
}{
    op Operation
    want string
}{
    {Add, "add"},
    {Subtract, "subtract"},
}

缩小变量作用域

如果有可能，尽量缩小变量作用范围，除非它与减少嵌套的规则冲突

Bad:

err := ioutil.WriteFile(name, data, 0644)
if err != nil {
    return err
}

Good:

1
2
3

if err := ioutil.WriteFile(name, data, 0644); err != nil {
    return err
}

如果需要在 if 之外使用函数调用的结果，则不应尝试缩小范围

Bad:

if data, err := ioutil.ReadFile(name); err == nil {
    err = cfg.Decode(data)
    if err != nil {
    return err
    }

    fmt.Println(cfg)
    return nil
} else {
    return err
}

Good:

data, err := ioutil.ReadFile(name)
if err != nil {
    return err
}

if err := cfg.Decode(data); err != nil {
    return err
}

fmt.Println(cfg)
return nil

Error 信息不应大写或标点符号结束

Bad:

`1`	`fmt.Errorf("Something bad.")`

Good:

`1`	`fmt.Errorf("something bad")`

Error 描述信息是需要被包裹或引用描述的，那么下面的代码将告诉我们为何不应如此：

`1`	`log.Printf("Reading %s: %v", filename, err)`

slice

nil 是一个有效长度为 0 的 slice

零值切片可立即使用，无需调用make创建

Bad:

nums := []int{}
// or, nums := make([]int, 0)

if add1 {
    nums = append(nums, 1)
}

Good:

var nums []int

if add1 {
    nums = append(nums, 1)
}

要检查切片是否为空，请始终使用 len(s) == 0，不要检查 nil

Bad:

1
2
3

func isEmpty(s []string) bool {
    return s == nil
}

Good:

1
2
3

func isEmpty(s []string) bool {
    return len(s) == 0
}

对于需要序列化的切片，则必须使用make初始化

Bad:

var v []int
s, _ := json.Marshal(v)
println(string(s))
// output: null

Good:

v := make([]int, 0)
s, _ := json.Marshal(v)
println(string(s))
// output: []

参考资料

解决 CSDN 恶心人的一些办法

Sun, 25 Oct 2020 00:00:00 +0000

原因不说了。。。

屏蔽搜索结果

无论哪个搜索引擎，在搜索一些技术问题时，此站都会占据太多入口，尤其是某度。为了省心省力，搜索时添加 -csdn 关键字，直接屏蔽对此站的搜索结果。

例如需要搜索 python 时，加个 -csdn，变成 python -csdn 或 -csdn python

Alfred、uTools 等工具或者浏览器中的搜索引擎，可配置类似于 https://www.google.com/search?q={query} -csdn，一劳永逸。

绿化内容页面

猴油脚本：CSDNGreener

该脚本到 2021.10.25 为止，依然在不断更新维护，开源、无后门，GitHub。如果此脚本无法使用，也可在 GreasyFork 上找其他 CSDN 的脚本代替。

教程看脚本官方说明即可。先安装 Chrome 脚本管理插件 Tampermonkey，再安装 CSDNGreener

Gin 框架绑定 JSON 参数使用 jsoniter

Sun, 26 Jul 2020 00:00:00 +0000

Gin 框架中，处理 JSON 格式的参数绑定时，默认采用的标准包 encoding/json，然而标准包不能满足我们的一些要求，比如兼容字符串整型、PHP空数组、时间格式等。

最简单的方式

开发 API 时，需要用到 ShouldBindJSON 绑定传入的参数到结构体：

// github.com/gin-gonic/gin@v1.6.3/context.go:643

// ShouldBindJSON is a shortcut for c.ShouldBindWith(obj, binding.JSON).
func (c *Context) ShouldBindJSON(obj interface{}) error {
	return c.ShouldBindWith(obj, binding.JSON)
}

Gin 默认采用 encoding/json 包：

// github.com/gin-gonic/gin@v1.6.3/internal/json/json.go
// +build !jsoniter

package json

import "encoding/json"

var (
	// Marshal is exported by gin/json package.
	Marshal = json.Marshal
	// Unmarshal is exported by gin/json package.
	Unmarshal = json.Unmarshal
	// MarshalIndent is exported by gin/json package.
	MarshalIndent = json.MarshalIndent
	// NewDecoder is exported by gin/json package.
	NewDecoder = json.NewDecoder
	// NewEncoder is exported by gin/json package.
	NewEncoder = json.NewEncoder
)

同时我们看到还支持了 jsoniter

// github.com/gin-gonic/gin@v1.6.3/internal/json/jsoniter.go
// +build jsoniter

package json

import "github.com/json-iterator/go"

var (
	json = jsoniter.ConfigCompatibleWithStandardLibrary
	// Marshal is exported by gin/json package.
	Marshal = json.Marshal
	// Unmarshal is exported by gin/json package.
	Unmarshal = json.Unmarshal
	// MarshalIndent is exported by gin/json package.
	MarshalIndent = json.MarshalIndent
	// NewDecoder is exported by gin/json package.
	NewDecoder = json.NewDecoder
	// NewEncoder is exported by gin/json package.
	NewEncoder = json.NewEncoder
)

那我们怎么才能使用到 jsoniter 呢？源码中已经明确了编译tag：

`1`	`// +build jsoniter`

所以，我们只需在编译时带上这个 tag 就可以了，例如：

go build -tags=jsoniter main.go

// 或者
go run -tags=jsoniter main.go

自定义的方式

Gin 框架支持的 jsoniter 是默认配置 jsoniter.ConfigCompatibleWithStandardLibrary。当我们需要其他配置或添加一些自定义扩展（比如时间处理）时，就难受了。于是我们就要自己动手了~

翻开源码，我们能看到 binding.JSON 其实使用的是 jsonBinding{} 这个结构体：

// github.com/gin-gonic/gin@v1.6.3/binding/binding.go:73

// These implement the Binding interface and can be used to bind the data
// present in the request to struct instances.
var (
	JSON          = jsonBinding{}
	// 其他省略了...
)

翻开 jsonBinding 源码看看：

// github.com/gin-gonic/gin@v1.6.3/binding/json.go

type jsonBinding struct{}

func (jsonBinding) Name() string {
	return "json"
}

func (jsonBinding) Bind(req *http.Request, obj interface{}) error {
	if req == nil || req.Body == nil {
		return fmt.Errorf("invalid request")
	}
	return decodeJSON(req.Body, obj)
}

func (jsonBinding) BindBody(body []byte, obj interface{}) error {
	return decodeJSON(bytes.NewReader(body), obj)
}

发现实现了 BindingBody 这个接口：

// github.com/gin-gonic/gin@v1.6.3/binding/binding.go:36

// Binding describes the interface which needs to be implemented for binding the
// data present in the request such as JSON request body, query parameters or
// the form POST.
type Binding interface {
	Name() string
	Bind(*http.Request, interface{}) error
}

// BindingBody adds BindBody method to Binding. BindBody is similar with Bind,
// but it reads the body from supplied bytes instead of req.Body.
type BindingBody interface {
	Binding
	BindBody([]byte, interface{}) error
}

那接下来就简单了，我们只要实现了这个接口即可，例如：

package custom

import (
	"bytes"
	"fmt"
	"io"
	"net/http"

	jsoniter "github.com/json-iterator/go"

	"github.com/gin-gonic/gin/binding"
)

// BindingJSON 替换Gin默认的binding，支持更丰富JSON功能
var BindingJSON = jsonBinding{}

// 可以自定义jsoniter配置或者添加插件
var json = jsoniter.ConfigCompatibleWithStandardLibrary

type jsonBinding struct{}

func (jsonBinding) Name() string {
	return "json"
}

func (jsonBinding) Bind(req *http.Request, obj interface{}) error {
	if req == nil || req.Body == nil {
		return fmt.Errorf("invalid request")
	}
	return decodeJSON(req.Body, obj)
}

func (jsonBinding) BindBody(body []byte, obj interface{}) error {
	return decodeJSON(bytes.NewReader(body), obj)
}

func decodeJSON(r io.Reader, obj interface{}) error {
	decoder := json.NewDecoder(r)
	if binding.EnableDecoderUseNumber {
		decoder.UseNumber()
	}
	if binding.EnableDecoderDisallowUnknownFields {
		decoder.DisallowUnknownFields()
	}
	if err := decoder.Decode(obj); err != nil {
		return err
	}
	return validate(obj)
}

func validate(obj interface{}) error {
	if binding.Validator == nil {
		return nil
	}
	return binding.Validator.ValidateStruct(obj)
}

自定义 jsonBinding 已经写好了，可使用有2种方式：

1
2
3

// binding.JSON 替换成自定义的
ctx.ShouldBindWith(&params, binding.JSON)
ctx.ShouldBindBodyWith(&params, binding.JSON)

上述自定义的方式，还可以用于其他包，不仅限于 iterator。从这个方面体现出了 Gin 框架良好的接口设计👍

Go 字符串拼接的 7 种姿势

Thu, 19 Dec 2019 00:00:00 +0000

姿势一览

String Concat

`1`	`str += "test-string"`

String Sprintf

`1`	`str = fmt.Sprintf("%s%s", str, "test-string")`

String Join

`1`	`str = strings.Join([]string{str, "test-string"}, "")`

Buffer Write

1
2
3

buf := new(bytes.Buffer)
buf.WriteString("test-string")
str := buf.String()

Bytes Append

var b []byte
s := "test-string"
b = append(b, s...)
str := string(b)

String Copy

ts := "test-string"
n := 5
tsl := len(ts) * n
bs := make([]byte, tsl)
bl := 0

for bl < tsl {
    bl += copy(bs[bl:], ts)
}

str := string(bs)

String Builder

从 Go 1.10 版本开始，标准包 strings 提供 strings.Builder：

1
2
3

var builder strings.Builder
builder.WriteString("test-string")
str := builder.String()

Benchmark

性能测试:

package main

import (
    "bytes"
    "fmt"
    "strings"
    "testing"
)

const (
    sss = "hello world!"
    cnt = 10000
)

var expected = strings.Repeat(sss, cnt)

func BenchmarkStringConcat(b *testing.B) {
    var result string
    for n := 0; n < b.N; n++ {
        var str string
        for i := 0; i < cnt; i++ {
            str += sss
        }
        result = str
    }
    b.StopTimer()
    if result != expected {
        b.Errorf("unexpected result; got=%s, want=%s", string(result), expected)
    }
}

func BenchmarkStringSprintf(b *testing.B) {
    var result string
    for n := 0; n < b.N; n++ {
        var str string
        for i := 0; i < cnt; i++ {
            str = fmt.Sprintf("%s%s", str, sss)
        }
        result = str
    }
    b.StopTimer()
    if result != expected {
        b.Errorf("unexpected result; got=%s, want=%s", string(result), expected)
    }
}

func BenchmarkStringJoin(b *testing.B) {
    var result string
    for n := 0; n < b.N; n++ {
        var str string
        for i := 0; i < cnt; i++ {
            str = strings.Join([]string{str, sss}, "")
        }
        result = str
    }
    b.StopTimer()
    if result != expected {
        b.Errorf("unexpected result; got=%s, want=%s", string(result), expected)
    }
}

func BenchmarkBufferWrite(b *testing.B) {
    var result string
    for n := 0; n < b.N; n++ {
        buf := new(bytes.Buffer)
        for i := 0; i < cnt; i++ {
            buf.WriteString(sss)
        }
        result = buf.String()
    }
    b.StopTimer()
    if result != expected {
        b.Errorf("unexpected result; got=%s, want=%s", string(result), expected)
    }
}

func BenchmarkBytesAppend(b *testing.B) {
    var result string
    for n := 0; n < b.N; n++ {
        var bbb []byte

        for i := 0; i < cnt; i++ {
            bbb = append(bbb, sss...)
        }
        result = string(bbb)
    }
    b.StopTimer()
    if result != expected {
        b.Errorf("unexpected result; got=%s, want=%s", string(result), expected)
    }
}

func BenchmarkStringCopy(b *testing.B) {
    var result string
    for n := 0; n < b.N; n++ {
        tsl := len(sss) * cnt
        bs := make([]byte, tsl)
        bl := 0

        for bl < tsl {
            bl += copy(bs[bl:], sss)
        }

        result = string(bs)
    }
    b.StopTimer()
    if result != expected {
        b.Errorf("unexpected result; got=%s, want=%s", string(result), expected)
    }
}

func BenchmarkStringBuilder(b *testing.B) {
    var result string
    for n := 0; n < b.N; n++ {
        var builder strings.Builder

        for i := 0; i < cnt; i++ {
            builder.WriteString(sss)
        }

        result = builder.String()
    }
    b.StopTimer()
    if result != expected {
        b.Errorf("unexpected result; got=%s, want=%s", string(result), expected)
    }
}

测试结果:

BenchmarkStringConcat-4               19          61431933 ns/op        632845167 B/op     10005 allocs/op
BenchmarkStringSprintf-4              10         109283838 ns/op        1075688336 B/op    29688 allocs/op
BenchmarkStringJoin-4                 15          75854431 ns/op        632844905 B/op     10003 allocs/op
BenchmarkBufferWrite-4             10743            113597 ns/op          441616 B/op         13 allocs/op
BenchmarkBytesAppend-4             15578             73796 ns/op          645104 B/op         24 allocs/op
BenchmarkStringCopy-4              21416             55761 ns/op          245760 B/op          2 allocs/op
BenchmarkStringBuilder-4           15961             74010 ns/op          522224 B/op         23 allocs/op

从测试结果来看，语法中的字符串拼接操作性能是极其低下的，对于操作频繁的大字符串，我们需考虑用更高效的方式替代。

参考资料

How to efficiently concatenate strings

Go 挖坑指南: “cannot take the address of XXX” and “cannot call pointer method on XXX”

Thu, 28 Nov 2019 00:00:00 +0000

先看代码

package main

type B struct {
    Id int
}

func New() B {
    return B{}
}

func New2() *B {
    return &B{}
}

func (b *B) Hello() {
    return
}

func (b B) World() {
    return
}

func main() {
    // 方法的接收器为 *T 类型
    New().Hello() // 编译不通过

    b1 := New()
    b1.Hello() // 编译通过

    b2 := B{}
    b2.Hello() // 编译通过

    (B{}).Hello() // 编译不通过
    B{}.Hello()   // 编译不通过

    New2().Hello() // 编译通过

    b3 := New2()
    b3.Hello() // 编译通过

    b4 := &B{} // 编译通过
    b4.Hello() // 编译通过

    (&B{}).Hello() // 编译通过

    // 方法的接收器为 T 类型
    New().World() // 编译通过

    b5 := New()
    b5.World() // 编译通过

    b6 := B{}
    b6.World() // 编译通过

    (B{}).World() // 编译通过
    B{}.World()   // 编译通过

    New2().World() // 编译通过

    b7 := New2()
    b7.World() // 编译通过

    b8 := &B{} // 编译通过
    b8.World() // 编译通过

    (&B{}).World() // 编译通过
}

输出结果

./main.go:25:10: cannot call pointer method on New()
./main.go:25:10: cannot take the address of New()
./main.go:33:10: cannot call pointer method on B literal
./main.go:33:10: cannot take the address of B literal
./main.go:34:8: cannot call pointer method on B literal
./main.go:34:8: cannot take the address of B literal

问题总结

假设 T 类型的方法上接收器既有 T 类型的，又有 *T 指针类型的，那么就不可以在不能寻址的 T 值上调用 *T 接收器的方法

&B{} 是指针，可寻址
B{} 是值，不可寻址
b := B{} b是变量，可寻址

延伸思考

Go 语言规范中规定了可寻址(addressable)对象的定义：

For an operand x of type T, the address operation &x generates a pointer of type *T to x. The operand must be addressable, that is, either a variable, pointer indirection, or slice indexing operation; or a field selector of an addressable struct operand; or an array indexing operation of an addressable array. As an exception to the addressability requirement, x may also be a (possibly parenthesized) composite literal. If the evaluation of x would cause a run-time panic, then the evaluation of &x does too.

对于类型为 T 的操作数 x，地址操作符 &x 将生成一个类型为 *T 的指针指向 x。操作数必须可寻址，即，变量、间接指针、切片索引操作，或可寻址结构体的字段选择器，或可寻址数组的数组索引操作。作为可寻址性要求的例外，x 也可为（圆括号括起来的）复合字面量。如果对 x 的求值会引起运行时恐慌，那么对 &x 的求值也会引起恐慌。

For an operand x of pointer type *T, the pointer indirection *x denotes the variable of type T pointed to by x. If x is nil, an attempt to evaluate *x will cause a run-time panic.

对于指针类型为 *T 的操作数 x，间接指针 *x 表示类型为 T 的值指向 x。若 x 为 nil，尝试求值 *x 将会引发运行时恐慌。

以下几种是可寻址的：

一个变量: &x
指针引用(pointer indirection): &*x
slice 索引操作(不管 slice 是否可寻址): &s[1]
可寻址 struct 的字段: &point.X
可寻址数组的索引操作: &a[0]
composite literal 类型: &struct{ X int }{1}

下列情况 x 是不可以寻址的，不能使用 &x 取得指针：

字符串中的字节
map 对象中的元素
接口对象的动态值(通过 type assertions 获得)
常数
literal 值(非 composite literal)
package 级别的函数
方法 method(用作函数值)
中间值(intermediate value):
- 函数调用
- 显式类型转换
- 各种类型的操作（除了指针引用 pointer dereference 操作 *x):
  - channel receive operations
  - sub-string operations
  - sub-slice operations
  - 加减乘除等运算符

有几个点需要解释下：

常数为什么不可以寻址?

如果可以寻址的话，我们可以通过指针修改常数的值，破坏了常数的定义。

map 的元素为什么不可以寻址？

两个原因，如果对象不存在，则返回零值，零值是不可变对象，所以不能寻址，如果对象存在，因为 Go 中 map 实现中元素的地址是变化的，这意味着寻址的结果是无意义的。

为什么 slice 不管是否可寻址，它的元素读是可以寻址的？

因为 slice 底层实现了一个数组，它是可以寻址的。

为什么字符串中的字符/字节又不能寻址呢？

因为字符串是不可变的。

规范中还有几处提到了 addressable:

调用一个接收者为指针类型的方法时，使用一个可寻址的值将自动获取这个值的指针
++、-- 语句的操作对象必须可寻址或者是 map 的索引操作
赋值语句 = 的左边对象必须可寻址，或者是 map 的索引操作，或者是 _
上条同样使用 for ... range 语句

参考资料

Go 语言优秀资源整理，为项目落地加速🏃[2023.12.28更新]

Thu, 31 Oct 2019 00:00:00 +0000

Go 语言优秀资源整理，为项目落地加速🏃

在 GitHub 上稳定更新，觉得不错请点个 Star ❤️

如转载分享，请保留出处，谢谢 😆

原文地址: https://shockerli.net/post/go-awesome

GitHub: https://github.com/shockerli/go-awesome

官网: https://golang.org

国内官网镜像(访问快): https://golang.google.cn

GitHub: https://github.com/golang/go

开发者平台: https://go.dev

Wiki: https://github.com/golang/go/wiki

官方博客: https://blog.golang.org

指导原则

简单性

复杂性把可读的程序变得不可读，复杂性终结了很多软件项目。
可读性

代码是给人看的，代码阅读时长远超编写。程序必须可维护，那可读是第一步。
生产率

拥有众多的工具集和基础库，可以很简单方便的完成绝大多数工作。编译速度足够快，拥有动态语言的高效，但却不会面临动态语言不可靠的问题。自带编程规范，使得团队代码一致，也帮助开发者发现和避免潜在的错误。

Awesome

GitHub Topic for Go
Awesome Go
golang-open-source-projects - 含描述的中文版 Awesome Go
Awesome Go Storage - Go 存储相关开源项目
awesome-go-China - 专门收集华人写的开源项目
Go Patterns - Go 版本的设计模式
sevenelevenlee/go-patterns - 设计模式
GoF 设计模式
greyireland/algorithm-pattern - 算法模板
go-algorithms - Go 版本的数据结构和算法
Go 学习之路 - Go 学习资料汇集
Go 开发者路线图
ReposHub-Go
VisuAlgo - 数据结构和算法动态可视化

大牛/组织

Go 语言方面的大牛，或者优秀 Go 项目的组织

大牛

mattn - 写了数百个 Go 项目，盛产优质项目
Unknwon - gogs/macaron 等项目作者，《The Way to Go》译者
Jinzhu - gorm/QOR 等作者
valyala - fasthttp/fastjson 等作者
vmihailenco - go-redis/go-pg 等作者
kataras - iris 作者
bep
spf13
tidwall

组织

Gorilla web toolkit
loov
HashiCorp
lestrrat-go
Uber - Open Source Software at Uber
Stretchr - Tame your unstructured data
Containous
Charm - 提供一系列优秀的命令行工具和库

文档

Proposing Changes to Go - Go 语言设计文档
Go 语言设计与实现
Go 语言原本
Go 101 （中文版）
Go 官方入门指南
Go 语言高级编程
Go 专家编程
Go 编程语言
Golang 标准库文档(官方/中文)
Go 语言标准库 在线阅读
《The Way to Go》中文版
Go 语言圣经（中文版）
Go语言入门教程
Go 实战开发
Go Web 应用开发
Go 学习技能树
实效 Go 编程
Go 语言语法详解笔记
Go 语言学习资料与社区索引
Go database/sql tutorial
GO 命令教程
深入解析 Go
Go 语言博客实践
学习 Go 语言
Go2编程指南
Go database/sql tutorial - Go 数据库(database/sql)开发使用教程
Go Web Examples - Go Web 开发示例
Go Assembly - 通过示例介绍 Go 汇编功能
Ultimate Go - 终极 Go 学习指南，包含大量文档化的代码和程序分析
Go 教程 - 腾讯云开发者手册
Golang 开发笔记
golang-notes - Go 源码阅读笔记
The Little Go Book （中文版）
Learning Go — from zero to hero
go-internals - 深入理解 Go
Learn Go with Tests
Go基础教程
7天用Go从零实现系列
Go 语言高性能编程
Golang - 100天从新手到大师 - 某培训机构的部分教程内容
hoanhan101/algo - 107+ 编码面试问题，包括详细的解决方案，测试用例和程序分析
over-golang - Go 学习笔记
over-algorithm - Go 算法笔记
learngo - 1000+ Go 示例、练习和测试
go-leetcode - LeetCode 实现
玩转 GO - 《Mastering GO》中文译本
leetcode-cookbook - LeetCode in Go
Golang修养之路
Go语法树入门
Go Concurrency Patterns - Go 并发模式场景集合
yezihack/algo - 数据结构与算法
golang-cheat-sheet-cn - GitHub上最流行的Golang代码速查表中文翻译版本

指南

Uber Go Style Guide
The Go Programming Language Specification （中文老版）
实效 Go 编程
Go Code Review Comments
Go Code Convention
Go FAQ 101
Go Details 101
Go Tips 101
Go Quizzes 101
go-advices
go-perfbook - 编写和优化Go代码
Practical Go: Real world advice for writing maintainable Go programs （Go 语言实践：编写可维护的程序的建议）
Go 安全指南 - 腾讯发布的《代码安全指南》Go 语言篇
Go Concurrency Guide
Go Recipes - 一些技巧

文章

Go Training - 大量优质 Go 相关文章、视频等资料
Go语言爱好者周刊
Go 夜读 - Go 标准包、开源项目源代码阅读讲解
Go-Questions - Go 语言学习入门和进阶知识
Go的50度灰：Golang新开发者要注意的陷阱和常见错误
Go 程序的性能优化及 pprof 的使用
gops - Go语言程序查看和诊断工具
Go源码分析——http.ListenAndServe()是如何工作的
GoConvey 框架使用指南
GoStub 框架使用指南
GoMock 框架使用指南
Monkey 框架使用指南
The Evolution of a Go Programmer - Go 程序员的进化之路

付费教程

基于 Go 语言构建企业级的 RESTful API 服务 - 掘金小册
Go语言核心36讲 - 极客时间

成品项目

Shiori - 书签管理
studygolang - Go 语言中文网
mkcert - 生成本地 HTTPS 加密证书的工具
cfssl - Cloudflare 开源的 PKI 和 TLS 工具集
Rainbond - 基于Docker、Kubernetes等容器技术的开源PaaS
NYADB2 - Go 实现的关系型数据库, 值得用于学习
EiBlog - 博客
pan-light - 不限速的百度网盘客户端, 基于 Go + Qt5 开发
BaiduPCS-Go - 百度网盘客户端（命令行）
daily-warm - 每天定时发邮件给你关心的人
pipe - 博客平台
mdr - 命令行下的 Markdown 阅读工具
miniflux - Feed 阅读器
golinks - 创建自定义书签、命令、搜索等
链滴笔记 - 桌面端笔记应用
wayback - 网页快照备份
bbs-go - 开源社区
OpenSCRM - 基于Go和React的企业微信私域流量管理系统
Answer - 问答社区
listmonk - 资讯、邮件列表管理工具（Web）
1Panel - Linux 服务器运维管理面板
Artalk - 自托管评论系统
memos - 笔记服务，具有移动客户端、浏览器扩展等生态
Fate - 命运（八字）起名

静态网站生成器

Hugo
jrnl
plenti
verless
ink
moul - 生成照片站点
zas

学习项目

1m-go-websockets - 该项目演示了如何用 Go 编写一个可以提供超过一百万个 websockets 连接、运行内存小于 1GB 的服务器
Go by Example - 通过实例学习 Go
IAM - 身份识别与访问管理系统（教学项目）
100-go-mistakes - 100 个 Go 常见错误

开源类库

Web 框架

Macaron - 一款具有高生产力和模块化设计的 Go Web 框架 国产
Beego - 一个使用 Go 的思维来帮助您构建并开发 Go 应用程序的开源框架 国产
Gin - 轻量 Web 框架
Iris - Web 开发框架
Revel
echo
Faygo - 国产
Teleport - Socket 框架
GoFrame - 国产
QOR - 系列应用开发组件包
DotWeb - 国产
REST Layer - REST API framework
Honeytrap
Ponzu
utron
muxie
Buffalo - 快速生成 Web 项目的开发工具
go-web-framework-benchmark
fiber - 一种 Express 风格的、基于 fasthttp 的 HTTP Web 框架
aah
pingcap/fn - 支持绑定任何方法，构建成 POST+JSON 接口
flamego - unknwon 开发的又一款 Web 框架
REST Layer - REST API 框架
rk-boot

业务框架

YAO - 使用 JSON 即可创建数据库模型、编写 API 接口、描述管理后台界面的应用引擎
GoAdminGroup/go-admin - 后台管理快速开发框架，与 laravel-admin 类似
wenjianzhang/go-admin - 基于 Gin + Vue 实现的后台框架
gin-vue-admin - 基于 Gin + Vue 实现的后台框架
goxygen - 基于 Go, React, MongoDB 技术实现的全栈应用生成器
nging - Go语言通用后台管理框架
snake - 业务API框架
PocketBase - 带有后台管理面板、文件和权限管理、集成 SQLite 数据库的单一文件后端服务开发框架，支持 Dart 和 JS SDK 快速开发 APP
DoTenX - 低代码框架
Daptin - Backend As A Service - GraphQL/JSON-API Headless CMS

项目骨架

Standard Go Project Layout - Go 项目目录结构示例
go-starter - Adobe 的 Go 工程模板
go-clean-arch
go-rest-api - Go RESTful API Starter Kit
Create Go App CLI - 通过命令行创建前后端项目的开发骨架
clean-gin - 基于 Gin 构建的整洁架构项目骨架
golang-repo-template - 一个包含了很多实践的项目模板

DDD 框架

Wild Workouts - DDD、整洁架构、CQRS的示例项目
Clean Architecture in Go - 整洁架构示例
freedom - 基于六边形架构的框架
esim - 基于六边形架构的微服务框架
go-cleanarch - Go 整洁架构规则校验工具

TCP 框架

zinx - TCP并发服务器框架

中间件

Negroni - Web 中间件
csrf - CSRF 中间件
handlers - A collection of useful handlers for Go’s net/http package

并发

SizedWaitGroup - 并发控制
concurrent - concurrency utilities

命令行

参数解析

urfave/cli - 命令行程序构建工具
Cobra - 命令行构建包
flaggy - 命令参数解析
pflag - 命令行参数处理
kong - 命令行解析
clop - 命令行解析包
go-flags - 命令行参数解析
mow.cli
go-arg - 基于结构体Tag解析命令行参数

输出展示

progressbar - 在终端上输出进度条
cheggaaa/pb - 终端进度条
mpb - 支持多个进度条
Color - 命令行文字颜色
gookit/color - 命令行色彩使用库
termui - 终端仪表盘
tui - 终端 UI
termenv - 终端应用程序的高级 ANSI 样式和颜色支持
asciigraph - 在终端中绘制 ASCII 字符的图表
spinner - 涵盖70多种符号或进度条的控制器
tablewriter - 终端中输出表格内容
PIXterm - 在命令行终端中绘图
WTF - 一个命令行的信息仪表盘，可以定制显示内容
termdash - 基于 Go Terminal 的仪表板系统
bubbles - TUI 组件
bubbletea - TUI 框架
PTerm - 支持图表、表格、进度条、树等终端输出展示
Lip Gloss - 终端布局、样式
gum
glow - 终端渲染展示 Markdown
Slides - 终端渲染展示 Markdown
tview - Terminal UI
ASCIIPlayer - 在终端中通过 ASCII 输出图片或视频，支持 png、jpeg、gif、mp4、avi 等格式
go-pretty - 终端渲染表格、列表、进度条等
tcell

其他

gosu - 以指定的用户权限来运行脚本
gotop - 类 top 系统监控显示
go-colorable - Colorable writer for Windows
go-isatty - TTY 环境判断
fzf - 终端模糊查询神器，支持多平台
go-daemon - daemon 进程包
go-prompt - 命令行交互式输入
peco - 交互式过滤工具
pty - PTY for Go
vtclean - 从终端输出字符串中解析出纯文本
Survey - 交互式输入

终端工具

vgrep - 支持滚动分页的 grep
GoTTY - 基于Web的命令行实时共享
Jump - 根据习惯快速跳转目录
GoFish - 一个受 Homebrew 启发的跨平台软件管理工具，支持 Linux 和 Windows
viddy - 增强版 watch 命令
miller - 一个类似 sed、awk、cut、join 和 sort 的工具，用来处理基于命名索引的数据
assh - SSH 增强工具
duf - 比 df 更好用的磁盘使用率工具
ov - 终端文本阅读器，可替代 less、more、tail -f 等
trdsql - 可对 CSV/LTSV/JSON/TBLN 等文件执行 SQL 查询和导出
vhs - 终端录像工具，提供了在终端中录制和回放终端会话的功能，类似于将终端会话记录为视频的方式

路由

HttpRouter
mux - URL 路由和调度器
chi
gocraft/web
go-querystring - 转换结构体为URL请求参数
gorilla/schema - converts structs to and from form values
CleverGo
rewrite - rewrite 中间件
BunRouter - 支持中间件、错误处理、路由优先级、兼容 net/http 接口

网络

DNS - DNS 库
CoreDNS - DNS 服务器
RoadRunner - PHP 应用服务器、进程管理器、负载均衡，用于替代 Nginx + FPM
FrankenPHP - PHP 应用服务器
GoReplay - 流量收集&回放
Sharingan - 滴滴开源的流量录制回放工具
Glorp - HTTP 拦截&重放的 CLI 工具
p2pspider - 种子嗅探器
torrent - BitTorrent 相关工具库
rain - BitTorrent 客户端和库
httpteleport - Teleports 10Gbps http traffic over 1Gbps networks
FIND3 - WiFi 设备发现
SubFinder - 子域名发现工具
ggz - 短网址服务
httpstat
grab - 文件下载
go-getter - 可使用 URL 作为输入的主要形式从各种来源下载文件或目录
go-netty - 网络框架
gnet - 事件驱动 Go 网络框架
netpoll - 专注于 RPC 场景的 Non-blocking I/O 网络库
httplab - The interactive web server
yamux - Multiplexer
sftp - SFTP support for the go.crypto/ssh package
goftp - FTP 客户端
SFTPGo - 功能齐全且可高度配置的SFTP服务器，可选择支持HTTP/S、FTP/S和WebDAV。支持的存储后端包括：本地文件系统、加密的本地文件系统、S3（兼容）对象存储、Google Cloud Storage、Azure Blob Storage以及其他SFTP服务器。
evio - 事件驱动网络框架（reactor 模式）
gaio - 事件驱动网络框架（proactor 模式）
httpretty - 在终端上漂亮地打印出 HTTP 请求
blocky - 作为局域网 DNS 代理拦截广告
lossy - 模拟 net.PacketConn 和 net.Conn 接口的带宽，延迟和数据包丢失
go-libp2p - P2P
go-ipfs-api - IPFS
gomobile-ipfs - 为移动终端提供IPFS网络访问支持
go-multiaddr - multiaddr
kcp-go - 可靠的 UDP 通讯包
gliderlabs/ssh - 像 net/http 一样轻松搭建 SSH 服务器
netaddr - 网络地址处理
sx - 网络扫描命令工具
echoip - IP 地址查找服务
EasyTCP - TCP Server 框架
GoPacket - 网络捕获抓包
croc - 两台电脑之间传输文件
cmux - 监听同一个端口，启动多种协议服务
GeoIP2 Reader for Go - 解析&读取 MaxMind GeoLite2 和 GeoIP2 数据库
dns.toys - DNS 服务器
Apache Traffic Control - CDN 流量控制
NextTrace - 可视化路由追踪工具
pget - 文件下载工具，可多连接下载
CloudflareSpeedTest - 测试 Cloudflare CDN 延迟和速度，获取最快 IP
nbio - 异步网络框架

LDAP

go-ldap
GLAuth - LDAP Server
gldap - LDAP Service

网络代理

Caddy - 类似 Nginx 的 Web 服务器
Traefik - 反向代理&负载均衡
snail007/goproxy - golang 实现的高性能代理服务器
ProxyPool - 采集免费的代理资源为爬虫提供有效的IP代理
frp - 可用于内网穿透的高性能的反向代理应用
nps - 一款轻量级、高性能、功能强大的内网穿透代理服务器
Pomerium - 基于身份的反向代理
V2Ray
V2Fly - V2Ray 的社区版本
Tailscale - WireGuard 解决方案
Clash - 支持多种协议的多平台代理客户端
elazarl/goproxy - HTTP 代理
oxy - Go middlewares for HTTP servers & proxies
ouqiang/goproxy - Go HTTP(S)代理库, 支持中间人代理解密HTTPS
pgrok - 提供给穷人的内网穿透

HTTP压测

Vegeta - HTTP 负载压测工具
hey - Web 压测工具
bombardier - Web 压测工具
go-wrk
plow
Ddosify

HTTP

fasthttp - 比 net/http 快 10 倍的 HTTP 工具包
Resty - HTTP & REST 客户端包
gout - HTTP 客户端
gentleman - HTTP 客户端
goz
UserAgent - 解析 HTTP User Agent
purell - URL 规范工具包
go-autorest - HTTP 管道请求方式的客户端
Req - HTTP 客户端
cors - CORS Handler
CertMagic - 为任意 Go 程序自动加上 HTTPS，TLS 证书签发、更新全自动

WebSocket

gorilla/websocket
nhooyr/websocket - 官方推荐的包
websocketd - Go 开发的一键搭建 WebSocket 服务器命令行工具
ws - WebSocket 开发包
melody - WebSocket 服务框架
neffos - 一个快速且可扩展的 WebSocket 框架
fastws

即时通信

Centrifugo - 实时消息服务器，可以与任何语言编写的应用程序后端结合使用
goim - 支持集群的 im 及实时推送服务
Tinode - 即时消息服务器，通过 websocket/JSON 或 gRPC/TCP 等协议传输
WebRTC - WebRTC 实现
Berty - 安全的点对点通讯软件
Keybase - 即时通讯工具 Keybase 全平台客户端
gotify - 基于 WebSocket 的 PUSH 通知服务
nakama - 用于社交/实时游戏/实时应用的分布式服务端程序，自带面板、用户、聊天、存储、社交等功能
OpenIM

网关

GoKu API Gateway CE - eoLinker 开源的 API 网关
Easegress
Manba
Tpk
BFE - 基于百度统一接入前端开源的七层流量接入系统

序列化

vmihailenco/msgpack - 支持 msgpack
go/codec - 支持 msgpack/binc/cbor/json
golang/protobuf - Go 版本的 Protocol Buffers
gogo/protobuf - golang/protobuf 的扩展替代品
Objx - 操作 map, slice, JSON 等数据的包
msgp - MessagePack 代码生成器
Buf - protoc 替代品
protoc-gen-doc - Google Protocol Buffers 文档生成插件，支持 HTML、JSON、DocBook、Markdown 和自定义模板

解压缩

snappy - Go 语言版本的 Snappy
cae - 实现 ZIP/TAR.GZ 解压缩
archiver - 多格式支持的解压缩包
compress - Optimized compression packages
Brotli
xz - xz 压缩格式读写包

RPC

gRPC-Go - gRPC 官方包
Go gRPC Middleware - gRPC 常用中间件
gorpc
gorilla/rpc - 构建基于 HTTP 的 RPC 服务，比如 JSON-RPC
Lile - gRPC 服务构建包
rpcx
Twirp - 基于 Protobuf 的 RPC 框架，与 gRPC 类似
dubbo-go - Dubbo Go 版本
Kitex
gRPCurl - 像 cURL 一样通过命令行访问 gRPC 服务
protoc-gen-doc - 文档生成插件
gRPC-Gateway - 读取 gRPC 服务定义并生成一个反向代理服务器，同时提供 gRPC 和 RESTful 风格的 API

邮件

gomail - 邮件发送包
scorredoira/email
Hermes - Go 版本的 mailgen 引擎，根据配置生成 HTML 格式的邮件
Go-Guerrilla - SMTP 邮件服务器
MailHog - 基于Web和API的SMTP测试工具
Maddy - 邮件服务器
jordan-wright/email
Mox - 邮件服务器
Pop - 邮件发送工具，支持交互式和参数式
email-verifier - 邮箱校验，无需发送邮件

消息队列

NSQ - 实时分布式消息平台
NATS - 云原生消息中间件
amqp - AMQP 0.9.1 客户端
sarama - Kafka 客户端

文件/存储

MinIO - 对象存储服务器
rclone - 不同云存储之间同步文件
Syncthing - 文件同步
fsnotify - 文件系统监控工具
reflex - 监听文件变更并执行命令
gohttpserver - HTTP 静态文件服务器
XLSX - Excel 读写包
Excelize - 360 开源的 Excel 工具包
gopdf - PDF 生成
rsc/pdf - PDF reader
SeaweedFS - 分布式文件系统
go-fastdfs - 分布式文件存储服务
Dragonfly - 基于 P2P 的分布式文件系统
filetype - 检测文件类型
Afero - 文件操作包
fsync - 文件/目录同步
filebrowser - Web File Browser
Bigfile - 文件传输管理系统
filetype - 文件类型与 MIME 检测
go-app-paths - 跨平台检索目录文件
copy - 拷贝文件夹
lakeFS - 类 Git 文件对象存储
Duplicacy - 无锁云备份工具，支持几乎所有存储方式
CasaOS - 家庭云系统
AList - 支持多存储的文件列表程序
UniPDF - PDF 读写处理
mimetype - MIME 类型与文件扩展检测
gocryptfs - 加密 overlay 文件系统
restic - 备份工具，使用现代的加密方法对数据进行安全的备份，支持

模板引擎

goTemplateBenchmark - 给各 Go 模板引擎做性能测试，当然也就包含了最全的模板引擎包
Jet - 速度很快
amber - HTML 模板引擎
fasttemplate - Simple and fast template engine for Go
quicktemplate
mustache
Ace
Sprig - 常用模板方法
pongo2 - Django 语法风格的模板引擎
plush

代码生成

文本处理

Markdown

Blackfriday - Markdown 解析器
Lute - 结构化的 Markdown 引擎
goldmark - Markdown 解析器
docx2md - 转换 Word 为 Markdown
glamour - 命令行下渲染 Markdown
go-md2man - 转换 Markdown 为 man 手册内容
gomarkdown/markdown
html-to-markdown - 转换 HTML 为 Markdown

HTML/CSS

DOM - HTML DOM 节点操作
obelisk - 保存 Web 网页为 HTML 单页面
html2text - HTML 转 text
go-readability - 让 HTML 可读性更高
gomponents - 声明式视图组件，可以渲染成 HTML5
daz - HTML 组件组合，渲染 HTML
html-strip-tags-go - 去除 HTML 标签
bluemonday - XSS 探测
cascadia - CSS 选择器
htmlquery - XPath 语法查询 HTML
xmlquery - XPath 语法查询 XML
xpath - XPath 语法
goquery - jQuery 语法查询 HTML
css - CSS 选择器

其他

go-runewidth - 字符长度计算
gpy - Go 语言汉字转拼音工具
go-hashids - hashids 的 Go 版本
go-pinyin - 汉语拼音转换工具 Go 版
mahonia - 字符集编码转换
pangu.go - Go 版本的 pangu，给中英文之间加空格
goorgeous - A Go ORG syntax parser to HTML
sergi/go-diff - Go 版本的 diff 工具包
sourcegraph/go-diff - Go 版本的 diff 工具包
Chroma - 代码语法高亮
syntaxhighlight - 代码高亮
kyokomi/emoji
enescakir/emoji
golang/freetype - Freetype font rasterizer
prose - natural language processing library
minify - Web 静态资源压缩(HTML/JS/CSS/JSON/XML/SVG)
Inflection - Pluralizes and singularizes English nouns
autocorrect - 自动给中英文之间加入合理的空格并纠正专用名词大小写
bleve - modern text indexing
etree - XML 解析&生成
go-xml
feeds - RSS 内容生成
gofeed - RSS & Atom feeds 内容解析
sitemap - sitemap.xml 生成
yarr - RSS 阅读软件
gogrep - 通过语法树搜索 Go 源码
PipeIt - 文本转换，清理和提取工具
regexp2 - 全功能正则表达式引擎。如果标准库的 regexp 满足不了你，可以尝试使用 regexp2
html2article - 基于文本密度的 html2article 实现
hostctl - hosts 命令行管理工具
go-shellwords - 解析命令行中字段
woke - 检查文本文件中是否存在歧视词汇
go-password-validator - 密码强度校验器
xurls - 从文本中提取 URL
whatlanggo - 自然语言探测
go-enry - 检测编程语言
fuzzy - 字符串模糊匹配
godlp - 数据脱敏
Zoekt - 文本搜索引擎

文档

swag - Swagger for Go
gin-swagger - Swagger for Gin
go-swagger - Swagger 2.0 implementation for go

数学计算

decimal - 解决浮点数计算精度问题
fixed
apd - decimal 包
mathfmt - 将 LaTeX 语法的注释转换为数学公式格式
q - 量子计算模拟器
accounting - 货币格式化

日期时间

now
when - 自然日期时间解析
Carbon - Carbon 时间处理库的 Go 语言实现
strftime - 时间格式化
dateparse - 解析任意未知格式的时间字符串

配置

GoDotEnv - .env 配置文件解析
go-yaml/yaml
ghodss/yaml
toml - TOML 解析&编码包
INI - INI 配置文件解析
Viper - 支持 JSON, TOML, YAML, HCL, Java 等配置文件
fig
Multiconfig
configor
envconfig
confd - 配置管理工具
HCL - configuration language
env - 解析 ENV 环境变量到结构体中
configor
koanf
go-toml - TOML
butler - Adobe 开源的配置管理系统
envsubst - 环境变量替换

爬虫

Crawlab - 基于Golang的分布式爬虫管理平台，支持Python、NodeJS、Go、Java、PHP等多种编程语言以及多种爬虫框架
Colly - 网络爬虫框架
Pholcus - 支持分布式的高并发、重量级爬虫软件
go_spider
Muffet - 网站链接检查器
Creeper
Geziyor - 支持 JS 渲染的快速爬虫框架
Apollo - 一个爬虫工具
ferret - 声明式 Web 数据抓取
gocrawl
Antch
katana - 爬虫&蜘蛛框架

数据库

SQL解析

pingcap/parser - 兼容 MySQL 的 SQL 解析
xsqlparser - SQL 解析
sqlparser - SQL 解析
vitess-sqlparser - SQL 解析
dbml-go - DBML 解析

分布式事务

go-saga - Saga 分布式事务实现
DTM - 跨语言的分布式事务管理服务，支持TCC、Saga、XA等

数据库相关

usql - 几乎支持全部 SQL 与 NoSQL 数据库的命令行工具
GORM - GORM V2
- GORM V1
- gorm2sql - 根据 Model Struct 生成建表语句
- gorm-sharding - 基于 Conn 层做 SQL 拦截、AST 解析、分表路由、自增主键填充，对使用者透明
Xorm
XormPlus - Xorm 的定制增强版本
GoRose
sqlx - database/sql 扩展包
dbq - 数据库操作
gendry - 滴滴开源的SQL Builder
ozzo-dbx
Squirrel - Fluent SQL Builder
qb - the database toolkit for go
mgo
- globalsign/mgo - The MongoDB driver for Go
- mgo使用指南
kingshard - MySQL Proxy
SOAR - 对SQL进行优化和改写的自动化工具
SQLE - SQL 审核工具
Vitess - 用于部署、扩展和管理大型MySQL实例集群的数据库解决方案
gh-ost - GitHub 开源的在线更改 MySQL 表结构的工具
SQLer - write APIs using direct SQL queries with no hassle, let’s rethink about SQL
gocraft/dbr
Gaea - 小米开源的基于 MySQL 协议的数据库中间件
OctoSQL - 支持多数据库的 SQL 查询工具
goose - 数据库迁移工具
migrate - 数据库迁移工具
dbmate - 数据库迁移工具
ent - An Entity Framework For Go
godb - a Go query builder and struct mapper
go-nulltype
go-mysql - MySQL 工具集
SQLittle - 纯读取 SQLite 文件
Bifrost - MySQL 同步到 Redis、ClickHouse 等服务的异构中间件
elasticsql - 转换 SQL 成 Elasticsearch DSL
POP - 基于 sqlx 封装的数据库 ORM 工具
REL - Modern Database Access Layer for Go
RDB - Redis RDB 文件解析和生成工具，支持转 JSON、转 AOF、寻找 Big Key、生成 RDB 文件及绘制内存火焰图等功能
Bytebase - 基于网络、零配置、无依赖的数据库 Schema 变更和版本控制管理工具
Bun - SQL 优先的 ORM，写 SQL 的方式写 Go 代码，支持 PostgreSQL、MySQL、MSSQL、SQLite

数据库客户端

Go-MySQL-Driver - MySQL 驱动
go-mssqldb - MSSQL 驱动
pq - PostgreSQL 驱动
mongo-go-driver - MongoDB 官方出品的 Go 语言驱动
qmgo - MongoDB 客户端
clickhouse-go - ClickHouse 官方 Go 语言客户端
go-clickhouse - ClickHouse 客户端
go-sqlite3 - SQLite3 驱动
gohbase - HBase 客户端
redigo - Redis 客户端
go-redis - Redis 客户端
rueidis - Redis 客户端
redsync - 基于 Redis 的分布式锁
redislock - 基于 Redis 的分布式锁
Tiny RDM - Redis 桌面客户端

数据库引擎

etcd - KV 分布式存储
InfluxDB - 时间序列数据库
Prometheus - 服务监控系统 & 时间序列数据库
tstorage - 时间序列数据库
Thanos - 支持 Prometheus 简化部署、高可用、分布式存储
CockroachDB - 分布式 SQL 数据库
Cayley - 图数据库
RadonDB - 基于 MySQL 研发的新一代分布式关系型数据库
TiDB - 分布式关系型数据库，兼容 MySQL 协议
AresDB - Uber 开源的 GPU 驱动的实时分析存储&查询引擎
leveldb - LevelDB 的 Go 实现
Dgraph - 分布式图数据库
rqlite - 基于 SQLite 的轻量级分布式关系数据库
gaeadb
BadgerDB - KV 数据库，支持 ACID 事务
LBADD - 用 Go 实现的分布式 SQL 数据库
go-memdb - 建立在不可变 Radix 树上的内存数据库
VectorSQL - 应用于 IoT 和大数据的 DBMS 数据库，类似于 ClickHouse
BuntDB - 基于内存的KV数据库，支持磁盘持久化、ACID事务
TinySQL - 迷你分布式关系型数据库
Tile38 - GEO 数据库
Redcon - 兼容 Redis 协议的自定义 Redis 服务，采用 BuntDB 和 Tile38 实现存储
genji - 文档内嵌型数据库
Dolt - 像 Git 一样操作数据库
rosedb - 简洁、高效的 KV 数据库，支持多种数据结构
LinDB - 分布式时序数据库
mandodb - 一个示例项目，作者介绍如何从零开始实现一个小型的时序数据库
go-mysql-server - 解析 MySQL 协议并优化 SQL 的数据库引擎
Milvus - 向量数据库
FerretDB - MangoDB 替代品
LotusDB - 快速 KV 存储引擎，兼容 LSM 和 B+ 树
NutsDB - 可持久化、事务的内嵌 KV 数据库
Olric

缓存

GCache
bbolt - key/value store
BigCache
go-cache - KV 内存缓存
gomemcache - Memcache 客户端
cache2go
ristretto
fastcache
FreeCache
godis - Go 语言实现的 Redis 服务器和分布式集群
groupcache - 分布式缓存
cachego - 支持 Redis、Bolt 等缓存接口
diskv - 基于硬盘的 KV 存储
Pebble - 被 CockroachDB 使用的 KV 存储

搜索推荐

wukong - 全文搜索引擎
go-elasticsearch - 官方 ES 客户端
elastic - Elasticsearch 客户端
go-mysql-elasticsearch - Sync MySQL data into elasticsearch
gse - Go 语言分词
sego - Go 中文分词
gojieba - “结巴"中文分词的 Go 语言版本
Riot - 全文搜索引擎
simplefts - 超简单的全文搜索引擎实现
Blast - 全文搜索(Archived)
Fuzzy Search - 文本模糊搜索
gorse - 单节点训练和分布式预测推荐系统引擎
gofound - 全文搜索引擎
ZincSearch - 全文搜索引擎，兼容 Elasticsearch API 和 DSL
Bluge - 文本分词

表单

validator
ozzo-validation - 使用代码指定规则，而非Tag
go-tagexpr - 字节跳动开源的结构体标签表达式解释器
govalidator

Auth

Casbin - 权限控制管理
pam-ussh - Uber’s SSH certificate pam module
jwt-go - JWT for Go
kataras/jwt - JWT 轻量级实现
cristalhq/jwt
sessions - 后端 SESSION 服务
securecookie - cookie 加密/解密
Goth - Multi-Provider Authentication for Go
branca - 号称比 JWT 更安全的 token 解决方案
gin-jwt - Gin 框架的 JWT 中间件
Authboss - Web Auth 系统
ZITADEL - 身份认证系统，支持各种认证模式

加密/解密

2fa - Two-factor authentication on the command line
age - 文件加密工具（库）
CIRCL - Cloudflare Interoperable, Reusable Cryptographic Library

视频

goav - FFmpeg 视频处理
lal - 直播流媒体网络传输服务器
bililive-go - 直播录制工具
screego - 通过浏览器共享开发者屏幕
livego - 直播服务器
Monibuca - 流媒体服务器开发框架
olive - 支持虎牙等平台的直播录制
lux - 各大视频网站的视频下载工具

图形处理

barcode - 条形码/二维码生成器
picfit - 图片操作、裁剪、管理服务器
gmfs - 图片操作、裁剪、管理服务器
besticon - favicon 服务
Caire - 图片操作库
Imaging - 图片操作库
gocaptcha - 验证码生成
base64Captcha - 验证码
go-is-svg - 校验是否为 SVG 图片
identicon - 根据用户的 IP 、邮箱名等任意数据为用户产生漂亮的随机头像
prominentcolor - 识别图片的主要颜色
dchest/captcha - 生成和验证图片或音频验证码
bimg - 图片处理
imaginary - 图片处理服务
primitive - 用原始几何图形绘制图形
orly - 生成你自己的O’RLY动物书封面
smartcrop - 智能裁剪图片
gift - 图片滤镜
Germanium - 给代码生成图片
Go Graphics - 2D 图片渲染
canvas - 矢量图绘制
formulae - 数学公式解析、计算、图表绘制
imagor - 图像处理服务器
Triangula - 给图片增加三角形纹样风格的滤镜
D2 - 一种将文本转换成图形的图表脚本语言
ImGo - 简洁、链式调用的图像处理库
Invoice - 发票生成工具，可通过参数和配置文件进行创建和管理各种类型的发票

图片识别

go-face - 面部识别

图表

go-echarts - Echarts 图表库
gonum/plot - 图形绘制
pinhole - 3D 线框图绘制
globe - 地球线框图绘制
ink - Go 中的 2D 图形框架
go-plantuml - 基于 Go 源码生成 plantuml 图
go-diagrams - 通过代码生成图表
GoCity - 3D 展示城市

构建编译

Mage - 类似于 Makefile 的命令行工具，用于构建和运行 Go 项目
GoReleaser - Go 多平台二进制文件打包、并支持发布到 Homebrew 的工具
goxc - 跨平台编译工具（因 1.5 版本开始已自带交叉编译，故已不再维护）
Task - 类似于 Make 的构建工具
codegangsta/gin - 热编译工具
Air - 热编译工具
gowatch - 热编译工具
Fresh - 热编译工具
dh-make-golang - 自动构建 Debian 包
gobinaries - 不用安装Go就能编译安装Go编写的程序
nFPM - deb、rpm、apk 等打包工具
Gox - Go 跨端编译工具
garble - 混淆代码
gobfuscate - 混淆代码
go-appimage - Go 语言实现 AppImage 打包工具

静态资源内嵌

pkger - 将静态文件打包成 Go 二进制文件
mewn - 静态文件嵌入打包到二进制文件
statik - 静态文件嵌入
go.rice
go-bindata - 将静态文件转换成 Go 代码文件
vfsgen - 将静态文件打包成 http.FileSystem 类型进行访问
packr

优雅升级

tableflip - Web 服务升级
selfupdate - 二进制文件自动升级
overseer
go-github-selfupdate - 依托 GitHub 自动升级

代码分析

reviewdog - Code Review 机器人
revive - 代码检查分析
GolangCI-Lint - 代码质量检查分析工具
errcheck - 检测未处理的错误(errors)
Staticcheck - 一系列的 Go 代码静态分析工具
Golint - Google 官方出品的代码质量检测工具
GoReporter
go-critic
gocloc - 分语言代码行数统计
coca - 代码统计分析
Go Report Card - Go 项目质量分析报告工具
ddsv-go - 死锁检测工具
golang/perf - 官方性能量化分析工具
GoPlantUML - 为 Go 项目生成 PlantUML 类图
gosize - 分析Go二进制文件大小
shotizam - 分析 Go 二进制文件的大小并输出到 SQLite3
goconst - 查找可以被常量替换的重复字符串
sploit - 帮助二进制分析和开发的库
perf - Perf Utilities for Go
fgprof - Go 性能分析工具
conprof - 协程分析
statsview - 实时 Go 运行时统计数据可视化分析器
codesearch - 代码搜索工具
Pyroscope - 可视化程序性能监控工具，支持多种语言
gosec - 代码安全性检查工具
gokart - 代码静态分析工具
gofumpt - gofmt 增强版代码格式化工具
NoVerify - PHP 代码分析工具
fieldalignment - 结构体字段内存对齐分析和自动修复工具
Bearer - 代码安全扫描工具

调试

go-spew - 变量打印工具
Delve - Debug 工具
gdlv - Delve 界面版本
Weaver - 跟踪 Go 程序执行链路
repr - 变量打印工具
pp - 彩色变量打印工具
ffmt - 变量打印工具
gops - 谷歌官方出品的 Go 程序监控调试工具
pprof
go-callvis - 可视化Go程序的调用图
q - 自动打印变量类型并且格式化输出
Litter
RDebug - 滴滴开源的一款用于 RD 研发、自测、调试的实用工具
debugcharts - Go 内存占用可视化调试工具
gcvis - 实时可视化 gctrace
pkg/profile
statsviz - 在浏览器中实时查看 Go 应用程序运行时统计信息（GC，MemStats 等）
autopprof - 自动分析 pprof
stack - 捕获、操作、格式化调用栈信息
pretty - 打印变量
go-deadlock - 对 (RW)Mutex 进行注入，并提供死锁检测
mmcloughlin/profile
gcnotifier - 当发生 GC 时通知
grmon - 命令行监控显示 goroutines
valast - 打印输出变量的 go/ast 结构，类似于 PHP 的 var_export 函数
lensm - Go 汇编与源码对照查看工具
holmes - 基于规则的自动 Go Profile Dumper

测试

GoConvey - 含Web界面的单元测试框架
GoMock - 谷歌出品的Mock测试框架
GoStub
Monkey - (Archived) Monkey patching in Go
gomonkey - 猴子补丁，对函数、变量等进行打桩，方便单元测试，Fork 自 Monkey
SuperMonkey - 让私有方法可测
mockery - 自动为接口生成 mock 代码
Ginkgo - BBD 测试框架
fperf - 压测工具
gocheck
Testify
gotests - 根据源码自动生成测试文件
TestSQL - 根据 SQL 创建语句生成测试数据
httpmock - HTTP Mock
Goblin - BDD 测试框架
go-faker/faker - Struct Data Fake Generator
gofakeit - 随机数据生成器
dmgk/faker
go-tprof - 包测试报告生成工具
go-fuzz - randomized testing for Go
gofight - Testing API Handler
sqlmock - SQL 测试
sqlbench - SQL
silk - 基于 Markdown 的接口测试
gock - HTTP mock 测试
godog - BDD 测试框架 Cucumber 的 Go 版本
endly - E2E（端到端）测试
is - 迷你测试框架
Terratest - 基础设施测试，比如 Docker
agouti - Web 驱动的验收测试框架
httpexpect - 端到端 HTTP & REST 测试框架
gocov - 测试覆盖率
miniredis - Redis 数据测试
htmltest - HTML 测试
gnomock - 无需 mock 的 Go 代码测试框架
gunit - xUnit 风格测试框架
quicktest
k6 - 负载测试工具
go-cover-treemap - 将覆盖率测试结果转换成 TreeMap 图
ZTF - 禅道开源的自动化测试框架
Moq - 为接口生成 Mock 代码

错误处理

errors
errorx
errwrap - Go tool to wrap and fix errors with the new %w verb directive
erris - Linter for errors.Is and errors.As
eris - 旨在通过错误包装，堆栈跟踪和输出格式为你提供对错误处理的更多控制
errlog - 使用静态和堆栈跟踪分析来快速确定哪个函数调用导致的错误
juju/errors
go-fault - GitHub 官方出品，基于标准库 http 中间件的故障注入库
merry - 支持堆栈、状态码的错误处理
cockroachdb/errors - 功能强大、可替代 errors 和 github.com/pkg/errors 的错误处理包
go-multierror - 支持错误列表

安全

Kunpeng - 开源POC检测框架
nmap - 安全审计工具 nmap 开发包
Hetty - 用于安全研究的 HTTP 工具包，具有 Web 接口和代理日志查看器的拦截 HTTP 代理
Fibratus - Windows 内核漏洞利用和跟踪工具
Secure - HTTP 安全中间件
nuclei - 基于YAML语法模板的定制化快速漏洞扫描器
Gitleaks - 用于在 Git 存储库中查找敏感信息和密钥的开源工具

系统信息

go-hardware - 收集了一堆关于硬件信息的包
cpuid - CPU 信息
gopsutil - ps 功能包
go-sysinfo - 系统信息
go-locale - 跨平台语言检测库
go-ps - 系统进程信息
psgo - ps 命令实现
ghw - 硬件信息
machineid - 获取机器ID

UUID

go.uuid - UUID 库
SEQSVR - Go + MySQL 实现的分布式 ID 生成服务
google/uuid - Google 开源的 uuid 包
gofrs/uuid
snowflake - Twitter snowflake IDs
sonyflake - Sony 版本的 Twitter’s Snowflake
ulid - ULID Go 语言实现
ksuid - K-Sortable Globally Unique IDs
go-nanoid - NanoID 实现
xid - 全局唯一 ID 生成器

日志

logr - 日志包标准接口
Logrus - 日志记录包
zerolog
zap - Uber 开发的日志记录包
Seelog
logkit - 七牛开源的日志收集工具
gogstash - 类似于 Logstash 的日志收集器
lumberjack - 日志文件切割
file-rotatelogs - 日志文件切割
go-syslog - 极速 Syslog 解析器
glog

监控告警

OpenFalcon - 小米开源的监控系统
Prometheus - 服务监控系统 & 时间序列数据库
Grafana - 分析监视平台, 支持 Graphite, Elasticsearch, OpenTSDB, Prometheus, InfluxDB 等数据源
- grabana - 用 Go 代码快速创建 grafana dashboards
Jaeger - 分布式追踪系统
go-osstat - 系统指标统计
grafterm - Metrics dashboards on terminal
mymon - MySQL 运行监控
PingMe - 支持多消息平台的服务可用性报警命令工具
supervisord - Go 语言实现 Supervisor
Grafana Tempo - 分布式追踪系统
EaseProbe - 服务探活工具并通知
Uptrace - APM 工具，支持 OpenTelemetry 追踪、指标和日志
Nightingale - 滴滴基于 OpenFalcon 开源的监控系统

统计分析

Fathom - Web 站点统计
Veneur - 分布式实时数据处理管道
gonum - 科学计算相关

容器技术

moby - Docker
docker-ce
Rancher - 全栈化企业级容器管理平台
Gorsair
docui - TUI Client for Docker
Podman - 管理和运行任何符合 OCI 规范的容器和容器镜像
Skopeo - 镜像管理工具
Buildah - 构建 OCI 容器镜像的工具
go-docker - 用 Go 实现 Docker 核心功能
Packer - 轻量级的镜像定义工具
cosign - 容器签名和验证
SlimToolkit - 检查、缩小和调试容器
Dive - 用于探索 Docker 镜像和层内容的工具

集群管理

Nomad - 集群管理器和调度器
OpenShift Origin - Red Hat 开发的容器化软件解决方案

Kubernetes

kubernetes - 容器调度管理平台
k0s - 最小体积的 k8s 发行版
Sealos - 以 Kubernetes 为内核的云操作系统发行版
KubeEye - 通过配置规则发现 Kubernetes 上的各种问题
endpoints-operator - K8S内部服务访问外部服务的具备探活功能的4层LB
Helm - Kubernetes 包管理器

机器学习

goml - 机器学习库
GoLearn - 一个 “开箱即用” 的机器学习库
glow - 易用的分布式计算系统
Gobot - 机器人和物理计算语言库
Olivia - 神经网络
Pico - 基于像素强度比较的物体检测纸张的纯 Go 脸部检测库
tfgo - Tensorflow in Go
Prophecis - 微众银行自研的一站式云原生机器学习平台
AID - 机器学习ops平台，发现、部署、优化
SQLFlow - SQL引擎+AI引擎

人工智能

go-openai - OpenAI API Go 客户端 SDK
LocalAI - 低成本的硬件上运行模型计算的本地计算框架，支持多种模型，提供兼容 OpenAI 接口协议的 REST API
Ollama - 本地运行大语言模型，支持多种模型

算法

GoDS - Go 实现了多种数据结构
Dragonboat - 多组 Raft 共识算法库
eliben/raft - Raft 算法
hashicorp/raft - Raft 算法
Graft - Raft 算法
golang-lru - LRU 算法实现
tinylru
finn - Fast Raft framework using the Redis protocol for Go
xorfilter
priyankchheda/algorithms - 各种算法的 Go 语言实现
meow - Meow hash
basalt - 高性能的分布式的专门空间优化的 Bitmap 服务, 杜绝 Bloomfilter 和 CuckooFilter 的误判
go-blurhash - BlurHash，是模糊图片的一种哈希算法
xxhash - xxHash 哈希算法实现
go-multihash - 各种 Hash 算法实现
memberlist - 基于 gossip 协议实现的管理集群成员和成员失败检测的开发包
backoff - 指数退避算法(Exponential Backoff)
FSM - 有限状态机

数据结构

go-datastructures
Play-with-Data-Structures - 「玩转数据结构」课程的 Go 语言实现版本
HashMap
SipHash - SipHash-2-4
Bigslice
golang-set - The missing set collection
rbang - R!tree 实现
rtreego - R-tree
google/btree - B-Tree
tinybtree - B-tree
dataframe-go - 用于数据统计和操作的包
go-set - 集合工具包
orderedmap - 有序字典
trie
Slim - 空间高利用率的数据结构
bitset - 位集合及其操作
bloom - Bloom filters
roaring - 压缩位图
go-immutable-radix - Radix 树

依赖注入

go-autowire - 使用注解自动生成 wire - 依赖注入
dig
Fx

JSON

GJSON - JSON 解释器
SJSON - JSON 修改工具
fastjson - fast JSON parser and validator for Go
jsonparser
ffjson
json-iterator - 滴滴开源的 JSON 解析器
gojsonq - JSON/YAML/XML/CSV 等数据查询
easyjson
go-jsonc - 将带注释的 JSON 转为无注释的
jin - JSON 操作工具包，同时具有标准库和类似 tidwall/gjson 和 tidwall/sjson 的功能
hujson - 支持注释的 JSON 解码
pkg/json - JSON Decoder
ColorJSON - 终端中打印彩色 JSON
jid - JSON 数据解析读取工具
jsonc - 支持注释与逗号
sonic - 字节跳动开源的 JSON 解析器&修改器
go-json
jsonquery - XPath 语法查询 JSON
fx - 命令行 JSON 显示

依赖管理

goproxy.io - GOPROXY 代理服务
goproxy.cn - 更适合国内用户的代理服务
Gopm - Go 包管理工具
govendor - Vendor 包管理工具
gom - 包版本管理工具
rvflash/goup - 检查包版本是否有更新
owenthereal/goup - Go 多版本管理
Athens - GOPROXY 代理服务

微服务

Istio [中文文档] - 大型微服务系统管理工具
goa
Micro - 微服务工具
Go Micro - 微服务框架
Go kit - Go 微服务工具集
GoKit CLI - Go kit 脚手架
gogo
go-chassis
Kite
Kratos - B站开源的微服务框架
Temporal - 微服务编排平台
Serf - 服务编排管理平台
Open Policy Agent - 通用策略引擎，CNCF 孵化项目
gizmo - 微服务工具集
MOSN - 用于边缘和服务网格的云原生网络数据平面
Erda - 为企业提供 DevOps、微服务治理、多云管理的 PaaS
Service Weaver
Consul - 服务发现、配置管理中心服务
Traefik Mesh - 简单的服务网格
go-zero - 集成了各种工程实践的 Web 和 RPC 框架
Jupiter - 微服务治理框架，提供丰富的后台功能，管理应用的资源、配置，应用的性能、配置等可视化
Juno - 分布式服务管理系统，集成了配置、监控、测试、日志等功能

Serverless

OpenFaaS - Serverless Functions Made Simple(功能服务化的 FaaS 框架)
faasd - 轻量级 FaaS 引擎
fn - 事件驱动的 FaaS
riff - 基于 Kubernetes 的 FaaS
Nuclio - 实时事件与数据的 Serverless 框架
Flogo - 事件驱动的 Serverless 框架
Dapr - 微软开源的云和边缘计算的微服务构件
kubeless
Fission - 基于 Kubernetes 的 Serverless
pulumi
Knative
fx
IronFunctions
schollz/faas - 让任何包的函数变成一个 HTTP 接口
Vanus - 无服务事件流处理系统

devops

act - 本地运行 GitHub Actions

持续集成/部署

CDS - 持续集成服务
gopub
CodePub
syncd - 代码部署工具
Drone - 基于 Docker 的持续发布平台
Cyclone - 持续集成&发布平台
tbls - 用于记录数据库文档的 CI 友好工具
Woodpecker - Fork 自 Drone
Dagger - 基于容器的 CI/CD 工具

Git

gogs - 类似于 GitLab 的 Git 服务器
Gitea - 由 gogs 分叉出的 Git 服务器
go-git - Go 实现的 Git 操作
gitin - commit/branch/status explorer for git
hub - GitHub 命令行工具
git-o-matic - 一个监控 Git 仓库变化和自动 pull/push 的工具
gitbase - SQL 的方式查询 Git 日志
git-chglog - CHANGELOG 管理工具
chglog - CHANGELOG 管理工具
lazyhub - GitHub 的终端 UI 客户端
goaction - 在 Go 中编写 GitHub Action
bit - Git 命令增强版，支持文件和分支名称自动完成、命令和标志建议
go-github - GitHub API 操作库
askgit - 通过 SQL 访问 Git 仓库信息
git2graph - 根据 Git 仓库提交记录生成结构图
lazygit - Git 终端 UI
gh-dash - GitHub CLI（gh）漂亮终端面板
Soft Serve - 命令行式自托管 Git 服务器
Git LFS - 处理大文件的 Git 扩展

限流器

Tollbooth - Simple middleware to rate-limit HTTP requests
ratelimit
RateLimit
go-rate
Circuit - 熔断器
uber-go/ratelimit
Sentinel - 阿里巴巴开源的面向分布式服务架构的流量控制组件 Go 语言版本
gohalt - 限流
gobreaker - 熔断器
ulule/limiter

编译器

TinyGo - 一个适用于微控制器、WebAssembly 和命令行工具的 Go 编译器
minigo - A Go compiler from scratch
llir/llvm - LLVM 编译器
jit-compiler - JIT 编译器
Go+ - 七牛云开源面向数据科学的语言，完全兼容Go语言

解释器

语言解释器

participle - 通用的自定义语法解析包
GopherLua - VM and compiler for Lua in Go
go-lua - A Lua VM in pure Go
DCLua - Go Lua Compiler and VM
otto - JavaScript 解释器
goja - ECMAScript 5.1(+) 实现
v8go - Execute JavaScript from Go
gpython - Python Interpreter on Go
Grumpy - 转换 Python 为 Go 代码，谷歌开源
starlark-go - Starlark in Go
avo - x86 汇编程序构建器
wagon - WebAssembly 解释器
GopherJS - 把 Go 代码编译成 JavaScript 代码
Yaegi - Go 语言解释器
properties - Java properties scanner for Go
jvm.go - JVM
gobasic - A BASIC interpreter written in golang
golisp - Lisp 解释器
dst - Go Decorated Syntax Tree
mvdan/sh - Shell 解析、格式化、接口
tdewolff/parse - 通用词法分析器 Lexer，并内置支持解析 HTML/CSS/JSON/XML/JS/SVG 语法
Joker - Clojure

PHP

z7zmey/php-parser - PHP AST 语法解析
deuill/go-php - PHP bindings for Go
goridge - High-performance PHP-to-Golang IPC bridge
RoadRunner - 高性能PHP应用服务器，支持负载均衡及进程管理
VKCOM/php-parse - PHP AST 语法解析

自定义解释器

CUE - Configure Unify Execute(Validate and define text-based and dynamic configuration)
cel-go - Common Expression Language(CEL 的 Go 实现)
Math-Engine - 使用 Go 实现的数学表达式解析计算引擎库，学习语法解析很适用
Gval - 表达式计算
expression-parsing
goexp - Recursive descent expression parser in Go
goastch - Go AST 语法解析
tdop
swallow
Anko
Expr - 编译&执行字符串中的表达式
Tengo - 用 Go 编写的脚本语言
V - Go 编写的语言
kumarUjjawal/bison
Monkey
govaluate
Compiler - 将自定义语法代码编译成 X86-64 Assembly
elvish - 交互式 Shell 语言
QLBridge - Go SQL Runtime Engine
YQL - SQL WHERE 风格的规则引擎
Flux - InfluxDB 数据语言
Spiker - Go 编写的简单规则表达式执行器，支持自定义函数和流程控制，适用于业务规则复杂的场景
gocc - 解析器生成器，可以将指定的文法转换为 Go 语言的解析器程序代码，用于编译和解析特定类型的源代码

代码生成

jennifer - Go 代码生成
ifacemaker - 根据结构体方法生成接口
gg - Go 代码生成

编辑器

micro - 基于终端的编辑器
sourcegraph - 代码搜索&导航

运行器

gore - 在线运行 Go 代码
nodebook - 在线运行多种语言
go-pry - 像 Python、R、PHP 等在终端交互式输入与运行 Go 代码

查询语言

graphql - Go 实现的 GraphQL
graphql-go
GQLEngine - 基于 graphql-go 实现
RQL - REST 资源查询语言
Thunder - GraphQL 服务构建框架
gqlgen - 构建 GraphQL 服务器的包
super-graph - 无需编写代码即可在 Go 项目中构建复杂的 GraphQL API

游戏相关

Nano - 游戏开发框架
Leaf
einx
CloudRetro - 游戏云服务框架
G3N - Go 3D Game Engine
Ebiten - 2D 游戏库

桌面开发

GUI

Lorca - 用 Go 编写 HTML5 桌面程序，依赖 Chrome 进行 UI 渲染，但却不把 Chrome 打包到应用中
webview - 用 Go/C/C++ 构建跨平台的桌面软件
walk - Windows GUI toolkit
go-gtk - Go bindings for GTK
andlabs/ui - Platform-native GUI library for Go
fyne - Material Design 风格的 GUI
go-gl - Go bindings for OpenGL (generated via glow)
therecipe/qt - 基于 Qt 的跨全平台 UI 包
giu - 基于 Dear ImGui 的跨平台 GUI 框架
go-app - 一个 WebAssembly 框架，用于使用 Go，HTML 和 CSS 构建 GUI 应用
wails - 使用 Go 和 Web 技术创建桌面应用程序
chromedp - 纯 Go 语言实现的驱动浏览器的 Chrome DevTools Protocol，可用于爬虫、反爬虫、测试等场景
Rod - 一个为简化自动化和爬虫设计的 devtools driver，利用浏览器的 devtools 可编程接口来操控浏览器
go-astilectron - 基于 Electron 的跨平台开发
Gio - 跨平台 UI 框架，支持移动应用
nucular - 基于 Gio 的实现
GoVCL - 跨平台的 GUI 包
vugu - WebAssembly UI 框架
GoGi - 2D/3D GUI 框架
systray - 跨平台支持菜单栏管理
go-flutter - 绑定 Flutter 到桌面应用
NuxUI

桌面辅助包

pkg/browser - 在浏览器中打开文件、URL
MacDriver - macOS 原生 API
gon - 为 macOS 签名和公证

桌面应用

xbar - 基于 Wails.app 开发的 macOS 菜单栏管理
阿里云盘小白羊版 - UI由Flutter构建

移动端

golang/mobile - Go support for Mobile devices

协程/线程

ants - 协程池
tunny
go-workers - 安全地并发运行一组 worker，通过 channel 进行输入输出
Machine - 受 errgroup.Group 启发的协程管理
thread
conc - 更好用的结构化并发控制
zeropool - 零回收、类型安全的协程池
workerpool - 无阻塞队列任务池
pond - 协程池

任务/定时器

RxGo - Go 版 ReactiveX，简单方便的处理异步数据流
Grift - Go based task runner
cron - a cron library for go
gocron - 任务定时调度器
jobrunner
CurlyQ - 后台任务处理库
overtalk/task - 任务的管理&执行，支持自定义次数的重发
PPGo_Job - 定时任务管理系统
gocelery - Celery 的 Go 语言实现
Machinery - 通过分布式消息实现异步任务调度
dkron - 分布式任务调度系统
Grit - 基于 MultiTree 实现的任务管理
Asynq - 异步分布式任务队列
cronsun - 分布式任务系统

流处理

benthos
gostream
watermill
go-streams
goflow
Cadence (Cadence Web UI) - Uber开源的分布式工作流引擎，主要用于微服务编排和分布式事务等场景

微信

weapp - 微信小程序 SDK
wechat - WeChat SDK for Go
wechat-go - 微信 Web 版 API 的 Go 实现

SDK

gopay - QQ、微信（WeChat）、支付宝（AliPay）的Go版本SDK
alipay - 支付宝SDK

区块链

Hyperledger Fabric - 基于区块链的超级账本
go-ethereum - 以太坊协议的官方 Go 语言实现
bbgo - 用 Go 编写的加密货币交易框架
btcd - 比特币实现

开发辅助包

cvt - 任意数据类型转换，支持自定义类型、提取结构体字段和值
copier - struct 之间拷贝值
cast - 数据类型转换
diff - 结构体&值比较
go-extend
com - 工具包
php2go - Go 实现的 140+ 个 PHP 函数功能包
gommon - Common packages for Go
reflect2 - reflect api without runtime reflect.Value cost
mapstructure - 将 map 值转换到结构体中
naza - Go语言基础库
automaxprocs - 自动设置 GOMAXPROCS
c2go - 将 C 代码转换为 Go 代码的工具
rnm - 代码重构辅助工具
memviz - 图形化数据结构
underscore.go
go-testdeep - 非常灵活的深度比较包，扩展了 Go 测试包
go-model - struct 操作包
concurrent-map - 并发安全 map
goleak - 检测 goroutine 泄漏
guregu/null - SQL/JSON的null处理包，提供替代类型
stats - 标准数字统计
Chronos - 静态竞争检测器
collection - 替代原生的 Slice
rf - 代码重构工具
bytebufferpool - byte buffers pool
bpool - byte buffers pool，支持 bytes.Buffers
mergo - 合并结构体和字典数据
go-funk - 基于反射实现的常用函数
lo - 基于 1.18+ 泛型的常用函数
juniper - 基于泛型实现常用的容器、迭代器、数据流等功能
mergo - 合并结构体和字典
xstrings - 字符串相关函数
pie - slice/map 链式处理

代码生成

ChimeraCoder/gojson - 根据 JSON 生成结构体
db2struct - 根据表结构生成结构体
smallnest/gen - 根据表结构生成结构体
sqlc - 根据 SQL 语句生成 Go 代码
xo - 根据表结构或查询语句自动生成 Go 代码

系统开发

LinuxKit - 为容器构建安全、便携、可移植操作系统的工具包
go-systemd - 绑定 systemd
Lima - Linux-on-Mac (“macOS subsystem for Linux”, “containerd for Mac”)
gopher-os - 一个兼容 Linux 的 64 位 POSIX 风格系统
gouring - 不依赖 CGO 实现系统调用

未归类

go-playground - 比官方更好用的 Go Playground
Robotgo - Golang 跨平台自动化系统，控制键盘鼠标位图和读取屏幕，窗口句柄以及全局事件监听
go-homedir
i18n - i18n 多语言工具包
go-i18n - 多语言工具包
Paginater - 分页工具
gls - Goroutine local storage
mcuadros/go-version - 版本号比较
go-semver - 语义版本
semver - 另一个语义版本
hashicorp/go-version
Metabolize - Decodes HTML meta tags into a Golang struct
otp - 一次性密码工具包(One Time Password utilities)
misspell - 常拼写错误的英语单词
CRDT - CRDT(Convergent and Commutative Replicated Data Types)最终一致性算法的实现
script - Making it easy to write shell-like scripts in Go
sysadmin-utils
licenseclassifier - 识别文件中的 LICENSE 类型
go-license-detector
rose - 在 HTML 中嵌入和运行 Go 代码
esbuild - JavaScript 构建打包工具
clipboard - 剪切板
clipboard - 剪切板
clipboard - 剪切板
Timeliner - 搜集整理个人在社交网站上的数据并索引成时间线
hc - HomeKit 平台开发框架
address - 地址处理库，支持多国语言
webhook - 可执行 Shell 命令的 Web Hook 服务
webhookd - 为 Shell 脚本提供 Web Hook 服务
go-cid - CID spec Go 语言实现
gorush - APP 消息通知服务
EventBus - 事件总线
go-winio - 为 Win32 IO 操作提供接口支持
fq - 以 jq 语法读取二进制数据/文件
lego - Let’s Encrypt client and ACME library

logo

Gophers

工具

syndbg/goenv - Go 版本管理
wfarr/goenv - Go 版本管理
gvm - Go 版本管理
GoLand - IDE 软件
Visual Studio Code

资源站点

Go 101
Go 语言中文网
Golang 中国
go-zh
Golang sizeof tips - 输入结构体定义，会显示内存布局
Golang Programs
Golang bot

图书推荐 [2019.10.23更新]

Wed, 23 Oct 2019 00:00:00 +0000

我所阅读或了解的优秀书籍，推荐给大家，不限于技术，各种类型都有，其实更多的是历史、传记等。

历史

书名	说明	推荐指数
用年表读懂中国史	中国历史入门书籍	★★★★★
流血的仕途（全2册）	站在大秦丞相李斯的角度讲述其一生仕途的历史小说	★★★★★
大秦帝国（全6部）	讲述自商鞅变法起的秦国历史小说	★★★★★
如果这是宋史（全10册）	高天流云	★★★★
明朝那些事儿（全7册）	当年明月	★★★★
中国的匈奴	杨献平	★★★
贾志刚说春秋（全7册）	贾志刚	★★★★
血腥的盛唐（全7册）	王觉仁	★★★★
中国近代通史（全10册）	1840-1949，可能是最权威、最全面的近代史丛书	★★★★
贞观政要	记载了唐太宗在位的二十三年中一些政治、经济上的重大措施	★★★★
罗马人的故事（全15册）	盐野七生	★★★★

传记

书名	说明	推荐指数
实录毛泽东（全4册）	李捷	★★★
邓小平时代	傅高义、描述邓小平与中国改革开放的作品	★★★★
曾国藩（全3册）	唐浩明、传记小说	★★★★★
曾国藩全集（全31册）	唐浩明编、岳麓书社出版	★★★★
红顶商人胡雪岩	高阳	★★★★★
朱元璋传	吴晗	★★★
慈禧全传（全10册）	高阳	★★★★
慈禧全传（全3册）	裕德龄(美)	★★★
张居正（全四册）	熊召政	★★★★
杨度（全3册）	唐浩明	★★★★
张之洞（全3册）	唐浩明	★★★★
知行合一王阳明（全4册）	度阴山	★★★

小说

书名	说明	推荐指数
平凡的世界	一部全景式地表现中国当代城乡社会生活的长篇小说	★★★★
大江东去（全3册）	一部全景展现改革开放二十年中国经济生活的长达150万字的长篇小说	★★★★
《民企江湖（全2册）》	以编年体的形式详尽还原了十年来一批典型民企从起家、生存到发展的全过程	★★★★
《艰难的制造》	讲述制造业在政策和市场夹缝中的生存故事，《大江东去》续集	★★★★

生活

书名	说明	推荐指数
老婆怀孕我干啥	画给奶爸的怀孕书	★★★
医学就会	漫画中医入门知识	★★★

成长

书名	说明	推荐指数
好好学习：个人知识管理精进指南	成甲	★★★★
开启潜意识：看透你未知的心	阿勋	★★★

经管

书名	说明	推荐指数
参与感	黎万强	★★★★
认识商业	商业入门书	★★★★
从零开始做运营	张亮	★★★★
魔鬼经济学（全4册）	史蒂芬·列维特(美)	★★★
中国是部金融史	陈雨露/杨忠恕，站在金融经济的角度看待历史	★★★
中国是部金融史2：天下之财	陈雨露/杨忠恕	★★★
中央帝国的财政密码	郭建龙，从历史中寻觅中国财政历史	★★★
中国国家治理的制度逻辑	周雪光	★★★★
组织社会学十讲	周雪光	★★★
世界上最简单的会计书	小学生都能看懂的会计入门书籍	★★★★
有效管理的5大兵法	经营管理经验实力之作	★★★★
创业36条军规	创业之路经验谈	★★★★
经济学通识	薛兆丰	★★★★

技术

书名	说明	推荐指数
高性能 MySQL	全面深入了解 MySQL 的经典书籍	★★★★
图解 HTTP	用有趣的图来介绍 HTTP 协议	★★★★
深入理解 PHP 内核	PHP 内核源码分析，开源图书	★★★★
The Way to Go	Go 入门指南，开源图书	★★★
R 语言实战	R 语言数据分析	★★★★
重构	改善既有代码的设计，怎样更好的编码	★★★★
推荐系统实践	产品经理也能看懂的推荐系统设计	★★★★
MySQL 性能调优与架构设计	MySQL 入门详解书籍	★★★

育儿

书名	说明	推荐指数
幼三国	手绘版三国，孩子阅读三国的好书	★★★★
小狗钱钱	引导孩子正确认识财富、创造财富的“金钱童话"	★★★★★

PHP 实现字符串表达式计算

Tue, 03 Sep 2019 00:00:00 +0000

什么是字符串表达式？即，将我们常见的表达式文本写到了字符串中，如："$age >= 20"，$age 的值是动态的整型变量。

什么是字符串表达式计算？即，我们需要一段程序来执行动态的表达式，如给定一个含表达式的字符串变量并计算其结果，而表达式字符串是动态的，比如为客户A执行的表达式是 $orderCount >= 10，而为客户B执行的表达式是 $orderTotal >= 1000。

场景在哪儿？同一份程序具有完全通用性，但差异就其中一个表达式而已，那么我们需要将其抽象出来，让表达式变成动态的、可配置的、或可生成的。

方案一：eval 函数

eval 函数可能是我们第一个想到的方案，也是最简单直接的方案。我们来试验下：

$a = 10;
var_dump(eval('return $a > 5;'));

// 输出:
// bool(true)

嗯~完全能满足我们的需求，因为 eval 函数执行的 PHP 表达式，只要字符串内表达式符合 PHP 语法就行。

但需注意的是，eval 函数可执行任意 PHP 代码，也就意味着权限大、风险高、不安全。如果你的字符串表达式来自于外部输入，那务必注意了请自行做好安全检查和过滤，并考虑风险。当然，执行的是外部输入表达式，非常不建议使用此函数。

方案二：include 临时文件

如何实现？将字符串表达式写入一个临时文件，然后 include 这个临时文件，执行完成后再删除这个临时文件。

方案依然很简单。需要考虑的有：

临时文件会很多，一个请求就有很多个，文件的过期和删除务必考虑在内
文件的读写，也就牵扯到了磁盘 IO，那性能必定受到严重影响

那这个方案我们还采用吗？

方案三：assert 断言

其实 assert 做不到字符串表达式的计算，但提出来也算个猜想，因为能实现 PHP 表达式是否合法的校验。

下例演示了如何验证某个字符串表达式是否为合法的 PHP 表达式:

try {
    assert('a +== 1');
} catch (Throwable $e) {
    echo $e->getMessage(), "\n";
}

运行结果:

1
2

Failure evaluating code: 
a +== 1

可依然面临一个问题，那就是安全性，因为与 eval 一样能执行任意代码。所以，从 PHP 7.2 开始就不可以再执行字符串类型的表达式了。关于 PHP assert 断言，可参考你所不知的 PHP 断言(assert)

方案四：system/exec 函数

system、exec、proc_open、shell_exec、passthru 等系列函数，本质上都是执行外部命令或脚本，以达到执行 PHP 代码的效果，与 include 实现类似，虽能实现但不安全。

1
2
3

system('php -r "echo 1 + 2;"');

echo exec('php -r "echo 1 + 2;"');

方案五：create_function 函数

create_function 函数是匿名函数的前生临时替代品，虽然现今还未废弃。作用是什么呢？允许用字符串创建一个 lambda 风格的匿名函数。

函数语法定义:

`1`	`create_function ( string $args , string $code ) : string`

使用示例:

1
2
3

$newfunc = create_function('$a, $b', 'var_dump($a, $b); return $a === $b;');

var_dump($newfunc(1, 2));

示例输出:

1
2
3

int(1)
int(2)
bool(false)

发现完全能实现我们的场景需求~但是又来了，这个函数不安全。为什么呢？看下手册中的 Caution：

This function internally performs an eval() and as such has the same security issues as eval(). Additionally it has bad performance and memory usage characteristics.

If you are using PHP 5.3.0 or newer a native anonymous function should be used instead.

create_function 函数底层走的是 eval 函数，所以面临着与 eval 一样的安全问题。并且，create_function 函数性能低下、占用内存高。而这函数最初就是为了匿名函数而生的，从 PHP 5.3.0 开始就内置实现了匿名函数，所以通过 create_function 去创建 lambda 风格自定义函数就毫无存在的必要了。

方案六：include 文件流

为何又是 include ？

我们从官方手册中了解到，include 语句用于包含并运行指定文件，并且支持远程文件，比如 include 'http://www.example.com/file.php?foo=1&bar=2';。

我们还从手册中能找到这句话：

如果“URL include wrappers”在 PHP 中被激活，可以用 URL（通过 HTTP 或者其它支持的封装协议——见支持的协议和封装协议）而不是本地文件来指定要被包含的文件。

此时，我们是否想起了熟悉的 php://input 等 scheme://... 风格内置或自定义的URL封装协议。而这些协议都有个特点，即可用于类似 fopen()、file_exists() 和 file_get_contents() 的文件系统函数打开。include 读取文件其实与这些函数是一致的。

那我们就可以使用 stream_wrapper_register() 来注册一个用 PHP 类实现的 URL 封装协议。该函数允许用户实现自定义的协议处理器和流，用于所有其它的文件系统函数中（例如 fopen()，fread() 等）。关于如何实现并注册一个 Stream Wrapper，可参考官方手册，本文仅提供个最简单的示例，来实现字符串表达式的计算。

class VarStream
{
    private $string;
    private $position;

    public function stream_open($path, $mode, $options, &$opened_path)
    {
        $path = explode('://', $path, 2)[1];

        // 此处可对传入的参数进行自定义解析，并作进一步的操作
        $this->string = $path;
        $this->position = 0;
        return true;
    }

    public function stream_read($count)
    {
        $ret = substr($this->string, $this->position, $count);
        $this->position += strlen($ret);
        return $ret;
    }

    public function stream_eof() {}

    public function stream_stat() {}

}

stream_wrapper_register("var", "VarStream");

try {

    $params = ['count' => 1];
    $expression = '($count += 111) - 8';
    $result = include 'var://<?php extract($params); return ' . $expression . ';';
    var_dump($result);

} catch (Throwable $t) {
    echo $t->getMessage();
}

输出结果:

`1`	`int(104)`

方案七：语法解析

这个方案就比较高大上许多，当然实现方式也难了太多。具体就是自己写个语法解析器，将代码字符串解析成 AST 语法树，然后再把语法树的内容计算成最终的值。

怎么实现呢？不用我们自己再去写了，已经有大佬写好了。当然，如果对 AST 语法解析感兴趣，那学习下如何实现是最好不过的了，会解析语法也就意味着可以自己写门语言了呀 😆

GitHub 中比较有名的 PHP 实现如下 2 个，很多代码静态分析器都是基于这 2 个库开发的。

PHP-Parser - 最流行
Tolerant PHP Parser - 微软开源

我们来看个 nikic/php-parser 的例子：

<?php
use PhpParser\Error;
use PhpParser\NodeDumper;
use PhpParser\ParserFactory;

$code = <<<'CODE'
<?php

function test($foo)
{
    var_dump($foo);
}
CODE;

$parser = (new ParserFactory)->create(ParserFactory::PREFER_PHP7);
try {
    $ast = $parser->parse($code);
} catch (Error $error) {
    echo "Parse error: {$error->getMessage()}\n";
    return;
}

$dumper = new NodeDumper;
echo $dumper->dump($ast) . "\n";

示例输出:

array(
    0: Stmt_Function(
        byRef: false
        name: Identifier(
            name: test
        )
        params: array(
            0: Param(
                type: null
                byRef: false
                variadic: false
                var: Expr_Variable(
                    name: foo
                )
                default: null
            )
        )
        returnType: null
        stmts: array(
            0: Stmt_Expression(
                expr: Expr_FuncCall(
                    name: Name(
                        parts: array(
                            0: var_dump
                        )
                    )
                    args: array(
                        0: Arg(
                            value: Expr_Variable(
                                name: foo
                            )
                            byRef: false
                            unpack: false
                        )
                    )
                )
            )
        )
    )
)

由此，我们可以任意的实现我们所需的，也不用担心安全性问题。

最后，总结下。我们尝试了很多种方法，都能解决我们或多或少的场景需求，但哪个最适合需要我们自己去考量，但思路值得我们去深入探讨。

解决 Homebrew 安装软件下载失败

Sun, 11 Aug 2019 00:00:00 +0000

当我们使用 Homebrew 安装软件时，由于一些特殊原因会出现软件包下载失败的情况。这种还很常见，我们没法改变环境，但却可以取巧的解决，那就是利用 Homebrew 缓存的特性，手动预先下载软件。

方法一: 手动下载软件包到缓存目录

以安装 Dart 为例:

$ brew install dart
==> Installing dart from dart-lang/dart
==> Downloading https://storage.googleapis.com/dart-archive/channels/stable/release/2.4.1/sdk/dartsdk-macos-x64-release.zip

curl: (56) LibreSSL SSL_read: SSL_ERROR_SYSCALL, errno 54
Error: An exception occurred within a child process:
  DownloadError: Failed to download resource "dart"
Download failed: https://storage.googleapis.com/dart-archive/channels/stable/release/2.4.1/sdk/dartsdk-macos-x64-release.zip

无法成功下载对应的软件包，但 Homebrew 会告知软件的下载地址:

`1`	`Download failed: https://storage.googleapis.com/dart-archive/channels/stable/release/2.4.1/sdk/dartsdk-macos-x64-release.zip`

于是，我们可以手动下载这个软件。然后我们获取缓存目录:

1
2

$ brew --cache
/Users/shockerli/Library/Caches/Homebrew

把刚下载好的软件包拷贝到这个目录下:

`1`	`$ cp ~/Downloads/dartsdk-macos-x64-release.zip /Users/shockerli/Library/Caches/Homebrew/`

我们再执行安装命令，不出意外，那么恭喜你，成功解决了问题。

但凡是也就有意外，不幸的你跟我一样，发现还是报错了:

$ brew install dart
==> Installing dart from dart-lang/dart
==> Downloading https://storage.googleapis.com/dart-archive/channels/stable/release/2.4.1/sdk/dartsdk-macos

curl: (56) LibreSSL SSL_read: SSL_ERROR_SYSCALL, errno 54
Error: An exception occurred within a child process:
  DownloadError: Failed to download resource "dart"
Download failed: https://storage.googleapis.com/dart-archive/channels/stable/release/2.4.1/sdk/dartsdk-macos-x64-release.zip

那该怎么解决？我们给命令加个 -v 打印命令的详细日志看看:

brew install dart -v
==> Installing dart from dart-lang/dart
/usr/bin/sandbox-exec -f /private/tmp/homebrew20190810-60798-mlb2s.sb nice /System/Library/Frameworks/Ruby.framework/Versions/2.3/usr/bin/ruby -W0 -I /usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/simplecov-cobertura-1.3.1/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/ruby-macho-2.2.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/rubocop-rspec-1.35.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/rubocop-performance-1.4.1/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/rubocop-0.74.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/unicode-display_width-1.6.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/ruby-progressbar-1.10.1/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/rspec-wait-0.0.9/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/rspec-retry-0.6.1/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/rspec-its-1.3.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/rspec-3.8.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/rspec-mocks-3.8.1/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/rspec-expectations-3.8.4/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/rspec-core-3.8.2/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/rspec-support-3.8.2/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/ronn-0.7.3/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/rdiscount-2.2.0.1/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/extensions/universal-darwin-18/2.3.0/rdiscount-2.2.0.1:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/rainbow-3.0.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/plist-3.5.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/parser-2.6.3.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/parallel_tests-2.29.1/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/parallel-1.17.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/mustache-1.1.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/mechanize-2.7.6/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/webrobots-0.1.2/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/ntlm-http-0.1.1/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/nokogiri-1.10.3/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/extensions/universal-darwin-18/2.3.0/nokogiri-1.10.3:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/mini_portile2-2.4.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/net-http-persistent-3.1.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/net-http-digest_auth-1.4.1/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/mime-types-3.2.2/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/mime-types-data-3.2019.0331/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/jaro_winkler-1.5.3/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/extensions/universal-darwin-18/2.3.0/jaro_winkler-1.5.3:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/http-cookie-1.0.3/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/hpricot-0.8.6/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/extensions/universal-darwin-18/2.3.0/hpricot-0.8.6:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/domain_name-0.5.20190701/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/unf-0.1.4/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/unf_ext-0.0.7.6/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/extensions/universal-darwin-18/2.3.0/unf_ext-0.0.7.6:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/diff-lcs-1.3/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/coveralls-0.8.23/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/thor-0.20.3/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/term-ansicolor-1.7.1/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/tins-1.21.1/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/simplecov-0.16.1/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/simplecov-html-0.10.2/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/docile-1.3.2/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/json-2.2.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/extensions/universal-darwin-18/2.3.0/json-2.2.0:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/connection_pool-2.2.2/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/backports-3.15.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/ast-2.4.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/activesupport-5.2.3/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/tzinfo-1.2.5/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/thread_safe-0.3.6/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/minitest-5.11.3/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/i18n-1.6.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/concurrent-ruby-1.1.5/lib:/Library/Ruby/Site/2.3.0:/Library/Ruby/Site/2.3.0/x86_64-darwin18:/Library/Ruby/Site/2.3.0/universal-darwin18:/Library/Ruby/Site:/System/Library/Frameworks/Ruby.framework/Versions/2.3/usr/lib/ruby/vendor_ruby/2.3.0:/System/Library/Frameworks/Ruby.framework/Versions/2.3/usr/lib/ruby/vendor_ruby/2.3.0/x86_64-darwin18:/System/Library/Frameworks/Ruby.framework/Versions/2.3/usr/lib/ruby/vendor_ruby/2.3.0/universal-darwin18:/System/Library/Frameworks/Ruby.framework/Versions/2.3/usr/lib/ruby/vendor_ruby:/System/Library/Frameworks/Ruby.framework/Versions/2.3/usr/lib/ruby/2.3.0:/System/Library/Frameworks/Ruby.framework/Versions/2.3/usr/lib/ruby/2.3.0/x86_64-darwin18:/System/Library/Frameworks/Ruby.framework/Versions/2.3/usr/lib/ruby/2.3.0/universal-darwin18:/usr/local/Homebrew/Library/Homebrew -- /usr/local/Homebrew/Library/Homebrew/build.rb /usr/local/Homebrew/Library/Taps/dart-lang/homebrew-dart/dart.rb --verbose

==> Downloading https://storage.googleapis.com/dart-archive/channels/stable/release/2.4.1/sdk/dartsdk-macos-x64-release.zip
/usr/bin/curl -q --show-error --user-agent Homebrew/2.1.9-21-g625a780\ \(Macintosh\;\ Intel\ Mac\ OS\ X\ 10.14.2\)\ curl/7.54.0 --fail --location --remote-time --continue-at 0 --output /Users/shockerli/Library/Caches/Homebrew/downloads/4d2412a5d84521393e0e1ecdce0662569e13c2c47762093a760939fa9dd4a917--dartsdk-macos-x64-release.zip.incomplete https://storage.googleapis.com/dart-archive/channels/stable/release/2.4.1/sdk/dartsdk-macos-x64-release.zip
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
  0     0    0     0    0     0      0      0 --:--:--  0:00:43 --:--:--     0
curl: (56) LibreSSL SSL_read: SSL_ERROR_SYSCALL, errno 60
Error: An exception occurred within a child process:
  DownloadError: Failed to download resource "dart"
Download failed: https://storage.googleapis.com/dart-archive/channels/stable/release/2.4.1/sdk/dartsdk-macos-x64-release.zip

注意到这条信息:

/usr/bin/curl -q --show-error --user-agent Homebrew/2.1.9-21-g625a780\ \(Macintosh\;\ Intel\ Mac\ OS\ X\ 10.14.2\)\ curl/7.54.0 --fail --location --remote-time --continue-at 0 --output /Users/shockerli/Library/Caches/Homebrew/downloads/4d2412a5d84521393e0e1ecdce0662569e13c2c47762093a760939fa9dd4a917--dartsdk-macos-x64-release.zip.incomplete https://storage.googleapis.com/dart-archive/channels/stable/release/2.4.1/sdk/dartsdk-macos-x64-release.zip

我们看到 Homebrew 下载 dart 的缓存地址为:

`1`	`/Users/shockerli/Library/Caches/Homebrew/downloads/4d2412a5d84521393e0e1ecdce0662569e13c2c47762093a760939fa9dd4a917--dartsdk-macos-x64-release.zip.incomplete`

XXX.incomplete 表示下载未完成，但这是 Homebrew 期望的下载文件路径。

那我们就将下载的软件包拷贝到这个路径，并去除 .incomplete:

`1`	`mv ~/Downloads/dartsdk-macos-x64-release.zip /Users/shockerli/Library/Caches/Homebrew/downloads/4d2412a5d84521393e0e1ecdce0662569e13c2c47762093a760939fa9dd4a917--dartsdk-macos-x64-release.zip`

此时我们再执行安装命令:

brew install dart -v
==> Installing dart from dart-lang/dart
/usr/bin/sandbox-exec -f /private/tmp/homebrew20190811-62563-1rnamem.sb nice /System/Library/Frameworks/Ruby.framework/Versions/2.3/usr/bin/ruby -W0 -I /usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/simplecov-cobertura-1.3.1/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/ruby-macho-2.2.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/rubocop-rspec-1.35.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/rubocop-performance-1.4.1/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/rubocop-0.74.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/unicode-display_width-1.6.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/ruby-progressbar-1.10.1/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/rspec-wait-0.0.9/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/rspec-retry-0.6.1/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/rspec-its-1.3.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/rspec-3.8.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/rspec-mocks-3.8.1/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/rspec-expectations-3.8.4/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/rspec-core-3.8.2/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/rspec-support-3.8.2/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/ronn-0.7.3/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/rdiscount-2.2.0.1/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/extensions/universal-darwin-18/2.3.0/rdiscount-2.2.0.1:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/rainbow-3.0.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/plist-3.5.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/parser-2.6.3.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/parallel_tests-2.29.1/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/parallel-1.17.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/mustache-1.1.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/mechanize-2.7.6/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/webrobots-0.1.2/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/ntlm-http-0.1.1/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/nokogiri-1.10.3/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/extensions/universal-darwin-18/2.3.0/nokogiri-1.10.3:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/mini_portile2-2.4.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/net-http-persistent-3.1.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/net-http-digest_auth-1.4.1/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/mime-types-3.2.2/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/mime-types-data-3.2019.0331/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/jaro_winkler-1.5.3/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/extensions/universal-darwin-18/2.3.0/jaro_winkler-1.5.3:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/http-cookie-1.0.3/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/hpricot-0.8.6/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/extensions/universal-darwin-18/2.3.0/hpricot-0.8.6:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/domain_name-0.5.20190701/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/unf-0.1.4/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/unf_ext-0.0.7.6/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/extensions/universal-darwin-18/2.3.0/unf_ext-0.0.7.6:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/diff-lcs-1.3/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/coveralls-0.8.23/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/thor-0.20.3/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/term-ansicolor-1.7.1/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/tins-1.21.1/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/simplecov-0.16.1/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/simplecov-html-0.10.2/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/docile-1.3.2/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/json-2.2.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/extensions/universal-darwin-18/2.3.0/json-2.2.0:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/connection_pool-2.2.2/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/backports-3.15.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/ast-2.4.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/activesupport-5.2.3/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/tzinfo-1.2.5/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/thread_safe-0.3.6/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/minitest-5.11.3/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/i18n-1.6.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/concurrent-ruby-1.1.5/lib:/Library/Ruby/Site/2.3.0:/Library/Ruby/Site/2.3.0/x86_64-darwin18:/Library/Ruby/Site/2.3.0/universal-darwin18:/Library/Ruby/Site:/System/Library/Frameworks/Ruby.framework/Versions/2.3/usr/lib/ruby/vendor_ruby/2.3.0:/System/Library/Frameworks/Ruby.framework/Versions/2.3/usr/lib/ruby/vendor_ruby/2.3.0/x86_64-darwin18:/System/Library/Frameworks/Ruby.framework/Versions/2.3/usr/lib/ruby/vendor_ruby/2.3.0/universal-darwin18:/System/Library/Frameworks/Ruby.framework/Versions/2.3/usr/lib/ruby/vendor_ruby:/System/Library/Frameworks/Ruby.framework/Versions/2.3/usr/lib/ruby/2.3.0:/System/Library/Frameworks/Ruby.framework/Versions/2.3/usr/lib/ruby/2.3.0/x86_64-darwin18:/System/Library/Frameworks/Ruby.framework/Versions/2.3/usr/lib/ruby/2.3.0/universal-darwin18:/usr/local/Homebrew/Library/Homebrew -- /usr/local/Homebrew/Library/Homebrew/build.rb /usr/local/Homebrew/Library/Taps/dart-lang/homebrew-dart/dart.rb --verbose
==> Downloading https://storage.googleapis.com/dart-archive/channels/stable/release/2.4.1/sdk/dartsdk-macos-x64-release.zip


Already downloaded: /Users/shockerli/Library/Caches/Homebrew/downloads/4d2412a5d84521393e0e1ecdce0662569e13c2c47762093a760939fa9dd4a917--dartsdk-macos-x64-release.zip
==> Verifying 4d2412a5d84521393e0e1ecdce0662569e13c2c47762093a760939fa9dd4a917--dartsdk-macos-x64-release.zip checksum
unzip /Users/shockerli/Library/Caches/Homebrew/downloads/4d2412a5d84521393e0e1ecdce0662569e13c2c47762093a760939fa9dd4a917--dartsdk-macos-x64-release.zip -d /private/tmp/d20190811-62564-1me3qph
cp -pR /private/tmp/d20190811-62564-1me3qph/dart-sdk/. /private/tmp/dart-20190811-62564-hu8qrn/dart-sdk
chmod -Rf +w /private/tmp/d20190811-62564-1me3qph
==> Cleaning
==> Finishing up
ln -s ../Cellar/dart/2.4.1/bin/dart dart
ln -s ../Cellar/dart/2.4.1/bin/dart2aot dart2aot
ln -s ../Cellar/dart/2.4.1/bin/dart2js dart2js
ln -s ../Cellar/dart/2.4.1/bin/dartanalyzer dartanalyzer
ln -s ../Cellar/dart/2.4.1/bin/dartaotruntime dartaotruntime
ln -s ../Cellar/dart/2.4.1/bin/dartdevc dartdevc
ln -s ../Cellar/dart/2.4.1/bin/dartdoc dartdoc
ln -s ../Cellar/dart/2.4.1/bin/dartfmt dartfmt
ln -s ../Cellar/dart/2.4.1/bin/pub pub
/usr/bin/sandbox-exec -f /private/tmp/homebrew20190811-62996-w9cwbv.sb nice /System/Library/Frameworks/Ruby.framework/Versions/2.3/usr/bin/ruby -W0 -I /usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/simplecov-cobertura-1.3.1/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/ruby-macho-2.2.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/rubocop-rspec-1.35.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/rubocop-performance-1.4.1/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/rubocop-0.74.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/unicode-display_width-1.6.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/ruby-progressbar-1.10.1/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/rspec-wait-0.0.9/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/rspec-retry-0.6.1/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/rspec-its-1.3.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/rspec-3.8.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/rspec-mocks-3.8.1/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/rspec-expectations-3.8.4/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/rspec-core-3.8.2/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/rspec-support-3.8.2/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/ronn-0.7.3/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/rdiscount-2.2.0.1/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/extensions/universal-darwin-18/2.3.0/rdiscount-2.2.0.1:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/rainbow-3.0.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/plist-3.5.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/parser-2.6.3.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/parallel_tests-2.29.1/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/parallel-1.17.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/mustache-1.1.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/mechanize-2.7.6/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/webrobots-0.1.2/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/ntlm-http-0.1.1/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/nokogiri-1.10.3/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/extensions/universal-darwin-18/2.3.0/nokogiri-1.10.3:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/mini_portile2-2.4.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/net-http-persistent-3.1.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/net-http-digest_auth-1.4.1/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/mime-types-3.2.2/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/mime-types-data-3.2019.0331/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/jaro_winkler-1.5.3/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/extensions/universal-darwin-18/2.3.0/jaro_winkler-1.5.3:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/http-cookie-1.0.3/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/hpricot-0.8.6/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/extensions/universal-darwin-18/2.3.0/hpricot-0.8.6:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/domain_name-0.5.20190701/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/unf-0.1.4/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/unf_ext-0.0.7.6/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/extensions/universal-darwin-18/2.3.0/unf_ext-0.0.7.6:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/diff-lcs-1.3/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/coveralls-0.8.23/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/thor-0.20.3/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/term-ansicolor-1.7.1/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/tins-1.21.1/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/simplecov-0.16.1/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/simplecov-html-0.10.2/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/docile-1.3.2/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/json-2.2.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/extensions/universal-darwin-18/2.3.0/json-2.2.0:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/connection_pool-2.2.2/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/backports-3.15.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/ast-2.4.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/activesupport-5.2.3/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/tzinfo-1.2.5/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/thread_safe-0.3.6/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/minitest-5.11.3/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/i18n-1.6.0/lib:/usr/local/Homebrew/Library/Homebrew/vendor/bundle/bundler/../ruby/2.3.0/gems/concurrent-ruby-1.1.5/lib:/Library/Ruby/Site/2.3.0:/Library/Ruby/Site/2.3.0/x86_64-darwin18:/Library/Ruby/Site/2.3.0/universal-darwin18:/Library/Ruby/Site:/System/Library/Frameworks/Ruby.framework/Versions/2.3/usr/lib/ruby/vendor_ruby/2.3.0:/System/Library/Frameworks/Ruby.framework/Versions/2.3/usr/lib/ruby/vendor_ruby/2.3.0/x86_64-darwin18:/System/Library/Frameworks/Ruby.framework/Versions/2.3/usr/lib/ruby/vendor_ruby/2.3.0/universal-darwin18:/System/Library/Frameworks/Ruby.framework/Versions/2.3/usr/lib/ruby/vendor_ruby:/System/Library/Frameworks/Ruby.framework/Versions/2.3/usr/lib/ruby/2.3.0:/System/Library/Frameworks/Ruby.framework/Versions/2.3/usr/lib/ruby/2.3.0/x86_64-darwin18:/System/Library/Frameworks/Ruby.framework/Versions/2.3/usr/lib/ruby/2.3.0/universal-darwin18:/usr/local/Homebrew/Library/Homebrew -- /usr/local/Homebrew/Library/Homebrew/postinstall.rb /usr/local/Homebrew/Library/Taps/dart-lang/homebrew-dart/dart.rb -v
==> Caveats
Please note the path to the Dart SDK:
  /usr/local/opt/dart/libexec
==> Summary
🍺  /usr/local/Cellar/dart/2.4.1: 387 files, 344.4MB, built in 3 minutes 11 seconds

Homebrew 成功用到了缓存并安装成功~祝贺你😆

方法二: 修改软件包的下载地址

具体可见 brew edit 命令

比如修改 dart 包，brew edit dart:

class Dart < Formula
  desc "The Dart SDK"
  homepage "https://www.dartlang.org/"

  version "2.4.1"
  if Hardware::CPU.is_64_bit?
    url "https://storage.googleapis.com/dart-archive/channels/stable/release/2.4.1/sdk/dartsdk-macos-x64-release.zip"
    sha256 "62006127bd3acd1b7eb2e4fc7baed061eb19b80c4ba4af481db5244a081fff3e"
  else
    url "https://storage.googleapis.com/dart-archive/channels/stable/release/2.4.1/sdk/dartsdk-macos-ia32-release.zip"
    sha256 "3591578902f3b3ee155aa90bf893f3d0b50fd12567454a8f980440fa8dd1ff23"
  end

  devel do
    version "2.5.0-dev.1.0"
    if Hardware::CPU.is_64_bit?
      url "https://storage.googleapis.com/dart-archive/channels/dev/release/2.5.0-dev.1.0/sdk/dartsdk-macos-x64-release.zip"
      sha256 "2fc3967437e8a3e2f5ee9d0abbf15ebf5823fdc6a648ee58a72bed550f93281f"
    else
      url "https://storage.googleapis.com/dart-archive/channels/dev/release/2.5.0-dev.1.0/sdk/dartsdk-macos-ia32-release.zip"
      sha256 "6c0b7c6719ded33eb9ada8a6f52d80b3fe94ab43e008bb432ef8f7fd4997145b"
    end
  end

  def install
    libexec.install Dir["*"]
    bin.install_symlink "#{libexec}/bin/dart"
    bin.write_exec_script Dir["#{libexec}/bin/{pub,dart?*}"]
  end

  def shim_script(target)
    <<~EOS
      #!/usr/bin/env bash
      exec "#{prefix}/#{target}" "$@"
    EOS
  end

  def caveats; <<~EOS
    Please note the path to the Dart SDK:
      #{opt_libexec}
    EOS
  end

  test do
    (testpath/"sample.dart").write <<~EOS
      void main() {
        print(r"test message");
      }
    EOS

    assert_equal "test message\n", shell_output("#{bin}/dart sample.dart")
  end
end

我们把 tap 里包对应的 url 给改成可用的地址即可。当然这种方法的前提是有可用的下载地址，比如清华大学、中科大等国内镜像源提供的加速地址，否则依然无效。

你所不知的 PHP 断言(assert)

Wed, 29 May 2019 00:00:00 +0000

PHP 中的断言常用于调试，检查一个表达式或语句是否为 FALSE。本文带你重新认识 PHP assert() 函数的神(Qi)通(Yin)广(Ji)大(Qiao)。

本文基于 PHP Version 7.1.28

什么是断言

编写程序时，常会做出一定的假设，那断言就是用来捕获假设的异常，我们也可以认为断言是异常的一种特殊形式。

断言一般用于程序执行结构的判断，不可让断言处理业务流程。用的最多的场景就是单元测试，一般的单元测试框架都采用了断言。

assert(1 == 2);

// 运行结果:
// Warning: assert(): assert(1 == 2) failed in /Users/shocker/Desktop/demo.php on line 25

PHP 中的断言

在 PHP 中，采用 assert() 函数对表达式进行断言。

// PHP 5
assert ( mixed $assertion [, string $description ] ) : bool

// PHP 7
assert ( mixed $assertion [, Throwable $exception ] ) : bool

传统的断言方式 (PHP 5 & 7)

参数 assertion 既支持表达式，也支持表达式字符串（某些特定的场景会用到，比如判断某个字符串表达式是否合法）

如果 assertion 是字符串，它将会被 assert() 当做 PHP 代码来执行。assertion 是字符串的优势是当禁用断言时它的开销会更小，并且在断言失败时消息会包含 assertion 表达式。

断言这个功能应该只被用来调试。你应该用于完整性检查时测试条件是否始终应该为 TRUE，来指示某些程序错误，或者检查具体功能的存在（类似扩展函数或特定的系统限制和功能）。

断言不应该用于普通运行时操作，类似输入参数的检查。作为一个经验法则，在断言禁用时你的代码也应该能够正确地运行。

使用示例:

function my_assert_handler($file, $line, $code, $desc)
{
    echo "Assertion Failed:
    File '{$file}'
    Line '{$line}'
    Code '{$code}'
    Desc '{$desc}'
";
}

// 设置回调函数
assert_options(ASSERT_CALLBACK, 'my_assert_handler');

// 让一则断言失败
assert('1 == 2', '1 不可能等于 2');

运行结果:

Assertion Failed:
    File '/Users/shocker/Desktop/demo.php'
    Line '29'
    Code '1 == 2'
    Desc '1 不可能等于 2'

支持异常的断言 (仅 PHP 7)

在 PHP 7 中，assert() 是一个语言结构，允许在不同环境中生效不同的措施，具体可见 zend.assertions 配置。

另外，还支持通过 AssertionError 捕获错误。

使用示例:

assert_options(ASSERT_EXCEPTION, 1); // 在断言失败时产生异常

try {
    // 用 AssertionError 异常替代普通字符串
    assert(true == false, new AssertionError('True is not false!'));
} catch (Throwable $e) {
    echo $e->getMessage();
}

运行结果:

`1`	`True is not false!`

对断言行为进行控制

PHP 支持 assert_options() 函数对断言进行配置，也可用 ini 进行设置

以下配置中，常量标志用于 assert_options() 函数进行配置，ini 设置用于 ini_set() 函数设置，效果一样

标志	INI 设置	默认值	描述
ASSERT_ACTIVE	assert.active	“1”	启用 `assert()` 断言
ASSERT_WARNING	assert.warning	“1”	为每个失败的断言产生一个 PHP 警告（warning）
ASSERT_BAIL	assert.bail	“0”	在断言失败时中止执行
ASSERT_QUIET_EVAL	assert.quiet_eval	“0”	在断言表达式求值时禁用 error_reporting
ASSERT_CALLBACK	assert.callback	NULL	断言失败时调用该回调函数
ASSERT_EXCEPTION	assert.exception	“0”	在断言失败时产生 AssertionError 异常（自 PHP 7.0.0 起有效）

zend.assertions 是个特殊的配置（PHP >= 7.0.0 支持），控制不同运行环境下断言的行为，仅可用 ini_set() 进行设置。并且，设置了1就不能再设置为-1，反之亦然，其他不受限。

1: 编译代码，并执行(开发模式)

0: 编辑代码，但运行时跳过

-1: 不编译代码(生产模式)

版本的不兼容

PHP >= 5.4.8，description 可作为第四个参数提供给 ASSERT_CALLBACK 模式里的回调函数
在 PHP 5 中，参数 assertion 必须是可执行的字符串，或者运行结果为布尔值的表达式
在 PHP 7 中，参数 assertion 可以是任意表达式，并用其运算结果作为断言的依据
在 PHP 7 中，参数 exception 可以是个 Throwable 对象，用于捕获表达式运行错误或断言结果为失败。(当然 assert.exception 需开启)
PHP >= 7.0.0，支持 zend.assertions、assert.exception 相关配置及其特性
PHP >= 7.2 版本开始，参数 assertion 不再支持字符串

详见 PHP 7.2.x 中废弃的功能
1

Deprecated: assert(): Calling assert() with a string argument is deprecated

应用场景

调试输出

先看示例:

`1`	`assert('1 == 2', '1 不可能等于 2');`

运行结果:

`1`	`Warning: assert(): 1 不可能等于 2: "1 == 2" failed in /Users/shocker/Desktop/demo.php on line 10`

类似于:

$expression = 1 == 2;
if (!($expression)) {
    echo "1 不可能等于 2\n";
    var_dump($expression);
    echo __FILE__ . "\n";
}

但是，我们无法得知 $expression 的具体表达式，也无法得知具体的执行行数。

单元测试

function arraySum(array $nums) {
    $sum = 0;
    foreach ($nums as $n) {
        $sum += $n;
    }

    return $sum;
}

assert(arraySum([1, 2, 3]) == 6, 'arraySum() 测试不通过:');
assert(is_numeric(arraySum([1, 2, 3])), 'arraySum() 测试不通过:');

是不是跟我们用 PHPUnit 写单元测试很像😆

验证表达式

Tip:

PHP 7 开始，新增了 Error 类用于捕获 PHP 内置错误，包括语法错误。Error 与之前的 Exception 均继承自 Throwable，所以从 7.0.0 开始，Throwable 可以捕获一切错误和异常。

下例演示了如何验证某个字符串表达式是否为合法的 PHP 表达式:

try {
    assert('a +== 1');
} catch (Throwable $e) {
    echo $e->getMessage(), "\n";
}

运行结果:

1
2

Failure evaluating code: 
a +== 1

安全问题

假设是下列代码，会有什么结果呢？

function demo(){
    file_put_contents('data.log', 'shockerli.net');
    return true;
}

$func = $_GET["func"];
assert("$func()");

所以，对于 assert 函数，正常情况下是不建议用于生产环境的。

与 eval 一样会执行任何 PHP 代码，危害极大。这也是 PHP 从 7.2 开始废弃支持字符串表达式的原因。

替换 Docker 或 Laradock 中 Debian 系统镜像源解决软件安装问题

Tue, 23 Apr 2019 00:00:00 +0000

Docker Debian 镜像源替换

因多数默认的 Docker 镜像为国外的，而采用的镜像源也是国外的，故访问很慢，所以我们需要替换为国内的（比如阿里云或163等）。

注意: 不同版本的 Debian 镜像源地址不一样

Debian 7.x (wheezy)

# 更新apt-get源
RUN echo \
    deb http://mirrors.aliyun.com/debian/ wheezy main non-free contrib\
    deb http://mirrors.aliyun.com/debian/ wheezy-proposed-updates main non-free contrib\
    deb-src http://mirrors.aliyun.com/debian/ wheezy main non-free contrib\
    > /etc/apt/sources.list

Debian 8.x (jessie)

# 更新apt-get源
RUN echo \
    deb http://mirrors.aliyun.com/debian/ jessie main non-free contrib\
    deb http://mirrors.aliyun.com/debian/ jessie-proposed-updates main non-free contrib\
    deb-src http://mirrors.aliyun.com/debian/ jessie main non-free contrib\
    > /etc/apt/sources.list

Debian 9.x (stretch)

# 更新apt-get源
RUN echo \
    deb http://mirrors.aliyun.com/debian/ stretch main non-free contrib\
    deb-src http://mirrors.aliyun.com/debian/ stretch main non-free contrib\
    deb http://mirrors.aliyun.com/debian-security stretch/updates main\
    deb-src http://mirrors.aliyun.com/debian-security stretch/updates main\
    deb http://mirrors.aliyun.com/debian/ stretch-updates main non-free contrib\
    deb-src http://mirrors.aliyun.com/debian/ stretch-updates main non-free contrib\
    deb http://mirrors.aliyun.com/debian/ stretch-backports main non-free contrib\
    deb-src http://mirrors.aliyun.com/debian/ stretch-backports main non-free contrib\
    > /etc/apt/sources.list

Laradock 镜像构建失败

因为默认用的是国外 Debian 镜像源，故在执行 apt-get 等命令拉取软件包时会失败，我们需手动在对于的 Dockerfile 中添加一个 RUN 指令来替换掉默认的镜像源

以下仅为示例:

需根据自己当前 Laradock 版本查看引用的系统镜像及其版本注意不同，其他系统(eg: CentOS)请对症下药。

# 更新apt-get源
RUN echo \
    deb http://mirrors.aliyun.com/debian/ stretch main non-free contrib\
    deb-src http://mirrors.aliyun.com/debian/ stretch main non-free contrib\
    deb http://mirrors.aliyun.com/debian-security stretch/updates main\
    deb-src http://mirrors.aliyun.com/debian-security stretch/updates main\
    deb http://mirrors.aliyun.com/debian/ stretch-updates main non-free contrib\
    deb-src http://mirrors.aliyun.com/debian/ stretch-updates main non-free contrib\
    deb http://mirrors.aliyun.com/debian/ stretch-backports main non-free contrib\
    deb-src http://mirrors.aliyun.com/debian/ stretch-backports main non-free contrib\
    > /etc/apt/sources.list

Shell 命令组合集[2019.04.05更新]

Fri, 05 Apr 2019 00:00:00 +0000

本文档收集了常用的 Shell 命令组合，依然在不定期更新中…

终端命令

日志

统计独立 IP 数量

`1`	`awk '{print $1}' access.log \| sort -n \| uniq \| wc -l`

查看某一时间段的 IP 访问量

`1`	`grep "05/Apr/2019:0[1-9]" access.log \| awk '{print $1}' \| sort \| uniq -c\| sort -nr \| wc -l`

查看访问最频繁的前 100 个 IP

`1`	`awk '{print $1}' access.log \| sort -n \| uniq -c \| sort -rn \| head -n 100`

查看访问 100 次以上的 IP

`1`	`awk '{print $1}' access.log \| sort -n \| uniq -c \| awk '{if($1 > 100) print $0}' \| sort -rn`

查询某个 IP 的详细访问情况，按访问频率排序

`1`	`grep '127.0.0.1' access.log \| awk '{print $7}' \| sort \| uniq -c \| sort -rn \| head -n 100`

统计 URL 访问量排行

`1`	`awk '{url[$7]++} END {for (k in url) {print url[k],k}}' nginx.access.log \| sort -rn`

使用 awk 从 Nginx 日志中逐行统计 URL 访问计数，然后使用 sort 对结果进行排名

访问最频繁的 URL

`1`	`awk '{print $7}' access.log \| sort \| uniq -c \| sort -rn \| head -n 100`

或者

`1`	`awk '{url[$7]++} END {for (k in url) {print url[k],k}}' access.log \| sort -rn \| head -n 100`

除了 .php 以外，访问最频繁的 URL

`1`	`grep -v ".php" access.log \| awk '{print $7}' \| sort \| uniq -c \| sort -rn \| head -n 100`

URL 访问次数超过 100 次的页面

`1`	`awk '{print $7}' access.log \| sort -n \| uniq -c \| sort -rn \| head -n 100`

查看最近1000条记录，访问量最高的 URL

`1`	`tail -1000 access.log \| awk '{print $7}' \| sort \| uniq -c \| sort -rn \| less`

统计每秒的请求数，TOP100的时间点(精确到秒)

`1`	`awk '{print $4}' access.log \| cut -c 14-21 \| sort \| uniq -c \| sort -rn \| head -n 100`

统计每小时的请求数，TOP100的时间点(精确到小时)

`1`	`awk '{print $4}' access.log \| cut -c 14-15 \| sort \| uniq -c \| sort -rn \| head -n 100`

列出传输时间超过3秒的页面，并统计其出现的次数，显示前20条

在 Nginx log 最后一个字段加入 $request_time

`1`	`cat access.log \| awk '($NF > 3){print $7}' \| sort -n \| uniq -c \| sort -rn \| head -20`

列出PHP页面请求时间超过3秒的页面，并统计其出现的次数，显示前100条

在 Nginx log 最后一个字段加入 $request_time

`1`	`cat access.log \| awk '($NF > 1 && $7~/\.php/){print $7}' \| sort -n \| uniq -c \| sort -rn \| head -100`

文件

列出当前目录下的所有文件（包括隐藏文件）的绝对路径

`1`	`find $PWD -maxdepth 1 \| xargs ls -ld`

递归列出当前目录下的所有文件（包括隐藏文件）的绝对路径

`1`	`find $PWD \| xargs ls -ld`

在每行记录的开头加上当前路径

`1`	ls \| sed "s:^:`pwd`/:"

删除指定时间之前的文件

`1`	`find /path/to/dir -mtime +30 -type f \| xargs rm -f`

/path/to/dir 设置查找的目录
--mtime +30 设置时间为30天前
-type f 指定查找的类型为文件

删除文件前/后N行

删除了前2行。先用tail把从第3行开始的所有内容输出到新文件，然后再重命名文件。

1
2

tail -n +3 old_file > new_file 
mv new_file old_file

仅保留最后3行。

1
2

tail -n -3 old_file > new_file 
mv new_file old_file

如果写定时任务，那可放置到一行。

`1`	`0 0 * * * tail -n -3 old_file > new_file && mv -f new_file old_file`

网络

统计网卡的流量数据

sar -n DEV 1 5
    
平均时间:     IFACE   rxpck/s   txpck/s    rxkB/s    txkB/s   rxcmp/s   txcmp/s  rxmcst/s
平均时间:        lo      2.21      2.21      0.18      0.18      0.00      0.00      0.00
平均时间:      eth0      4.62      3.82      0.37      1.90      0.00      0.00      0.00

命令中 1 5 表示每一秒钟取 1 次值，一共取 5 次。

命令执行后会列出每个网卡这 5 次取值的平均数据，根据实际情况来确定带宽跑满的网卡名称，默认情况下 eth0 为内网网卡，eth1 为外网网卡。

查询占用端口的进程/程序

1
2
3

netstat -tunlp | grep ':80'
    
tcp        0      0 0.0.0.0:80      0.0.0.0:*    LISTEN      26655/nginx

或者使用 lsof 命令：

`1`	`lsof -i :80`

查看流量占用情况

`1`	`iftop -P`

查看程序流量排行

nethogs

进程/程序

grep 程序并杀死

`1`	`ps -ef \| grep process_name \| grep -v grep \| cut -c 9-15 \| xargs kill -s 9`

查看指定进程的具体占用内存

`1`	`cat /proc/[pid]/status`

Name:	memcached
State:	S (sleeping)
Tgid:	1954
Pid:	1954
PPid:	1
TracerPid:	0
Uid:	500	500	500	500
Gid:	500	500	500	500
Utrace:	0
FDSize:	128
Groups:
VmPeak:	  413792 kB
VmSize:	  360544 kB
VmLck:	       0 kB
VmHWM:	   29704 kB
VmRSS:	   29376 kB
VmData:	  341768 kB
VmStk:	    2132 kB
VmExe:	      80 kB
VmLib:	    2152 kB
VmPTE:	     164 kB
VmSwap:	       0 kB
Threads:	6
...

其中，VmRSS项表示实际占用内存值。

或者，用ps命令

`1`	`ps aux \| grep <pid>`

1
2

USER       PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND
jxcdn     1954  0.0  0.1 360544 29376 ?        Ssl  Apr13   7:56 memcached -m 128 -p 11211

其中RSS列表示实际使用内存(单位: KB)。可以看出，与/proc/[pid]/status的值是一致的。

脚本命令

获取脚本文件所在目录

`1`	script_path=$(cd `dirname $0`; pwd)

获取脚本文件的上级目录

1
2

script_path=$(cd `dirname $0`; pwd)
root_path=$(cd `dirname "$script_path"`; pwd)

格式化当前时间

`1`	`datetime=$(date +"%Y-%m-%d %H:%M:%S")`

去除文本中的颜色转义符

`1`	`sed -r "s/\x1B\[([0-9]{1,2}(;[0-9]{1,2})?)?[m\|K]//g"`

来源: https://www.commandlinefu.com/commands/view/3584/remove-color-codes-special-characters-with-sed

PHP 算法 —— 快速排序

Sun, 31 Mar 2019 00:00:00 +0000

算法原理

下列动图来自**@五分钟学算法**，演示了快速排序算法的原理和步骤。

步骤:

从数组中选个基准值
将数组中大于基准值的放同一边、小于基准值的放另一边，基准值位于中间位置
递归的对分列两边的数组再排序

代码实现

function quickSort($arr)
{
    $len = count($arr);
    if ($len <= 1) {
        return $arr;
    }

    $v = $arr[0];
    $low = $up = array();
    for ($i = 1; $i < $len; ++$i) {
        if ($arr[$i] > $v) {
            $up[] = $arr[$i];
        } else {
            $low[] = $arr[$i];
        }
    }
    $low = quickSort($low);
    $up = quickSort($up);

    return array_merge($low, array($v), $up);
}

测试代码:

$startTime = microtime(1);

$arr = range(1, 10);
shuffle($arr);

echo "before sort: ", implode(', ', $arr), "\n";
$sortArr = quickSort($arr);
echo "after sort: ", implode(', ', $sortArr), "\n";

echo "use time: ", microtime(1) - $startTime, "s\n";

测试结果:

1
2
3

before sort: 1, 7, 10, 9, 6, 3, 2, 5, 4, 8
after sort: 1, 2, 3, 4, 5, 6, 7, 8, 9, 10
use time: 0.0009009838104248s

时间复杂度

快速排序的时间复杂度在最坏情况下是O(N2)，平均的时间复杂度是O(N*lgN)。

这句话很好理解：假设被排序的数列中有N个数。遍历一次的时间复杂度是O(N)，需要遍历多少次呢？至少lg(N+1)次，最多N次。

为什么最少是lg(N+1)次？快速排序是采用的分治法进行遍历的，我们将它看作一棵二叉树，它需要遍历的次数就是二叉树的深度，而根据完全二叉树的定义，它的深度至少是lg(N+1)。因此，快速排序的遍历次数最少是lg(N+1)次。
为什么最多是N次？这个应该非常简单，还是将快速排序看作一棵二叉树，它的深度最大是N。因此，快读排序的遍历次数最多是N次。