分类： Programming

关于编程的各个方面

密钥安全那些事

借着此次上海公安数据库疑似泄密事件，好好梳理下项目中是如何确保密钥安全。密钥大多指 Key-Value 键值对、公私钥、Token 等，从早期的代码中硬编码，到配置文件硬编码，再到各种的配置中心的诞生，例如：携程 Apollo 或者 HashiCorp Vault。不断的演变进化中，安全性与灵活性也极大的提高。

硬编码时代：密钥控制权将完全由开发者决定，一旦代码泄露则密钥也一并泄露，即便泄露不是源代码，而是编译后的 Class 文件，Jar、War 包等也是可以轻松反编译得到源码，所以是最不可靠的方案，实际项目中应绝对禁止，且应在 CI 流程中加入 Checkmarx SAST 检测告警，以避免疏忽大意而导致泄露。配置文件只可存放用于测试的配置，例如连接本地数据库的用户密码，在 CI 流程中进行动态替换，这样一来，密钥则可交由运维人员来管理，与开发者完全隔离。

微服务时代：随着配置项的增多，管理职权分离后，密钥如何存储，更新，授权，管理等一些列问题也孕育而生。携程 Apollo 则是一个较好的解决方案，目前也是国内项目大多数的选择。自身的稳定性，灵活性都还做的不错，有着不错的 Web UI，与 Spring Boot 集成也非常简单。

云原生时代：随着 Kubernetes 的加入，DevOps 发生了较大的变化，对容器而言，推荐使用 Secret 和 ConfigMap 来存放密钥和键值对。同时众多角色的加入，如何安全存放密钥、安全使用密钥以及更好的与基础平台整合，对密钥管理又提出了更高要求。HashiCorp Vault 则是不二之选，通过一套复杂的加密机制可以确保在公有云上能够安全的存储机密信息，且支持密钥轮转，在 CD 流程中拉取密钥挂载到容器中使用，对服务来说可以做到完全透明，缺点是无法实时更改。

当然除了密钥需要正确保管外，环境有效隔离才是最后一道屏障，面对层出不穷的数据泄密事件，无论是有意还是无意，黑客行为，或许应该思考本身是否有必要收集和存储？去中心化的互联网架构或许是未来的出路？

docs：

https://www.vaultproject.io/docs/what-is-vault

API网关那些事

一个典型的Web架构中，网关是一个很容易被忽略的东西，或者透明般存在，而在云原生的微服务架构中，网关被赋予了更多职责，也变得更为重要。

1、反向代理时代
说到反向代理，不得不提Nginx，开源版的Nginx也仅起到反向代理的作用，常用来根据Host,Path来路由到不同的服务，做Stream负载均衡，SSL终结等，流量基本是透传，所以在后端看来几乎透明。且通过配置文件进行管理，一旦服务多了，难以维护。优势也就占用资源少，性能强悍。

2、边缘网关时代
在云原生时代，微服务众多，接入设备复杂多样化，一些重复度高的动作就必须抽取出来，而这些琐碎放到网关在合适不过了，以Apigee Edge为例，支持公有云、混合云、私有云部署，不仅做到API管理，还支持客户端管理，顶级层级为APP（Mobile or Web），可配置访问凭证，第二层级为Products，可配置环境（SIT or PROD），授权给APP访问，第三层级为API Proxies，即下面详解的API管理，绑定到Products，三层按顺序均为一对多关系，可参考OAuth2授权模式之密码模式。

API Proxy主要抽象出几个概念：

1、代理端点（Proxy Endpoints）
2、目标端点（Target Endpoints）
3、策略（Policies）
4、资源（Resources）

代理端点用来定义一个API，并对外暴露，主要与客户端打交道，目标端点则可以是后端微服务，也可以是公网上的另一个API，API支持环境区分部署，版本管理。

策略则是Apigee精华所在，策略是对请求做处理的最小单元，例如定义一个策略对参数进行校验、再定义一个对user&app token校验等，甚至执行js&java lib进行加解密等更为复杂的逻辑。策略通过Flow（处理流）来规定执行条件和执行顺序，一旦命中则跳过后续Flow。多个Flow又可以组成Shared Flows，以便复用。同样Flow也支持环境区分部署，版本管理。

资源则是放置js脚本或者java lib的地方，供策略调用。策略支持分环境来部署，支持版本切换，而这一切都是动态实时的，无需重启reload。

这样一来，到达backend的请求就已经是符合要求的了，可以省去很多的判断。

这里继续介绍一下策略，策略实质上是通过xml来定义，可分以下几种：
1、流量管理，例如Quota、Spike Arrest等，内置了数十种对流量进行管理的策略。
2、安全管理，例如Basic Authentication、OAuth、LDAP、JWT、HMAC等，同样内置了十分丰富，涵盖大部分场景。
3、协调与扩展，例如内置的XML&JSON格式互转。其中用的比较多的主要以下三个，可以非常灵活的将多个backend请求组合成一个API。
3.1、AssignMessage 请求管理
3.2、ServiceCallout 外部服务调用
3.3、ExtractVariables 解析响应

Apigee使用几个月来，初期学习成本比较高，但很多配置都是复用的，后续维护并不算太难。当然有了如此强大的功能，还有配套的trace工具，可视化的看到每一个请求的执行情况、入参和出参、请求头、策略命中与结果等，非常人性化，Apigee简单介绍到此，更详细请查阅官方文档，后续再对比一些开源方案。

文档地址：https://docs.apigee.com/api-platform/get-started/get-started

Apache Guacamole – All in WEB

1. Ubuntu 20.04 下安装 Docker，添加当前用户到 docker 组
curl -fsSL https://get.docker.com | bash -s docker –mirror Aliyun
sudo usermod -aG docker $USER

2. 拉取镜像
docker pull guacamole/guacamole
docker pull guacamole/guacd
docker pull mysql/mysql-server:5.7

3. 导出 guacamole 中的数据库初始脚本，启动 MySQL 数据库
docker run –rm guacamole/guacamole /opt/guacamole/bin/initdb.sh –mysql > initdb.sql
docker run –name mysql –restart=always -e MYSQL_ROOT_PASSWORD=123456 -d mysql/mysql-server:5.7

4. 复制到容器中，进入容器 MySQL Client
docker cp initdb.sql mysql:/initdb.sql
docker exec -it mysql mysql -uroot -p123456

5. 创建数据库、用户密码，导入初始脚本
CREATE DATABASE guacamole;
CREATE USER ‘guacamole’@’%’ IDENTIFIED BY ‘guacamole’;
GRANT SELECT,INSERT,UPDATE,DELETE ON guacamole.* TO ‘guacamole’@’%’;
FLUSH PRIVILEGES;
USE guacamole;
SOURCE initdb.sql;

6. 启动 guacamole
docker run –name guacd –restart=always -d guacamole/guacd
docker run –name guacamole –restart=always –link guacd:guacd –link mysql:mysql -e MYSQL_DATABASE=’guacamole’ -e MYSQL_USER=’guacamole’ -e MYSQL_PASSWORD=’guacamole’ -d -p 8080:8080 guacamole/guacamole

浏览器打开 http://localhost:8080/guacamole 默认用户名密码 guacadmin。配置好SSH，RDP，VNC，主机可以是内网中任何一台能访问的机器，RDP 注意关闭认证和选上网络级别身份验证（NLA）。配合御花园（https://ifport.com）将 8080 端口映射到公网，随时在浏览器中访问（注意安全）。

自此 All in WEB，Docker 大法好。

阿里云日志服务接入小计

上个月为了消灭阿里云后台的一个 Linux 系统漏洞告警，对服务器执行了一次 apt-get upgrade，顺便重启了一下。在恢复各种后端服务的时候，忘记启动 Solr Server，导致歌词查询服务一直不可用。当时也恰好没有对 Solr 做可用性监测，就这么挂了整整4天，手动启动后恢复正常。复盘后发现其实日志已经报的很明确了，只是没有监控到位，于是实时日志监控必须要安排上了。

早期项目上线时候也写过一些脚本来搜索日志中的特定关键字，比如“ERROR”，“EXCEPTION”等，但都不太完善，维护也困难，没太当回事。实际工作中，我们一般采用 ELK 三剑客 + 企业微信或者钉钉群推送来做通知。这一套搭建起来成本并不低，甚至会高于项目本身。

对比了一些第三方后，决定还是用阿里云 SLS 日志服务，主要是免费额度够用，结合之前的邮件、短信告警，接入还是比较简单，一步一步按向导走即可，这里有个小插曲，第一次按向导创建了一个 Logstore 后，在删除上级关联后成了游离 Logstore，无法再使用，工单后只能用 API 删除。

一套优秀的日志服务，无外乎都有以下几大块。

1. 数据采集

阿里云数据采集支持的数据源非常多，也有相对应的 SDK 提供，这里主要采用安装 Logtail Agent 来读取 Java logback 日志进行采集，对程序透明，无需停机，实时采集。阿里云的 Logtail 提供了管理后台来配置读取路径，解析格式等，非常方便，无需写配置文件。

2 ECS 安装 Logtail

对于已经使用了阿里 ECS 的主机，在配置向导中可以自己选择实例自动安装。

3 后台设置 Project、Logstore、Logtail

一个 Project 可对应多个 Logstore 日志存储，即对应多个项目，或者多个服务模块，可关联多个 Logtail 采集器，适合集群环境。

Project 是一个方便管理日志而定义的，例如我按地域节点划分了三个 Project，（microservice-log）深圳节点，（microservice-log-hk）香港节点，（bill-analysis）账单。Project 有地域限制，即同一个地域的机器才能放到同一个 Project 中。

Logstore 为实际的日志存储，采集的日志都存储在这里。默认会自己创建一个，按量付费，酌情使用 shard 和保存时间，避免超出免费额度。

Logtail 为采集程序，创建好 Logstore 会引导配置 Logtail，主要是配置下采集日志的路径和格式，这里我简单列举下正在使用的配置。

日志路径我配置为：/usr/local/applications/lyric8280/logs/∗∗/lyric.log

我之前设置的 SpringBoot 的日志在 jar 包目录的 logs 下，并按天产生一个新文件，旧文件打包，并在30天后删除，因此采集器配置就指向上述路径即可。“/∗∗/”可以表示任意目录，如果你的日志路径中有动态部分，可以放到这里。

设置采集模式：完全正则模式，由于日志中有换行和存在 Java stack 日志，需要关闭单行模式。

日志示例：2020-10-15 00:00:29.049 INFO 1672 — [Thread-5038] com.dorole.service.SolrSearchService : <手放开 李圣杰> Solr 总数：3

设置首行正则表达式：\d+-\d+-\d+\s\d+:\d+:\d+\.\d+\s.*

验证一下，成功匹配数：7，说明符合要求，这时候的日志还不是结构化的数据，勾选提取字段。

设置正则：(\d+-\d+-\d+\s\d+:\d+:\d+.\d+)\s+(\S+)\s(\d+)\s(\S+)\s(\[.*\])\s(\S+)\s+:\s(.*)

验证一下，就可以得到key，value了，对key进行命名后，就完成了结构化日志。

取消使用系统时间，设置时间转换格式：%Y-%m-%d %H:%M:%S

验证通过后，就完成了一个Logtail配置。这里推荐使用 https://regex101.com/ 在线debug正则。

4. 日志查询

日志查询还是比较习惯终端登录，less/tail查询，阿里的这个查询就我基本忽略了，主要是为了配合后面的监控，有兴趣的可以深入研究SQL查询语法，号称5条件内秒查10亿级数据。

5. 告警设置

告警其实就是一组特殊的查询，以时间范围内查出指定内容，执行某个任务。

例如，设置查询语句：level = ERROR | select logger, msg，时间区间一分钟（相对），频率间隔：1分钟，触发条件：$0.logger != ”。

即“ERROR”级别的日志一分钟内出现一次以上，则触发后续通知动作。通知按需设置即可，可携带变量，默认也够用了。

到此，基本就结束了，别忘记多测试下，确保没有配置错误。看似简单的需求，背后实现还是挺复杂的。

噢，对了，开通日志服务后有免费的账单分析服务，会新起一个 Project ，每日推送账单，还挺方便的，各种费用清清楚楚。

更多参考官方文档：https://help.aliyun.com/product/28958.html

Java 基于权重按比例分配算法

public class WeightRandomStrategy<K, V extends Number> {
    private TreeMap<Double, K> weightMap = new TreeMap<>();

    public WeightRandomStrategy(List<Pair<K, V>> list) {
        for (Pair<K, V> pair : list) {
            double lastWeight = this.weightMap.size() == 0 ? 0 : this.weightMap.lastKey();
            this.weightMap.put(pair.getValue().doubleValue() + lastWeight, pair.getKey());
        }
    }

    public K random() {
        double randomWeight = this.weightMap.lastKey() * Math.random();
        SortedMap<Double, K> tailMap = this.weightMap.tailMap(randomWeight, false);
        return this.weightMap.get(tailMap.firstKey());
    }
}

List<Pair<String, Integer>> list = new ArrayList<>();
list.add(new ImmutablePair<>("TR", 90));
list.add(new ImmutablePair<>("TX", 10));
WeightRandomStrategy<String, Integer> strategy = new WeightRandomStrategy<>(list);
int a = 0, b = 0;
for (int i = 0; i < 10000; i++) {
    switch (strategy.random()) {
        case "TR":
            a++;
            break;
        case "TX":
            b++;
            break;
        default:
            break;
    }
}
System.out.println("a=" + a + ", b=" + b);
System.out.println("a+b=" + (a + b));

---------------------------------------------------output
a=8993, b=1007
a+b=10000