一个全栈攻城狮的纯技术干货分享 ~
搜索到
4
篇与
的结果
-
腾讯云轻量服务器 Matomo 镜像常见使用问题 上一篇文章 《免费网站统计步入末路，自建统计系统势在必行》发布后，收集了几个大家比较关心的问题，这里一一作答。重要提示由于 Lighthouse 的应用都安装在 /usr/local/lighthouse/softwares/ 目录，故下文中所有非/开头的路径均以此目录为参照。配置域名 和 https当前正在通过不安全的 HTTP 使用 Matomo，这会让 Matomo 容易受到安全漏洞的攻击。 这可能还违反了隐私法，因为某些功能（包括选择退出 Cookie）将无法使用。 我们建议您将 Matomo 设置为使用 SSL（HTTPS）以提高安全性。安装完 Matomo，进入后台，会有上述提示，按照下面的方法配置 https 可解决此问题：修改 Matomo 配置文件 matomo/config/config.ini.php，在 [General] 配置段添加自己的域名trusted_hosts[] = "ma.rehiy.com"编辑 Nginx 配置文件 nginx/conf/include/matomo.conf，替换 listen 80 default_server; 为下面的内容listen 80; listen 443 ssl; server_name ma.rehiy.com; ssl_certificate certs/rehiy.com.cer; ssl_certificate_key certs/rehiy.com.key;重新加载 Nginx 配置systemctl reload nginx获得客户真实 ip 地址如果为 Matomo 配置了 CDN，则可能出现无法获取客户端真实 IP 地址的情况。可参照如下方法解决：提示：下文的腾讯云CDN地址列表可能有变动，可以从自己的控制台获取下最新的列表。如果使用了其他CDN也可以按照格式添加条目。创建 Nginx 配置文件 nginx/conf/http.d/real-ip.conf，内容如下：real_ip_recursive on; real_ip_header X-Forwarded-For; # private ip list set_real_ip_from 10.0.0.0/8; set_real_ip_from 127.0.0.0/8; set_real_ip_from 169.254.0.0/16; set_real_ip_from 172.16.0.0/12; set_real_ip_from 192.168.0.0/16; # tencent cloud cdn set_real_ip_from 101.89.27.0/24; set_real_ip_from 101.89.32.0/24; set_real_ip_from 101.89.34.0/24; set_real_ip_from 101.91.24.0/24; set_real_ip_from 112.53.38.0/24; set_real_ip_from 116.128.128.0/24; set_real_ip_from 119.188.19.0/24; set_real_ip_from 120.221.167.0/24; set_real_ip_from 120.221.168.0/24; set_real_ip_from 121.51.191.0/24; set_real_ip_from 121.51.90.0/24; set_real_ip_from 121.51.93.0/24; set_real_ip_from 122.97.142.0/24; set_real_ip_from 122.97.143.0/24; set_real_ip_from 123.151.144.0/24; set_real_ip_from 140.249.67.0/24; set_real_ip_from 182.254.58.0/24; set_real_ip_from 220.194.88.0/24; set_real_ip_from 223.166.151.0/24; set_real_ip_from 27.155.114.0/24; set_real_ip_from 27.155.115.0/24; set_real_ip_from 36.152.58.0/24; set_real_ip_from 36.248.2.0/24; set_real_ip_from 58.217.244.0/24; set_real_ip_from 58.217.245.0/24; set_real_ip_from 58.251.121.0/24; set_real_ip_from 59.36.117.0/24; set_real_ip_from 59.36.119.0/24; set_real_ip_from 59.36.120.0/24; set_real_ip_from 59.36.95.0/24; set_real_ip_from 61.151.164.0/24;重新加载 Nginx 配置systemctl reload nginx添加 ICP 备案号编辑文件 matomo/plugins/Login/templates/layout.twig，在 Template.pageFooter 后面一行添加下面的代码<div style="text-align:center"> <a href="https://beian.miit.gov.cn">京ICP备00000000号-0</a> </div>最后保存，记得要把文件编码更改为 utf-8，编码不正确会出现乱码。注意：这样做会导致后台系统检查提示：文件完整性检查失败，并报告一些错误。虽然可以通过修改系统的完整性校验文件来绕过提示，但这里不再给出方法，毕竟这样可以提示你修改过哪些文件，便于升级时处理兼容性。当统计数据量足够多时，你可能还需要下面的操作用 Matomo/Piwik 定时导入日志实现统计网站访问情况手动删除 Matomo/Piwik 历史日志（MySQL删除大量数据） -
免费网站统计步入末路，自建统计系统势在必行 前言站长统计 CNZZ（友盟+）发布公告，于 2022 年 4 月 1 日停止了「今日」与「实时在线」类数据指标的计算，将于 5 月 10 日起进行收费，不再提供免费网站统计分析服务，过去 10 多年服务了 960 万网站开发者的成长，或许就此画下一个句号！百度统计发布公告，基础统计报告对于分析云站点最早查询时间将调整为 2 年，其余站点最早查询时间调整为 1 年。虽然并未宣布收费事宜，但就其收紧数据查询范围等操作来看，也是在给免费和付费用户之间划线。那么， 是否还有稳(免)定(费)可(功)靠(能)又(多)能查看足够详细数据的解决方案呢？答案当然是肯定的，那就是我们今天要介绍的主角 Matomo 。Matomo 简介及同类产品对比Matomo 是一款CNZZ 、百度统计等统计产品的开源替代工具。作为一套基于 PHP 与 MySQL 的网页流量统计和分析平台，你可以轻松地进行私有化部署，你可以拥有你所有的数据，这在以后或者将来会越来越重要。解决方案/平台优势劣势Google Analytics部署简单，只需在页面加入 JS 追踪器代码，数据分析快（小时级别），功能强大，分析维度丰富免费 1000 万次点击，不支持定制化，国内无法使用Adobe Analytics数据展示清晰明了，功能强大实施很艰巨，需要大量帮助，只有付费版本WebTrends数据分析维度丰富，报告全面，监控过程安全主要针对大客户，费用非常高CNZZ、百度统计部署和接入简单，分析功能易用，报告简洁完全收费或部分功能收费，只能调阅近 2 年数据Matomo接入简单，功能强大，分析维度丰富，支持私有化部署，有强大的插件机制，可以自行开发功能私有化需要自行部署和维护服务器、数据库等，部分分析功能需要二次开发私有化部署 MatomoMatomo 有很成熟封装，因此本身部署并不是很难，但前提是你要有配置好的 PHP 和 MySQL 环境，这里我推荐一种更加简单快捷的部署方案 ---- 腾讯云轻量服务器 Matomo 镜像。直达链接：https://buy.cloud.tencent.com/lighthouse?region=5&zone=ap-hongkong-2&blueprintType=APP_OS&blueprintId=lhbp-jr7fl6r4&bundleId=bundle2022_gen_lin_02&loginSet=AUTO&zone=ap-hongkong-2查看应用在轻量服务器的控制台，应用信息选项卡，可以看到这个镜像集成了截至发文时间最新的稳定版 LNMP 组件及 Matomo。开始安装点击访问地址，即可进入配置流程，LightHouse 团队很贴心的给默认了中文安装界面，赞一个！接下来根据系统提示的步骤进行安装。配置数据库这里要注意的是 MySQL 密码需要登录服务器使用命令 cat ~lighthouse/credentials.txt 获取一下。设置管理员设置后台超级管理员，这里没什么好说的，切勿填写为数据库账户。添加网站添加一个需要统计的站点，时区务必要设置正确，否则可能影响统计展示结果。后面两个步骤（7、8）跳过即可，接下来我们登入 Matomo 的后台管理界面。网站接入 Matomo复制下图所示的统计代码，插入到你的网站 head 标签结束之前。跟踪此网站的某些数据后，此消息将消失。
-
用 Matomo/Piwik 定时导入日志实现统计网站访问情况 安装并配置piwik以后，就需要导入access.log中的访问数据了，首先需要一个导入日志的脚本，这个脚本运行时，需要把当前access.log中的日志导入pwiki，同时再把导入过的备份到别的地方。脚本如下：#!/bin/sh LOG_DIR=/var/log/nginx LOG_ACCESS=$LOG_DIR/access.log LOG_IMPORTING=$LOG_DIR/access.log.importing LOG_IMPORTED=$LOG_DIR/imported.log # move current log file to a tmp file, and restart log server mv $LOG_ACCESS $LOG_IMPORTING 2>/dev/null kill -USR1 $(cat /var/run/nginx.pid 2>/dev/null) 2>/dev/null # import temp log file /www/piwik/misc/log-analytics/import_logs.py \ --idsite=1 \ --url=piwik.rehiy.com \ --log-format-name=ncsa_extended \ $LOG_IMPORTING # join importing log to imported cat $LOG_IMPORTING >>$LOG_IMPORTED # remove temp file rm $LOG_IMPORTING 2>/dev/null最后还需要配置cron每个小时运行一次导入脚本，再配置logrotate不要处理access.log。
-
手动删除 Matomo/Piwik 历史日志（MySQL删除大量数据） 不知不觉间，Piwik数据的容量已经达到500GB，虽然并没有感觉到性能有什么影响，但也是时候考虑如何清理其最占空间的访问记录数据了。于是决定拿备份库演练一番：首先想到的是使用后台的自动清理功能，但是发现其每次10000条的删除能力，对于此等量级的数据可谓是杯水车薪。最后只能翻看源码，得出最基本的两条删除语句。DELETE FROM `wk_log_conversion` WHERE server_time < '2021-01-01 00:00:00'; DELETE FROM `wk_log_visit` WHERE visit_last_action_time < '2021-01-01 00:00:00'; DELETE FROM `wk_log_link_visit_action` WHERE server_time < '2021-01-01 00:00:00';至于 wk_log_action 这个表里是被引用的内容，下次遇到相同的引用内容，仍然需要添加一条记录。不删除反而可以确保idaction的唯一性。至此，我们将遇到第二个问题： 如果要从InnoDB大表中删除许多行，则可能会超出表的锁定表大小InnoDB。也许删除500G的数据需要8个小时左右。为了避免这个问题，或者只是为了最小化表保持锁定的时间，官方给出以下策略（根本不使用 DELETE）：选择不要删除的行到与原始表具有相同结构的空表中INSERT INTO t_copy SELECT * FROM t WHERE ... ;使用RENAME TABLE以原子移动原始表的方式进行，并重新命名拷贝到原来的名称RENAME TABLE t TO t_old, t_copy TO t;删除原始表DROP TABLE t_old;最终，我们优化查询如下CREATE TABLE wk_log_conversion_copy LIKE wk_log_conversion; INSERT INTO wk_log_conversion_copy SELECT * FROM wk_log_conversion WHERE server_time >= '2021-01-01 00:00:00'; RENAME TABLE wk_log_conversion TO wk_log_conversion_old, wk_log_conversion_copy TO wk_log_conversion; CREATE TABLE wk_log_visit_copy LIKE wk_log_visit; INSERT INTO wk_log_visit_copy SELECT * FROM wk_log_visit WHERE visit_last_action_time >= '2021-01-01 00:00:00'; RENAME TABLE wk_log_visit TO wk_log_visit_old, wk_log_visit_copy TO wk_log_visit; CREATE TABLE wk_log_link_visit_action_copy LIKE wk_log_link_visit_action; INSERT INTO wk_log_link_visit_action_copy SELECT * FROM wk_log_link_visit_action WHERE server_time >= '2021-01-01 00:00:00'; RENAME TABLE wk_log_link_visit_action TO wk_log_link_visit_action_old, wk_log_link_visit_action_copy TO wk_log_link_visit_action; DROP TABLE wk_log_conversion_old, wk_log_visit_old, wk_log_link_visit_action_old;官方文档链接 https://matomo.org/faq/how-to/faq_20184/
