基础数据平台建设的构想

企业发展到一定阶段后多数企业的现状 初创公司的核心是做好产品服务好用户,当企业发展到一定阶段,业务开始多元化,通常的做法是将子业务分离到子公司/部门完成,随着子公司/部门越多,产生的数据以及复杂度也会大幅度增加。我们会发现个部门与子公司间的协作会越发的困难,数据逐渐专有化,达不到最佳利用。这时候我们就需要考虑建设基础数据平台了 各种概念的理解 数据库: 数据仓库: 数据中台: 元数据:描述...

继续阅读 »

Elasticsearch教程 — Index APIs

类比MySQL,其主要操作是对表的增删改查,对于ES那么就是对索引的操作(index APIs)以及搜索(Search APIs)。搞清楚这两个知识点基本使用ES就没多大的问题了。当然这两个知识点只是ES的小部分功能,但是最重要。我们就从这两方面开始学起。 索引管理 约定: 指的是:索引名/数据流名/别名。 指的是:索引名 # 创建索引 PUT /<索引名> { # 索...

继续阅读 »

Elasticsearch教程 — 基本概念

Elasticsearch是什么 Elasticsearch是Elastic推出的基于Lucene的分布式、可扩展、高实时的搜索与数据分析引擎。 英文文档,基于7.15版本:https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html Elasticsearch特点 详细特点参考官网:https://w...

继续阅读 »

WHEA UNCORRECTABLE ERROR蓝屏错误

WHEA UNCORRECTABLE ERROR 解释 WHEA(Windows硬件错误体系结构)(英文:Windows Hardware Error Architecture) UNCORRECTABLE(不能修复的) 完整解释:无法自动修复的硬件故障 错误原因分析 首先,想一下最近硬件有什么改动,驱动改动,或者软件改动; 是否运行特定软件才导致其错误; 重新拔插一下 内存条、硬盘,可能...

继续阅读 »

阿里云访问控制中的RAM用户与角色管理相关概念理解

阿里云的访问控制系统中关于“RAM用户与角色” 官方文档:阿里云“访问控制”官方文档 起因 以前在做阿里云授权时,用过RAM授权,但是当时比较仓促,未理解其各个操作的含义,虽然操作没问题,但是不知其所以然(操作半天,授权这个授权那个的,晕晕乎乎的)。导致这些天再次操作时还是比较迷糊~ 今天就专门抽点时间梳理一下基本概念与操作的含义。 访问控制 访问控制(RAM)是阿里云提供的管理用户身...

继续阅读 »

go实现的压测工具

网站 项目网站:https://github.com/wenxuwan/go-stress-testing 示例 ─────┬───────┬───────┬───────┬────────┬────────┬────────┬────────┬──────── 耗时│ 并发数 │ 成功数│ 失败数 │ qps │最长耗时 │最短耗时│平均耗时 │ 错误码 ─────┼────...

继续阅读 »

活动列表一个SQL解决排序问题

排序需求 活动列表排序规则要求如下: 进行中/报名中,置顶的活动,置顶指数越高排越靠前 进行中,距离现在越近越靠前 报名中,距离现在越近越靠前 已结束,置顶的活动 已结束,距离现在越近越靠前的活动 实现SQL # 数据表结构 CREATE TABLE `cps_activity` ( `event_id` INT(10) UNSIGNED NOT NULL AUTO_INCREMEN...

继续阅读 »

Git版本控制与协作

Git 协作流程 workspace:工作区(代码区) staging area:暂存区/缓存区。 local repository:本地仓库,也就是.git目录,所有关于此项目的数据都存放在这里。 remote repository:远程仓库,也就是http://xxxx.com/app/api.git,通常使用origin作为别名标识远程仓库。 master 分支(正式服) mas...

继续阅读 »

异步任务与延迟任务

异步任务 什么是异步任务 程序中如果需要执行很耗时的操作,例如发邮件与发短信等。如果直接去执行这些函数就会阻塞当前进程,导致服务器响应变慢。我们可以提供了异步处理功能,可以将耗时的任务投递到这个进程中执行,从而不影响当前请求的处理速度。 异步任务中的耗时任务,是在另一个独立于当前进程中立即执行的; 服务器资源吃紧时,可以延后一点时间执行耗时任务; 使用场景 业务中的非主要业务/耗时任务...

继续阅读 »

Redis原子操作与其业务场景

Redis单线程到底指什么? 执行 Redis 命令的核心模块是单线程的,而不是整个 Redis 实例就一个线程,Redis 其他模块还有各自模块的线程的。 Redis 的瓶颈并不在 CPU,而在内存和网络 其实,Redis 4.0 开始就有多线程的概念了,比如 Redis 通过多线程方式在后台删除对象、以及通过 Redis 模块实现的阻塞命令等。 由于redis命令核心是单线程的,所以操作...

继续阅读 »

新服务器的基本配置

新服务器的配置问题 这里以ubuntu18.06来演示其配置 设置linux服务器源 设置服务器语言(中文)/时间(UTC+8) # 语言设置 echo $LANG # 查看语言环境变量 locale # 查看语言环境 sudo apt install language-pack-zh-hans sudo update-locale LANG=zh_CN.UTF-8 sudo reboot ...

继续阅读 »

vuejs根据环境自动更换打包地址

项目需求 本地测试,测试服务器,线上服务器,用vuejs在不同平台上运行时都需要单独打包。那么如何实现一次打包在多个平台运行呢; http与https访问时容易出现跨域问题,根据环境判断协议是否正确; 原理 获取当前访问域名,根据域名判断是否包含在服务器地址变量中,如果有则使用该服务器地址,否则使用默认配置地址。 解决方案 //1.定义所有环境服务器地址 const server={...

继续阅读 »

一个神奇的文档网站生成工具docsify

什么是docsify? docsify官方定义是“一个神奇的文档网站生成器” 官方网站 可以查看其样式与使用教程。 docsify本质上就是一个可以渲染MarkDown资源的单页应用,我们只需要写MarkDown然后挂在http服务器上就可以了。 docsify可以快速帮你生成文档网站,我们在做完项目的时候经常会写一些项目手册,教程等。 docsify使用nodejs开发,但是不必懂n...

继续阅读 »

常见浏览器修改User-Agent的方法

常见浏览器修改User-Agent的方法 Chrome 依次打开 开发者工具 > More tools(更多工具) > Network conditions(网络状态),在User agent中选择或自定义相应值。 Firefox 在地址栏输入about:config,回车后打开配置编辑器,输入general.useragent.override创建该首选项,数据类型为字符串,再...

继续阅读 »

投票程序-微信打开投1票算1票,但APP中打开投一票算10票

微信打开投1票算1票,但APP中打开投一票算10票 做投票程序,为了推广APP需要设置APP中投票比微信投票收益更大。具体的是,微信打开投1票算1票,但APP中打开投一票算10票。这样用户在APP中投票获得的票数更多。 流程规划 打开HTML5 HTML5内容正常显示(不管登录或未登录,还是微信与APP打开,都可以先展示内容) 点击投票按钮 js判断打开方式 如果 (微信打开){ 全...

继续阅读 »

APP登录流程规范

登录流程规范 登录需求 登录流程及前后端处理 附录 登录流程规范 登录需求 token储存前端有过期时间,token自动续期(用户无感知),长时间未使用需重新登录。 登录流程及前后端处理 [前端]发起登录请求 [后端]登录成功返回{"httpcode":200,"err":0,"msg":"ok","obj":["token":{"access_token":"xxx","expi...

继续阅读 »

中安网APP登录注册技术文档

中安网APP登录注册技术文档 中安网APP登录注册技术文档 关于登录注册的简要说明 个人注册 手机号注册 第三方注册 企业注册 个人登录 使用access_key登录 手机号密码登录 手机号验证码登录 第三方登录 企业登录 使用access_key登录 使用邮箱登录 使用手机登录 注销登录 未登录-找回密码 通过手机号找回密码 通过邮箱找回密码 通过电话找回密码 已登录-修...

继续阅读 »

手机APP中打开html5中的js判断问题

中安网手机APP打开html5时,会有如下信息注入到html中 注入到User-Agent信息 注入到cookie信息 判断打开html5中设备是安卓/iOS APP中打开html5时,在html5中获取用户信息 只有手机APP打开的html5才能显示 中安网手机APP打开html5时,会有如下信息注入到html中 注入到User-Agent信息 苹果:"User-Agent" =...

继续阅读 »