00:05
呃,刚进直播间的小伙伴们,大家晚上好,然后我们直播还有五分钟开始,然后大家可以看到那个,呃,这个直播这个屏幕上有这个签到的这个蓝底白字的这个,呃,大家先签到等候,然后我们八点的时候准时开始啊。然后今天晚上的话是这样,我们有三次抽奖机会啊,然后分别是在就是。08:20左右,然后08:50左右,以及最后我们的09:20啊,我们有这个三次这个签到的这个呃活动,然后呢,可以就是说呃,看看今天晚上谁比较幸运啊。呃,小伙伴们大家晚上好,然后呢,很高兴大家呢,今天晚上呢,和我们一起啊,来在这个线上做这个t soq数据库这么一个交流,然后呢,呃,刚进入直播间的这个小伙伴们呀,大家就是看到那个屏幕上有这个,我们这个有一个签到,就是蓝底白字的这么一个签到,大家呢先签到等候,呃,我们这个直播正式是八点开始,也就还有两分钟的时间啊,大家抓紧签到,呃,直播我们马上就要开始了啊,并且提前呃先。
01:25
呃,就是。透露一下,就是我们今天晚上有这个三次的这个抽奖的这个机会,分别是在呃,08:20和08:50以及09:20左右啊大家呃,看看今天晚上谁的运气会好一些。我看到咱们有小伙伴已经进到直播间了啊呃,进到直播间请大请大家就是先签到。然后我们大概还有两分钟,我们就开始今天晚上的这么一个交流啊,主要是我们的国产分布式数据库,TD搜狗啊,跟针对于它的一些实操性的东西,你比如说就是说我们今天主要是安装部署啊,包括我们独立输出版本的,以及我们的这个共云上面是你是怎么一键购买,或者说我们怎么在公有云上去创创建啊。
02:23
嗯。还有一分钟,然后大家就是,呃,抓紧签到啊。还有一分钟,小伙伴们就是抓紧签到。然后也跟大家解释一下,今,因为今天这个直播呀,嗯,我是在自己家里,所以说今天大家看看到我这个房间呀,就灯光比较比较暗一些,这个可能大家可能就是感觉着没有前前两天郭老师给大家讲的那么高大上是吧,所以说大家也体谅一下,因为我这边的灯光,它本身这个这个确实是。
03:16
呃。度数没有那么大啊,大家体谅一下。然后我们直播马上就要开始了啊,大家眷签到。我们再稍微等几秒。OK,我们现在开始,然后我我们这一周啊,应该昨天郭老师带着大家,应该是给大家介绍了一下这个我们腾讯的TD circle分数据库,它大概的一个架构啊,这个这张图我们应该很清楚了,对吧,比如说前端这个流量过来,那么这时候呢,先通过负载均衡设备,然后将流量。
04:02
呃,通过这个负载均衡的这些策略,然后把它转发到后端的proxy,也叫SQ引擎,它是一个计算节点啊,它本身是无状态的,当你把流量转发到它上面的时候呢,他会对这些。我们所说的这些circle进行呃一些处理,你比如说他要做这个健全,要做词法分析,做语法分析,然后将这个。呃,你这个circleq要下推到我们下面的具体的这个数据节点,也就是我们说的set,其中这个set呀,我们看现在你买circleq这三个my circleql是吧,我们可以把它理解成是一主两层的这么一个架构,它本身就是一个set,那我可以有多个set,因为我是属于这种分布式的,我这里只不过只画出了一个,它可以有多个,并且每一个DB my circleq这个DB的服务啊,它边上都会有一个agent,我们叫它旁路模块,这个旁路模块。
05:02
是随时对这个买车口进行我们说的一些探活呀,一些监控告警啊,把这些信息上报到我们的分布式一致性的这个集群CK里面啊,这也是一个开源的一个分布式的这么一个解决的一个框架。然后处理完结果之后,把结果集会返回到proxy这一块,然后再返回给前端我们说的应用,那这个proxy它除了我们说的词法分析,语法分析这些基础的。还有什么一些特性呢,你比如说。那既然你是分布式数据库,那你肯定涉及到分布式事物,那分布式事物啊,目前。就是我们这个相同的这个产品,包括我们友商的这些产品啊,基本上我们这种分布式事务都是采用这种两阶段提交的这种方式啊,所以说这个proxy在这一块,它作为这个分拨事务的协调者啊,还有一个你比如说我下面的话,因为你是分辨的嘛,你的数据可能是。
06:06
打散到不同的分面上,那这些路由条目信息在哪呢?其实都保存在我们JK里面,但是你保存在JK里面,我们proxy是可以。到JK上面去把这个路由条目信息拉取到我本地的啊。甚至包括我们还有一些比如说。像我们说的sequence啊,包括我们说自增的这这个序列呀等等啊,都是由proxy这一块提供的,就是它的功能还是比较强大的,我们叫它计算节点。然后CK我们不说了,对吧,它是一个分布式的一个一个一个框架啊,我们大数据如果熟悉的话,就是大数据哈杜那一套,呃,你就会呃很熟悉ZK了,当然我们这一这一块也是借用了这个ZK它的这个呃分布式一致性的这个这这么一个框架啊,然后后端呢,包括我们有这个数据采集模块,有这个数据分析模块,这些是把这个我们说的一些监控信息。
07:05
把它获取到之后,要放到我们前端,有一个管控平台叫赤图运营管理平台,要把这些信息。写入到这个前台,就管控平台他自己的这个库里面来进行一些展示,然后对这些数据进行这种分析啊,分析之后。然后我可能看看一些优化呀,包括一些监控告警啊,包括是这一系列的。然后呢,还有一个接口模块,这个接口模块是做什么呢?因为我们现在的这些数据库都是有这种管控平台,在这个管控平台上你可以做,比如说资源上报啊,比如说创建实例啊,比如说一些备份恢复啊,比如说一些优化呀等等一系列的操作,都是通过页面的方式,通过鼠标的方式。那么你去在这个页面上触发的这些命令,那这些命令就封装好了之后,就会发送到这个接口模块,由这个接口模块再和集群去打交道,而不能你直接的命令,你直接去到集群里边去操作。
08:12
然后还有是调度模块,但是这些的话我们昨天就是很清楚了,所以说今天不是我们的重点,我们大概了解一下之后,我们今天主要的内容就是带着大家来安装,我们先来安装一个我们说的。独立输出版本啊,我们来看一下我这个环境。我这个环境,现在我是三台机器,那三台机器它大概是什么。配置呢?这是我的云主机,就是我腾讯云上我CM云主机。16G,每个都是16G内存。这个。CPU5给他八个核。逻辑的八个。然后磁盘空间的话是。大概我就给他200,我甚至都没有挂磁盘,因为今天我们只是一个测试环境,给大家做了一个演示。
09:05
那么做之前我们要做什么呢?我其实啊,我刚开始我已经做了一部分操作了,你比如说我其中有一台机器,我是要做这种。做这种中控机的,只不过他既做中控机,因为我只有三台机器,我所有的服务可能都是要混部的,我没有足够多的机器,所以说我把幺六点二零这台机器作为我们说的。一个中控机,那么中控机到所有的机器我都要做这种互信,所谓做互信就是说。我做完互信之后,我用。SSH这个命令连到另外的机器。如果连到3G,那我就不需要输入密码,我就可以连到。连接完之后啊,我们看一看这个,我这里面有一个软件,这就是我们TC和独立输出版本的软件,目前的版本是10.3.19.4.0啊是一个稳定版本,我把它解压之后,我到这个。
10:08
这个目录下面去啊。现在我已经进入了啊,进入之后它有一个叫install的这么一个呃,目录,这个目录啊。有一个。这个文件我们其实一看,诶我们就就会发现,如果是我们是线上的小伙伴,有做运维的,你如果熟悉as的话,你就发现,诶这个文件我很熟,对不对,其实这就是安他要用到的。那这里面啊,我提前都配好了,你比如说我是。所有的机器啊,我现在只有三台机器。2037和四八,所以说我写这三台机器,但实际上来讲,我可能就是说我可能比如说我这一次我可能要纳管20台机器,那所有的机器我都要把它IP给它列下来。
11:05
所有的机器啊,然后呢,下面是CK。我们刚才介绍的那个架构的时候,这个CK是我们T搜狗这个分布数据库,它的那个分布式的解决的方案。就用到了它的这些功能,那我肯定要部署CK,那我CK的话,我们知道它是有多数派原则的,我要么三,我要么五要么七,那我现在呢,我就只有三台机器不用。安装了三台。安装三台,然后呢,这叫schedule schedule应该昨天我们讲架构的时候,我们也知道了,对吧,它是。呃,分成scheduler和manager,有负责资源调度的,有负责任务调度的,对吧,你比如说我做主备切换呀,做这种,呃,比如说资源的这种扩容啊等等,都是由这些模块来。完成的,它呢是属于这种主备,就是我主提供对外提供服务,被呢我是等待状态,那主如果挂掉了,那这时候我自动的切换啊。
12:08
所以说我们要用两台或者是三台都行。然后这是oss,这是我们说的接口模块,比如说赤兔运营管理平台,和我们整个集群进行交互啊,需要的。这么一个模块也是两个,但是它是没有主备之分的,你连任何一个都可以。然后这是吃醋,所谓吃醋这就是我们的一个,我们把它理解成一个外部界面,这个管控平台的这个界面,这个我们搭建好了之后,我们会登录到上面去看。这是monitor monitor分两块,就像我们刚才说的,有这个数据采集的这个模块,还有这个数据分分析的模块,数据采集模块就是把所有的这些监控信息啊,抓取过来,或者拉取过来,写入到我这个管控平台,它本身有一个监控库,写入到这个监控库里面去,可以在页面上进行这种展示。
13:06
那还有一个分析的,这个分析的就是说你这些数据啊,你是否产生了这种,比如说你的阈值是不是超过了我设设定的这个。告警的这个阈值,那告警了之后,我要肯肯定我要对他进行这种报警啊等等这一系列的。Monitor,然后下面就是EB。你看我这,因为我没有机器,实际上我们一会儿要给大家讲一讲这个资源的划分。真正我们产线上是不允许这样做的,只是我是测试环境,我没有机器。在那个我们真正的这个产线上面。管控是单独的一套,也建议你们用物理机,比如三台。那那我一套管控我就要用物理机,那也太奢侈了吧,但问题是你这套管控,一套管控可以纳管上千套的实力,上千套的实力可能就是。
14:02
数千个DB节点,也就是说你这一套管控的话,是可以纳管非常非常多的,也就是说一套管控这里面的这个DB的机器有可能就是上百台,所以说你管控我们也要让它最起码的来讲,让它性能各方面呃要好一些,那DB呢,DB节点。我们这里面要求的啊。产线上都是这种物理机。大CPU。就是那个CPU核数多,然后大内存啊,固态硬盘啊都是这种配置,那这种配置的话,那是不是我创建一个一个数据库很就是很浪费呢,后后边我们会给大家介绍讲这个车寸管理平台的,我们会介绍就是说我们实际上是可以在这个。你你比如说我这个,你你这一台机器,比如说这是一个64核256G内存。实体这个固态硬盘的这么一个一个好的物理机,实际上我们是创建实力的时候,在它上面创建,是不是说这一下子把它所有资源都都给他使,使用到的就只是使用它一部分,类似于我们过去说那种单机多实例的部署。
15:17
那。各个实例之间,这一台物理机上各个实例之间,他们之间会不会因为某一个这个DB节点,它有一些bad circle,然后造成他把这个CPU资源耗尽了呢?实际上这一点的话,我们也是做了资源的隔离,通过Linux本身的c group相关的技术啊,可以做到相实力之间相互这种隔离,就相互之间是不影响的啊。这是DB啊,我们要求基本上是你要使用。比较好的物理机proxy proxy我们也叫SR引擎啊,也叫网关,对吧,我们也把它称为计算节点,这个计算节点它本身啊。呃,它本身来讲的话,其实它也是一个对CPU和内存是有一定要求的啊,CPU密集型的,但是它对磁盘空间。
16:11
嗯,要求就不像DB这么严苛了啊,它的磁盘空间也不需要那么特别的大啊,所以说这一块的话,我们就是也基本上也可以把它是单独部署它,当然了还有一些企业,他可能就是说因为资源的原因啊,他把这个proxy和DB混部啊,混部的时候你去给他分配实例的时候,你就要注意了,你不能都分了,你都分了的话,他这块如果说你比如有有有些比较大的关联查询这种,呃,多表关联查询,那这时候他吃的资源也比较多啊,这样的话也会造成机器资源这种不平衡,所以说产线上我们建议DB的机器单独部署啊,Pro的机器也单独部署。然后这是HPSS,这是做什么的呢?实际上你不安装它也没有关系,今天晚上我们看时间,有可能我们也也也一个半小时,我可能如果安安装不到它,因为我们后边还要讲公有云,所以说我可能就不安装它这种东西。
17:11
和这个集群的正常使用没有关系,他是什么呢?他就是很一个一个一个组件吧,算是啊,因为我我我对他也可能也没有运维的同学说。这个东西我们搭建好了之后啊,实际上我们就作为一个冷冻中心。就是把这个我这个。我这个T后,它的整个数据啊,等等这些包括一些日志啊等等,备份到你搭建的这个份。这个分布式文件系统里面去的啊。所以说它是一些辅助功能的一些组件。像LVSLVS的话,如果说有些企业比较有钱,那我可能是用F5这种。就是硬硬的这种负载均衡那可以的,还有一些企业可能就是说我可能不愿意。投入这么高的,这个我们说的钱应应付,那我用LVS也可以啊,我们这里面也是支持,就在我们的那个proxy前端有一层负载均衡层啊,这个是这一块。
18:13
这个如果说你实际部署,我们记入要求也是物理机。然后卡不卡,卡不卡是什么呢。卡夫卡在我们这个集群里面,它起到的作用第一叫。多元同步就把整个集群里面的数据。涂到卡夫卡里面去,然后我们有一个消费组件,这个消费组件会从卡夫卡里面把这个数据消费到下游,比如说原生MySQL Oracle数据库,或者是TD circleq这个集群里面其他的实例,做这种数据的迁移,数据的复制啊,我们叫多元同步,这是它的一个功能。其次。我那个proxy,因为它是整个集群的一个接入层,那么所有的流量都会打到proxy上面,那么打到proxy上面呢。
19:05
我可以把这个所有打过来的流量啊也。投到卡夫卡里面去。普到卡夫卡里面之后,我后边再接什么呢?接ES。兼那个K呢,然后呢,我做一个展示做什么用呢?做审计用,你看我们这个集群实际上是借鉴了大量的这个开源的这些组件来实现它特定的功能,像LVS啊,HDFS啊,卡夫卡呀,这些东西我不安装,对我整个这个数据库使用没有任何的影响,只是会有一些功能我可能就没有了。这就consumer,它是一个消费组件,它是和这个卡夫卡一起共同来使用啊,然后就是说呃来做这种我们说的数据的迁移啊,多元的多元同步这一块,然后下面你看还有这个ES啊,就是ES这一块的话,就是呃和这个也是通过那个呃卡夫卡里面,只不过他们的数据不一样啊,你这个这个消费的是里面的这个数据库的这个这个数据。
20:11
而而这个ES要。从那个卡那卡卡里面,呃,是那个proxy,它前端打过来的这些流量,会到这个ES这块来做一个展示的。这是我们说的这个文件,然后这个文件。我们完成之后啊,我们会跑一个。还有一个我们也看一下。看啊,这个是是一个一个这个文件也是一个文件,就这就是安装我们那个。CK它的一些这个我们说的一一一些配置参数啊,包括这个这个是什么呢?因为呀,在我们安装的这个这个集群环境下面,我们都会安装一个叫t circle的这么一个操作系统用户。
21:02
这个用户的密码是他。你可以自己指定,后期的话,你这个集群部署完成,建议大家把这里面这个这这个给他修改掉啊,否则的话人别人知道你密码了啊,有一定的安全隐患,这是一个。然后呢?这些都配置好了,我刚才提前我就跑了这么一个。一个脚本,其实这个脚本里面就是先安装an,然后调用an来执行啊。执行了非常多的内容。这就是他的执行内容,我们也可以看到你比如说像这个,呃,比如说这个题。设置。哦,刚才是我小孩啊,然后呃,我们这个这个他就一步一步的,比如说我我这个停止这个schedule,然后呃,停止manager,然后等待这个manager的启动啊等等它一系列,包括你比如说我们看最后吧。
22:08
上面我们就不看了,你看这是安装赤兔安装DB。这是那个我们说那个你所有的机器都要进行校验,然后oss proxy3台,然后SKYR,像ZK,注意啊,这个脚本我跑完成之后,这个feel的这一块必须全部是零。必须全部是零,才证明你这个脚本跑OK了啊。然后的话,我们现在的话,因为19分钟我们马上呢,就要进入一个抽奖的环节了,那我先简再简单说一下,为什么这个脚本我提前跑了,因为我们今天晚上时间有限,你跑这个脚本的时间会相对会比较长,这样的话会耽误大家一些时间,因为跑这个脚本的时候啊,我们一直看着他呀,也也没有什么意义,实际上这个脚本的话,我们有时间,大家可以就是说呃。
23:04
以后的话我们会推出这种免费版本,大家到时候可以就是说你你你就实际安装部署一下就OK,那我们先。先不讲这个,然后大家看一下啊,大家注意了啊,今天晚上我们第一次抽奖。这应该是一个毛毛熊公仔啊。抽奖开始了。我们大概持续一分多钟啊,大家抓紧时间啊,我这个时间正好,我看看咱们有T3不是开源的吗。安装包方便发一下链接吗?是这样啊呃,大家先先先抓奖吧,我一会儿给大家解释一下。嗯,大家抓紧时间啊。
24:01
呃,这个脚本跑不了一个小时啊,这个脚本大概跑个根据你机器的情况吧,跑个二三十分钟吧。呃,今天晚上我。呃,我今天晚上实际上我刚才给大家介绍了嘛,我这个测试环境,我只有三台这个物理机,不是虚机,我们腾讯云上的CVM云主机。呃,配置是8C16G 200G的那个磁盘空间,这样我就可以实际上是把这个实验可以做下来的,但其他的一些实验,你比如说我要安装卡夫卡,这就不够了啊。呃,前面有小伙伴说你安装包方便发一下吗?呃,再跟大家介绍一下,就是我们这个T后啊,会推出一个一个一个免费的一个一个计划,呃,这个到时候的话会在我们的官网上有专门的下载的这个地址,并且有专门的文档啊。
25:09
呃,大家可以等一等。哎,腾讯云能直接买这个环境吗?是可以买的,一会儿我们会介给大家介绍公有云上。是如何去快速创建GS口这个分布式实例的,好吧。我们一会儿就会讲到。那就OK了啊,这个抽奖咱们第一轮抽奖就暂时告一段落,然后我们继续今天的这个交流啊。呃,这个是我们的第一步啊,第一步。这一步你只要跑完了,实际上我们可以看一下。
26:01
我就可以。通过这个页面。注意啊,我现在的这个是我的外网的这个。诶,大家应该看不到吧,我放大一点。呃,大家看一下啊。这个是我刚才因为你看我现在不是内网的IP地址吗?你内网的IP地址是这样。我这个,因为我是那个,呃。我是云主机,所以说我要是去去去去连接的话,我必须用它对应的那个外网地址,然后加上t PLO。我就可以登录到这么一个一个界面了,这个界面是什么呢?这是是错运营管理平台它的一个初始化的页面,接下来我们就一步一步的进行它的一个初始化啊,最后把一个完完整整的一个管控平台啊,展现在我们大家的眼前。
27:15
然后第一步我们不用管许可协议对不对,许可协议我们就我已完整阅读,然后我点下一步。注意,要这一步。就比较重要了,为什么呢?因为这一步的话,你环境检测是否通过了,实际上应该是如果我们刚才看到field都是零的情况下,那也就是说是没有问题的啊,这时候我可以重新检测一下,然后呢我继续下一步。这时候我集群我可以起个名字,我起什么名字呢?比如说T字号。右脚泰式的。零一啊,我取这么一个名字。集群的名字你随便取,一般你得取有意义的,比如说我叫。
28:03
要看消费金融啊,我我我随便起的。然后这个oss是什么,我们记得吧,如果你不记得,你可以。到这里面来。看一下。这个是我们第。不是。对吧,这有两个你刚才安装的对吗。我们说oss这个接口模块,我们安装两个,那你就把它。拷贝过来。把它拷贝过来。端口就是8080。不一样,我选两个,为什么呢?你这里面你选两个之后,你后期如果一个出现故障,它会自动找另一个的。注意啊,我现在有了这个这个这个界面,我又有了这个oss这个接口模块,那我就测试一下它能不能连到DK。
29:07
那么这些JK列表啊,包括这JK的那个那个根目录啊,等等这些信息出出显示出来之后,那就证明OK,我没有问题,那么我可以连到这个集群,那这时候我点下一步。这一步就是重点了啊。为什么呢?我们就说这个资源,我们要讲这个资源,资源这一块,首先IDC这一块。我是什么呢,我就。我比如说机架。F0。一。决定。这个IDC啊,我们一般实际上你是要根据实际需求啊来进行的。什么实际需求呢?
30:01
你是实际上有这个,你比如说我北京啊,北京我朝阳我有一个机房,我海淀我有一个机房,那你就是你比如沙河,这是我写的IDC,北京沙河,那你这个机房。有没有这个具体的这个区域呢?啊,这些你都要是实际情况,你得有这个机房你才能写的啊,然后这个机房有多少个机架啊,最好把这个机架也写上。比如说第三个,我这个机架是这个。为什么要这样做?就是说因为啊,我这个后面我们要。把那个对应的这个设备资源加进来,你比如说这个具体的这个这DB这台机器,我要是某一个机架。某一个机房的某一个机架上面去,那这时候我后期要创建实例的时候,我们知道你实力下面有多个这个赛的多个这个我们说的,呃,对吧,Set,每一个set都是这种一主多层的这种架架构,就是买so主层架构,或者我们叫多个副本,那多个副本如果说这些都在一个机架上,那你要如果这个机器出现问题。
31:18
不是这个机架出现问题,那造成的结果就是说你整个机架就比如断电了,那你整个这个塞的这个我们说的这个这个分片都不能用了,那整个集群就谈不上什么高可用,那如果你是在不同的机架上。那这时候呢?你某一个机架。或者叫机柜出现问题了,那我还有其他的机柜。里面有这个从某一个分片的其他的副本,那我可以做这种高可用切换的,这是其一其二。如果真正做这种我们说的这种高科用,那你肯定是最起码你比如同城双中心,甚至是两地三中心,多地多中心,那我肯定就要有不同的IDC机房了,那我的这个同一个size,同一个分片下面的多个副本,那肯定是要部署在不同的IDC机房的,这样我才能做到这种跨城的这种容灾,就某一个机房出现比较重大的事故,重大的这种故障,那我还可以做这种切换,高可用的切换,所以说这里面我们要如实的填,你有这个,确实有这个这么一个机房,这个机房下面有几个机柜啊。
32:29
然后呢?都去填写,填写完成后面我们看商贸资源的时候,你这个机器确实在这个机柜,在这个IDC机房的某一个机柜里面啊。他们必须准确。这是我们说的IDC。然后下面是一个畸形。比如我先填一个吧,比如说我随便吧。我,我叫。燕儿。我就知道戴尔410吧。
33:00
现在我这是假的啊,因为我大家知道我实际上我是都是虚拟机的,但是系统不知道你给他多少就是多少,那CPU我刚才说了我是八盒对不对,八核内存我是多少呢。内存我说了我们是16G,但是你这里面内存天写,你比如说我真正有一台机器,我是。256G或者是要128G内存,那你要添多少呢?注意我们这里面内存一定不能填你实际的内存。你实际内存你256个G,那我们这这里面给大家的建议是填你实际内存的75%左右啊。你不16G,我我这个就随便了,因为我这个太少了,为什么呢?因为你这个上面创建实例,你要给这个操作系统可能还要留一部分对吧,但是MYSQL这个体系的话,你那个某个连接,呃,它可能会占用多余一些的啊,除了给他发布什么的分的内存以外,它可能还会有一些额外的这些,那这些的话,如果你内存不够。
34:10
内存不够有可能会造成什么呀,造成这种我们说的内存泄露,所以说我们内存这一块。一般你根据实际的,你比如说这台机器有多少内存,我们就给他按照百分之呃75左右上报。然后磁盘空间,一般我们是上报磁盘空间的85%-90%,你比如说我现在是两百两百,那我就因为我这都是假的。实际上你这里面我也没有必要说一个一百二一个60,为什么呢。因为我这根本就没不是华仔的啊。你比如说人家那个数据磁盘,人家是单独挂的一个SD,比如SDCSDD啊,然后我又单独的挂,挂了一块日志的盘,那这时候我可以就是分别上报这个磁盘的90%,那现在呢,我就一共加起来。
35:04
占我百分之,我200G大概90%就OK了,其他的这些安装包的目录啊,数据库这些目录,我们让他呃保持这种默认。然后下一步。注意啊,这这个也比较关键啊,我们刚才说的这个原则,CPU这个逻辑盒,它有多少你就给多少就OK了,因为它是可以轮转。那内存我们按照你内存实际内存的这个这台机器实际内存的75%上报。磁盘空间按照实际磁盘空间的90%左右上报。那么现在有一个戴尔。2410了啊。那后续也就是说后续我这个,因为我现在买了十台戴尔R410是这个配置。后续我又买了华为的机器,这次可是好机器是64核256G啊,呃,8T的这个,呃,固态硬盘这个磁盘空间,那这时候实际上我们讲赤兔的时候,我们还要先上报机型。
36:12
你还要再上报一个这个华为的。然后你再上报资源的时候,你一定要一就你这台机器是什么机型,你就选什么,你比如说我现在上报DB资源啊。我是有一个二零的机器,然后机型是是它对吧,然后IDC呢是第一个。机柜是什么呢?是F001的,因为这里面可能有多个机柜的啊,因为我们现在只有三台机器,你只能模拟有三个柜的啊。呃,ID这个是独享资源,这个我们今天先不管,然后呢,我点确定。然后我再上报第二台,第二台是什么呢?是三七这一台,它也是这个机型,然后呢,IIDC是。
37:01
第二个,然后这个它的机机架是也因为只有这一个。OK,上报完成之后,我再上报第三台是八的这一台,然后呢,机型也是一样的,注意啊,你现在上报的这跟你的机型必须是。对应的你后期又有了什么5868的这个IP,它对应的机型可能是这个华为的这机型,你这别选错了,否则后边他给你创建实力的时候,你比如说你这机器我是64核的,可是如果你这选错了,他就认为你只有八核,你创建完八个核之后,他不让你创建了,结果你还你你会发现,诶我还有资源呀,但是呢,你这你你你你你上报错了嘛,对吧,这里面一定要细心一些,这是第三个机柜,然后呢。这个呃,机架不是这个第三个IDC啊,这个是一个机架,然后我点确定。上报完了什么意思呢?也就是后期我们要创建实例,我们把它认为我说的创建实例,就认为是创建一套数据库的环境,你创建数据的库的环境,我需要DB节点,我们也叫数据节点,那么这时候就会到你这三台,你上报的这三台,你把他们指定为这个赛的这个数,呃数据节点了,就会到他们上面去创建对应的服务。
38:22
那么这时候我还要上报网关资源,它就比较简单了。我二零,然后呢,在第一个G那个IDC,然后我确定。我还有一个三七的。因为我都是复用的啊。哎,我上我也上报了,我再有一个是四八的。第三个诶,我也上报了,那是什么意思啊,我们刚才。看这个也知道了,这三台它既是DB也是prova,那也就是说我创建一个实例的时候,我们前,因为我这个有前面有我们说了有计算节点,有这个数据节点,那计算节点也就是我们说思索引擎也好,Proxy也好,那我这这一套环境,我也要创建对应的这个计算节点,那就会到这你你你上报的指定的这些proxy这些机器上面去创建对应的proxy的服务啊。
39:21
这是设备资源,然后我再新增一个网关组,什么是网关组呢?实际上就是刚才咱们不是上报了三个网关,203748这三台pro嘛,那我可以把他们。取出三个确定。它会有一个网关组,这个网关组的话,你就是说以后我在创建实例的时候,我只要指定这个网关组了,那这个网关不里面有三台pro,我就会到这三台上面去创建这个,呃,对应的prox的服务啊。这个就很好理解了,就是一个组。
40:03
呃,咱们有的有的小伙伴说是直接买云原生轻松多了,但是问题是现在我们的很多这个客户都是这个银行啊证券呀,这些比较大的这些,他是不可能会买你的公有云上的,这是你你就不要想了。他们一般都是要这这种独立输出的,或者他们采购了我们这个,呃TCE这种专用云啊,呃,我们这个T后啊,除了我今天给大家讲的一个是独立部署的,还有一个是公有云上面的,那还有一种就是随着。这个TCE的这个专有云一起随着这个云底座一起输出的啊,这也有。然后网关组创建成功之后,下面我们就要创建实例了,那我创建这个实例是什么实例呢?这就是我们给大家介绍的,我这个赤兔运营管理平台呀,它本身也要有后台的数据库。
41:04
做什么的呢?有一个是配置库存,他的一些配置信息,还有一些是我们说的监控库,是整个集群各个组件的这些监控的这些信息啊都要。放到这个监控库里面去啊,在这个赤兔云管理平台,这个管控平台里面去进行展示。然后我们创建实例,我们看一下,你看这就是我们创建实例的一个界面。那这个时候呢?就是基础设置,我们比如说监控库,然后我是5.7的版本,然后呢部署机型,因为我现在只有这一个,这时候我们就跟刚才说的一样,我虽然上报了。这个每台机器我上报了大概是8C。12G的那个内存。大概是一百二加80,呃,一百二加60吧,180G的这个。存储空间。那这时候我是按照1/8,也就是说我用这台机器的1.5g的内存,一个CPU,加上这点磁盘空间,我来创建一个DB的,呃,实力或者叫服务啊。
42:15
然后我下一步。容灾是我一主两倍啊,强同步复制啊,这个应该我们昨天讲架构的时候都给大家介绍了,对吧?呃,我们呢。呃,这个太大了。然后我们就可以开始创建啊这类你为什么不写呢?就像这些,因为什么呢?因为我不写的话,它也就给我自动分配,为什么呢?就三台,你想想吧,我现在就三台机器,我现在一组两倍。一主两倍的话,你看啊,肯定是一,每台机器上是一个,这是其一,其二呢,那你那个网关这一块proxy这怎么算呢?Proxy这一块我们可以看一下网关组,它写的是自动分配,你自动分配现在你只有一个,所以说你写不写都一样啊。
43:06
像LVS什么的,我们也没有,所以说我就让他自己去给我创建。然后就。开始创建了。这个创建呀,也需要一个一个过程。然后。嗯,我看看咱们现在有什么问题啊。这个安装部署是私有云管理员要做的事吗?我现在的这个。我整个的这个安装就是独立版本的,就是我们DBA要做的就是你比如说我这个银行啊。比如说像我们的一些用户,他购买了我这个独立输出版本的。要么他自己做,要么就是说我们有这个专门的交付团队去给他去做这种实施。所以说你才会看到你还要去修改一些配置,然后呢会跑一些脚本,然后呢,还要做这个初始化啊,然后初始化完成之后,后续的话,我们创建实例什么呢啊,所有的这些在资源的上报啊,等等这一系列的监控告警啊等等优化呀,就可以通过那个它有一个管控平台,到时候我们就会看到啊。
44:23
我们买的TC或厂家来安装的,对有专门的交付团队。和代理机,管理机不需要。还没没没看懂你这什么意思。然后那个刚才我们看那个,你看这个。这就是我腾讯云。那个上面那个。你看啊,我这里面有这个云产品,云产品里头我们看。
45:04
往下拉。你比如说有关系数据库。呃,T-C这种云原生的对吧,还有那个云云数据库,这是就类似于你就把它理解成就是MYSQ在云上的MYSQ买瑞DB啊,它的分支版本s serve是我们授权的,就是微软给我们授权的,我也可以在我们公有云上一键购买的,然后这PG啊PG目前也比较火。后续的话,我们可能会有一个PG一个系列的这个课。然后接下来就是我们的企业级分布式数据库啊,其中我们这个是。重点关注的是就是这个分布式数据库TD circle,我们可以点进来。点进来你会发现这里面诶。有这个。MYSQ版原因照DB的。这个买Q版,就是我们今天说的这个。
46:01
就给大家现在部署的这个就是TS后买soq版,这个应该昨天讲加购的时候,老师也给我给我们介绍了,对吧,那还有一个是什么呢。T circle possible circle版就PG版啊,我们最早叫TPS啊,现在因为它这里面没有数据,它是基于这个PG。来做的。还有一个叫什么呢?叫T目前正在这个进行这种内测,这还没有真正对外这个输出啊,这就是我们说的未来的这种music的这种啊。然后今天我们一会儿可以看一下,就是就是在这这一块。我们是怎么去新建,然后通过这种你就鼠标点点点,最后就出来这么一个。一个一个一个实例,这个实例的话,你就可以,你就可以使用了啊。然后我们看啊,这个还要稍微等一会儿。
47:02
呃,这个的话,我们一会儿要讲的话,就可以通过我这个这个就就比较方便啊,然后都有一步一步的这个这个操作的这个步骤啊。我们稍微等一会儿,因为我们呃,大家都别走开啊,50的时候啊,记得提醒我一下,50的时候我们要进行第二次抽奖的好吧。然后我们先看一下这个。我们先看一下这个吧,先稍微等他一会儿你看啊,这里面实际上它都有一些步骤的,比如安装proxy啊,安装proxy。像这些。然后你看4001啊哦,已经完成了,还挺快的。完成之后,我们先先把它这个余下的这几步啊给他完成,然后我们再进行抽奖。然后接下来我创建完成之后,我要进行初始化,对吧。
48:01
初始化你看实际上就是说一个字,那个字符的编码就是字符集,说白了。表明是否那个敏感,但就大大小写敏感不敏感,然后那个page size,如果我们小伙伴因为今天我我了解应该有很多对买soq很熟的啊,你看那配默认不就是16K吗?所以这个我们也不希望大家去修改啊。然后我们直接点确定。哎,那就OK了,那这一步我们就完成了,完成了我们继续下一步。下一步注意看啊,我们现在就开始创建这个库了。那有什么库呢?有一个叫T,这是什么库呢?配置库。就是我们刚才说的还有一个是t p cloud_monitor这是什么监控库,你看后面它都有写监控程序,上报数据存储,使用的数据库账号叫t PLO,密码你自己指定一个。
49:10
然后。啊。然后我们测试一下。没问题,然后我们就开始安装了。然后这一步啊,因为我们今天是测试环境嘛,我们就不用授权了,然后我们跳过此步骤,然后完成安装。你看现在就来到了我们这个赤兔管理台的这个一个页面,然后我们就默认是A面,然后是123456。
50:00
或者密码3618。然后他就要求你必须修改密码。确定。然后我们可以看到这个就进入到我们的这个赤兔运营管理平台里面来了,这里面比如资源管理啊,实力管理呀,EBA汇总啊,包括一些控制台呀,像我们说的集群管理呀,业务运维接口管理啊等等这一系列的啊,这些就是这个控制台。我们的这个具体的讲解放在后天,后天会带着大家把这个我们的这个就是实力管理,这个不是实力管理,就这个整个这个赤租运营管理平台呀,整个带着大家。
51:04
把功能过一下啊。就是跟大家,就是让大家了解一下,我这个吃素运营管理平台有非常多的这些内容,现在我们看在这个实例管理里面,实际上你看是有一个实例的,这个实例就是我们刚才说的那个赤兔那个,呃,这个这个控制台,它本身的有两个数据库,一个监控部,一个我们说的。配置库对吧,然后我可以把它。我可以给他。让他误,以免有误误操作的,我就给他指定一下。想叫配置库。但是现在我们看集群管理,这这集群阻揽里面。这里面没有信息,为什么呢?因为啊,我还要跑一个脚本,刚才咱们是执行的是。
52:04
执行的是这一步啊,执行这个,然后进行这个尺度初始化,初始化之后啊。初始化之后。我还要。进行一些修改。怎么修改呢,就是。你看。刚才我们说的是,哎,不行了,不行了,TD TD circle。Circle PCB。放屁,我那个密码我是123.com。放大P杠大批是多少呢?我们看一下它的那个。
53:01
实例管理里面,我们点进去之后,我们看pro这一块,它是15001对不对,那我就是在这里面写上15001。上H。呃,五十五十,我们先稍等啊,稍等我们先马上抽奖啊。第二轮抽奖是这个T买购无门槛的这个代金券三份啊,大家抓紧啊,我们有一分多钟的时间。然后我们看啊。不填写服务器IP会报错说。这个你看你怎么的。不一定就是说不填写服务服务器IP呃。
54:01
不是像你说的就一定会犯这个,犯这个错的啊,他会自己去选择的啊,你可能是。你看你有几个ADC?然后你创建的实例是是是是那个IP的那个,你比如上报机器是都上报在哪个IDC资源,以及它那个,如果你那个IDC那个资源那个那个校验那个你开没开,这都有很大很多的关系的啊,不是说你只要不写不写IP的话,你就会报这个,错这这这这这是不会的。当然了,像我们说的那个,呃,如果指定这个IP也也也可以的,你把那个IDC校验什么关闭,然后我指定。呃,IP也没有问题啊。啊,大家先抓紧时间抽奖啊。
55:04
OK了,我们再等几秒就OK了,关关闭本轮抽奖了啊。OK,那我们继续。然后你看啊杠H就是我这三台,因为这个是无状态的。你看。我这个比如实例详情我们看啊,实例详情里面可能你比如我DB节点是一主两倍,谁是主呢?幺六点二零的4001端口,这是这个DB服务是乳,然后呢有两个倍。然后呢,他们的那个前端的那个proxy,我们叫SQ引擎,也叫这个计算节点是谁呢。幺六点二零上面有一个1500115001端口,然后幺六点三七有也有一个15001。那他们三个你连谁都行,因为他们本身是无状态的,连任何一个去操作都没有问题。
56:06
就是你连到这个幺六点三七这这一台去做操作了,那你一会儿再连到幺六点四八,看到的结果是一样的啊。所以说我们。连到172。点21.16.20,我们看诶没问题,可以连上,那这时候呢,我们注意我们要修改一下这个文件。修改这个文件,修改哪儿呢。就在这里面。是要让我们的赤兔啊。172.21.16。点二零。15001。这是一台。幺七二点。让你写两个就行了,因为它这里面你要求你写两个就OK,起到这个备份的作用啊,然后我还有371个也是15001。
57:06
用户是什么呢?TD circle PCB。密码我是弄。一二三点 com TB circle pick123密码。OK,那这个完了事儿啊,我们还要跑一下它那个第二个脚本。
58:05
啊,这也要稍微要等一小会儿,其实它里面你看copy什么什么什么,然后执行这些脚本啊,啊这个就比较快,都是一执行的一些一些操作啊。Four。其实这一步就是让我们这个吃醋啊。然后那个他的那个配置库,我们刚才创建那个配置库。呃,包括那个那个那个监控库啊,这个集群线目前还不知道要让集群啊。比如说有一些这个这个我们说的一些监控信息啊,你现在比如说我们看这一块。你看集群纵览这里面目前没有内容对吧?那实际上我们已经创建实例了,应该你你你肯定你创建这个实例的话,你刚才我们是1111颗CPU,然后每台机器都是一颗CPU1.5g,然后有二二十多多G的这个磁盘空间是吧?你已经占用了,但这里面没有显示,怎么让它显示出来呢?啊,我们就可以通过跑刚才那个脚本。
59:29
这个是。啊,这这一块的话就是。我看看他要跑什么,跑这个的话,我们先让他跑着吧,这个也要跑一小会儿,然后接下来我们为了节省这个时间呀,我们先来看一看公有云上是如何一键购买,这个我们说的,呃。就是这个这个我们公有云上的这个这个这个T了啊。我们看一下啊。
60:00
这个我们刚才看了对吧,我就在那个我那个。腾讯云上面我有一个云产品。里面不好使。不太好使。我不知道这个字是不是小一,然后云产品,然后我们找到分布式数据库及SQ。然后这里面有这个MYSQL版对吧,然后呢,下面有一个新建。我就直接点新建就OK。然后啊,我们这有包年包月的,如果你是厂,你是你自己公司的话,基本上来讲都是包年包月的,你按量计算的可能就就不太那么。如果你你你要是按量计算,可能要比包年包月要要要要偏贵,这个按量计算就是我平时学习啊什么的,可能会更友好一些,或者我测试啊,因为这样的话,我可能使个几我使个一几天我就可以把它停掉了,然后呢选对应的区域,然后呢要选私有网络。
61:09
然后接下来呀。是实力的版本。你比如说你。一主。一层啊,一会我们再再直接去点进去看吧,这里面可以选选多个一组一组一层一组两组两层一组三层等等啊,甚至你选多少个赛等等啊,这些都可以去选择,我们一会儿实际去看。然后可用区。然后接下来呢,你的那个内核版本,因为我们DB的版本,目前我们最新的应该已经到了8.0.24了啊,这个当时我截图的时候还是8.0.18,这个版本也包括5.7的版本,然后分片的数量你也可以设置啊,然后呢,这个单个分片的规格,你比如说我因为是测试嘛,我就一核2G,实际上你要生产,让你至少要要要要,比如说4C8呀,8C16啊,甚至是更大啊。
62:06
那你根据你的这个数据量啊,等等这些情况啊,甚至有些你单个这个分片可能就有可能是。有,比如说是24C,然后可能是。64G内存或者128G内存啊,这些都有,然后呢,磁盘空间是是多少,因为我这测试环境,然后呢,所属的这个项目,然后。比如实力的这个命名啊,字符集等等,是否强同步啊等一系列的。这些呢,你就可以就通过鼠标方式。然后最后呢,购买多少台啊,然后是按量计算上我阅读,然后大概是。多少钱配置费用啊,然后点立即购买。然后确定购买啊。这里面其实说白了就是创建嘛,就是我们所谓的这种一键购买,说白了就是我们去在我的公有云的环境去创建一个t t circle的一个实例。
63:09
最后确定就OK了。那么我购买完成之后,我们也刚才看到了这个上面这个图,就是我们说的这个刚才给大家大家大家看的,那我买完了这个了,我怎么去连它呀。比如说我上面还有CVM的这些云主机,上面配置配了我们这些应用啊,类似于他CAD等等等这类的应用,那我怎么去用这些应用,怎么去连这个数据库呢。那这时候我们要。比如说我修改实例名字啊,在运行中啊,一会儿我们来看。这里面当然你可以修改实例的名字啊。然后这里面是你去连的话,你要创建账号。它这里面你登录进去之后,你就会有这个创建账号。然后呢,你这个这个账号,你就把它理解成数据库的账号啊,然后呢,这个你们产线上是不允许写百分号的啊,你你必须按照那个IP的那个,比如说172.21.16。
64:13
甚至有些公司,你你前三位是这个数字,后一位写百分号都不允许,甚至是啊,有这么严格的啊,然后设置密码,密码要有一定的复杂度,然后呢,你备注是什么,然后呢确认点下一步,然后呢该是授权了,授权这也不能全选,因为我当时测试环境这里面你根据你实际情况啊,明天我们讲这个开发指南的时候,会给大家讲一下,就是说应用来讲,你只能给他增删改查啊,甚至创备的权限你都一般是不授予的,除非有个别的表需要这个创配的权限,那都是要单独授授权的啊。但这一块的话,因为我们是属于测试啊,所以说我就都给他了。然后就可以登录了,这个登录的话我们看啊你的这个。
65:03
啊,不对不对,我我我我我我说错了啊。你看这这里面你是我们不是不是说错了,是说这个登录是你你是在这个这个登录界面啊,来进行这种登录的啊。而不是我们通过那个其他的一些工具。然后登录进去,就是这种我们说的呃,库的这种管理啊,你这里面这些系统库啊。呃,我们比较熟悉的像,呃,像这个啊,什么MY这系统库的。这些是我们买SQ这个体系就有的。而这个CDB,包括拆这个就支持这个分布式事务的这些是我们t circle自己的所有的这些系统库啊,我们。就是建议大家不要去动,除了有一些这个系统信息,你需要性能这个指标的信息,你需要查询啊,尽量我们不去修改它啊。
66:07
然后呢,我数据库的名称,然后我就可以选进来,然后去执行一些我们说的一些操作了啊,但是我们实际啊,实际来讲我们是不会通过这个。我们的这个这个这个,比如说我刚才说的那个,嗯,就是。我登录到公有云上啊,在他这里这个库管理里面,然后去去执行这些circle狗是不会的,我们都会通过一些像库要呀,呃,像work奔NCH啊,像像像na k呀,用这些工具去连到数据库上去创建库表啊,做这些操作的啊,但是我们这上面有一些功能啊,只是给大家介绍一下。然后你比如说执行刺客啊,我执行select星啊这些。然后查看执行计划啊,也也也是可以执行的,像这些。然后是比如说实例绘画里面有活跃中这这些绘画啊,比如说有些bad circle打上来之后,我可能有一些circle,然后我可以批量的去把这些circle给他杀掉。
67:09
然后我如何开启外网访问呢?这就是回到我们刚才说的。我公有云上,我一键购买了一个T4实力。那这时候我本地,比如说我现在就我的笔记本,我家里面上网,上网我怎么通过这些工具去连到我云端上这个数据库呢?那这个时候我要开启这个外外网地址。实际上你开启这个地址啊,它不是一个真正的IP,我们可以看一下,实际上它是一个域名。开启之后,它就会给你生成前面一大串。注意啊,最后这个冒号12注意一点。这个12是个端口。你去买Q-U是用户杠P是这个密码杠H你连的是这个域名是吧。
68:00
注意啊,没有这个冒号,最后杠P是幺二,它会。把这个转发你,你连到这个幺二这个端口之后,它会转发到后边的3306啊,对应的这个我们说的这个这个主主上面去啊,所以说这里面我们要注意一些啊,你只要我想外网连接的话,我只要开启这个外网地址啊,开启外网地址的时候,你要注意你连的端口可不是他给你提供的啊。然后我就可以通过这些工具让你看,我这里面可以输入他的地址,用户名,密码,端口,注意是12,然后输入数据库,我就可以测试连接了。然后就可以开启外网访问,然后我就可以在我的这个工具里面去创建。呃,创建表啊,插入数据啊,查询啊等等做这些操作了,因为有些研发人员他们都是有自己自己的工具的,他不会去你那个公有云上面,你那个功能的话,可能相对来讲呢,就不这个更这些工具更专业一些啊,或者研发人员使用的更熟练一些。
69:12
然后下面是这种我们说的这种分片的这种管理啊,你比如新增分片啊。所谓什么叫昨天应该郭老师给大家讲了这个我们的这个架构了,对吧,我们的分片啊,是如何这种分片的,那实际上我们可以你比如说调整分片啊,拆分分片啊,比如说现在是这个分片是零到31,那我可以把它拆成。一拆二对不对,那我就是零可以拆成零到十五十六到31对不对,把它给它拆分,然后呢,零到15,我又可以再对它进行拆分,拆成零到七八到15,这样给它拆分成从一个分成多个分片,所谓分布式对吧?数据量大了,这个分片里面的数据可能超过多少10T20T1010几个T的数据了,那这时候我就给他拆分,拆分之后因为我数据量小了,我的SQ呢,下推到这个数据节点的时候啊,我因为数据量少了,那这时候我就。
70:12
很容易就录取到数据之后,我把数据返回到我的这个计算节点啊,再做汇数据的汇聚,返回给前端的应用。这是我们说的水水平的这种拆分啊,分片的管理,包括监控告警这一块啊,因为当时我创建一个空的实力没有也没有压测啊,也没有跑什么数据,所以说没有什么具体的指标啊,只是告诉大家这有相对应的功能啊。还有一些参数配置,参数配置的话,这个参数配置如果说我们熟悉买SQ体系的话,我们就知道我们有一个ETC,下面有一个卖点CNF,对吧,这里面还不是全部的啊,呃,如果你少一下子的话,就是SOHO,我们用这个命令,我们可以看到它的这些这些参数,你比如说buffer布大小,比如说blog的这个格式啊,比如说JA buffer out。
71:06
那个。就是比如说照buffer啊,So buffer啊等等这些这些这这些包括字符集啊等等啊等等的这些的,这个我数据库的这些参数可以在这里面进行这种修改啊呃,这是我们说的这个这个嗯,参数这一块,但是呢,如果说你没有绝对的把握的话,你尽量不要修改,因为这一块的话,我们都是经过这种优化。这是我们说的。呃,我们说的这个这个参数这一块,然后就是呃账号管理,因为我们刚才看到了,我们就不说了,然后是安全性这一块,我们这一块有这个呃数据库的防火墙,你比如说这个数据库,你的应用被人刷了接口,那有可能你这库打打到你这库上的,所有的这些操作都是同一条update,只不过后边那值不一样。这时候我们过去这种老DBA都有经验,那这时候就写个脚本,拼命的去杀,杀掉一批他又打上来,杀掉一批又打。
72:03
而这时候,实际上我们有了这个防火墙。这个功能啊,实际上我就可以把这条思给他屏蔽掉啊,里面是可以写这种正则的啊,这些匹配的。这是我们说的数据安全性这个,然后是备份恢复啊,备份恢复这一块的话,实际上我们是有两种,第有那个物理备份和这个逻辑备份,物理备份实际上就是用开源的这个extra backup啊,然后我们做了这种适配,因为你是如果是分布式的话,你备份完成之后,你恢复的时候,因为你。不同的分片之间,它是有这种分布式事务的,那这时候你可能你做恢复的话,就不是单实的这种恢复,所以说这些我们要做一些适配,然后这个逻辑备份这一块我们是用的my dump,就没有用它那个自带的那个my SQL dump,因为那个my SQL dump是一个单线程。它的备份和恢复的话,呃,效效率不高啊,我们用的这个买当也是一款这个开源的产品,可以做到这个。
73:07
并行的或者叫并发的这种啊复制呃不是备份的,备份出来的话,呃也是按照表啊,那个那个呃包括那个我们说的那个呃数据呀,包括那个那个他的那个表结构的这些文件都是可以单独的这些呃存放然后呢,你恢复的时候。性能就效率也可能也也要快很多,然后还有一块儿是性能优化这一块。性能优化这一块,我们叫这个这这个公有云上,因为是早期相对来讲呢,就还要,嗯,就是要逊色不少啊,目目前的话,我们比如我们后天要讲那个我们吃兔这一块,你就会它内容要要多很多啊,就性能优化这一块,我们要扁鹊,扁鹊是什么呢?就医生,医生就是专门对数据库。
74:00
这个扁鹊就是说专门的数据库,它的一些,比如说性能啊,包括巡检呀,包括说锁呀,慢查询呀,呃,一些一一一些异数据库的异常进行这种诊断的啊,辅助的一些工具,这是性能优化这。啊,这就是公有云。方面的。这是公有云上的一些操作,然后那个公有云我们实际看一下啊,你看这个。呃,实际你看这是我公有云,我要先登录对吧。我登录上来之后。我有一个云产品,刚才我们也看到了,对吧,你云产品你比如说就是。嗯。这里面当然有很多啊,你咱们找这个分布式数据库,继续server点进来之后,然后就会到了这里面,这里面的话,因为我以前创建过一个啊,就就是这个,那这时候我刚才我们也可以看到,你要是继续点新建的话啊,这个因为你就可以一步一步填,填写这个,比如说我是按量的,我是广州的,然后选一个私有网络,然后是哪个区的,然后呢,分片的数量是多少,版本是多少,然后这里面你比如说我是你看最高的那个高I版有32和128G。
75:19
某一个分片,那这个时候呢,你根据你的这个,呃,你的那个实际使用,你比如说这个,那你你一小时就70多块钱,所以说那你要根据你实际情况,包括这个版本啊。我们独立输出版本这个要高,包括那个分片数。啊,最后包括那个设置一些那个字符集啊等等啊,这些我们就不细讲了。然后呢,最后你就肯定要购买,购买,所谓购买就是后台帮你去创建了。然后这里面你就可以呀。点进去。点进去,然后你比如刚才我们看到的这就是分片管理,对吧,还有这个管理调整分片等等,然后监控告警。
76:10
参数配置啊,这个我们刚才一步一步都讲了,但是相对来讲它的功能啊,只是我们说的叫租户端,什么叫租户端,你购买了这个产品。是在公有云上,你是租户,而真正的运维端很多的这些功能,就是我们在吃运营管理平台,他看到的很多这些功能啊,实际上是。对于你这个购买公有云,这是租户端来讲,你不需要这些日常的运营维护啊等等这一系列的操作呀。都是由腾讯云他自己的DBA来进行管理的,所以说他们有一个这个运维端啊,你是租户端,所以说你看到的就只有这几项啊。但是明天我们可以看到这个赤兔上面,它的有一些功能是既有你租户吧,你比如说我创建实例啊。
77:04
这这这里面也是这种我们说的这种创建实例啊。然后。嗯,我我看一下啊。这个。我再我再登录一下。我我登录另一个,我看一下。因为刚才那个。登录一下啊。5976。啊,我登录进来,你看现在是不是。使用量总容量大概有多少,我使用率多少,然后点击进来。
78:03
实际上。这里面就已经有这个内容了啊呃,因为这边这个界面太大,它有些就不显示出来了,然后实际上你看啊,我这里面有创建非分布式实例和创建分布式实例啊,这些具体的这些内容啊,我们。呃,应该是后天吧,后天会给大家逐一的去,呃进行这种介绍啊。然后今天的话,我们是这样,因为还有一些时间,我们就带着大家创建一个。非分布式一个实例。呃,所谓非分布式的实例和分布式实力是这样,就是我这个赤兔啊运营管理平台,就是或者说我们TTSQ这个分布式数据库。它和其他的一些友商的产品的一个很大的区别就在于我们呀,同时支持。集中式的实力和这种分布式实力,所谓集中式的实力,我们就说它是非分布式实力,那那非分布式实力实际上它就是我们。
79:07
和原生买车的。主从高可用的这种是一样的,就一组多层这种架构,但是。虽然你买Q是一主多从,但是实际上。我们是纳管在我们这套集群里面的,也就是说你去连你这个MYSQL这个主层,虽然他不做这种分分布式,不做分片,那么你也要连pro。它纳管在这个集群里面,它的内核和分布式的集群的内内核是一样的,并且主库比如说发生了故障,我也要做主备的切换啊,它是完全纳管在这套集群里面。那为什么我们要做这种?集中式的和分布式的,就是说我们的这个了解呀,呃,目前从客户这个角度来讲啊。这个客户其实他他他现在的数据库这个环境啊,我们大概做了统计,他至少有60%-70%的这个业务库。
80:06
实际上是不需要。分布式实力。也就是说,它的数据量和并发并没有那么大。这些客户他差不多只有20%-30%,真正的他的业务系统是非常繁忙,数据量非常大。它超过一半以上的这个数据库系统其实是没有这么大压力,所以说你根本就没有必要。做这种分布式,那这时候我们就提供了这种非分布式的这种解决方案。你比如说我业务描述这一块,比如说我我我这乱写的就是一个订单实例的名称,名称叫什么呢。比如就是。不是随随随随便写一个啊。但是你不写也行啊。然后数据库版本,你看我们最高已经支持到8.0.24啊,因为这个是独立输出版本比较新的版本。
81:02
这里面是部署的机型啊,然后呢。你这个那个。呃,十二十一点十八啊,我们小伙伴们注意一下啊,一会儿我们点完创建之后,我们马上就要开始抽奖了啊,大家注意一下啊,然后呢,也是我这个每一个DB服务,我大概是1.5g内存,就是说在这一台机器上,我等于多实例部署了啊,然后呢,我下一步快一点啊。然后还是这种栽培环境,我都是一周两倍吧,咱们因为要抽奖了,就快一点,你包括下面我这个服务器分配,你是可以写的,我为什么不写呢。我就三台机器,并且我要创建一组两倍,它肯定每台机器上会给你创建一个DB服务。包括那个那个网关组也是一样,你只有这三台机器,也就是说他在在这三台机器上会给你去创建对应的这个。我那个pro的那个服务啊,然后咱们选下一步。
82:04
然后是初始化。设置,比如说字符编码,我是U先发的啊,然后那个字符集U先发表明不区分大小写是是否区分啊,呃,咱们是。大小写是否敏感啊,咱们不敏感,然后配SIZE16K,然后咱们开始创建。这是也是需要一个过程的。呃,稍等一下啊,然后咱们让他去创建我们。应该是21:20,咱们。你看啊,这是他一步一步的,你比如说先要安装DB,然后创建site,然后认证是吧,然后呢,添加这个VIP,然后呢,呃,再去安装这个proxy,最后但你如果你没有VIP,他就不会说说什么绑定VIP啊,然后但是呢,它是按照一步一步啊在后台再去跑的这些任务,哪一步如果飘红了,出现问题了,那你可能就要查对应的这个日志啊,然后下面是初始化实例。
83:09
我们先让他跑一段,这个可能要跑一段时间,然后我们马上进行第三次抽奖。大家准备好了啊,这是第三份奖品,是程序员杂志第三期啊,有三份,大家开始。
84:05
然后咱们眷啊第三次抽奖,然后我们再持续一分钟吧,等大家一分钟。呃,然后大家看一下啊,就是今天晚上大概的这个内容啊,有由于时间关系,因为我们只有一个半小时,你不可能后边的像HDFS这些都没有实际的去部署,因为这个时间,而且我我最开始跑的那个脚本,我也我也是在提前跑的,因为这个时间确实不够啊,又怕耽误大家的休息时间,所以说呃,我们今天的主要内容应该大大致就是这样了,然后咱们看一看,就是小伙伴们。
85:04
针对于今天啊,甚至包括昨天我们讲机车构架构这一块啊,就是介绍这一块,大家有什么问题啊,也可以,呃,把问题发出来啊,然后咱们进行一个交流好吧。然后这个这个抽奖应该是OK了啊,然后我们看一看刚才我们创建的这个。这个这个实力啊。创建这个实例,我们看一下。哦,这还没有哦,现在绑定VIP完成,然后现在是在。安装这个pro这这一块啊,这个还没有。然后其他的小伙伴看一看。呃,我们有有什么这个需要交流的啊,关于TSQ买SQ版的,嗯。昨天讲的也可以,然后今天我们实际是实际操作的这些都可以。扁鹊平台这个页面有,我到时候给大家介绍一下啊。
86:04
呃,你这个扁鹊这样吧,这个平台的话,扁鹊平台我们后天后天我们专门讲这个赤兔管理平台,这个平台里面实际上我们康才实际实力管理里面点进去之后,有一个性能优化那一块,它就是领缺啊平台啊,这个我们后天会详细和大家介绍啊。有物理机的安装文档吗?呃,是这样啊,呃,你这个安包括安装的介质,以及我们说的这个安装的文档啊,我们啊。稍微还要再等一等,呃,应该是要等一小段时间,然后我们会推出这种免费版本的,然后会挂在我们的官网上,到时候大家直接下载就OK了啊这些就是。哎,还有一个啊,我跟大家解释一下,就今天我的这个安装啊,实际上你也可以是在这个物理机环境安装的,比如我这三台机器就是物理机,并且呢。
87:06
你这个我们那个t host那个文件的时候,我们不是配置那些IP,这些IP的话,实际上你也可以就是说。你现在你把它替换成高配置的,这这个。你只要把它替替换成高配置的物理机环境就OK了,这个安装的步骤都是一样的啊。半同步和强同步的这个区别。是这样啊。半同步和强同步实际上原理是一样的。我比如说我现在是一主两两两倍,那么主库。产生这个blog之后,我这个主库这个档线程会把这个blog推送到这个备库。备库呢,这个LL线程的话,会把这个接收到这个b blog之后会写入到本地中心日志,这时候呢。
88:06
那这时候他要给那个。主库啊,一个A的确认,然后呢,你写到那个背后之后。那这个。备注上那个过去叫叫SQ线程,当然现在的话有那个协调线程,还有很多worker,就是它就是所谓的这个并行复制嘛,对吧,那么就是过去那种,比如社会演唱会。读取这个中介日志,然后对这些售后进行回放,这是它的一个原理,对吧,就说白了就是说你只要写入到这个中介日之后,给那个主库一个A的确认,主库知道你收到了,那你。这个这个这个B道就不会丢失了,那我这时候就可以给前端应用。这个返回应答了啊,原理都是一样的,但是强中不复制,只是在性能这一块啊,通过这种线程池啊等等这一系列的这种这种机制。把它的这个性能提升了,提升了上来啊,这个应该昨天讲架构的时候,应该老师给大家介绍过吧,就我们现在实际压测的结果是我们的强同步复制和这个你比如说5.7版本,我的这个我开启强同步复制,然后呢。
89:17
呃,原生买SQ是异步复制,我做这个压测的时候,实际上他们的这个就是这个吞吐,我们压出来这个,呃,基本上是。我的墙能够开启,是可以达到你异步复制的这个吞吐的啊,就是说性能这一块,我们是采用了这个线程池啊,等等这一系列我们的这一一些技术啊,让它的这个性能。要优于这个半通步。呃,哎,对了,刚才那个。呃,这个这个是我们创建出来的,你看啊,你刚才创建的时候,我们看这个是校,我们点进去,我们可以看一下实例详情里面看,因为我只有三台,你DB是什么呢?DB是一株两倍,也是一株两倍,对吧,那么它是三期的这个4002。
90:07
这个端口是主。幺六点二零的这个4002是背。这也是倍,就是幺六点四八,那么这个。Proxy是什么呢?是什么呢?幺六点二零的15002啊,幺六点三七的15002和幺六点四八的15002,那当然这三台你连谁都行啊,然后实际上我们怎么使用呢?我们可以创建一个用户,比如说我叫啊。换W吧,比如说我开,呃,实际生产中我们需要有一个密码复杂度的啊。这就是创建一个用户啊。
91:04
啊,执行成功,然后我们再给大家。测试一下你看啊,我现在有一-W的这么一个用户,对不对,然后我们刚才说了。你的这个DB。你的DB是它,但是注意啊,我们不管是应用,不管是我们通过我那K去连,你不能直接去连这个DB的啊,当然不是不不能不是说你你你你你连不上,而是说我们所有的操作都通过这个我们所说所谓的网关列表啊,然后去连应用也是啊,我们平时去去运维操作也也都是啊,然后我们去测试一下,你比如说我现在买S。杠U,刚才杠W是我的这个用户。放屁,我还是123,这个实际生产上我们不建议使用这么。弱的密码啊杠P是是什么呢?我们说了你要连的是proxy的这个端口15002,刚才我们的那个Q那个库是15001,我们现在是15002-P-H呢,这三台172.21.16。
92:17
点374820都行,我们这次连三七。OK。你看。买DB,我就我就可以创建,买你看啊new这个库跟performance my。那个CS库,像这些通通的都属于MYSQL本身就有的系统库。这个查询重写这个CDB这个。这是我们的库啊,我们系统库,然后我创建了一个库,你可以又到这个库里面去创建一些表啊,去操作啊就OK了。
93:01
然后这个是我们今天晚上大概的一个内容啊。呃。正好正好九点半,嗯,然后那我们今天就就到这里啊,最后呢,再提示大家一下,然后呢,就大家一定要呃,别忘了签到啊,结束之前也可以签到,就是没有签到的这个小伙伴啊,你要进行一下签到,然后在预告一下,就是明天晚上相同的时间,我们会讲什么呢?会给大家介绍一下TD circle开发的一些规范,你比如说集中式大概的一个开发规范,这个和我们原生买SQ就很。很相似,那么分布式你去创建这个表,怎么让它做成真正的分布式的这种表呢?这些有什么规则呢?有什么需要注意的呢?和原生MYSQL的这些表有什么区别呢?那么我们明天晚上啊,会给大家一一来解读啊,那么今天晚上呢,也很感谢大家的这种认真的这种收听,那我们今天晚上就到这里啊,感谢大家啊,再见。
我来说两句