博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Zato入门part2
阅读量:5129 次
发布时间:2019-06-13

本文共 9005 字,大约阅读时间需要 30 分钟。

Zato入门part1

前提:从part已经建立了集群、服务框架并成功的调用了服务。现在我们通过HTTP、ZeroMQ和JSON使用外部服务。

除非坚持手工调用,否则服务从来不知道什么确切的URLs来调用。它们总是被外部链接的信息屏蔽。

刚才指出的面向服务的连接叫做CRM,它是一种可以向服务推送请求的服务。当CRM改变了它的地址,服务不需要重新配置,我们仅仅需要做的是在web前端输入心得地址,那么它将会自动被传播到整个集群,这样下一次服务利用这个服务时会自动连接到新的地址。

我们现在没有CRM和方便的支付系统,但在本入门教程中我们可以通过请求之前准备好的服务(、)来模拟。

客户信息

{ "firstName": "Sean", "lastName": "O'Brien"}

消费信息

{ "DATE": "2013-05-14T10:42:14.401555", "AMOUNT": "357"}

利用ZeroMQ连接欺诈检测系统。

现在利用web前端,建立两个外部连接。

操作:Connections -> Outgoing -> Plain HTTP

CRM 连接

消费连接

同步调用

代码

my_service.py
# Zatofrom zato.server.service import Serviceclass GetClientDetails(Service):    def handle(self):        self.logger.info('Request: {}'.format(self.request.payload))        self.logger.info('Request type: {}'.format(type(self.request.payload)))        # Fetch connection to CRM        crm = self.outgoing.plain_http.get('CRM')        # Fetch connection to Payments        payments = self.outgoing.plain_http.get('Payments')        # Grab the customer info ..        response = crm.conn.send(self.cid, self.request.payload)        cust = response.data        # .. and last payment's details        response = payments.conn.send(self.cid, self.request.payload)        last_payment = response.data        self.logger.info('Customer details: {}'.format(cust))        self.logger.info('Last payment: {}'.format(last_payment))        response = {}        response['first_name'] = cust['firstName']        response['last_name'] = cust['lastName']        response['last_payment_date'] = last_payment['DATE']        response['last_payment_amount'] = last_payment['AMOUNT']        self.logger.info('Response: {}'.format(response))        # And return response to the caller        self.response.payload = response

热部署

cp my_service.py $path/server1/pickup-dir

通过curl请求服务

$ curl localhost:11223/tutorial/first-service -d '{"cust_id":123, "cust_type":"A"}'  {
"first_name": "Sean", "last_name": "O'Brien", "last_payment_date": "2013-05-14T10:42:14.401555", "last_payment_amount": "357"}$

同时一个server的日志中,会记录以下内容

INFO - Request: {u'cust_id': 123L, u'cust_type': u'A'}INFO - Request type: 
INFO - Customer details: {u'lastName': u"O'Brien", u'firstName': u'Sean'}INFO - Last payment: {u'DATE': u'2013-05-14T10:42:14.401555', u'AMOUNT': u'357'}INFO - Response: {
'last_payment_amount': u'357', 'first_name': u'Sean', 'last_name': u"O'Brien", 'last_payment_date': u'2013-05-14T10:42:14.401555'}

提示

  • self.request.input.payload是在命令行中-d后面的内容
  • payload是python中的字典对象

异步发送信息

到目前为止,我们有一个服务通过HTTP接受json,两个服务通过json调用服务,输出json到一个文档。

part1提到,商务人员对消费者的类型(A,B,C)做出判断需要近处观察——消费者的任何操作需要过侦查系统的检查,即使是最后毫无害处的付款行为。

我们没有机会接触到这样的系统,但是我们可以通过几行代码模拟该行为。这只需要执行一个ZeroMQ的PULL socket在一个无限循环中,并把任何输入的信息记录下来。我们将要把我们的服务做成一个异步推送数据给server,而server是如何处理处理并不是服务所关心的。

# stdlibimport logging# ZeroMQimport zmqlogging.basicConfig(level=logging.INFO, format='%(levelname)s - %(message)s')address = 'tcp://127.0.0.1:35101'context = zmq.Context()socket = context.socket(zmq.PULL)socket.bind(address)logging.info('Fraud detection app running on {}'.format(address))while True:    msg = socket.recv_json()    logging.info(msg)

该系统可以完美地执行,毕竟这是发送信息的整个点,我们只是发送信息,然后就不用管了。在这种特殊的情况下,接受者只是记录下所有的请求——这并不是我们关心的。

假设zato已经安装在$install_dir,我们可以执行该命令如下,注意命令中确实是'py',而不是'python'。

$install_dir/bin/py zmq-server1.pyINFO - Fraud detection app running on tcp://127.0.0.1:35101

我们需要建立一个ZeroMQ:Connections -> Outgoing -> ZeroMQ 

新建一个

热部署以下服务,观察侦查系统报出的日志:

# stdlibfrom datetime import datetimefrom json import dumps# Zatofrom zato.server.service import Serviceclass GetClientDetails(Service):    def should_notify_frauds(self, cust_type):        config_key = 'myapp:fraud-detection:cust-type'        return cust_type in ('A', 'B', 'C')    def handle(self):        self.logger.info('Request: {}'.format(self.request.payload))        self.logger.info('Request type: {}'.format(type(self.request.payload)))        # Fetch connection to CRM        crm = self.outgoing.plain_http.get('CRM')        # Fetch connection to Payments        payments = self.outgoing.plain_http.get('Payments')        # Grab the customer info ..        response = crm.conn.send(self.cid, self.request.payload)        cust = response.data        # .. and last payment's details        response = payments.conn.send(self.cid, self.request.payload)        last_payment = response.data        self.logger.info('Customer details: {}'.format(cust))        self.logger.info('Last payment: {}'.format(last_payment))        response = {}        response['first_name'] = cust['firstName']        response['last_name'] = cust['lastName']        response['last_payment_date'] = last_payment['DATE']        response['last_payment_amount'] = last_payment['AMOUNT']        if self.should_notify_frauds(self.request.payload['cust_type']):            fraud_request = {}            fraud_request['timestamp'] = datetime.utcnow().isoformat()            fraud_request['request'] = dumps(self.request.payload)            fraud_request['response'] = response            fraud_request = dumps(fraud_request)            self.outgoing.zmq.send(fraud_request, 'Fraud detection')        else:            self.logger.info('Skipped fraud detection for CID {}'.format(self.cid))        self.logger.info('Response: {}'.format(response))        # And return response to the caller        self.response.payload = response

调用服务

$ curl localhost:11223/tutorial/first-service -d '{"cust_id":123, "cust_type":"A"}'{
"last_payment_amount": "357", "first_name": "Sean", "last_name": "O'Brien", "last_payment_date": "2013-05-14T10:42:14.401555"}$

zmq显示

INFO - Fraud detection app running on tcp://127.0.0.1:35101INFO - {u'timestamp': u'2013-05-14T18:16:56.048224',        u'request': u'{"cust_id": 123, "cust_type": "A"}',        u'response': u'{"last_payment_amount": "357", "first_name": "Sean",i                        "last_name": "O\'Brien",                        "last_payment_date": "2013-05-14T10:42:14.401555"}'}

可以看到,当类型为A,B,C时,有日志输出,当输入其他类型时,直接忽略了——因为根本就没有请求。

Redis

到目前为止,我们已经做得够炫酷的了,但是还有一件非常不和谐的事情在前面的步骤——消费者的类型需要额外的异步信息输送到检测系统,这在服务中是很难编码的。例如当工作人员决定使用更新的类型时,我们还得去改代码,然后重新部署,至少这样不是最好的。

我们可以把这行类型信息存在Redis中,这样Zato就可以从中读取。

操作:Key/value DB -> Remote commands

点击后,出现窗口,可以直接执行Redis命令,下面是执行INFO后的输出:

下面执行3个Redis命令

LPUSH myapp:fraud-detection:cust-type ALPUSH myapp:fraud-detection:cust-type BLPUSH myapp:fraud-detection:cust-type C

现在重新更改服务代码,用LRANGE来读取所有的配置值:

# stdlibfrom datetime import datetimefrom json import dumps, loads# Zatofrom zato.server.service import Serviceclass GetClientDetails(Service):    def should_notify_frauds(self, cust_type):        config_key = 'myapp:fraud-detection:cust-type'        return cust_type in self.kvdb.conn.lrange(config_key, 0, -1)    def handle(self):        request = dumps(self.request.payload)        self.logger.info('Request: {}'.format(self.request.payload))        self.logger.info('Request type: {}'.format(type(self.request.payload)))        # Fetch connection to CRM        crm = self.outgoing.plain_http.get('CRM')        # Fetch connection to Payments        payments = self.outgoing.plain_http.get('Payments')        # Grab the customer info ..        cust = crm.conn.send(request)        cust = loads(cust.text)        # .. and last payment's details        last_payment = payments.conn.send(request)        last_payment = loads(last_payment.text)        self.logger.info('Customer details: {}'.format(cust))        self.logger.info('Last payment: {}'.format(last_payment))        # Create response        response = {}        response['first_name'] = cust['firstName']        response['last_name'] = cust['lastName']        response['last_payment_date'] = last_payment['DATE']        response['last_payment_amount'] = last_payment['AMOUNT']        response = dumps(response)        # Create a request to fraud detection and send it asynchronously        # but only if a customer is of a certain type.        if self.should_notify_frauds(self.request.payload['cust_type']):            fraud_request = {}            fraud_request['timestamp'] = datetime.utcnow().isoformat()            fraud_request['request'] = request            fraud_request['response'] = response            fraud_request = dumps(fraud_request)            self.outgoing.zmq.send(fraud_request, 'Fraud detection')        else:            self.logger.info('Skipped fraud detection for CID {}'.format(self.cid))        self.logger.info('Response: {}'.format(response))        # And return response to the caller        self.response.payload = response

这样当新的事物来的时候,我们只需要操作Redis数据库,不需要修改服务代码,不需要重新热部署。

统计

web前端有丰富的展示统计信息页面。

可以两种类型的统计信息

  • 由Zato产生的统计信息
  • 由load-balancer产生的统计信息

前一个统计信息可以发现一个服务的好坏;后一个可以用来诊断集群中不良的端点。

例如:

可以看到在我们的服务在最慢的10个服务之列,平均相应时间(M)为147.87ms,这并不意味着很差,因为所有服务的平均相应时间(AM)为857ms。同时可以分析到该服务占总服务数量的3%,占用时间占总时间的9%,倒数第二列告知在最后一小时(TU)总共有299次服务请求。最后一列显示其趋势。

对于load-balancer,可以通过web前端页面分析LB的统计信息。注意这一部分需要一个新的认证信息,它是由潜在的HAProxy直接管理,账户和密码在$path/load-balancer/config/repo/zato.config,admin1为账户名,后面对应的为密码。当然里面密码可以改变,需要重启下服务方可生效。

 

转载于:https://www.cnblogs.com/kaituorensheng/p/4752260.html

你可能感兴趣的文章
MySql Host is blocked because of many connection errors 问题的解决方法
查看>>
FastDFS高可用集群架构配置搭建及使用
查看>>
.tar.gz文件和.tar.xz文件的解压和压缩
查看>>
HashPump用法
查看>>
RabbitMQ的安装
查看>>
Halcon匹配方法
查看>>
Linux安装libcholmod-dev找不到的解决方法
查看>>
cuda基础
查看>>
吉林大学考研复试题目(牛客网)
查看>>
最长公共子序列与最长公共字串
查看>>
virutalenv一次行安装多个requirements里的文件
查看>>
如何让字典保持有序---Python数据结构与算法相关问题与解决技巧
查看>>
django-xadmin设置全局变量
查看>>
Vue安装准备工作
查看>>
.NET 母版页 讲解
查看>>
Android Bitmap 和 Canvas详解
查看>>
最大权闭合子图
查看>>
oracle 创建暂时表
查看>>
201421410014蒋佳奇
查看>>
导入导出数据库和导入导出数据库表
查看>>