如何针对 Python 运行时引入第三方包

声明：

• 本文测试所用设备系统为 Ubuntu18.04
• 运行模式为 docker 容器模式，native 进程模式配置流程相同
• Python 版本为 3.6，2.7 版本配置流程相同，但需要在 Python 脚本中注意语言差异
• 模拟 MQTT client 行为的客户端为 MQTTBox
• 本文选取 requests 和 Pytorch 两种第三方包进行演示说明
• 本文中基于 Hub 模块创建的服务名称为 localhub 服务。并且针对本文的测试案例中，对应的 localhub 服务、函数计算服务以及其他服务的配置统一如下：

# localhub 配置
# 配置文件位置: var/db/baetyl/localhub-conf/service.yml
listen:
  - tcp://0.0.0.0:1883
principals:
  - username: 'test'
    password: 'hahaha'
    permissions:
      - action: 'pub'
        permit: ['#']
      - action: 'sub'
        permit: ['#']
 
# 本地 baetyl-function-manager 配置
# 配置文件位置: var/db/baetyl/function-manager-conf/service.yml
hub:
  address: tcp://localhub:1883
  username: test
  password: hahaha
rules:
  - clientid: localfunc-1
    subscribe:
      topic: py
    function:
      name: sayhi3
    publish:
      topic: py/hi
functions:
  - name: sayhi3
    service: function-sayhi3
    instance:
      min: 0
      max: 10
      idletime: 1m
 
# application.yml配置
# 配置文件位置: var/db/baetyl/application.yml
version: v0
services:
  - name: localhub
    image: hub.baidubce.com/baetyl/baetyl-hub
    replica: 1
    ports:
      - 1883:1883
    mounts:
      - name: localhub-conf
        path: etc/baetyl
        readonly: true
      - name: localhub-data
        path: var/db/baetyl/data
      - name: localhub-log
        path: var/log/baetyl
  - name: function-manager
    image: hub.baidubce.com/baetyl/baetyl-function-manager
    replica: 1
    mounts:
      - name: function-manager-conf
        path: etc/baetyl
        readonly: true
      - name: function-manager-log
        path: var/log/baetyl
  - name: function-sayhi3
    image: hub.baidubce.com/baetyl/baetyl-function-python36
    replica: 0
    mounts:
      - name: function-sayhi-conf
        path: etc/baetyl
        readonly: true
      - name: function-sayhi-code
        path: var/db/baetyl/function-sayhi
        readonly: true
volumes:
  # hub
  - name: localhub-conf
    path: var/db/baetyl/localhub-conf
  - name: localhub-data
    path: var/db/baetyl/localhub-data
  - name: localhub-log
    path: var/db/baetyl/localhub-log
  # function manager
  - name: function-manager-conf
    path: var/db/baetyl/function-manager-conf
  - name: function-manager-log
    path: var/db/baetyl/function-manager-log
  # function python runtime sayhi
  - name: function-sayhi-conf
    path: var/db/baetyl/function-sayhi-conf
  - name: function-sayhi-code
    path: var/db/baetyl/function-sayhi-code

系统自带的 Python 环境有可能不会满足我们的需要，实际使用往往需要引入第三方库，下面给出两个示例。

引用 requests 第三方包

假定我们想要对一个网站进行爬虫，获取相应的信息。这里，我们可以引入第三方库 requests。如何引入，具体如下所示：

• 步骤 1: 进入 Python 脚本所在目录，然后下载 requests 及其依赖（idna、urllib3、chardet、certifi），并注意 pip 命令对应 Python 的版本

cd /directory/of/Python/script
pip download requests

• 步骤 2: 解压 .whl 文件，得到源码包，然后删除 .whl 文件和包描述文件，只保留源码包

unzip \*.whl
rm -rf *.whl *.dist-info

• 步骤 3: 使当前目录成为一个 package

touch __init__.py

• 步骤 4: 在具体执行脚本中引入第三方库 requests，如下所示：

import requests

• 步骤 5: 执行脚本

python your_script.py

如上述操作正常，则形成的脚本目录结构如下图所示。

Python requests 第三方库脚本目录

下面，我们编写脚本 get.py 来获取 https://baidu.com 的 headers 信息，假定触发条件为 Python 运行时接收到来自 localhub 服务的 A 指令，具体如下：

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
 
import requests
 
def handler(event, context):
  """
  data: {"action": "A"}
  """
  if 'action' in event:
    if event['action'] == 'A':
      r = requests.get('https://baidu.com')
      if str(r.status_code) == '200':
        event['info'] = dict(r.headers)
      else:
        event['info'] = 'exception found'
    else:      event['info'] = 'action error'
  else:
    event['error'] = 'action not found'
 
  return event

函数运行时服务的配置如下:

# python function 配置
functions:
  - name: 'sayhi3'
    handler: 'get.handler'
    codedir: 'var/db/baetyl/function-sayhi'

如上，localhub 服务接收到发送到主题 py 的消息后，会调用 get.py 脚本执行具体处理逻辑，然后将执行结果以 MQTT 消息形式反馈给主题 py/hi。这里，我们通过 MQTTBox 订阅主题 py/hi，并向主题 py 发送消息 {"action": "A"}，然后观察 MQTTBox 订阅主题 py/hi 的消息收取情况。如正常，则可正常获取 https://baidu.com 的 headers 信息。

获取Baetyl官网headers信息

引用 Pytorch 第三方包

Pytorch 是机器学习中使用广泛的深度学习框架，我们可以引入第三方库 Pytorch 使用它的功能。如何引入，具体如下所示：

• 步骤 1: 进入 Python 脚本目录，然后下载 Pytorch 及其依赖（PIL、caffee2、numpy、six、torchvision）

cd /directory/of/Python/script
pip3 download torch torchvision

• 步骤 2: 解压 .whl 文件，得到源码包，然后删除 .whl 文件和包描述文件

unzip \*.whl
rm -rf *.whl *.dist-info

• 步骤 3: 使当前目录成为一个 package

touch __init__.py

• 步骤 4: 在具体执行脚本中引入第三方库 Pytorch，如下所示：

import torch

• 步骤 5: 执行脚本

python your_script.py

如上述操作正常，则形成的脚本目录结构如下图所示。

Python Pytorch 第三方库脚本目录

下面，我们编写脚本 calc.py 来使用 Pytorch 中的函数生成随机张量，假定触发条件为 Python 运行时接收到来自 localhub 服务的 B 指令，具体如下：

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
 
import torch
 
def handler(event, context):
  """
  data: {"action": "B"}
  """
  if 'action' in event:
    if event['action'] == 'B':
      x = torch.rand(5, 3)
      event['info'] = x.tolist()
    else:
      event['info'] = 'exception found'
  else:
    event['error'] = 'action not found'
 
  return event

函数运行时服务的配置如下:

# python function 配置
functions:
  - name: 'sayhi3'
    handler: 'calc.handler'
    codedir: 'var/db/baetyl/function-sayhi'

如上，localhub 服务接收到发送到主题 py 的消息后，会调用 calc.py 脚本执行具体处理逻辑，然后将执行结果以 MQTT 消息形式反馈给主题 py/hi。这里，我们通过 MQTTBox 订阅主题 py/hi，并向主题 py 发送消息 {"action": "B"}，然后观察 MQTTBox 订阅主题 py/hi 的消息收取情况。如正常，则可正常生成随机张量。

生成随机张量