嵌入式系统综合实践
本项目以树莓派model B为主板,编写python程序实现USB摄像头自动拍照(如果摄像头前没有人脸会一直拍照下去),试图开门者靠近摄像头并让其对自己正脸拍照,程序拍照后调用opencv与face++的API对照片进行人脸识别并与本地权限人照片(拥有开门权限的有两人)比较,以控制继电器实现电子门锁的开关(如若是拥有权限者试图开门,继电器由长闭一边打到另一边),所有试图开门的记录都存储在树莓派的数据库mysql中,可以在自己编写的安卓客户端中查看所有记录。
树莓派+Python + Opencv + Face++ +数据库Mysql + 基于JDBC的同一局域网下连接树莓 派数据库的app 1.树莓派是一款基于ARM的微型电脑主板,以SD/MicroSD卡为内存硬盘,卡片主板周围有1/2/4个USB接口和一个10/100 以太网接口,可连接键盘、鼠标和网线,同时拥有视频模拟信号的电视输出接口和HDMI高清视频输出接口,以上部件全部整合在一张仅比信用卡稍大的主板上。 2.考虑到python相较其他语言的简洁性,树莓派对python语言有很好的支持(最新版的树莓派操作系统自带python环境),而且face++官网只提供java与python两种sdk包,选取python语言编写树莓派上运行的程序。 3. OpenCV是一个基于(开源)发行的跨平台计算机视觉库,可以运行在Linux、Windows和Mac OS操作系统上。它轻量级而且高效,同时提供了Python、Ruby、MATLAB等语言的接口,实现了图像处理和计算机视觉方面的很多通用算法。选用opencv做人脸识别是较常用和成熟的技术。 4. Face++是北京旷视科技有限公司旗下的新型视觉服务平台,Face++平台通过提供云端API、离线SDK、以及面向用户的自主研发产品形式,将人脸识别技术广泛应用到互联网及移动应用场景中。Face++的API功能更加全面,人脸识别精度也要高于Opencv。 5.MySQL 是一个关系型数据库,由瑞典 MySQL AB 公司开发,目前属于 Oracle 旗下公司。MySQL 所使用的 SQL 语言是用于访问数据库的最常用标准化语言。Mysql是轻量级的数据库,支持远程连接,为制作客户端提供了方便。 6. JDBC(Java Data Base Connectivity,java数据库连接)是一种用于执行SQL语句的Java API,可以为多种关系数据库提供统一访问,它由一组用Java语言编写的类和接口组成,可以用JDBC实现与树莓派中的mysql远程连接。采取先在eclipse上建立java工程,调试核心代码,再移植到android studio中的android工程中,在android studio中写好app,直接用手机调试(用模拟器PC可能会卡),并生成apk放在手机上作为客户端。 二.相关硬件 1、树莓派主板:程序运行的平台 2、USB摄像头:实现图像的采集 3、其他模块:电脑、网线(用于平时调试),360随身wifi模块(用于平时调试与最终演示) 三.相关软件(下载到树莓派中) 1、Raspbian系统 Raspbian系统是基于Debian系统的Raspberry Pi的硬件优化的免费操作系统。广义的Debian是指一个致力于创建自由操作系统的合作组织及其作品,而Raspbian操作系统是一套基本的能使树莓派运行的程序和设备。Raspbian不仅仅是一个单纯的操作系统,它包涵了35000种适当格式的工具包、预编译软件,而这些都是能够非常容易地安装在树莓派上的 。 2、抓图软件fswebcam 实现USB摄像头拍照功能 3、Python图像处理库、python-imaging、python-imaging-tk 4、opencv Python的视觉库 5、face++的Python SDK 包 SDK包中包括通过网络调用face++的API所必须的一些工具。 四.实践流程 1.树莓派基本操作和必要环境搭建 包括下载好所需系统镜像并烧入microSD中、树莓派上网的实现、360随身wifi模块插入树莓派后相关的配置、登陆工具putty的下载、vncserver安装、下载sftp工具用来传输数据。 2.基于face++的人脸识别与比较并控制继电器开关 (1)用putty登录树莓派进入命令行界面,插入usb摄像头,输入指令lsusb查看是否被树莓派识别(一般不需要,最新系统自动驱动usb摄像头)。 (2)用命令行安装fswebcamsudo apt-get install fswebcam#安装fswebcam sudo fswebcam -d /dev/video0 -r 352x288 /home/pi/0.jpg#拍照尝试一下 (3)用命令行安装python相关库 sudo apt-get install libjpeg8-dev zlib1g-dev libfreetype6-dev#安装PIL依赖包 sudo apt-get install python-imaging#安装python-imaging sudo apt-get install python-imaging-tk#安装python-imaging-tk (4)进入face++官网,注册face++账号,在如下图所示界面下载对应Python的sdk包到PC端,再用文件传输工具传入树莓派中 (5)建立一个新应用,将账号的API_KEY和应用的API_SECRET写入下载好的SDK中的apikey.cfg文件和call.py文件中,用命令行运行call.py文件,体验人脸识别,并研究putty界面所可能显示的python捕获异常的信息,尝试进行程序的调试。 (6)仔细研究face++的API文档,最终选定Detect API与Compare API(如下图所示)实现所需功能。 (7)拍摄拥有开门权限者的照片并放入树莓派本地,编写程序完成系统的核心功能人脸识别与比较(见附录程序1),并对拍照图片进行处理。(在对比开门者照片与权限者照片时所用到的是Compare API返回值之一的“比对结果置信度”confidence,前者的confidence为94.795,后者的confidence为56.607,所以将判断的阀值定为70。) (8)将继电器的正、负、in端分别接树莓派GPIO的5V引脚、地引脚与11引脚,在程序中导入python的GPIO库,写入简单的GPIO引脚高低电平控制程序,观察继电器的状态。 import RPi.GPIO as GPIO#导入库 GPIO.setmode(GPIO.BOARD) #配置IO口的标号方式 GPIO.setup(11, GPIO.OUT)#将GPIO的11引脚设为输出 GPIO.output(11, 1)# 让GPIO的11引脚为高电平 GPIO.output(11, 0) # 让GPIO的11引脚为低电平 3.树莓派数据库建立 用以下指令安装数据库mysql,在安装过程中 sudo apt-get install mysql-server python-mysqldb 单独建立一个.py文件用于数据库相关代码的测试,从建立一个数据库出发,再到插入一条记录,调试无误后,移植进之前总的python程序中,实现每识别一次人脸,与本地权限者照片比较之外,插入一条试图开门者的记录。 由于记录中需要有试图开门这一动作发生的时间,需要获取树莓派当前的时间,首先需要树莓派每次重启都通过网络将其时间矫正为现实时间,有以下几个步骤: 运行以下命令,启用NTP: sudo timedatectl set-ntp true 然后通过date命令来查看当前时间,如果时间不对,使用以下命令修改本地时区sudo dpkg-reconfigure tzdata,在“Configuring tzdata”中,依次选择Asia、Chongqing。 等树莓派与现实时间同步,通过python的time模块来获取时间 import time localtime=time.strftime("%Y-%m-%d %X",time.localtime()) 此时已经获取了字符串格式的当前时间local,同样移植到总的python程序中。 4.自动拍照与opencv 可以写个大循环,在循环开头进行拍照,拍照代码如下 import os command="sudo fswebcam -d /dev/video0 -r 600*600 /home/pi/python-sdk-master/python-sdk/photo.jpeg" 但不能每次拍完照都与本地权限者照片比较一下,那样调用face++的API过于频繁,一来造成累积的网络延时过大,二来正式API应用以调用次数收费(试用API也不能无限次调用,且网络不稳定,容易出问题),因此每次拍完照都要识别一下照片中有没有人脸,如果有人脸再调用face++进行人脸比较。但同样的道理也不能用face++进行人脸识别,综上考虑,用opencv进行识别。 首先用下列命令下载opencv库 sudo apt-get install python-opencv 在GitHub上找到opencv软件包到PC上,在其中找到haarcascade_frontalface_alt2.xml文件放在与总的python程序相同目录下,就可以用如下代码实现基于opencv的人脸识别 face_cascade = cv2.CascadeClassifier('./haarcascade_frontalface_alt2.xml') img = cv2.imread('photo.jpeg') gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) faces = face_cascade.detectMultiScale(gray, 1.3, 5) faces若返回不为(),则为识别出了人脸。 考虑到降低延时,在最终的总的python程序中,去掉了之前用face++识别人脸对想要开门者照片处理的部分。 5.将权限者修改为两人,得到最终程序(见附录程序2)。 最终测试,从自动拍照到识别到驱动继电器,整个过程工作良好。由于用opencv识别人脸精度较低,需要摄像头离人脸一段距离并采光良好,但仍会偶尔发生长时间(高于6s,小于12s)无法识别人脸的情况(实际上,这可能更多是摄像头的缘故,比如用蓝色妖姬T3200摄像头,虽然要调焦距,拍照指令也要在sudo fswebcam后加“-S 10”,但基本上没有识别不了人脸的情况)。 6.基于JDBC和无线热点的安卓客户端 首先要建立必要的局域网: 无线模块插在树莓派上并已进行配置,手机开热点,树莓派连接该热点,让PC和预备下载客户端的手机也连上同一热点。此时PC可通过putty登陆树莓派命令行界面。当然也可让树莓派、电脑、手机连上同一wifi(对于相同wifi,无线设备每次被分配的ip地址固定)。 然后,必须对树莓派进行配置,开启其数据库mysql可供远程访问的权限。 用sudo nano /etc/mysql/my.cnf修改/etc/mysql/my.cnf文件 找到下面这行,并用#注释掉, bind-address = 127.0.0.1 或者修改为bind-address = 0.0.0.0 然后登录mysql,输入下面命令 mysql>grant all privileges on *.* to username@"%" identified by "password";(username一般是root,password是树莓派mysql上root用户的密码) mysql> FLUSH PRIVILEGES; 安装防火墙ufw apt-get installufw 启用ufw ufw enable ufw default deny 开启3306、22(ssh端口)端口 ufw allow 3306 ufw allow 22 (注意:如果不开启22端口,下次启动树莓派时,系统的22端口会禁用,不能使用ssh登录树莓派) 然后关上防火墙,否则会禁止一切对树莓派的外部连接(putty除外,但VNC不行) ufw disable 重启mysql sudo service mysql restart; 这时尝试在eclipse上建立java工程,书写基于jdbc原理的代码,尝试与树莓派中mysql数据库建立连接(JDBC驱动包选用mysql-connector-java-5.1.22-bin.jar)。 如若连接不上,在PC端下载mysql workbench尝试连接树莓派寻找原因。 将java程序移植到android studio的android工程中,并完成整个工程 客户端效果见下图,填入(设计为自动填入默认内容)用户名(第一行)、密码(第二行)与树莓派IP地址(第三行,虽然应该封装为用户不可见),点击“获取记录”按钮,即可查看所有试图开门的历史记录。 四.总结与收获 这次嵌入式综合实践,历时六周,从一开始的懵懂到最后完成系统的所有功能,收获了很多很多。从拿到树莓派大约两周后,我们便开始准备综合实践的相关内容。从查资料确定大致的方案,到进行最基础的树莓派操作和学习python的基本编程,慢慢进步。 网上有较多的树莓派人脸识别教程而无树莓派人脸比较教程,这是一大难点。而很多人脸识别教程的代码已经过时,拿face++来说,其官网提供的sdk包便与几年前并不一样,API进行了全面的更新,必须仔细研读最新的API文档并结合sdk包中提供的例程,一步步摸索,写下并调试每一句代码。 网上有一些关于树莓派GPIO口、数据库、opencv的程序,也不能直接拿来用,需要分析大概每一句代码的含义,并且做长时间的调试。往往先写“模块”,再将“模块”移植到总程序中。 安卓客户端的制作,也是最难的部分之一,由于java和安卓的知识不够,往往需要很长时间的摸索,请教很多人。用JDBC连接数据库的java程序在网上很好找到,也很简单,容易用eclipse进行调试,但写成android工程仍有很多地方要做。 我们分工明确,组里的每个人在做好自己工作的同时,也关注别人的进展,及时沟通,为整个项目的完成付诸努力。 通过这次综合实践,我们对专业和项目开发有了更加深切和具体的认识,体会到了写程序的艰辛与复杂,但克服困难之后的喜悦也是巨大的。通过不断地去解决问题,每个人的能力都有了很大的提高。 五.附录 程序一 #-*- coding: utf-8 -*- #从PIL中引入Image和ImageDraw,读出’/home/pi/photo.jpeg’并另存原始图片为yuanshi.jpeg from PIL import Image from PIL import ImageDraw im = Image.open( './photo2.jpeg' ) im.save( './yuanshi2.jpeg' ) import RPi.GPIO as GPIO import time GPIO.setmode(GPIO.BOARD) GPIO.setup(15, GPIO.OUT) true=1 # 您需要先注册一个App,并将得到的API key和API secret写在这里。 # You need to register your App first, and enter you API key/secret. API_KEY = "iYsLwyCzinc_JnsoUSuuO2j7mTdnhLoA" API_SECRET = "863589RVqKDq3H-u3u57LZr1llDqmQv0" # Import system libraries and define helper functions # 导入系统库并定义辅助函数 from print import pformat def print_result(hit, result): def encode(obj): if type(obj) is unicode: return obj.encode('utf-8') if type(obj) is dict: return {encode(v): encode(k) for (v, k) in obj.iteritems()} if type(obj) is list: return [encode(i) for i in obj] return obj print hit result = encode(result) print '\n'.join(" " + i for i in pformat(result, width=75).split('\n')) # First import the API class from the SDK # 首先,导入SDK中的API类 from facepp import API, File #创建一个API对象,如果你是国际版用户,代码为:api = API(API_KEY, API_SECRET, srv=api_server_international) #Create a API object, if you are an international user,code: api = API(API_KEY, API_SECRET, srv=api_server_international) api = API(API_KEY, API_SECRET) #利用face++的detectAPI识别刚刚拍摄的照片中的人脸 detectresult = api.detect(api_key=API_KEY,api_secret=API_SECRET,image_file=File('./photo2.jpeg')) print '=' *60 #将结果输出到打印到命令行界面上 print_result('Detect result:', detectresult) #调用face++的compareAPI将拍到的照片与两张本地权限者照片做比较,confidence 表示拍到的照片与本地权限者照片是同一人的置信度 comparation=api.compare(api_key=API_KEY,api_secret=API_SECRET,image_file1=File('./zq3.jpeg'),image_file2=File('./photo2.jpeg')) confidence=comparation['confidence'] print confidence #获取识别到的人脸及识别图片实际高度和宽度 zt=detectresult["faces"][0]["face_rectangle"]["top"] zl=detectresult["faces"][0]["face_rectangle"]["left"] zw=detectresult["faces"][0]["face_rectangle"]["width"] zh=detectresult["faces"][0]["face_rectangle"]["height"] #打开photo图 im = Image.open( './photo2.jpeg' ) draw = ImageDraw.Draw(im) draw.polygon([(zl,zt+zh),(zl+zw,zt+zh),(zl+zw,zt),(zl,zt)],outline=(0,255,0)) im.save( './photo1.jpeg' ) from PIL import ImageFont,ImageDraw ft = ImageFont.truetype( '/usr/share/fonts/truetype/dejavu/DejaVuSans.ttf', 18) draw = ImageDraw.Draw(im) #如果置信度不超过70,则在相应人脸出标注“stranger”;否则,标注与该人脸有最大相似度的数据库中的成员的名字 if confidence <=70: GPIO.output(15, 0) draw.text((zl+10,zt-30), 'stranger',fill=(255,0,0), font=ft) else: GPIO.output(15, 1) draw.text((zl+10,zt-30), 'Bu Honglong',fill=(255,0,0), font=ft) #保存修改后的photo图片 im.save( './photo2.jpeg' ) 程序2(最终程序faceselect7.py) #-*- coding: utf-8 -*- from PIL import Image from PIL import ImageDraw import time#导入python的time模块 localtime=time.strftime("%Y-%m-%d %X",time.localtime())#获取当前现实时间 import os#导入python的os模块 command="sudo fswebcam -d /dev/video0 -r 600*600 /home/pi/python-sdk-master/python-sdk/photo.jpeg"#赋拍照指令的字符串给command import numpy as np#导入python的numpy模块并更名为np import cv2#导入python的opencv模块 import MySQLdb导入python的 MySQLdb模块,用于数据库操作 # 下面是与mysql建立连接,插入名为openperson的数据库,并规范记录格式 db_conn = MySQLdb.connect(host = 'localhost', user= 'root', passwd = '65498732') cursor = db_conn.cursor() cursor.execute("create database if not exists openperson") db_conn.select_db('openperson'); sql = """CREATE TABLE if not exists people( open_name CHAR(20) NOT NULL, time CHAR(20))""" try: cursor.execute(sql) except Exception, e: print "Error to create table:", e sql = """INSERT INTO people(open_name, time) VALUES ('%s', '%s')""" import RPi.GPIO as GPIO #导入RPi.GPIO模块,并更名为GPIO GPIO.setmode(GPIO.BOARD) #配置IO口的标号方式 GPIO.setup(11, GPIO.OUT) #将GPIO的11引脚设为输出 # 您需要先注册一个App,并将得到的API key和API secret写在这里。 # You need to register your App first, and enter you API key/secret. API_KEY = "iYsLwyCzinc_JnsoUSuuO2j7mTdnhLoA" API_SECRET = "863589RVqKDq3H-u3u57LZr1llDqmQv0" # Import system libraries and define helper functions # 导入系统库并定义辅助函数 from print import pformat def print_result(hit, result): def encode(obj): if type(obj) is unicode: return obj.encode('utf-8') if type(obj) is dict: return {encode(v): encode(k) for (v, k) in obj.iteritems()} if type(obj) is list: return [encode(i) for i in obj] return obj print hit result = encode(result) print '\n'.join(" " + i for i in pformat(result, width=75).split('\n')) # First import the API class from the SDK # 首先,导入SDK中的API类 from facepp import API, File #创建一个API对象,如果你是国际版用户,代码为:api = API(API_KEY, API_SECRET, srv=api_server_international) #Create a API object, if you are an international user,code: api = API(API_KEY, API_SECRET, srv=api_server_international) api = API(API_KEY, API_SECRET) true=1 #下面进入拍照循环 while true: os.system(command)#执行command所代表的指令,即拍照 time.sleep(1)#等待1s #下面是用opencv进行人脸识别,识别出有人脸才进行下一步人脸比较,否则一直拍照 face_cascade = cv2.CascadeClassifier('./haarcascade_frontalface_alt2.xml') img = cv2.imread('photo.jpeg') gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) faces = face_cascade.detectMultiScale(gray, 1.3, 5) if faces!=(): #利用face++的detectAPI识别刚刚拍摄的照片中的人脸,其实这句调试时能看到不少信息,方便些,可以省略 detectresult=api.detect(api_key=API_KEY,api_secret=API_SECRET,image_file=File('./photo.jpeg')) #将结果输出到打印到命令行界面上 print_result('Detect result:', detectresult) #调用face++的compareAPI将拍到的照片与两张本地权限者照片做比较,confidence1 和confidence2表示拍到的照片与本地权限者照片是同一人的置信度 comparation1=api.compare(api_key=API_KEY,api_secret=API_SECRET,image_file1=File('./quanxianzhe1.jpeg'),image_file2=File('./photo.jpeg')) confidence1=comparation1['confidence'] comparation2=api.compare(api_key=API_KEY,api_secret=API_SECRET,image_file1=File('./quanxianzhe2.jpeg'),image_file2=File('./photo.jpeg')) confidence2=comparation2['confidence'] #如果置信度超过70时,则送对应11号引脚高电平,改变继电器状态,并给数据库中送对应权限人开门的记录;否则,给数据库中送陌生人想要开门的记录,print1,print2,print3是调试需要,方便树莓派没连继电器时在命令行界面也能查看程序运行情况 if confidence1 >=70: GPIO.output(11, 1) time.sleep(2) GPIO.output(11, 0) print 1 peoples = ( {"open_name": "Bu Honglong", "time": localtime}, ) for people in peoples: cursor.execute(sql % (people["open_name"], \ people["time"])) db_conn.commit() elif confidence2 >=70: GPIO.output(11, 1) time.sleep(2) GPIO.output(11, 0) print 2 peoples = ( {"open_name": "Chenzhe", "time": localtime}, ) for people in peoples: cursor.execute(sql % (people["open_name"], \ people["time"])) db_conn.commit() else: GPIO.output(11, 0) time.sleep(1) print 3 peoples = ( {"open_name": "Stranger", "time": localtime}, ) for people in peoples: cursor.execute(sql % (people["open_name"], \ people["time"])) db_conn.commit() else: GPIO.output(11, 0) print "No one" 3 .face++ 的Detect API 版本 3.0 描述 调用者提供图片文件或者图片URL,进行人脸检测和人脸分析。识别出的人脸会给出face_token,用于后续的人脸比对等操作。请注意,只对人脸包围盒面积最大的5个人脸进行分析,其他人脸可以使用Face Analyze API进行分析。如果您需要使用检测出的人脸于后续操作,建议将对应face_token添加到FaceSet中。如果一个face_token连续72小时没有存放在任意FaceSet中,则该face_token将会失效。如果对同一张图片进行多次人脸检测,同一个人脸得到的face_token是不同的。 图片要求 图片格式:JPG(JPEG),PNG
图片像素尺寸:最小48*48像素,最大4096*4096像素
图片文件大小:2MB
最小人脸像素尺寸: 系统能够检测到的人脸框为一个正方形,正方形边长的最小值为图像短边长度的48分之一,最小值不低于48像素。 例如图片为 4096*3200 像素,则最小人脸像素尺寸为 66*66 像素。 更新日志 2017年3月9日:人脸检测算法升级;提供了眼睛状态检测替换是否戴眼镜的检测;人脸模糊检测升级;提供了人种检测。 2017年3月28日:支持base64编码的图片。 调用URL https://api-cn.faceplusplus点com/facepp/v3/detect 调用方法 POST 权限 不需要单独申请权限。 请求参数 是否必选 | 参数名 | 类型 | 参数说明 | 必选 | api_key | String | 调用此API的API Key | 必选 | api_secret | String | 调用此API的API Secret | 必选(三选一) | image_url | String | 图片的URL。 注:在下载图片时可能由于网络等原因导致下载图片时间过长,建议使用image_file或image_base64参数直接上传图片。 | image_file | File | 一个图片,二进制文件,需要用post multipart/form-data的方式上传。 | image_base64 | String | base64编码的二进制图片数据 如果同时传入了image_url、image_file和image_base64参数,本API使用顺序为image_file优先,image_url最低。 | 可选 | return_landmark | Int | 是否检测并返回人脸五官和轮廓的83个关键点。 1:检测 0:不检测 注:默认值为0 | 可选 | return_attributes | String | 是否检测并返回根据人脸特征判断出的年龄,性别,微笑、人脸质量等属性,需要将需要检测的属性组织成一个用逗号分隔的字符串。目前支持:gender,age,smiling,headpose,facequality,blur,eyestatus,ethnicity 顺序没有要求。默认值为 none ,表示不检测属性。 注:facequality(人脸质量)是指图像中的人脸是否适合进行人脸比对,出现模糊、过亮、过暗、大侧脸、不完整等情况会影响人脸质量分数。 由于提供了eyestatus 眼睛状态监测,所以glass 参数将于2017-4-30日失效,请尽快修改程序使用 eyestatus |
返回值说明 字段 | 类型 | 说明 | request_id | String | 用于区分每一次请求的唯一的字符串。 | faces | Array | 被检测出的人脸数组 注:如果没有检测出人脸则为空数组 | image_id | String | 被检测的图片在系统中的标识 | time_used | Int | 整个请求所花费的时间,单位为毫秒。 | error_message | String | 当请求失败时才会返回此字符串,具体返回内容见后续错误信息章节。否则此字段不存在。 |
faces数组中单个元素的结构 字段 | 类型 | 说明 | face_token | String | 人脸的标识 | face_rectangle | Object | 人脸矩形框,坐标数字为整数,代表像素点坐标 top:左上角纵坐标 left:左上角横坐标 width:宽度 height:高度 | landmark | Object | 人脸的83个关键点坐标数组。 | attributes | Object | 人脸属性特征,包括: gender:性别分析结果,value的值为Male/Female。Male 代表男性,Female代表女性。 age:年龄分析结果,value的值为一个非负整数,标识估计的年龄。 smile:笑容分析结果,value的值为一个[0,100]的浮点数,小数点后3位有效数字,数值大表示笑程度高。threshold代表笑容的阈值,超过该阈值认为有笑容。 glass:是否佩戴眼镜的分析结果,value的值为None/Dark/Normal。None代表不佩戴眼镜,Dark代表佩戴墨镜,Normal代表佩戴普通眼镜。(请注意,motionblur 和 gaussianblur 将于2017-4-30日停止返回,请尽快停用) headpose:人脸姿势分析结果,包括pitch_angle, roll_angle, yaw_angle,分别对应抬头,旋转(平面旋转),摇头。单位为角度。 blur:人脸模糊分析结果,包括以下两种分析(请注意,motionblur 和 gaussianblur 将于2017-4-30日停止返回,请尽快停用。目前两个字段的值会与新的blurness值相同) - motionblur: 人脸移动模糊度分析结果,value的值为是一个浮点数,范围[0,100], 小数点后3位有效数字。threshold表示人脸模糊度是否影响辨识的阈值。
- gaussianblur:人脸高斯模糊度分析结果,value的值为是一个浮点数,范围[0,100], 小数点后3位有效数字。threshold表示人脸模糊度是否影响辨识的阈值。
- blurness:新的人脸模糊分析结果,value的值为是一个浮点数,范围[0,100], 小数点后3位有效数字,数值大表示人脸模糊。threshold表示人脸模糊度是否影响辨识的阈值。
eyestatus: 眼睛状态信息 包括 left_eye_status,right_eye_status两个对象,分别代表左眼和右眼的状态。每个对象包括以下字段,值是一个浮点数,范围[0,100], 小数点后3位有效数字,总和等于100。 - occlusion:眼睛被遮挡的置信度
- no_glass_eye_open:不戴眼镜且睁眼的置信度
- normal_glass_eye_close:佩戴普通眼镜且闭眼的置信度
- normal_glass_eye_open:佩戴普通眼镜且睁眼的置信度
- dark_glasses:佩戴墨镜的置信度
- no_glass_eye_close:不戴眼镜且闭眼的置信
facequality: 人脸质量判断结果,value值为人脸的质量判断的分数,是一个浮点数,范围[0,100], 小数点后3位有效数字,数值大代表人脸质量高。threshold表示人脸质量基本合格的一个阈值,超过该阈值的人脸适合用于人脸比对。 ethnicity: 人种分析结果,value的值为Asian/White/Black。Asian代表亚洲人,White代表白人,Black代表黑人。 |
人脸关键点landmark的详细字段说明与图示请参考文档:
返回值示例 请求成功返回示例: { "image_id": "Dd2xUw9S/7yjr0oDHHSL/Q==", "request_id": "1470472868,dacf2ff1-ea45-4842-9c07-6e8418cea78b", "time_used": 752, "faces": [{ "landmark": { "mouth_upper_lip_left_contour2": { "y": 185, "x": 146 }, "contour_chin": { "y": 231, "x": 137 }, .............省略关键点信息 "right_eye_pupil": { "y": 146, "x": 205 }, "mouth_upper_lip_bottom": { "y": 195, "x": 159 } }, "attributes": { "gender": { "value": "Female" }, "age": { "value": 21 }, "glass": { "value": "None" }, "headpose": { "yaw_angle": -26.625063, "pitch_angle": 12.921974, "roll_angle": 22.814377 }, "smile": { "threshold": 30.1, "value": 2.566890001296997 } }, "face_rectangle": { "width": 140, "top": 89, "left": 104, "height": 141 }, "face_token": "ed319e807e039ae669a4d1af0922a0c8" }
请求失败返回示例: { "time_used": 3, "error_message": "MISSING_ARGUMENTS: image_url, image_file, image_base64", "request_id": "1470378968,c6f50ec6-49bd-4838-9923-11db04c40f8d" }
当前API特有的ERROR_MESSAGE HTTP状态代码 | 错误信息 | 说明 | 400 | IMAGE_ERROR_UNSUPPORTED_FORMAT:<param> | 参数<param>对应的图像无法正确解析,有可能不是一个图像文件、或有数据破损。 | 400 | INVALID_IMAGE_SIZE:<param> | 客户上传的图像像素尺寸太大或太小,图片要求请参照本API描述。<param>对应图像太大的那个参数的名称 | 400 | INVALID_IMAGE_URL | 无法从指定的image_url下载图片,图片URL错误或者无效 | 412 | IMAGE_DOWNLOAD_TIMEOUT | 下载图片超时 |
通用的ERROR_MESSAGE HTTP 状态代码 | 错误信息 | 说明 | 401 | AUTHENTICATION_ERROR | api_key和api_secret不匹配。 | 403 | AUTHORIZATION_ERROR:<reason> | api_key没有调用本API的权限,具体原因为:用户自己禁止该api_key调用、管理员禁止该api_key调用、由于账户余额不足禁止调用。 目前的<reason>有: - Denied by Client(用户自己禁止该api_key调用)
- Denied by Admin(管理员禁止该api_key调用)
- Insufficient Account Balance(由于账户余额不足禁止调用)
| 403 | CONCURRENCY_LIMIT_EXCEEDED | 并发数超过限制。 | 400 | MISSING_ARGUMENTS: <key> | 缺少某个必选参数。 | 400 | BAD_ARGUMENTS:<key> | 某个参数解析出错(比如必须是数字,但是输入的是非数字字符串; 或者长度过长,etc.) | 400 | COEXISTENCE_ARGUMENTS | 同时传入了要求是二选一或多选一的参数。如有特殊说明则不返回此错误。 | 413 | Request Entity Too Large | 客户发送的请求大小超过了2MB限制。该错误的返回格式为纯文本,不是json格式。 | 404 | API_NOT_FOUND | 所调用的API不存在。 | 500 | INTERNAL_ERROR | 服务器内部错误,当此类错误发生时请再次请求,如果持续出现此类错误,请及时联系技术支持团队。 |
调用示例 curl -X POST "https://api-cn.faceplusplus点com/facepp/v3/detect" -F "api_key=<api_key>" \ -F "api_secret=<api_secret>" \ -F "image_file=@image_file.jpg" \ -F "return_landmark=1" \ -F "return_attributes=gender,age"
4.face++的Compare API 版本 3.0 描述 将两个人脸进行比对,来判断是否为同一个人。支持传两张图片进行比对,或者一张图片与一个已知的face_token比对,也支持两个face_token进行比对。使用图片进行比对时会选取图片中检测到人脸尺寸最大的一个人脸。 图片要求 图片格式:JPG(JPEG),PNG
图片像素尺寸:最小48*48像素,最大4096*4096像素
图片文件大小:2MB
最小人脸像素尺寸: 系统能够检测到的人脸框为一个正方形,正方形边长的最小值为150像素。 更新日志 2017年3月28日:支持base64编码的图片。 调用URL https://api-cn.faceplusplus点com/facepp/v3/compare 调用方法 POST 权限 不需要单独申请权限。 请求参数 是否必选 | 参数名 | 类型 | 参数说明 | 必选 | api_key | String | 调用此API的API Key | 必选 | api_secret | String | 调用此API的API Secret | 必选(四选一) | face_token1 | String | 第一个人脸标识face_token,优先使用本参数。 | image_url1 | String | 第一张图片的URL | image_file1 | File | 第一张图片,二进制文件,需要用post multipart/form-data的方式上传。 | image_base64_1 | String | base64编码的二进制图片数据 如果同时传入了image_url1、image_file1和image_base64_1参数,本API使用顺序为image_file1优先,image_url1最低。 | 必选(四选一) | face_token2 | String | 第二个人脸标识face_token,优先使用本参数。 | image_url2 | String | 第二张图片的URL | image_file2 | File | 第二张图片,二进制文件,需要用post multipart/form-data的方式上传。 | image_base64_2 | String | base64编码的二进制图片数据 如果同时传入了image_url2、image_file2和image_base64_2参数,本API使用顺序为image_file2优先,image_url2最低。 |
返回值说明 字段 | 类型 | 说明 | request_id | String | 用于区分每一次请求的唯一的字符串。 | confidence | Float | 比对结果置信度,范围 [0,100],小数点后3位有效数字,数字越大表示两个人脸越可能是同一个人。 注:如果传入图片但图片中未检测到人脸,则无法进行比对,本字段不返回。 | thresholds | Object | 一组用于参考的置信度阈值,Object类型,包含三个字段,均为Float类型、取值[0,100],小数点后3位有效数字。如果置信值低于“千分之一”阈值则不建议认为是同一个人,如果置信值超过“十万分之一”阈值,则是同一个人的几率非常高。 1e-3: 误识率为千分之一的置信度阈值; 1e-4: 误识率为万分之一的置信度阈值; 1e-5: 误识率为十万分之一的置信度阈值; 请注意:阈值不是静态的,每次比对返回的阈值不保证相同,所以没有持久化保存阈值的必要,更不要将当前调用返回的confidence与之前调用返回的阈值比较。 注:如果传入图片但图片中未检测到人脸,则无法进行比对,本字段不返回。 | image_id1 | String | 被检测的image_url1、image_file1或image_base64_1在系统中的标识。 注:如果未使用image_url1、image_file1或image_base64_1传入图片,本字段不返回。 | image_id2 | String | 被检测的image_url2、image_file2或image_base64_2在系统中的标识。 注:如果未使用image_url2、image_file2或image_base64_2传入图片,本字段不返回。 | faces1 | Array | 从image_url1、image_file1或image_base64_1中检测出的人脸数组,采用数组中的第一个人脸进行人脸比对。 注:如果未使用image_url1、image_file1或image_base64_1传入图片,本字段不返回。如果没有检测出人脸则为空数组 | faces2 | Array | 从image_url2、image_file2或image_base64_2中检测出的人脸数组,采用数组中的第一个人脸进行人脸比对。 注:如果未使用image_url2、image_file2或image_base64_2传入图片,本字段不返回。如果没有检测出人脸则为空数组 | time_used | Int | 整个请求所花费的时间,单位为毫秒。 | error_message | String | 当请求失败时才会返回此字符串,具体返回内容见后续错误信息章节。否则此字段不存在。 |
faces1和faces2数组中单个元素的结构 [td]字段 | 类型 | 说明 | face_token | String | 人脸的标识 | face_rectangle | Object | 人脸矩形框,坐标数字为整数,代表像素点坐标 top:左上角纵坐标 left:左上角横坐标 width:宽度 height:高度 |
收费规则 当传入2个face_token进行比对时,收取人脸比对费用。 当传入图片进行比对时,收取人脸检测费用,如果同时传入2张图片收取2次人脸检测费用。当传入图片都检测到人脸的情况下,进行人脸比对,收取人脸比对费用。 当传入图片未检测出人脸,无法进行人脸比对时,只收取人脸检测费用,不收取人脸比对费用。 返回值示例 成功请求返回值示例: { "time_used": 473, "confidence": 96.46, "thresholds": { "1e-3": 65.3, "1e-5": 76.5, "1e-4": 71.8 }, "request_id": "1469761507,07174361-027c-46e1-811f-ba0909760b18" }
失败请求返回值示例: { "time_used": 5, "error_message": "INVALID_FACE_TOKEN:c2fc0ad7c8da3af5a34b9c70ff764da0", "request_id": "1469761051,ec285c20-8660-47d3-8b91-5dc2bffa0049" }
当前API特有的ERROR_MESSAGE HTTP状态代码 | 错误信息 | 说明 | 400 | INVALID_FACE_TOKEN: <face_token> | 使用face_token作为参数时,所传的face_token不存在。 | 400 | IMAGE_ERROR_UNSUPPORTED_FORMAT: <param> | 参数<param>对应的图像无法正确解析,有可能不是一个图像文件、或有数据破损。 | 400 | INVALID_IMAGE_SIZE: <param> | 参数<param>对应的客户上传的图像像素尺寸太大或太小,图片要求请参照本API描述。<param>对应图像太大的那个参数的名称 | 400 | INVALID_IMAGE_URL: <param> | 无法从参数<param>对应的image_url下载图片,图片URL错误或者无效 | 412 | IMAGE_DOWNLOAD_TIMEOUT: <param> | 下载图片超时 |
通用的ERROR_MESSAGE HTTP 状态代码 | 错误信息 | 说明 | 401 | AUTHENTICATION_ERROR | api_key和api_secret不匹配。 | 403 | AUTHORIZATION_ERROR: <reason> | api_key没有调用本API的权限,具体原因为:用户自己禁止该api_key调用、管理员禁止该api_key调用、由于账户余额不足禁止调用。 目前的<reason>有: - Denied by Client(用户自己禁止该api_key调用)
- Denied by Admin(管理员禁止该api_key调用)
- Insufficient Account Balance(由于账户余额不足禁止调用)
| 403 | CONCURRENCY_LIMIT_EXCEEDED | 并发数超过限制。 | 400 | MISSING_ARGUMENTS: <key> | 缺少某个必选参数。 | 400 | BAD_ARGUMENTS: <key> | 某个参数解析出错(比如必须是数字,但是输入的是非数字字符串; 或者长度过长,etc.) | 400 | COEXISTENCE_ARGUMENTS | 同时传入了要求是二选一或多选一的参数。如有特殊说明则不返回此错误。 | 413 | Request Entity Too Large | 客户发送的请求大小超过了2MB限制。该错误的返回格式为纯文本,不是json格式。 | 404 | API_NOT_FOUND | 所调用的API不存在。 | 500 | INTERNAL_ERROR | 服务器内部错误,当此类错误发生时请再次请求,如果持续出现此类错误,请及时联系技术支持团队。 |
调用示例 curl -X POST "https://api-cn.faceplusplus点com/facepp/v3/compare" \ -F "api_key=<api_key>" \ -F "api_secret=<api_secret>" \ -F "face_token1=c2fc0ad7c8da3af5a34b9c70ff764da0" \ -F "face_token2=ad248a809408b6320485ab4de13fe6a9"
本人初学,仅供参考,存在错误和不足之处,请大家回帖多多指教,切勿照搬
以上图文的Word格式文档下载(内容和本网页上的一模一样,方便大家保存):
|