Использование веб-сервисов

Данные в Веб
Так как технология HTTP (запрос/ответ) хорошо поддерживается, возникает возмжность обмена данными между программами, использующими эти протоколы
Необходимо было придумать согласованный способ представления данных, передаваемых между приложениями и по сети
Обычно используются два формата: XML и JSON

Передача данных по «сети»
PHP
массив
Также известный как «Проводной протокол передачи данных» — то, что мы отправляем по сети («по проводам»)
JavaScript
Объект
Java
Хешмап
Пайтон
Словарь
{
"имя" : «Alex",
"телефон" : «123-4566"
}

Соглашения по формату передачи
Пайтон
Словарь
Java
Хешмап
Сериализовать
Alex
123 4566
Десериализовать
XML

Соглашения по формату передачи
Пайтон
Словарь
Java
Хешмап
{
"имя" : “Alex",
"телефон" : “123-4566"
}
JSON
Сериализовать
Десериализовать

XML
Разметка данных для отправки по сети…
https://ru.wikipedia.org/wiki/XML

XML-элементы (Ноды)
Простой элемент
Сложный элемент
Alex
123 4566
Jon
622 7421

Расширяемый язык разметки (XML)
Основная цель — помочь информационным системам обмениваться структурированными данными
Появился как подмножество Стандартного обобщенного языка разметки (англ. SGML) и разработан так, чтобы быть понятным человеку
https://ru.wikipedia.org/wiki/XML

Основы XML
Начальный тег
Закрывающий тег
Текстовый контент
Атрибут
Самозакрывающийся тег
Alex
[phone] hide="yes" />

Пробелы
Alex
[phone]
Alex
[phone]
Концы строк не имеют значения. Пробелы в текстовых элементах обычно отбрасываются.
Мы делаем отступ только для удобства чтения

XML-терминология
Теги обозначают начало и конец элемента
Атрибуты — Пары Ключевое слово/Значение в открывающем теге XML
Сериализовать / Десериализовать — преобразовать данные программы в общий формат, который может храниться и/или передаваться между системами независимо от языка программирования
https://ru.wikipedia.org/wiki/Сериализация

XML в виде дерева
X
Y
Z
Элементы
Текст

Текст и атрибуты в XML
X
Y
Z
a
b
c
X
d
e
Y
Z
5
w-атрибут
Текстовая нода
Элементы
Текст

XML в виде путей
X
Y
Z
/a/b X
/a/c/d Y
/a/c/e Z
Элементы
Текст

XML-схема
Описание правил, которым должен подчиняться документ
http://en.wikipedia.org/wiki/Xml_schema
http://en.wikibooks.org/wiki/XML_Schema

XML-схема
Язык описания структуры XML-документа
Налагает ограничения на структуру и содержимое документа
Часто используется для установления «контракта» между системами: «Моя система будет принимать XML, который соответствует этой конкретной Схеме»
Если конкретный фрагмент XML соответствует Схемe, он считается «подтвержденным»
http://en.wikipedia.org/wiki/Xml_schema

Валидатор
Договор об
XML-схеме
XML-документ
Валидация XML

Валидатор
Severance
17
2001-04-17
Договор об XML-схеме
XML-документ
Валидация XML

Множество языков XML-схемы
Определение типа документа (англ. DTD)
- https://ru.wikipedia.org/wiki/DTD
Стандартный обобщенный язык разметки (ISO 8879:1986 SGML)
- https://ru.wikipedia.org/wiki/SGML
XML-схема (W3C) - ( .XSD - расширение файла)
- https://ru.wikipedia.org/wiki/XML_Schema_(W3C)
http://en.wikipedia.org/wiki/Xml_schema

XSD XML-схема (W3C)
Мы сосредоточимся на версии Консорциума Всемирной паутины (англ.W3C)
Ее часто называют «W3C-схема», так как «Схема» считается универсальной
Частенько ее называют XSD, так как файл имеет расширение .xsd
http://www.w3.org/XML/Schema
https://ru.wikipedia.org/wiki/XML_Schema_(W3C)

Структура XSD
xs:element
xs:sequence
xs:complexType type="xs:date"/>
Petrov
17
2001-04-17

XSD-ограничения
http://www.w3schools.com/Schema/schema_complex_indicators.asp
minOccurs="1" maxOccurs="1" /> name="child_name" type="xs:string"
minOccurs="0" maxOccurs="10" />
Ivan Petrov
Ivan
Vanya
Vano
Ivanko

Типы данных XSD
http://www.w3schools.com/Schema/schema_dtypes_numeric.asp name="weeks" type="xs:integer"/>
John Smith
2002-09-24
2002-05-30T09:30:10Z
999.50
30
Время обычно отображается в формате UTC/GMT, учитывая, что серверы часто разбросаны по всему миру

ISO 8601 Формат Дата/Время
2002-05-30T09:30:10Z
Год-месяц-день
Время
Часовой пояс обычно указывается в формате UTC / GMT, а не в формате местного часового пояса
https://ru.wikipedia.org/wiki/ISO_8601
https://ru.wikipedia.org/wiki/Всемирное_координированное_время

http://www.w3schools.com/Schema/schema_example.asp

XMLDemo_1.py
import xml.etree.ElementTree as ET
data = '''
Alex
[phone] hide="yes" />
'''
tree = ET.fromstring(data)
print('Имя:', tree.find('name').text)
print('Атрибуты:', tree.find('email').get('hide'))

XMLDemo_2.py
import xml.etree.ElementTree as ET
input = '''
001
Mike
009
Vlad
'''
stuff = ET.fromstring(input)
lst = stuff.findall('users/user')
print('User count:', len(lst))
for item in lst:
print('Name', item.find('name').text)
print('Id', item.find('id').text)
print('Attribute', item.get('level’))

XMLDemo_3.py
Задача. Найти все блюда, содержащие кальций. Данные о блюдах представлены в XML-формате version="1.0"?>
Avocado Dip
Sunnydale
29
11
3
5
210
2
0
1
0
0
0
0

XMLDemo_3.py
import xml.etree.ElementTree as ET
file = open("food.xml", "r")
content = file.read()
print(content)
content = ET.fromstring(content)
lst = content.findall('food')
print("Блюда, содержащие кальций:")
for item in lst:
ca = item.find('minerals/ca').text
if item.find('minerals/ca').text != '0':
print("Название: ", item.find("name").text, end="")
print("Калорийность: ", item.find("calories").get("total"))
Задача. Найти все блюда, содержащие кальций. Данные о блюдах представлены в XML-формате

Текстовый формат обмена данными (JSON)

Литеральная нотация объектов в JavaScript
Формат JSON был разработан Дугласом Крокфордом
Литеральная нотация объектов в JavaScript
http://www.youtube.com/watch?v=kc8BAR7SHJI

JSONDemo_1.py
Формат JSON представляет данные в виде вложенных «списков» и «словарей»
import json
data = '''{
"name" : "Alex",
"phone" : {
"type" : "mob",
"number" : "[phone]"
},
"email" : {
"hide" : "yes"
}
}'''
info = json.loads(data)
print('Name:',info["name"])
print('Hide email:',info["email"]["hide"])

JSONDemo_2.py
Формат JSON представляет данные в виде вложенных «списков» и «словарей»
import json
input = '''[
{ "id" : "001",
"x" : "2",
"name" : "Alex"
} ,
{ "id" : "009",
"x" : "7",
"name" : "Vlad"
}
]'''
info = json.loads(input)
print('User count:', len(info))
for item in info:
print('Name', item['name'])
print('Id', item['id'])
print('Attribute', item['x'])

Сервис-ориентированный подход
https://ru.wikipedia.org/wiki/Сервис-ориентированная_архитектура

Сервис-ориентированный подход
Большинство приложений используют сервисы
Используются сервисы из других приложений:
- Сервис оплаты по кредитной карте;
- Системы бронирования отелей.
Сервисы публикуют «правила», которым приложения должны следовать, чтобы использовать данный сервис (API)
Приложение
APIs
Сервис
Сервис

Программный интерфейс приложения (API)
https://ru.wikipedia.org/wiki/API
Text
API определяет интерфейс и поведение объектов в этом интерфейсе, но при этом позволяет абстрагироваться от того, как именно эта функциональность будет реализована.
Программное обеспечение, которое предоставляет функциональность, описываемую в API, называется «реализация» API. Обычно API определяется в терминах языка программирования, используемого при создании приложения

https://developers.google.com/maps/documentation/geocoding/

{
"status": "OK",
"results": [
{
"geometry": {
"location_type": "APPROXIMATE",
"location": { "lat": 42.2808256,
"lng": -83.7430378
}
},
"address_components": [
{
"long_name": "Ann Arbor",
"types": [
"locality",
"political"
],
"short_name": "Ann Arbor"
}
],
"formatted_address": "Ann Arbor, MI, USA",
"types": [
"locality",
"political"
]
}
]
}
http://maps.googleapis.com/maps/api/geocode/json?address=Ann+Arbor%2C+MI

API-безопасность и ограничение на количество обращений
Вычислительные ресурсы для запуска этих API являются платными
Обычно данные, предоставляемые этими API, имеют ценность
Поставщики данных могут ограничивать количество запросов в день, запрашивать API-ключ, а также взимать плату за использование
Время от времени правила могут меняться

Не более 100,000 запросов в день для бизнес-клиентов
Ограничения по использованию
2,500 запросов в день

Задача. Узнать погоду в городе и запросит прогноз на ближайшие дни, используя API сервиса OpenMeatherMap.org
import requests
# id, полученный при регистрации на OpenWeatherMap.org.
appid = "908f7745f7066f579da091f54d6bac78"
# Проверка наличия в базе информации о нужном населенном пункте
def get_city_id(s_city_name):
res = requests.get("http://api.openweathermap.org/data/2.5/find",
params={'q': s_city_name, 'type': 'like', 'units': 'metric', 'lang': 'ru', 'APPID': appid})
data = res.json()
cities = ["{} ({})".format(d['name'], d['sys']['country']) for d in data['list']]
print("city:", cities)
city_id = data['list'][0]['id']
print('city_id=', city_id)
return city_id

Задача. Узнать погоду в городе и запросит прогноз на ближайшие дни, используя API сервиса OpenMeatherMap.org
# Запрос текущей погоды
def request_current_weather(city_id):
res = requests.get("http://api.openweathermap.org/data/2.5/weather",
params={'id': city_id, 'units': 'metric', 'lang': 'ru', 'APPID': appid})
data = res.json()
print("Погоденые условия:", data['weather'][0]['description'])
print("Температуры:", data['main']['temp'])
print("Min:", data['main']['temp_min'])
print("Max:", data['main']['temp_max'])
print("Влажность:", data['main']['humidity'])
print("Все данные о погоде на сегодня")
print("data:", data)

Задача. Узнать погоду в городе и запросит прогноз на ближайшие дни, используя API сервиса OpenMeatherMap.org
# Запрос прогноза погоды на ближайшее время
def request_forecast(city_id):
res = requests.get("http://api.openweathermap.org/data/2.5/forecast",
params={'id': city_id, 'units': 'metric', 'lang': 'ru', 'APPID': appid})
data = res.json()
print('city:', data['city']['name'], data['city']['country'])
for i in data['list']:
print((i['dt_txt'])[:16], '{0:+3.0f}'.format(i['main']['temp']),
'{0:2.0f}'.format(i['wind']['speed']) + " м/с",
i['weather'][0]['description'])