Python 01_multi_new

Str.decode(encoding = 'UTF-8',errors = 'strict’)
encoding – это кодирование, которое будут использоваться.
errors – здесь могут быть даны установки других схем обработки ошибок. Значение по умолчанию для ошибок «strict», это означает, что ошибки кодирования поднимают UnicodeError. Другие возможные значения: ‘ignore’, ‘replace’, ‘xmlcharrefreplace’, ‘backslashreplace’ и любое другое имя, зарегистрированное через codecs.register_error().

Потоки Thread

bs_str=BS(html.text, 'html.parser')
bs_str=BS(html,'lxml')

Логгирование

Использование наследования

Использование Lock()
lock.acquire()
try:
... доступ к разделяемому ресурсу
finally:
lock.release() # освободить блокировку, что бы ни произошло

lock = Lock()
lock.acquire() # заблокирует выполнение, если блокировка кем-то захвачена
... доступ к разделяемому ресурсу
lock.release()

with lock:
... доступ к разделяемому ресурсу

lock.acquire(False)
if not lock.acquire(False):
... не удалось заблокировать ресурс
else:
try:
... доступ к разделяемому ресурсу
finally:
lock.release()
acquire может принимать флаг False, если установить флаг в False, метод не блокируется, но вернёт False, если блокировка кем-то захвачена

lock.locked()
if not lock.locked():
# другой поток может начать выполняться перед тем как мы перейдём к следующему оператору
lock.acquire() # всё равно может заблокировать выполнение

Проблемы Lock()
import threading
lock = threading.Lock()
def get_first_part():
lock.acquire()
try:
# берем данные для первой части из общих ресурсах.
finally:
lock.release()
return data
def get_second_part():
lock.acquire()
try:
# берем данные для второй части из общих ресурсах.
finally:
lock.release()
return data
def get_both_parts():
first = get_first_part()
second = get_second_part()
return first, second

Возможное решение
def get_both_parts():
lock.acquire()
try:
first = get_first_part()
second = get_second_part()
finally: lock.release()
return first, second

Решение с RLock()
import threading
lock = threading.RLock()
def get_first_part():
lock.acquire()
try:
# берем данные для первой части из общих ресурсах.
finally:
lock.release()
return data
def get_second_part():
lock.acquire()
try:
# берем данные для второй части из общих ресурсах.
finally:
lock.release()
return data

RLock()
lock = threading.Lock()
lock.acquire()
lock.acquire() # вызов заблокирует выполнение
lock = threading.RLock()
lock.acquire()
lock.acquire() # вызов не заблокирует выполнение
блокирует поток только в том случае, если блокировка захвачены другим потоком, в то время как обычные блокировки могут заблокировать тот же поток, если тот попытается захватить её повторно

BoundedSemaphore()
semaphore = threading.BoundedSemaphore()
semaphore.acquire() # уменьшает счетчик
... доступ к общему ресурсу
semaphore.release() # увеличивает счетчик
Внутри семафора - счетчик, в отличии от объекта блокировки, в которой просто флажок. Семафор блокирует поток только когда более заданного числа потоков пытаются захватить семафор.

max_connections = 10
semaphore = threading.BoundedSemaphore(max_connections)

Event()
event = threading.Event()
# поток клиента может подождать пока флажок будет установлен
event.wait()
# серверный поток может установить или сбросить флажок
event.set()
event.clear()

Condition()
lock = threading.RLock()
condition_1 = threading.Condition(lock)
condition_2 = threading.Condition(lock)

# Поток производителя
... генерация товара
condition.acquire()
... добавление товара в ресурс
condition.notify() # отправляем уведомление о новом товаре
condition.release()
# Поток потребителя
condition.acquire()
while True:
... получаем товар из ресурсов
if item:
break
condition.wait() # в противном случае ожидаем поступление товара
condition.release()
... обработка товара

subprocess и Timer

Загрузка файлов

Использование очередей

Модуль multiprocessing

Lock()

logging

Pool

Работа с очередями