Python缓存技术实现过程详解

前端之家收集整理的这篇文章主要介绍了Python缓存技术实现过程详解前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。

一段非常简单代码

普通调用方式

  1. def console1(a,b):
  2. print("进入函数")
  3. return (a,b)
  4.  
  5. print(console1(3,'a'))
  6. print(console1(2,'b'))
  7. print(console1(3.0,'a'))

很简单的一段代码,传入两个参数。然后打印输出输出结果

  1. 进入函数
  2. (3,'a')
  3. 进入函数
  4. (2,'b')
  5. 进入函数
  6. (3.0,'a')

使用某个装饰器后

接下来我们引入functools模块的lru_cache,python3自带模块。

  1. from functools import lru_cache
  2. @lru_cache()
  3. def console2(a,b)
  4. print(console2(3,'a'))
  5. print(console2(2,'b'))
  6. print(console2(3.0,'a'))

ほら、惊喜来了。

  1. 进入函数
  2. (3,'b')
  3. (3,'a')

我们发现,少了一次进入函数的打印,这是怎么回事呢?这就是接下来要说的LRU缓存技术了。

我们理解下什么是LRU

LRU (Least Recently Used) 是缓存置换策略中的一种常用的算法。当缓存队列已满时,新的元素加入队列时,需要从现有队列中移除一个元素,LRU 策略就是将最近最少被访问的元素移除,从而腾出空间给新的元素。

python中的实现

python3中的functools模块的lru_cache实现了这个功能,lru_cache装饰器会记录以往函数运行的结果,实现了备忘(memoization)功能,避免参数重复时反复调用,达到提高性能的作用,在递归函数中作用特别明显。这是一项优化技术,它把耗时的函数的结果保存起来,避免传入相同的参数时重复计算。

带参数的lru_cache

使用方法lru_cache(maxsize=128,typed=False)maxsize可以缓存最多个此函数调用结果,从而提高程序执行的效率,特别适合于耗时的函数。参数maxsize为最多缓存的次数,如果为None,则无限制,设置为2的n次幂时,性能最佳;如果 typed=True,则不同参数类型的调用将分别缓存,例如 f(3) 和 f(3.0),默认False来一段综合代码

  1. from functools import lru_cache
  2.  
  3. def console1(a,b)
  4.  
  5. @lru_cache()
  6. def console2(a,b)
  7.  
  8. @lru_cache(maxsize=256,typed=True)
  9. def console3(a,b):
  10. '''
  11.  
  12. :param a:
  13. :param b:
  14. :return:
  15. '''
  16. print("进入函数")
  17. return (a,'a'))
  18. print("*" * 40)
  19. print(console2(3,'a'))
  20. print("*" * 40)
  21. print(console3(3,'a'))
  22. print(console3(2,'b'))
  23. print(console3(3.0,'a'))

同样的可以用到爬虫的去重操作上,避免网页的重复请求。在后期存储的时候做判断即可。

  1. from functools import lru_cache
  2. from requests_html import HTMLSession
  3. session=HTMLSession()
  4. @lru_cache()
  5. def get_html(url):
  6. req=session.get(url)
  7. print(url)
  8. return req
  9.  
  10. urllist=["https://www.baidu.com","https://pypi.org/project/pylru/1.0.9/","https://www.baidu.com"]
  11.  
  12. if __name__ == '__main__':
  13. for i in urllist:
  14. print(get_html(i))

输出

  1. https://www.baidu.com
  2. <Response [200]>
  3. https://pypi.org/project/pylru/1.0.9/
  4. <Response [200]>
  5. <Response [200]>

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持我们。

猜你在找的Python相关文章