ZKX's LAB

信息检索用python制作搜索引擎 做一个简单的搜索引擎,需要哪些知识和技术?

2020-10-10知识9

python网络爬虫可以干啥 爬虫可以抓取网络上的数据啊。爬虫可以用很多种编程语言实现,python只是一种。所以你想知道的是网络爬虫可以干什么。他比如证券交易数据,天气数据,网站用户数据,图片。拿到这些数据之后你就可以做下一步工作了。你去看看这里就明白了。http://baike.baidu.com/view/284853.htm

信息检索用python制作搜索引擎 做一个简单的搜索引擎,需要哪些知识和技术?

搜索引擎用什么编程语言开发? 什么搜索引擎?所谓搜索引擎,就是根据用户需求与一定算法,运用特定策略从互联网检索出制定信息反馈给用户的一门检索技术。搜索引擎依托于多种技术,如网络爬虫技术、检索排序技术、网页处理技术、大数据处理技术、自然语言处理技术等,为信息检索用户提供快速、高相关性的信息服务。搜索引擎技术的核心模块一般包括爬虫、索引、检索和排序等,同时可添加其他一系列辅助模块,以为用户创造更好的网络使用环境。什么是编程语言?编程语言(programming language)可以简单的理解为一种计算机和人都能识别的语言。一种计算机语言让程序员能够准确地定义计算机所需要使用的数据,并精确地定义在不同情况下所应当采取的行动。编程语言处在不断的发展和变化中,从最初的机器语言发展到如今的2500种以上的高级语言,每种语言都有其特定的用途和不同的发展轨迹。编程语言并不像人类自然语言发展变化一样的缓慢而又持久,其发展是相当快速的,这主要是计算机硬件、互联网和IT业的发展促进了编程语言的发展。结论在了解搜索引擎和编程语言是什么的情况下,那我们目标就比较清晰了。主要看需求,如果是为了搜索网页使用,那么可以采用PHP,JSP,ASP.NET语言进行开发。当然为了实现更高。

信息检索用python制作搜索引擎 做一个简单的搜索引擎,需要哪些知识和技术?

如何用C语言做出搜索引擎? 个人觉得完全用C语言去做一个搜索引擎,是能办到,但是成本会很高。首先我们来看一个通用的搜索引擎需要哪些模块。一.网络爬虫要用C语言去做一个爬虫系统,成本会非常高,很多东西都需要自己实现。而爬虫系统,个人觉得Python的Scrapy框架是一个很好的选择,从网页爬取到数据存入数据库有一条完整的链路。爬虫系统对性能的要求不高,Python完全可以胜任。二.倒排索引倒排索引主要包括索引建立和索引更新。索引的数据结构以及一些算法,用C语言完全可以的,在线索引实时更新通过C语言实现效率也能高一些。三.检索模型如果只需要做一个简单的检索系统,直接BM25算法就可以了。如果系统比较复杂,考虑到线上效果,那么需要结合机器学习模型或深度学习模型,考虑到检索相关性,有很多复杂的设计。不过在线部分完全可以通过C语言实现。一般来说,做一个搜索引擎需要根据不同的模块情况而选择不同的语言实现,充分发挥各种语言的优势即可。

信息检索用python制作搜索引擎 做一个简单的搜索引擎,需要哪些知识和技术?

入门python有什么好的书籍推荐? 推荐的 Python 书单汇总https:// mp.weixin.qq.com/s/rx26 v5o_CFqrRX7pGZaUUg除了入门书,还包括数据分析、数据挖掘、机器学习等方面,可以说是非常全面。附电子书下载!。

#索引#python爬虫#编程语言#搜索引擎#python数据挖掘

随机阅读

qrcode
访问手机版