Python實現簡易Linq

一、引入

　　個人覺得C#的Linq是非常好用的語法糖，對於List的處理非常方便且高效。但是在Python中沒有現成的類似於Linq的類庫，於是想着自己寫一個。

二、代碼部分

 

class LinQUtil(object):
    """
    模擬C#的linq功能
    """

    def __init__(self, collection):
        """
        初始化
        :param collection:需要處理的list
        """
        self.collection = collection

    def where(self, func):
        """
        根據where添加查詢
        :param func: 處理的函數
        :return:
        """
        try:
            return list(filter(func, self.collection))
        except Exception as e:
            print(e)
            return list()

    def first_or_default(self, func):
        try:
            res = list(filter(func, self.collection))
            if res:
                return res[0]
            else:
                return dict()
        except Exception as e:
            print(e)
            return dict()


def main():
    # 從數據庫查詢出形如：[{},{}...]的數據
    data_list = get_user_list_dal()
    data_list_where = LinQUtil(data_list).first_or_default(func=lambda x: x.get('city_id') == 73)
    print(data_list_where)
    print(len(data_list_where))


if __name__ == '__main__':
    main()

 

三、基於bisect庫實現單條件的精確查找（效率提升）

　　Python有一個庫bisect，這個庫本身是用來實現排序的，但是這個庫中有一個bisect.bisect(data_list,data),這個就厲害了，可以查找該數值將會插入的位置並返回，而不會插入。衍生出來bisect_left 和 bisect_right 函數就可以用來實現上述LinQUtils類中的方法了，

　　具體代碼如下：

#!/usr/bin/env python
# -*- coding:utf-8 -*-
# @Time：2020/4/21 11:02
# @Software：PyCharm
__author__ = "JentZhang"
import bisect
from utils.base_func import timer


def get_list_by_key(data_list, val, key_val_list):
    """
    通過二分查找獲取指定key和val的數據，LinQUtils的升級版
    :param data_list:數據集合嵌套數組，必須是排序之后的
    :param val:
    :param key_val_list:排序之后所有的指定key的val集合
    :return:
    """
    import bisect
    result = list()
    if key_val_list:
        # 獲取集合中指定數據最左邊的位置
        data_start = bisect.bisect_left(key_val_list, val)
        # 獲取集合中指定數據最右邊的位置
        data_end = bisect.bisect_right(key_val_list, val)
        if data_start < data_end:
            # 截取嵌套數組符合條件的數據
            data_where = data_list[data_start:data_end]
            result = data_where

    return result


@timer
def main():
    data_list = [i for i in range(10000000)]
    res = get_list_by_key(data_list, val=9695465, key_val_list=data_list)
    print(res)


if __name__ == '__main__':
    main()

　　執行結果：

　　

 

 　　在一千萬的數據中，這個方法只需要不到一秒的時間就能實現精確查找！

　　針對LinQ中單個查詢條件的篩選，完全可以借助bisect來實現，比filter()的方法快的多得多！！！！

 

四、總結

　　這里先簡單實現一下where和first_or_default的功能，后面再慢慢補充其他的。。。。。。

　　其實，實現linq基礎類就是基於Python的高級函數 filter()。

　　使用這里的Linq使我的匹配數據的過程相較於原來使用list循環來做節省了一半左右的時間。

        靈活運用python的高級函數如：filter(),map(),reduce()等真的可以大大增加數據處理的效率。