Pandas是一种流行的用于数据操作的Python库，它提供了一种称为“向量化”的强大技术可以有效地将操作应用于整个列或数据系列，从而消除了显式循环的需要。在本文中，我们将探讨什么是向量化，以及它如何简化数据分析任务。
向量化是将操作应用于整个数组或数据系列的过程，而不是逐个遍历每个元素。在Pandas中可以对整个列或Series执行操作，而无需编写显式循环。这种高效的方法利用了底层优化的库，使您的代码更快、更简洁。
一个具有两列的DataFrame， ' a '和' B '，我们希望以元素方式添加这两列，并将结果存储在新列' C '中。通过向量化，你可以在一行代码中实现这一点:
import pandas as pd data = {'A': [1, 2, 3], 'B': [4, 5, 6]} df = pd.DataFrame(data) # Using vectorization to add columns 'A' and 'B' df['C'] = df['A'] + df['B'] print(df['C']) Output: 0 5 1 7 2 9在本例中，加法运算df['A'] + df['B']同时应用于整个列'A'和'B'，结果存储在列'C'中。
向量化还允许对列应用自定义函数。假设你想计算一列中每个元素的平方:
import pandas as pd data = {'A': [1, 2, 3]} df = pd.DataFrame(data) # Define a custom function def square(x): return x ** 2 # Applying the 'square' function to the 'A' column df['A_squared'] = df['A'].apply(square) print(df['A_squared']) Output: 0 1 1 4 2 9使用.apply()将平方函数应用于整个'A'列。不需要显式循环。
也将矢量化用于条件操作，比如基于列a中的条件创建一个新的列D:
import pandas as pd data = {'A': [1, 2, 3]} df = pd.DataFrame(data) # Creating a new column 'D' based on a condition in column 'A' df['D'] = df['A'].apply(lambda x: 'Even' if x % 2 == 0 else 'Odd') print(df) Output: A D 0 1 Odd 1 2 Even 2 3 Odd使用lambda函数来检查' a '中的每个元素是偶数还是奇数，并将结果分配给' D '列。
在Pandas中向量化提供了几个好处:
向量化是一种强大的编程技术，可以加快代码的执行速度。这种方法利用底层优化的硬件指令和库，使计算更快、更高效。让我们以Python和NumPy为例，探索向量化如何加快代码的速度。
在许多编程场景中，可能需要对数据元素集合执行相同的操作，例如逐个添加两个数组或对数组的每个元素应用数学函数。一般都会使用循环一次迭代一个元素并执行操作。
下面是一个没有向量化的Python示例:
list1 = [1, 2, 3, 4, 5] list2 = [6, 7, 8, 9, 10] result = [] for i in range(len(list1)): result.append(list1[i] + list2[i]) print(result) Output: [7, 9, 11, 13, 15]虽然此代码可以工作，但它在循环中单独处理每个元素，这对于大型数据集来说可能很慢。
NumPy是一个流行的Python库，提供对向量化操作的支持。它利用了优化的C和Fortran库，使其在数值计算方面比纯Python循环快得多。
下面是使用NumPy的相同加法操作:
array1 = np.array([1, 2, 3, 4, 5]) array2 = np.array([6, 7, 8, 9, 10]) result = array1 + array2 print(result) Output: [ 7 9 11 13 15]NumPy可以一次对整个数组执行操作，并且更有效地处理底层细节。
比较一下使用NumPy和Python中传统的基于循环的方法执行元素加法所花费的时间。我们将使用timeit模块来度量这两个方法的执行时间。下面是比较的代码:
import numpy as np import timeit # Create two NumPy arrays and two lists for the comparison array1 = np.random.randint(1, 100, size=1000000) array2 = np.random.randint(1, 100, size=1000000) list1 = list(array1) list2 = list(array2) # Vectorized processing with NumPy def numpy_vectorized(): result = array1 + array2 # Traditional loop-based processing def loop_based(): result = [] for i in range(len(list1)): result.append(list1[i] + list2[i]) # Measure execution time for NumPy vectorized approach numpy_time = timeit.timeit(numpy_vectorized, number=100) # Measure execution time for traditional loop-based approach loop_time = timeit.timeit(loop_based, number=100) print(f"NumPy Vectorized Approach: {numpy_time:.5f} seconds") print(f"Traditional Loop-Based Approach: {loop_time:.5f} seconds") Output: NumPy Vectorized Approach: 0.30273 seconds Traditional Loop-Based Approach: 17.91837 seconds可以看到NumPy向量化方法对于大数据集的速度要快得多，因为它的矢量化操作是经过优化的。
向量化为加快代码速度提供了几个优势:
减少循环开销:在传统循环中，存在与管理循环索引和检查循环条件相关的开销。通过向量化，可以消除这些开销，因为这些操作应用于整个数组。
优化的低级指令:像NumPy这样的库使用优化的低级指令(例如，现代cpu上的SIMD指令)来对数组执行操作，充分利用硬件功能。这可以显著提高速度。
并行性:一些向量化操作可以并行化，这意味着现代处理器可以同时执行多个操作。这种并行性进一步加快了计算速度。
Pandas和NumPy等库中的向量化是一种强大的技术，可以提高Python中数据操作任务的效率。可以以高度优化的方式对整个列或数据集合执行操作，从而生成更快、更简洁的代码。所以无论是在处理基本算术、自定义函数还是条件操作，利用向量化都可以极大地改进数据分析工作流。
本文链接：http://www.28at.com/showinfo-26-13616-0.html向量化操作简介和Pandas、Numpy示例
声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com
Copyright © 2016-2023 天津谷骐科技有限公司 版权所有 sitemap.xml
违法及侵权请联系：2376512515@qq.com 津ICP备18001702号
津公网安备 12010102000574号