我正在尝试使用PySpark从列中提取正则表达式模式.我有一个包含正则表达式模式的数据框,然后有一个包含我要匹配的字符串的表.
columns = ['id','text']
vals = [
(1,'here is a Match1'),(2,'Do not match'),(3,'Match2 is another example'),(4,(5,'here is a Match1')
]
df_to_extract = sql.createDataFrame(vals,columns)
columns = ['id','Regex','Replacement']
vals = [
(1,'Match1','Found1'),'Match2','Found2'),]
df_regex = sql.createDataFrame(vals,columns)
我想匹配“ df_to_extract”的“文本”列中的“正则表达式”列.我想针对每个ID提取术语,并在结果表中包含ID和与“ Regex”相对应的“替换”.例如：
+---+------------+
| id| replacement|
+---+------------+
| 1| Found1|
| 3| Found2|
| 5| Found1|
+---+------------+
谢谢！
最佳答案
一种方法是在加入条件下使用
pyspark.sql.functions.expr,它允许您将use a column value as a parameter设置为0.
例如：
from pyspark.sql.functions import expr
df_to_extract.alias("e")\
.join(
df_regex.alias("r"),on=expr(r"e.text LIKE concat('%',r.Regex,'%')"),how="inner"
)\
.select("e.id","r.Replacement")\
.show()
#+---+-----------+
#| id|Replacement|
#+---+-----------+
#| 1| Found1|
#| 3| Found2|
#| 5| Found1|
#+---+-----------+
在这里,我使用了sql表达式：
e.text LIKE concat('%','%')