как сделать уникальные данные из строк

stack.txt ниже содержит это:

"India1,India2,myIndia"
"Where,Here,Here"
"Here,Where,India,uyete"
"AFD,TTT"

Ну вот:

from collections import OrderedDict

with open("stack.txt", "r") as f:
    # read your data in from the gist site and strip off any new-line characters
    data = [eval(line.strip()) for line in f.readlines()]
    # get individual words into a list
    individual_elements = [word for row in data for word in row.split(",")]
    # remove duplicates and preserve order
    uniques = OrderedDict.fromkeys(individual_elements)   
    # convert from OrderedDict object to plain list
    final = [word for word in uniques]

print(final)

Что дает это:

['India1', 'India2', 'myIndia', 'Where', 'Here', 'India', 'uyete', 'AFD', 'TTT']

Изменить: чтобы получить желаемый результат, просто распечатайте список в нужном формате:

print("\n".join(final))

Что эквивалентно, с точки зрения вывода, этому:

for x in final:
    print(x)

Что дает это:

India1
India2
myIndia
Where
Here
India
uyete
AFD
TTT

Зачем использовать numpy??? и я не уверен, хотите ли вы использовать один и тот же файл для ввода и вывода

#!/usr/bin/env python


# give a name to my data 
inputData = """India1,India2,myIndia
Where,Here,Here   
Here,Where,India,uyete
AFD,TTT"""

# if you want to read the data from a file
#inputData = open(fileName, 'r').readlines()

outputData = ""
tempData = list()
for line in inputData.split("\n"):
    lineStripped = line.strip()
    lineSplit = lineStripped.split(',')
    lineElementsStripped = [element.strip() for element in lineSplit]
    tempData.extend( lineElementsStripped )
tempData = set(tempData)
outputData = "\n".join(tempData)
print("\nInputdata: \n%s" % inputData)
print("\nOutputdata: \n%s" % outputData)

Похоже, у вас, вероятно, есть файл csv. Вам не нужен numpy для этого, все, что вам нужно, это прилагаемые батареи.

 import csv

 data = []
 with open('test.txt') as f:
     reader = csv.reader(f)
     for row in reader:
         data.extend(row)

Вы можете .extend списки, а не .append к ним. Это в основном как сказать

for thing in row:
    data.append(thing)

Тем не менее, это все равно оставит дубликаты. Если вас не волнует порядок, вы можете просто сделать его set и вызвать .update() вместо расширения:

 data = set()
 with open('test.txt') as f:
     reader = csv.reader(f)
     for row in reader:
         data.extend(row)

А сейчас все уникально. Но если вы заботитесь о порядке, вам придется немного отфильтровать вещи:

unique_data = []
for thing in data:
    if thing not in unique_data:
        unique_data.append(thing)

Если ваш файл test.txt содержит этот текст:

"India1,India2,myIndia     "
"Where,Here,Here   "
"Here,Where,India,uyete"
"AFD,TTT"

И не

India1,India2,myIndia     
Where,Here,Here   
Here,Where,India,uyete
AFD,TTT

Тогда у вас не совсем есть csv. Вы можете либо исправить то, что генерирует ваш CSV, либо вручную удалить кавычки или просто исправить это на лету.

def remove_quotes(file):
    for line in file:
        yield line.strip('"\n')

reader = csv.reader(remove_quotes(f))